Wenn die Daten das Haus nicht verlassen dürfen
6 Min. Lesezeit ← Alle Beiträge
Patientenakten, Fallakten, Personaldaten. Manchmal ist die Einschränkung keine Vorliebe, sondern Gesetz. Lokale Modelle machen das handhabbar.
Privat durch Architektur, nicht durch Zusage
Die vertragliche Zusage, dass ein Anbieter nicht auf euren Daten trainiert, ist ein Versprechen, das ihr prüfen müsst. Ein Modell auf eurer eigenen Hardware ist eine Eigenschaft des Netzplans. Bei Kategorien wie Gesundheitsdaten nach Art. 9 DSGVO ist das Zweite gegenüber einer Aufsichtsbehörde deutlich leichter zu vertreten als das Erste.
Der Qualitätsabstand ist geschrumpft
Modelle mit offenen Gewichten schlagen die größten gehosteten Modelle beim freien Schlussfolgern nicht. Für die Aufgaben, die Organisationen tatsächlich brauchen — diese Felder auslesen, dieses Dokument einordnen, aus diesen zwölf Seiten antworten — sind sie nah genug dran, dass der Unterschied nicht mehr entscheidet. Die Qualität des Retrievals bewegt das Ergebnis weit stärker als die Modellgröße.
Jede Antwort braucht eine Quelle
In einem regulierten Umfeld ist eine Antwort ohne Beleg keine Antwort. Jede Ausgabe sollte die Textstelle mitführen, aus der sie stammt, damit ein Mensch sie in Sekunden prüfen kann, statt ihr zu vertrauen. Das ist zugleich die billigste Sicherung, die es gibt: Ein falscher Beleg fällt sofort auf, ein selbstbewusster Absatz nie.
Was der Betrieb kostet
Eine GPU auf Workstation-Niveau bedient eine Abteilung. Der eigentliche Kostenblock ist nicht die Karte, sondern der Betrieb: Updates, Überwachung, jemand, der zuständig ist, wenn es steht. Vergleicht das mit Preisen pro Token bei eurem tatsächlichen Volumen — und rechnet die Personalzeit auf beiden Seiten ehrlich mit.
Ein vernünftiger Einstieg
Nehmt einen Dokumentenbestand und eine Frage, die immer wieder daran gestellt wird. Baut Retrieval darüber, setzt ein lokales Modell dahinter und messt gegen Antworten, von denen ihr wisst, dass sie stimmen. In zwei Wochen lernt ihr so mehr als in sechs Monaten Anbietervergleich.
Steht bei euch etwas Ähnliches an?
Erzählt uns, woran ihr baut. Wir sagen euch ehrlich, ob wir das richtige Studio dafür sind.
Passende Leistung: Local LLMs