Warum euer AI-Pilot nie live ging
6 Min. Lesezeit ← Alle Beiträge
Die Demo lief. Die Geschäftsführung war beeindruckt. Acht Monate später ist es immer noch eine Demo. Am Modell liegt es fast nie.
Eine Demo beweist das Falsche
Ein Pilot zeigt, dass ein Modell unter selbst gewählten Bedingungen eine gute Antwort liefert. Der Produktivbetrieb stellt eine andere Frage: Was passiert bei der Eingabe, mit der niemand gerechnet hat, nachts um drei, wenn das Vorsystem ein leeres Feld zurückgibt. Piloten sind gebaut, um zu gelingen. Systeme sind gebaut, um vorhersehbar zu scheitern. Das sind zwei verschiedene Aufgaben — und die zweite ist die eigentliche Arbeit.
Am Arbeitsablauf anfangen, nicht am Modell
Die nützliche Frage ist nicht, welches Modell. Sie lautet: Welche Entscheidung, wie oft am Tag, von wem getroffen, kostet gerade die meiste Aufmerksamkeit. Ist das beantwortet, ergibt sich die Integration von selbst — wo sie sitzt, was sie anfassen darf, was eine falsche Antwort kostet. Wird es zu spät beantwortet, entsteht ein Chatbot, der seitlich ans Produkt geschraubt ist. Genau das sind die meisten AI-Piloten.
Die Auswertung ist das Lieferergebnis
Ohne Testfälle lässt sich eine Verbesserung nicht von einem Rückschritt unterscheiden. Also traut sich niemand mehr, etwas zu ändern, und der Pilot friert ein. Fünfzig echte Fälle mit bekanntem Soll-Ergebnis reichen für den Anfang. Sie müssen nicht elegant sein. Sie müssen echt sein und bei jeder Änderung durchlaufen. Das Team, das die hat, geht live. Das Team, das mit Screenshots argumentiert, nicht.
Damit rechnen, dass das Modell ersetzt wird
Was ihr heute wählt, wird binnen eines Jahres überholt oder neu bepreist. Das ist kein Problem, solange das Modell hinter einer Schnittstelle sitzt, die euch gehört: eure Prompts, euer Retrieval, eure Tools, eure Auswertung. Dann ist ein Wechsel eine Nachmittagsarbeit. Zieht ihr anbieterspezifisches Verhalten quer durch die Fachlogik, wird derselbe Wechsel zu einer Neuentwicklung, die ihr immer weiter verschiebt.
Wie Live-Gehen wirklich aussieht
Eine Entscheidung, durchgängig automatisiert, mit gemessener Fehlerquote und einem menschlichen Weg für die Fälle, die das System ablehnt. Das ist kleiner als die meisten Piloten und mehr wert als alle zusammen, weil es am Montag läuft, ohne dass jemand zuschaut. Damit live gehen, dann verbreitern. Die zweite Entscheidung kostet einen Bruchteil der ersten.
Steht bei euch etwas Ähnliches an?
Erzählt uns, woran ihr baut. Wir sagen euch ehrlich, ob wir das richtige Studio dafür sind.
Passende Leistung: AI Integration