Der saubere Pilot: So bekommt Dein KI-Test ein klares Ja oder Nein

Drei Wochen sind eine kleine Strecke und Du hast sie geschafft. Wir haben den ehrlichen Kassensturz gemacht, mit vier Fragen die richtige Aufgabe gefunden und einen belastbaren Business Case dafür gebaut. Der Plan steht. Jetzt kommt der Moment, an dem aus dem Plan eine Antwort werden muss.

Genau hier gehen die meisten KI-Projekte verloren. Nicht, weil der Pilot scheitert, sondern weil niemand sauber sagen kann, ob er erfolgreich war. „Läuft eigentlich ganz gut" ist keine Entscheidungsgrundlage, sondern ein Dauerprovisorium.

Willkommen zu Teil 4 der Serie: „Vom Tool zum Ergebnis – Wie KI in Deinem Unternehmen messbar wird".

Der Aha-Effekt: Ein Pilot ohne Stopp-Regel ist kein Pilot

Ein Test, der nie endet, ist kein Test, sondern ein schleichender Rollout. Genau das passiert in den meisten Betrieben. Das Tool wird eingeführt, die Begeisterung trägt ein paar Wochen, dann läuft es eben mit. Niemand entscheidet aktiv über die Fortführung, niemand schaltet es ab, niemand misst nach. Ein sauberer Pilot definiert deshalb vor dem Start, wann er aufhört: Durch Erfolg, durch Misserfolg oder schlicht durch Zeit.

Drei Festlegungen vor dem Kickoff

Bevor das erste Teammitglied das neue Tool öffnet, müssen drei Dinge klar sein. Wer sie hinterher diskutiert, hat keinen Piloten, sondern eine Hoffnung.

Das Zeitfenster: Setze einen klaren Anfangs- und Endpunkt, üblich sind vier bis acht Wochen. Lang genug, um belastbare Daten zu sammeln, kurz genug, damit der Schwung nicht verloren geht. Open-ended-Pilote werden zu Dauerprovisorien. Nach dem Endtermin wird entschieden, nicht verlängert.

Die Erfolgskriterien: Übersetze den Zielwert aus dem Business Case in zwei oder drei harte Zahlen, die am Stichtag erreicht sein müssen. „Bearbeitungszeit unter 14 Minuten pro Vorgang" ist ein Erfolgskriterium. „Wir sind alle zufrieden" ist keins. Werden die Kriterien getroffen, geht es in den Rollout. Werden sie nicht getroffen, ist die nächste Frage offen, nicht vorweggenommen.

Die Abbruchkriterien: Definiere die Bedingungen, unter denen Du den Piloten vorzeitig beendest. Wiederkehrende Datenschutzverstöße, eine Fehlerquote über einer vorher gesetzten Schwelle, ein Akzeptanzproblem im Team, das den Test verzerrt. Wer die Stopp-Regel erst im laufenden Pilot aushandelt, hält an Dingen fest, die längst gescheitert sind.

Diese drei Festlegungen passen auf eine halbe Seite. Sie sind die Versicherung gegen das gefährlichste Pilot-Ergebnis von allen: Das unklare Mittelmaß.

Welche Daten gehören in den Piloten?

Ein häufiger Stolperstein gerade im Mittelstand: Der Pilot startet direkt mit echten Kunden- oder Mitarbeiterdaten, weil „nur damit ist es realistisch". Das stimmt fachlich oft, datenschutzrechtlich selten. Drei einfache Regeln helfen.

1. Wo es geht, mit anonymisierten oder synthetischen Daten starten, zumindest in den ersten zwei Wochen.
2. Wenn echte personenbezogene Daten unvermeidbar sind, vor dem Pilot den Auftragsverarbeitungsvertrag prüfen und die Datenschutzbeauftragte aktiv einbinden, nicht hinterher.
3. Den Pilot-Datensatz bewusst klein halten und nach dem Test sauber löschen. Ein Pilot, der mit einem Bußgeldbescheid endet, hat seine Erfolgskriterien sehr deutlich verfehlt.

Warum die schwierigste Entscheidung „Stopp" heißt

Wenn ein Pilot „so halb funktioniert", ist die menschlich naheliegende Reaktion, einfach noch zwei Wochen zu verlängern, vielleicht wird es ja noch. Das ist fast immer die falsche Entscheidung. Ein Tool, das nach acht Wochen seine Kriterien nicht erfüllt, macht auch in der zwölften Woche keinen Quantensprung. Die Stärke eines guten Piloten liegt nicht darin, dass er erfolgreich endet, sondern darin, dass er eine klare Antwort liefert. Manchmal heißt diese Antwort „Ja, ausrollen". Manchmal „Andere Aufgabe, neuer Versuch". Beides ist Erfolg. Schwebezustand ist es nicht.