Akzeptanzkriterien für KI-Aufgaben: prüfen, was sich nicht testen lässt
Im Lager eines Messebauers fotografiert jemand einen Behälter mit Leuchten. Die App schlägt Name, Beschreibung, Farbe, Kategorie und Einheit vor. Der Vorschlag sieht gut aus. Ob die Kategorie stimmt, weiß nur, wer das Material kennt. Die Software prüft, ob das Feld gefüllt ist. Sie prüft nicht, ob die Zuordnung so gemeint ist, wie Ihr Betrieb sie meint.
Bei Aufgaben, deren Ergebnis sich nicht automatisch testen lässt, muss die Antwort deshalb vorher feststehen: Woran merken Sie im Alltag, dass die Lösung richtig funktioniert?
Das ist ein Review-Engpass im Kleinen. Was keine Maschine entscheiden kann, braucht Kriterien, die vor dem ersten Lauf feststehen.
Wo automatische Prüfung endet
Beim automatisierten DATEV-Export für MAFU-SHERPA ist „richtig“ eine Formatfrage. Soll-Haben-Kennzeichen, Dezimalkomma und Spaltenreihenfolge müssen stimmen; am Ende nimmt DATEV die Datei an oder nicht. Für das Foto im Lager fehlt diese Instanz. Niemand außerhalb des Betriebs weiß, ob „Leuchte“ oder „Bühnentechnik“ die richtige Kategorie ist.
Akzeptanzkriterien zuerst
Der wichtigste Schritt passiert, bevor die KI loslegt. Schreiben Sie auf, woran Sie das fertige Ergebnis erkennen. Gute Kriterien sind konkret, überprüfbar und enthalten die Fälle, die schiefgehen können. Der Test ist streng: Zwei Personen sollten unabhängig zum selben Urteil kommen.
In XPO Inventory für den Messebauer NEO Expo steht diese Antwort im Datenmodell. Ein Foto darf Name, Beschreibung, Farbe, Kategorie und Einheit vorschlagen. Maße und Menge bleiben manuell, weil diese Werte für Inventarprozesse zu kritisch sind. Das Formular funktioniert auch ohne KI.
Ein Wunsch wie „Die Zuordnung soll korrekt sein“ wird erst als konkreter Satz prüfbar: Jeder Lieferantenartikel ist genau einer Artikelnummer zugeordnet, mehrdeutige Fälle werden gemeldet statt geraten.
Diese Fragen können Sie im Anbietergespräch selbst stellen:
- Welche Angaben darf die KI vorschlagen, welche trägt ein Mensch ein?
- Was passiert im unklaren Fall: raten, markieren oder melden?
- Woran sieht der Prüfer in einer Minute, dass etwas falsch ist?
- Wer gibt frei, bevor etwas an Kunden geht?
- Was funktioniert weiter, wenn die KI ausfällt?
Referenzbeispiele als Maßstab
Eine Regel aus unserer Arbeit: Kein Pilotprojekt ohne echte Fälle aus dem Betrieb. Nehmen Sie 3 bis 10 Stück, darunter einen normalen Fall, eine Ausnahme und einen, der schiefgegangen ist. Beim gemeinsamen Durchspielen zeigt sich, wo „richtig“ im Betrieb anders aussieht.
Diese Sammlung wird der Maßstab. „Die Demo läuft“ und „der Kunde findet es gut“ sind keine Prüfung; belastbar wird es mit festen Beispielen, einer Fehlerschwelle und festgehaltenen Korrekturen.
Stichproben und Evals statt Vollprüfung
Wenn ein Agent 100 Datensätze zuordnet oder 50 Texte erzeugt, ist die Einzelprüfung selten wirtschaftlich. Sie prüfen eine zufällige Auswahl, schätzen die Fehlerquote und entscheiden danach. Wiederholt sich die Aufgabe, lohnt sich ein Eval: feste Beispiele mit erwartetem Ergebnis für jeden neuen Lauf. Die Stichprobe ist allerdings nur dort die Obergrenze, wo sich „richtig“ nicht aus Rohdaten herleiten lässt, etwa bei Tonalität oder Ermessensfragen. Wo ein zweiter, unabhängiger Rechenweg existiert, prüft ein Agent alle 100 Fälle statt zehn; erschöpfende Prüfung war immer möglich und nie wirtschaftlich, und genau das hat sich geändert.
Probelauf, Rollout, Freigabe
Wirkungsvolle Aktionen laufen erst trocken. Ein Dry-Run zeigt als Vorschau, was der Agent tun würde, ohne es schon zu tun. Danach folgt ein kleiner Rollout und erst dann die Ausweitung.
Ergebnisse, über die ein Mensch urteilen muss, brauchen außerdem eine benannte Freigabe. Im Lager heißt das, dass der Foto-Vorschlag ein Entwurf bleibt, bis ihn jemand im Formular bestätigt. Eine bestimmte Person hat anhand der Kriterien geprüft und zeichnet ab. Genau dort entsteht Verantwortung.
Wann sich der Aufwand lohnt
Nicht jede Aufgabe braucht den vollen Apparat. Je höher die Fehlerkosten und je häufiger die Wiederholung, desto mehr Struktur lohnt sich. Das Generative-KI-Profil des NIST-Rahmenwerks für KI-Risiken hält im Leitfaden von Juli 2024 dasselbe fest: Verschiedene Anwendungen verdienen unterschiedlich viel Aufsicht und Prüfung. Eine einmalige interne Notiz braucht kein Eval. Eine wiederkehrende Datenübernahme in die Buchhaltung schon.
Woran merke ich, dass eine KI-Aufgabe wirklich fertig ist?
Daran, dass Sie es vorher aufgeschrieben haben. Legen Sie fest, welche Angaben die KI vorschlagen darf, was ein Mensch einträgt und was in einem unklaren Fall passiert. In XPO Inventory bleiben Maße und Menge deshalb manuell: Der Foto-Vorschlag füllt die unkritischen Felder, und die kritischen Werte trägt weiterhin eine Person ein.
Was gehört in gute Akzeptanzkriterien für eine KI-Aufgabe?
Ein konkretes, überprüfbares Zielbild, die wichtigen Sonderfälle und eine Regel für Mehrdeutigkeit. Dazu gehört, wer das Ergebnis freigibt und woran die Freigabe hängt. Der Prüfstein: Zwei Personen sollten unabhängig voneinander zum selben Urteil kommen. „Soll korrekt sein“ besteht ihn nicht, denn darunter versteht jeder etwas anderes.
Wie prüfe ich 100 Ergebnisse, ohne alle zu lesen?
Sie prüfen eine zufällige Stichprobe, schätzen die Fehlerquote und entscheiden damit über das Gesamtergebnis. Wiederholt sich die Aufgabe, wird daraus ein Eval mit festen Beispielen, das bei jedem Lauf mitläuft. Aktionen mit Wirkung nach außen laufen erst als Probelauf, bis die Stichproben über mehrere Läufe stabil bleiben.