KI-Halluzination oder vergifteter Kontext?

Im Frühjahr 2025 hat Googles Modell Gemini 2.5 Pro das Spiel Pokémon Blau durchgespielt. Ein unabhängiger Entwickler hatte dafür ein Rahmenprogramm gebaut, das dem Modell bei jedem Zug den Spielstand, seine Ziele und seine eigenen Notizen mitgab. An einer Stelle lässt ein durstiger Wächter den Spieler erst vorbei, wenn er ihm ein Getränk aus einem Automaten bringt. Das Modell war über viele Stunden überzeugt, es brauche dafür Tee. Tee gibt es nur in einer späteren Neuauflage des Spiels.
Das Google-Team beschreibt im technischen Bericht zu Gemini 2.5 eine hartnäckigere Form desselben Problems und nennt sie „Context Poisoning“, auf Deutsch etwa Kontextvergiftung. Falsche Annahmen über den Spielstand stehen dann an mehreren Stellen des Kontexts zugleich, in den Zielen und in der Zusammenfassung des bisherigen Verlaufs. Das Modell verfolgt daraufhin unmögliche oder belanglose Ziele, und es dauert laut Bericht oft sehr lange, bis sich der Fehler wieder auflöst.
Das war ein Spiel. Im Büro läuft derselbe Vorgang leiser ab, und er kann mit einem Fehler beginnen, den jemand für eine Halluzination hält.
Halluzination oder falscher Kontext?
Von einer KI-Halluzination spricht man, wenn ein Sprachmodell eine Angabe erfindet, die in keiner Quelle steht: ein Urteil, das es nicht gibt, oder eine Artikelnummer im richtigen Format, die zu keinem Artikel gehört. Das Modell füllt eine Lücke mit etwas Plausiblem.
Bei falschem Kontext erfindet das Modell nichts. Es gibt wieder, was ihm vorliegt, und das stimmt nicht mehr, etwa eine veraltete Preisliste, eine Notiz aus einem früheren Gespräch oder eine Zusammenfassung, in der eine Ausnahme zur Regel geworden ist. Für den Leser sehen beide Fehler gleich aus. Sie sind sicher formuliert und passen zum Rest des Textes.
Der Unterschied entscheidet über die Abhilfe. Gegen eine Halluzination hilft es, dem Werkzeug die fehlende Quelle zu geben oder es anzuweisen, eine Lücke zu markieren, statt sie zu füllen. Bei falschem Kontext ist die Quelle schon da, und sie ist das Problem. Ein Wechsel zu einem stärkeren Modell behebt das nicht zuverlässig, denn es bekommt dieselbe Vorlage. Wann ein Modellwechsel lohnt, behandelt unser Artikel Bestes KI-Modell oder besserer Kontext.
Eine einfache Probe hilft bei der Unterscheidung. Fragen Sie das Werkzeug, woher die Angabe stammt, und sehen Sie an der genannten Stelle selbst nach. Steht die falsche Angabe in einem gespeicherten Vermerk, einem früheren Gespräch oder einer Datei aus Ihrer Ablage, liegt das Problem im Kontext. Findet sie sich in keiner Quelle, spricht das für eine Halluzination. Die Antwort des Werkzeugs ist dabei ein Hinweis und kein Beweis, und manchmal lässt sich nicht mehr klären, was ihm vorlag.
Wie aus einem Fehler eine Regel wird
Gefährlich wird falscher Kontext, wenn er sich selbst nachliefert. Ein Ergebnis wird gespeichert, die nächste Anfrage liest es als Tatsache, das nächste Ergebnis bestätigt es. Nach einigen Runden steht dieselbe Angabe an mehreren Stellen und sieht aus wie gesichertes Wissen, obwohl sie nur oft wiederholt wurde.
Im Büroalltag speisen drei Stellen diesen Kreislauf:
- Automatische Gedächtnisfunktionen. ChatGPT speichert laut OpenAIs Hilfeseite zum Gedächtnis auch ohne Aufforderung Details, die für spätere Gespräche nützlich sein könnten, und kann frühere Gespräche heranziehen. Wer ein Gespräch löscht, löscht damit nicht den Vermerk, der daraus entstanden ist.
- Notizen, die ein Agent über seine eigene Arbeit schreibt. Bei Gemini waren es die Ziele und die Zusammenfassung des Verlaufs, bei einem Agenten im Büro sind es Übergabenotizen, Gesprächsprotokolle und Statusvermerke.
- Die eigenen Arbeitsanweisungen und Wissensdateien eines Betriebs. Sie wirken geprüft, weil sie aufgeschrieben sind, und wer sie liest, hat wenig Anlass, sie zu hinterfragen.
Dass ein Modell einen frühen Fehler selten von selbst korrigiert, ist auch außerhalb von Spielen gemessen worden. Philippe Laban und Kollegen haben 2025 in LLMs Get Lost In Multi-Turn Conversation mehr als 200.000 simulierte Gespräche ausgewertet, in denen eine Aufgabe nach und nach statt auf einmal beschrieben wurde. Die Leistung sank im Mittel um 39 %. Die Modelle trafen früh Annahmen, hielten an ihnen fest und fanden nach einer falschen Abzweigung nicht mehr zurück. Untersucht wurden simulierte Nutzer und Modelle vom Anfang des Jahres 2025, keine Büroaufgaben.
Der Kreislauf lässt sich auch von außen anstoßen. Der Sicherheitsforscher Johann Rehberger hat im September 2024 gezeigt, dass eine Website, die ChatGPT im Auftrag eines Nutzers las, einen Eintrag in dessen Gedächtnis schreiben konnte. Der Eintrag enthielt Anweisungen und wirkte in jedem späteren Gespräch weiter. OpenAI hat den Weg geschlossen, über den dabei Daten abflossen. Dass fremde Inhalte das Gedächtnis beschreiben können, blieb nach Rehbergers Darstellung damals möglich, und er rät, die gespeicherten Erinnerungen regelmäßig durchzusehen.
Ein Fall aus unserer eigenen Arbeit
Den deutlichsten Fall haben wir in einer Datei gefunden, die wir selbst geschrieben hatten.
Seit August 2026 hielt eine Datei die Positionen fest, die CERTAINCE in seinen Texten vertritt. Agenten, die Artikel für diese Website entwerfen, bekamen sie als Grundlage für ihre Entwürfe. Die Datei sagte ausdrücklich, dass neue Inhalte die dort stehende Position übernehmen, und nannte zu jeder Position die Artikel, in denen sie schon vertreten wurde.
Eine dieser Positionen besagte, dass bei Büroarbeit die Information pro Aufgabe das Ergebnis begrenzt und nicht die Intelligenz des Modells. Als Beleg stand dort unser eigener Artikel zur Modellwahl. Dieser Artikel nennt selbst Aufgaben, bei denen ein stärkeres Modell die richtige Antwort ist; in der Datei war davon eine allgemeine Regel übrig geblieben. Jede Stelle, die eine Position übernahm, führte die Datei als weiteren Ort, an dem sie vertreten wird; bei dieser Position kam unter anderem unsere Startseite hinzu. Am Ende hielt die Datei fest, dass unsere Texte diese Positionen einheitlich vertreten. Gemessen hatte das niemand. Die Texte stimmten überein, weil sie aus derselben Vorlage stammten.
Wir haben die Datei am 6. Oktober 2026 durchgesehen und gekürzt, um Annahmen zu entfernen, die künftige Arbeit auf einen falschen Weg festlegen könnten. Seitdem steht dort, dass eigene veröffentlichte Texte belegen, was wir gesagt haben, und nicht, dass es stimmt. Eine alte Darstellung wird nicht beibehalten, nur weil sie einheitlich ist. Die früheren Pauschalsätze, etwa dass Kontext immer der begrenzende Faktor sei oder die Prüfung immer der Engpass, gelten ausdrücklich nicht mehr als feste Regeln.
Eine zweite Gewohnheit hilft uns, solche Quellen früher zu finden. Wenn wir in unserer Wissensablage eine Angabe korrigieren, weil eine Datei oder Nachricht eine falsche oder veraltete Fassung geliefert hat, vermerken wir diese Quelle bei der Korrektur. Allein am 6. Oktober entstanden neun Korrekturen mit einem solchen Vermerk. So sehen wir neben dem einzelnen Fehler auch, welche Datei wiederholt in die Irre führt.
Woran Sie vergifteten Kontext erkennen
- Das Werkzeug wiederholt mit Nachdruck eine Angabe, die im Haus niemand mehr belegen kann.
- Eine Korrektur hält bis zum Ende des Gesprächs und ist im nächsten wieder vergessen.
- Eine Ausnahme, die einmal für einen Kunden galt, taucht in Entwürfen für andere Kunden auf.
- Mehrere Ergebnisse stimmen überein, und keins nennt eine Quelle außerhalb der eigenen Ablage.
- Nach einem Modellwechsel bleibt derselbe Fehler.
Jedes dieser Zeichen spricht dafür, die Quelle zu suchen, statt den einzelnen Text nachzubessern.
Was gegen Kontextvergiftung hilft
Trennen Sie, was ein Werkzeug von selbst speichert, von dem, was in Ihrem Betrieb verbindlich ist. Automatische Gedächtnisfunktionen sind für persönliche Vorlieben bequem. Preise, Zusagen und Kundenregeln gehören in eine Ablage, in der jede Angabe ein Datum, eine Quelle und einen Verantwortlichen hat. In unserer eigenen Arbeit lassen wir das Konto-Gedächtnis von Claude deshalb ausgeschaltet und führen geschäftliche Angaben in datierten, versionierten Dateien. Wer das Gedächtnis eingeschaltet lässt, sollte die gespeicherten Einträge regelmäßig durchsehen.
Schreiben Sie Korrekturen in die Quelle und nicht in den Chat. Eine Korrektur im Gespräch hilft zuerst diesem Gespräch. Manche Werkzeuge übernehmen sie zwar ins Gedächtnis, doch steht der Fehler weiter in einer Wissensdatei oder einem gespeicherten Vermerk, kommt er mit einer späteren Anfrage zurück, bis er dort korrigiert ist.
Fangen Sie neu an, wenn sich ein Verlauf festgefahren hat. Nach den Messungen von Laban und Kollegen finden Modelle von einer frühen falschen Annahme im selben Verlauf selten zurück. Ein neues Gespräch mit einer vollständigen Beschreibung der Aufgabe beginnt ohne den alten Verlauf. Gespeicherte Erinnerungen und Dateien bekommt es allerdings wieder mit, deshalb gehört die Korrektur der Quelle dazu.
Lassen Sie Ergebnisse nicht ungeprüft in die Ablage zurückfließen. Neue Regeln und Entscheidungen, die ein Agent notiert, bleiben Entwürfe, bis die benannte verantwortliche Person sie bestätigt. Kleine Routine-Aktualisierungen, die sich rückgängig machen lassen, laufen ohne Einzelfreigabe, sobald sie sich nachweislich bewährt haben. Dann prüfen Stichproben. Halten Sie fest, wer einen Eintrag geschrieben hat: ein Mitarbeiter, ein Agent oder eine automatische Gedächtnisfunktion.
Verlangen Sie für jede Regel einen Beleg außerhalb des eigenen Textbestands. Dass drei eigene Dokumente dasselbe sagen, belegt nichts, wenn sie voneinander abgeschrieben sind. Eine Regel braucht eine Entscheidung mit Datum und Namen oder eine Messung.
Sehen Sie die Anweisungsdateien in festen Abständen durch und fragen Sie bei jedem Satz, ob er eine Entscheidung festhält, die jemand getroffen hat, oder eine Annahme, die sich durch Wiederholung festgesetzt hat. Wie eine solche Ablage aufgebaut ist und wer sie pflegt, beschreibt Kontextmanagement im Unternehmen.
Diese Pflege können wir für Sie übernehmen, wenn ein KI-Agent läuft, nach Stunden abgerechnet. Jeden Monat werten wir aus, wo Ergebnisse korrigiert wurden, und entwerfen die Korrektur der Quelle; neue Regeln und Entscheidungen bestätigt die benannte verantwortliche Person in Ihrem Betrieb. Jede Änderung prüfen wir an denselben echten Beispielen. Einen konkreten Ablauf besprechen
Was bedeutet der Begriff Halluzination im Zusammenhang mit KI?
Eine KI-Halluzination ist eine falsche Angabe, die ein Sprachmodell erzeugt, obwohl sie in keiner Quelle steht, zum Beispiel ein erfundenes Zitat oder eine plausible, aber falsche Zahl. Das Modell füllt eine Lücke, statt sie zu markieren. Davon zu unterscheiden ist falscher Kontext: Dort gibt das Modell eine Angabe richtig wieder, die ihm falsch vorgelegt wurde.
Was ist die Ursache für KI-Halluzinationen?
Sprachmodelle setzen Text so fort, wie er am wahrscheinlichsten weitergeht. Fehlt eine Information im Kontext, füllen sie die Lücke oft mit etwas Plausiblem, statt sie zu benennen. Viele Fehler, die als Halluzination gelten, haben eine zweite Ursache: Das Werkzeug folgt einer veralteten Datei, einem gespeicherten Vermerk oder einer früheren Zusammenfassung, die nicht mehr stimmt.
Wie lassen sich Halluzinationen bei ChatGPT vermeiden?
Geben Sie die Quellen mit, die für die Aufgabe nötig sind, und weisen Sie ChatGPT an, fehlende Angaben zu markieren, statt sie zu ergänzen. Sehen Sie außerdem nach, was ChatGPT gespeichert hat; in den Einstellungen unter Personalisierung lassen sich die Erinnerungen ansehen und löschen. Bei einem festgefahrenen Gespräch hilft ein neues Gespräch mit vollständiger Aufgabenbeschreibung oft mehr als weitere Korrekturen, sofern der Fehler nicht in einer gespeicherten Erinnerung steht.