Bestes KI-Modell oder besserer Kontext für die Büroarbeit?

Eine Mitarbeiterin lässt sich die Antwort auf eine Reklamation entwerfen. Sie bekommt einen sauber gebauten Text, freundlich im Ton, mit einer Kulanzregel, die es im Haus so nicht gibt. Ein größeres Modell mit besseren Prüfungsergebnissen hätte denselben Satz geschrieben, nur eleganter.

Auf dem Schreibtisch des Modells lag alles außer der Kulanzregel.

Seit ChatGPT im November 2022 öffentlich wurde, ist jede Modellgeneration in Prüfungen, im Programmieren und in langen Denkketten besser geworden. Im Büroalltag ist dieser Zugewinn schwerer zu spüren, weil dort selten die Denkleistung knapp ist. Wo ein stärkeres Modell trotzdem hilft und wo die Arbeit an einer anderen Stelle liegt, zeigt dieser Artikel an einem Projekt, das wir selbst gebaut haben.

Was ein besseres Modell im Büro tatsächlich ändert

Der Fortschritt ist real, und er zeigt sich auch am Schreibtisch. Aktuelle Modelle halten eine Anweisung mit mehreren Ausnahmen durch und verlieren in einem zwanzigseitigen Dokument nicht die Struktur. Sie formulieren auch ein deutsches Angebot, ohne dass jemand jeden zweiten Satz nachziehen muss. Wer es 2023 einmal versucht und danach aufgegeben hat, sollte es erneut versuchen; die Werkzeuge von damals sind kein Maßstab mehr. Verbessert hat sich die Verarbeitung dessen, was vorliegt. Was ein Modell über Ihren Betrieb weiß, hat sich nicht verändert.

Die Grenze dieses Fortschritts lässt sich inzwischen beziffern. Wie gut KI-Systeme Fragen zu wochenlanger Arbeit in derselben Umgebung beantworten, hat eine UCLA-Gruppe im Mai 2026 unter dem Namen LongMemEval-V2 geprüft. Spitzenmodelle, die diese Arbeit nicht einsehen können, kommen auf 14,1 % richtige Antworten – mit derselben Denkfähigkeit, mit der sie in anderen Prüfungen glänzen. Ein Standard-Werkzeug derselben Bauart, das die Verläufe als geordnete Dateien durchsuchen darf, erreicht 69,9 %.

Gemessen wurde in zwei künstlichen Testumgebungen auf Englisch, in denen weder Berechtigungen noch widersprüchliche Quellen noch Datenschutz eine Rolle spielen; auch der beste Aufbau liegt bei 74,9 %, jede vierte Antwort ist also falsch. Die vollständige Einordnung steht in Kontextmanagement im Unternehmen. Für die Modellwahl trägt schon dieser eine Befund: Der Abstand zwischen 14,1 % und 69,9 % entsteht nicht durch ein klügeres Modell, sondern durch Zugriff auf die eigene Vorgeschichte.

Ein Projekt, in dem dieser Unterschied sichtbar wurde

MAFU-SHERPA CNC Automation baut Roboterzellen, die Dreh- und Fräsmaschinen automatisch beladen. Für den Vertrieb dieser Anlagen ist ein Firmeneintrag wie „Maschinenbau, 50 bis 200 Mitarbeiter, Baden-Württemberg“ fast wertlos. Er sagt nichts darüber, welche CNC-Maschinen im Betrieb stehen, welche Werkstücke gefertigt werden und wie oft umgerüstet wird. Diese Angaben stehen in keiner Adressdatenbank. Sie stehen auf der Maschinenpark-Seite der Firmenwebsite, in Stellenanzeigen für CNC-Bediener und in Investitionsmeldungen.

Wir haben für dieses Unternehmen eine eigene Vertriebslösung gebaut, die genau diese Quellen liest und das Gefundene gegen die vorher festgelegten Merkmale eines passenden Betriebs prüft. Findet sie auf der Maschinenpark-Seite ein Bearbeitungszentrum, argumentiert der Entwurf mit flexibler Beschickung und zusätzlicher Spindelzeit. Findet sie offene Stellen für CNC-Bediener, spricht er von Entlastung der vorhandenen Schicht. Jeder Betrieb bekommt eine Passung zwischen 0 und 100 und eine Begründung, die die gefundenen Maschinen und Hinweise beim Namen nennt. Rund zwanzig Arbeitsschritte laufen dafür nacheinander, jeder einzeln abgerechnet. Ein Vertriebsmitarbeiter liest den Entwurf und schickt ihn ab.

Die Modelle darin sind allgemein verfügbare. Den Unterschied macht, dass ihnen die Website des Betriebs und die Merkmale eines guten Treffers vorliegen. Eine Regel aus unserer eigenen Arbeit: Zuerst schreibt jemand auf, woran ein passender Betrieb zu erkennen ist. Dann darf ein Werkzeug lesen. In der umgekehrten Reihenfolge kommt eine Zusammenfassung heraus, mit der im Vertrieb niemand etwas anfangen kann.

Was eine neue Kollegin in den ersten Wochen lernt

Wer neu anfängt, kann den Beruf und lernt trotzdem wochenlang dazu. Sie lernt, wo die aktuellen Preise stehen und welche Datei die alte ist. Sie lernt, dass ein bestimmter Kunde den Liefertermin immer schriftlich will. Sie lernt, welche Zusage im letzten Jahr Geld gekostet hat und seitdem niemand mehr gibt. Nichts davon steht in ihrem Arbeitsvertrag, und das meiste steht überhaupt nirgends. Nach einem halben Jahr arbeitet sie deutlich schneller als am ersten Tag, ohne dass sie klüger geworden wäre.

Ein Sprachmodell bringt den fachlichen Grundstock mit, und zwar in einer Breite, die keine einzelne Person hat. Den zweiten Teil bringt es nicht mit, und es sammelt ihn auch nicht von selbst ein.

Es beginnt jeden Tag als ersten Tag.

In-Context Learning: Lernen für die Dauer einer Aufgabe

Was ein Modell trotzdem anpassungsfähig macht, heißt In-Context Learning. Das Modell richtet sein Verhalten allein nach dem aus, was in der laufenden Anfrage steht, also nach den Regeln, Beispielen und Vorgängen, die jemand mitgegeben hat. Drei echte frühere Antworten wirken dabei meist stärker als eine Seite Stilvorgaben; im Fachjargon heißt das Few-Shot. Dauerhaft lernt das Modell dabei nichts. Nach der Aufgabe ist sein Zustand derselbe wie davor, und die nächste Anfrage beginnt wieder bei null.

Für die meisten Büroaufgaben reicht genau das. Eine Angebotsmail, die Zusammenfassung eines Protokolls oder die Vorbereitung eines Berichts sind Aufgaben, die auch eine sachkundige Person mit den Unterlagen vor sich erledigt.

Auch die Vertriebslösung von MAFU-SHERPA lernt dabei nichts dazu. Für jeden Betrieb werden dieselben Kriterien und dasselbe Produktwissen erneut mitgegeben. Dass sie trotzdem verlässlich läuft, liegt daran, dass beides aufgeschrieben ist und nicht im Kopf eines einzelnen Kollegen steckt.

Wie weit das trägt, ist an einem echten Arbeitsplatz gemessen worden. Erik Brynjolfsson, Danielle Li und Lindsey Raymond haben im Quarterly Journal of Economics die Einführung eines KI-Assistenten bei 5.172 Mitarbeitern im Kundenservice ausgewertet, mit im Schnitt 15 % mehr gelösten Fällen pro Stunde. Die weniger erfahrenen Mitarbeiter wurden schneller und besser, die erfahrensten kaum schneller. Am größten war der Effekt bei selteneren Problemen, zu denen es im Haus schon genügend frühere Fälle gab. Der Assistent hat dort weitergegeben, was im Betrieb bereits vorlag – und diese 15 % stammen aus einem Kundenservice und sind keine allgemeine Bürorechnung.

Warum mehr Kontext nicht automatisch besserer Kontext ist

Das Kontextfenster, also die Textmenge, die ein Modell für eine Anfrage gleichzeitig verarbeiten kann, ist in den letzten Jahren stark gewachsen. Die naheliegende Antwort darauf – alles hineinkippen – hilft weniger als erwartet. In derselben UCLA-Messung erreicht eine einfache automatische Suche über die Verläufe 42,8 %, während dieselben Verläufe als geordnete Dateien 69,9 % ergeben. Der wirksamste einzelne Baustein war dabei ein schlichtes Dokument, das den Ablauf beschreibt: Ließ man dieses Dokument weg, sanken die richtigen Antworten im großen Durchlauf von 70,1 auf 64,1 Prozent.

Dieselbe Auswahlarbeit steckt in der Vertriebslösung. Ausgewertet wird, was etwas über Maschinen, Serien und Kapazität aussagt; der Rest der Website bleibt außen vor.

Die Arbeit liegt also in der Auswahl. Welche Quelle führt, wer sie pflegt, wer sie sehen darf und wie schnell sie veraltet, wird vor dem Werkzeug entschieden. Das ist Kontextmanagement, und es ist der Teil der Einführung, den kein Modellwechsel abnimmt.

Diese Entscheidungen können Sie einem Anbieter abverlangen, bevor Sie ein Werkzeug einführen. Sechs Fragen decken sie ab, und keine davon setzt Softwarekenntnisse voraus.

• Welche Aufgabe genau soll das Werkzeug übernehmen, und woran merken Sie im Alltag, dass ein Ergebnis richtig ist?
• Aus welcher Quelle kommt jede Angabe, die im Ergebnis auftaucht?
• Wer im Haus pflegt diese Quelle, und was passiert, wenn diese Person zwei Wochen ausfällt?
• Wer darf welche Unterlagen sehen, und sieht das Werkzeug mehr als der Mitarbeiter, der es bedient?
• Wie alt darf eine Information sein, bevor sie nicht mehr verwendet werden darf?
• Lässt sich an einem fertigen Ergebnis nachvollziehen, worauf es sich stützt?

Continual Learning: was heute fehlt

Eine Kollegin leistet noch einen dritten Schritt: Sie behält eine Korrektur. Wer ihr einmal erklärt, dass ein Kunde keine Sammelrechnung will, muss es nicht in jeder Mail wiederholen. Genau das leisten heutige Modelle nicht. Was als Gedächtnisfunktion angeboten wird, ist Ablage und Wiederfinden. Ein Vermerk wird gespeichert und bei der nächsten Anfrage wieder mitgeschickt, während das Modell selbst unverändert bleibt.

Für dauerhaftes Dazulernen gibt es den Begriff Continual Learning: ein System, das aus dem laufenden Betrieb behält, was es korrigiert bekommen hat, ohne dass jemand dieselbe Korrektur erneut mitgibt. Ob und wann das als verlässliche Funktion in Bürowerkzeugen ankommt, ist offen, und es bleibt abzuwarten, ob es in der Form kommt, die man sich davon verspricht.

Für einen Betrieb wäre das ohnehin erst die halbe Antwort. Ein System, das unbemerkt dazulernt, lernt auch das Falsche dazu – eine Ausnahme, die nur einmal galt, oder eine Zusage, die ein Kollege irrtümlich gemacht hat. Brauchbar wird solches Lernen erst, wenn sichtbar ist, was gelernt wurde, und wenn es sich zurücknehmen lässt. Wie sich das technisch lösen lässt, geht über diesen Artikel hinaus.

Wann ein stärkeres Modell die richtige Antwort ist

Es gibt Aufgaben, bei denen die Modellwahl den Unterschied macht. Man erkennt sie daran, dass alle nötigen Informationen vorliegen und die Aufgabe trotzdem schwer bleibt.

• Ein langer Vertrag, in dem sich zwei Klauseln widersprechen und jemand die Folge benennen soll.
• Eine Auswertung, die aus vorliegenden Zahlen einen Zusammenhang herleiten soll, den niemand vorgegeben hat.
• Programmieraufgaben über mehrere Dateien hinweg, bei denen ein Fehler still falsche Ergebnisse liefert, statt aufzufallen.
• Texte in einer Sprache, in der im Haus niemand gegenlesen kann.

Die Faustregel dazwischen ist einfach. Könnte eine erfahrene Person die Aufgabe mit genau den Unterlagen erledigen, die auch das Modell bekommen hat, und das Ergebnis stimmt trotzdem nicht, dann lohnt ein stärkeres Modell. Müsste dieselbe Person vorher herumfragen, dann fehlt Kontext, und ein stärkeres Modell rät nur souveräner.

Ein Test, der einen Nachmittag kostet

Bevor Sie über Werkzeuge oder Tarife entscheiden, nehmen Sie echte Vorgänge aus der vergangenen Woche. In unseren Projekten arbeiten wir mit drei bis zehn Fällen, darunter mindestens ein ganz normaler, eine Ausnahme und einer, der schiefgegangen ist. Das ist die zweite Regel aus unserer Arbeit: Ein Werkzeug, das nur an den einfachen Fällen geprüft wurde, versagt später an genau den Fällen, wegen derer sich die Aufgabe lohnt.

Legen Sie zu jedem Fall alles zusammen, was eine erfahrene Person dafür gebraucht hätte, und geben Sie es dem Werkzeug, das Sie ohnehin schon haben. Stimmt das Ergebnis jetzt, ist die Aufgabe eine Frage der Versorgung; jemand muss dafür sorgen, dass diese Unterlagen jedes Mal vorliegen, ohne dass ein Mensch sie zusammensucht. Stimmt es weiterhin nicht, wissen Sie ebenfalls mehr, und die Frage nach dem Modell ist berechtigt.

Der Test kostet einen Nachmittag und keine Lizenz. Er ist derselbe erste Schritt, den wir für jede Aufgabe empfehlen, bei der KI im Unternehmen sinnvoll ansetzen soll.

Wenn Sie eine Aufgabe im Kopf haben, bei der ein KI-Werkzeug heute fast richtig liegt, lässt sich in einem Gespräch eingrenzen, woran die letzten Prozent hängen. Erstgespräch vereinbaren.