Softwarequalität: Was „alles geprüft“ wert ist

Im Projektgespräch meldet Ihr Dienstleister: Die Änderung ist fertig, alle Prüfungen sind bestanden. Sie wollen wissen, ob Ihr Team damit arbeiten kann.

Ein grüner Haken neben einer Prüfung bedeutet, dass sie keinen Fehler gefunden hat. Auf unserer eigenen Website hat eine solche bestandene Prüfung einen Fehler übersehen.

Der Knopf sah richtig aus, aber seine Animation war kaputt

Am 1. September 2026 änderten wir einen Knopf auf unserer Website. Danach prüften wir im Browser seine Schriftgröße, Farbe und Abstände. Alles stimmte. Der Knopf sollte beim Scrollen langsam eingeblendet werden. Um ihn leichter vermessen zu können, hatten wir dieses Einblenden für die Prüfung abgeschaltet. Allerdings hatte unsere Änderung genau das Einblenden beschädigt. Unter den Bedingungen unserer Prüfung war der Fehler deshalb unsichtbar.

Ein zweiter KI-Agent fand den Fehler anschließend beim Lesen des fertigen Codes. Unsere Messung bestätigte das Aussehen des Knopfs, ließ aber sein Verhalten beim Scrollen ungeprüft.

Lassen Sie sich den Ablauf so zeigen, wie Ihr Team ihn später benutzt.

Bei unserem Knopf hätte dazu gehört, durch die Seite zu scrollen und sein Einblenden zu beobachten.

Eine Prüfung muss den betreffenden Fehler erkennen können

Am selben Tag fiel uns eine zweite Lücke auf. Für unser eigenes Werkzeug, das fertige Softwareänderungen zusammenführt, hatten wir 13 automatische Prüfungen geschrieben. Sie sollten eine wichtige Reihenfolge absichern: Erst die Änderungen zusammenführen, dann das Ergebnis prüfen. In der falschen Reihenfolge wäre eine Änderung durchgegangen, die nie geprüft wurde.

Der prüfende Agent vertauschte diese Reihenfolge absichtlich. Trotzdem meldeten die Prüfungen weiter Erfolg. Sie erkannten den Fehler, den sie verhindern sollten, überhaupt nicht. Erst nachdem wir die fehlende Prüfung ergänzt hatten, wurde die falsche Reihenfolge erkannt.

Seit diesen beiden Fällen stellen wir den Fehler, vor dem eine Prüfung schützen soll, absichtlich nach und sehen nach, ob sie ihn erkennt. Außerdem achten wir darauf, dass die Vorbereitung der Prüfung das betroffene Verhalten nicht ausschaltet.

Was Sie im nächsten Projektgespräch fragen können

Sie müssen dafür keine Softwaretests lesen. Ihr Dienstleister sollte Ihnen an einem Beispiel erklären können, was abgesichert ist und wo noch eine Lücke besteht.

• „Zeigen Sie mir den Ablauf, wie unser Team ihn benutzt.“ Achten Sie darauf, ob dabei etwas vereinfacht oder abgeschaltet wird.
• „Welchen Fehler würde diese Prüfung erkennen?“ Die Antwort sollte einen konkreten Fehler nennen. Bei unserem Knopf wäre es das ausgefallene Einblenden gewesen.
• „Haben Sie ausprobiert, ob die Prüfung diesen Fehler bemerkt?“ Ihr Dienstleister kann das in einer getrennten Testumgebung zeigen.
• „Was wurde noch nicht geprüft?“ Die Antwort hilft Ihnen einzuschätzen, ob Sie die Änderung schon einsetzen wollen.

Wir würden eine Freigabe zurückstellen, wenn für einen wichtigen Ablauf nur die Meldung „alles bestanden“ vorliegt und niemand erklären kann, welcher Fehler damit erkannt würde. Eine Liste bestandener Prüfungen allein reicht dafür nicht.

Wer prüft und was geprüft wird, gehört zusammen

In beiden Fällen fand ein zweiter KI-Agent die Lücke. Im ersten Fall las er den Code, im zweiten stellte er den Fehler absichtlich nach. Das Vier-Augen-Prinzip bei KI-Arbeit hilft also auch dabei, eine ungeeignete Prüfung zu erkennen.

Wie gründlich eine Änderung geprüft werden sollte, hängt vom Risiko ab. Lassen Sie sich zeigen, ob die Prüfung den Ablauf erfasst, auf den Ihr Betrieb angewiesen ist, und welche Unsicherheit vor der Freigabe noch bleibt.