Das Vier-Augen-Prinzip für KI-Antworten: die unabhängige Prüfung in Norminator

Im August haben wir an dieser Stelle offengelegt, wie Norminator seine eigene Arbeit überprüfbar macht: mit Messungen statt Behauptungen und mit rund zwanzig Wächtern, die eingreifen, bevor etwas als erledigt dasteht, das nicht stattfand. Im Abschnitt über die Grenzen stand damals ein Satz, der seitdem nachwirkt: „Die Qualität des Inhalts bleibt eine Modellfrage“.

Seit dem 23. September gibt es darauf eine zweite Antwort — und Sie schalten sie selbst ein. Ist die unabhängige Prüfung an, nimmt eine zweite KI-Instanz jede Antwort ab, bevor sie bei Ihnen erscheint. Diese Instanz hat die Antwort nicht geschrieben und verteidigt sie nicht. Findet sie Fehler, wird korrigiert und erneut geprüft. Was die Prüfung besteht, sehen Sie. Was auch nach drei Runden nicht besteht, sehen Sie ebenfalls — ausdrücklich als nicht bestanden gekennzeichnet, mit den offenen Punkten darunter.

Im Qualitätsmanagement hat das einen Namen: das Vier-Augen-Prinzip. Wer etwas erstellt, gibt es nicht selbst frei. Dieser Beitrag zeigt, wie wir das Prinzip auf KI-Antworten übertragen haben, was Forschung und Normen dazu sagen — und wo es endet.

Ein Schalter im Eingabefeld

Unten links im Eingabefeld, direkt neben der Büroklammer, sitzt ein neuer Schalter: Unabhängige Prüfung, auf dem Handy kurz Prüfung. Wer mit der Maus darauf zeigt oder ihn mit der Tastatur ansteuert, bekommt die Erklärung:

Eine zweite, unabhängige KI prüft jede Antwort, bevor Sie sie sehen: Inhalt, Zahlen, Fundstellen und erzeugte Dateien. Findet sie Fehler, wird die Antwort korrigiert und erneut geprüft — höchstens drei Prüfrunden.

+ bessere Qualität · − deutlich mehr Zeit: Die Antwort erscheint erst, wenn sie geprüft ist, und jede Korrektur kostet eine weitere Runde.

Der Schalter gilt ab der nächsten Nachricht, bis Sie ihn wieder ausschalten. Ihr Browser merkt sich die Einstellung.

Der wichtigste Satz steht allerdings nicht in der Erklärung, sondern im Ablauf: Ob geprüft wird, entscheiden Sie — nicht das Modell. Die Prüfinstanz gab es schon vor dem Schalter: In unserer internen Werkstatt nimmt sie Code-Änderungen ab, und im Schwarm konnte Norminator einzelne Teilergebnisse prüfen lassen. Ob geprüft wurde, entschied dort in aller Regel das Modell, über ein Werkzeug. Mit dem Schalter ist das umgedreht: Die Anwendung selbst hält die Antwort fest und gibt sie erst frei, wenn geprüft ist — ganz gleich, welches Sprachmodell gerade antwortet. Nur an einer Stelle entscheidet das Modell mit: Stellt Norminator eine Rückfrage, wird in diesem Zug nicht geprüft (mehr dazu und zu Abbruch und Störung unten).

Was passiert, wenn der Schalter an ist

Von außen sieht eine geprüfte Antwort aus wie jede andere — sie kommt nur später und trägt die Tafel der Prüfung darunter. Innen läuft ein fester Ablauf in fünf Schritten.

1. Norminator arbeitet wie immer — die Antwort bleibt hinter dem Vorhang. Recherche, Denkfenster, Arbeitsplan, Schwarm: All das sehen Sie wie gewohnt live. Zurückgehalten wird, was zur Antwort gehört — der Text, erzeugte Dateien samt Begleittext, eine Rückfrage, ein Vorschlag für den Projektkontext. In der Schrittzeile erscheint: Antwort entsteht — sie erscheint nach der unabhängigen Prüfung. Denkfenster und Terminal laufen dabei weiter; dort können Entwürfe vorbeiziehen — als Antwort geliefert wird erst nach der Prüfung.

2. Die Prüfinstanz bekommt den Fall, nicht die Herleitung. Sie startet als eigener, frischer Lauf mit eigenem Auftrag. Sie bekommt Ihren Wortlaut, einen Auszug des Gesprächs (die Zusammenfassung und die letzten Nachrichten), Ihre aktuelle Nachricht samt Anhängen und mitgegebenen Projekt-Dateien — bei umfangreichen Unterlagen gekürzt, dazu unten mehr — und das Ergebnis: den Antworttext, wie Sie ihn sehen würden, und den Inhalt der erzeugten Dateien. Aus Word, PDF und PowerPoint liest sie den Text, aus Excel die Zellen samt Formeln. Was sie nicht bekommt: das Nachdenken des Autors, seine Zwischenschritte, die Ergebnisse seiner Werkzeuge. Sie soll prüfen, was herausgekommen ist — nicht nachvollziehen, warum es schlüssig klang.

3. Sie prüft nach festen Kriterien — mit Nachschlagewerken. Die Prüfinstanz hat eigene Werkzeuge: Sie kann die Wissensbasis, das Rechtskataster und die Gesetzestexte durchsuchen. Ihre Abnahmekriterien sind ausdrücklich festgelegt:

• Vollständigkeit: Erfüllt die Antwort den Auftrag ganz? Was Sie ausdrücklich verlangt haben — Form, Umfang, Empfänger, Sprache —, muss drin sein.
• Richtigkeit: Stimmen Aussagen und Fundstellen? Normen-, Gesetzes- und Zahlenangaben soll sie nachschlagen, wo Werkzeuge dafür da sind. Eine falsche Fundstelle ist ein Fehler.
• Zahlen: Summen und Prozentwerte soll sie nachrechnen, wo Ihre Unterlagen es erlauben — im Modell selbst, ohne eigenes Rechenwerkzeug. Bei Tabellen prüft sie die Formellogik.
• Schlüssigkeit: Gibt es Widersprüche, falsche Schlussfolgerungen, unbelegte Versprechen?
• Form: verständlich, gegliedert, in der verlangten Sprache. Selbst „ae“, „oe“ und „ue“ statt echter Umlaute gelten in einem deutschen Text als Fehler.

Was sie nachgeschlagen hat, steht als Schritt auf der Tafel — mit Suchbegriff oder Gesetz.

4. Das Urteil kommt in einem festen Format. Ein „sieht gut aus“ zählt nicht. Die Prüfinstanz gibt ihr Urteil in einem festen Schema ab: bestanden oder nicht bestanden, eine kurze Zusammenfassung und die Befunde — jeder soll Stelle, Schwere und einen konkreten Vorschlag nennen. Es gibt drei Schweregrade: Fehler, Warnung und Hinweis. Nach ihren Regeln hält nur ein Fehler die Antwort auf — etwas ist falsch, fehlt oder widerspricht dem Auftrag —, Geschmacksfragen sind Hinweise. Die Anwendung legt das Urteil streng aus: Meldet die Prüfinstanz „bestanden“, führt aber einen Fehler auf, gilt die Antwort als nicht bestanden. Und meldet sie „nicht bestanden“, wird korrigiert — auch ohne einzelnen Fehler-Befund.

5. Bestanden, korrigiert oder ehrlich vermerkt. Besteht die Antwort, erscheint sie — getippt wie immer. Besteht sie nicht, wird die Fassung verworfen; als Antwort haben Sie sie nie gesehen. Norminator bekommt die Befunde mit einem klaren Auftrag: genau diese Punkte korrigieren und die vollständige Antwort neu liefern — keine Flickliste, kein Verweis auf „oben“. Betroffene Dateien soll er korrigiert neu erzeugen und dabei ihre Namen behalten; Dateien, die er nicht neu erzeugt, gehen unverändert mit und werden mitgeprüft. Hält Norminator einen Befund für falsch, soll er das mit Begründung sagen, statt ihn still zu übergehen. Dann nimmt die Prüfinstanz die neue Fassung ab — als Ganzes, nicht nur die geänderten Stellen.

Ein gedachtes Beispiel

Sie bitten Norminator um eine Mail an Ihre Hausbank: Die Mail soll Ihre Quartalsplanung zusammenfassen und ausdrücklich die geplante Eigenkapitalquote nennen. Die Planung hängen Sie an. Die Prüfinstanz sieht Ihre Bitte, die angehängte Planung und den fertigen Mailentwurf. Angenommen, die Mail nennt beim Umsatz ein Plus von 12 Prozent, die Planung ergibt aber 9 Prozent, und die Eigenkapitalquote fehlt: Findet die Prüfinstanz das, sind es zwei Befunde der Schwere Fehler — mit der Stelle in der Mail und dem Vorschlag, die Zahl zu berichtigen und die Quote zu ergänzen. Norminator schreibt die Mail neu, die Prüfinstanz nimmt die neue Fassung ab, und als Antwort sehen Sie nur diese — mit einer Tafel darunter, die zeigt, dass es eine Korrektur gab.

Und bei Code?

Code-Dateien, die Norminator Ihnen im Chat erzeugt, prüft die Prüfinstanz wie jede andere Datei inhaltlich — einen Testlauf gibt es dabei nicht. Strenger ist die Fassung in unserer internen Werkstatt, in der Norminator an unserer eigenen Software mitarbeitet; für Kunden ist sie standardmäßig nicht freigeschaltet. Dort findet eine deterministische Vorprüfung Syntaxfehler ohne Modell, Tests sind Pflicht, wo das Repository eine pytest-Testsuite hat, ein „bestanden“, ohne gelesen, gesucht oder getestet zu haben, zählt nicht — und mit dem Schalter wird nur ein Stand gepusht, der genau so abgenommen wurde.

Was „unabhängig“ hier heißt

Unabhängigkeit ist bei uns keine Eigenschaft eines Modellnamens, sondern eine Anordnung. Vier Dinge trennen Autor und Prüfinstanz:

Die dritte Zeile ist wichtiger, als sie aussieht. Die Prüfinstanz kann nachschlagen, aber nichts verbessern. Korrigieren muss der Autor, prüfen muss die Prüfinstanz — dieselbe Rollenteilung wie im Audit: Der Auditor stellt fest, die auditierte Stelle korrigiert.

Alles, was kein Modell entscheiden soll, erledigt die Anwendung selbst: zurückhalten, freigeben, Runden zählen, Vermerke anhängen. Das ist Programmcode mit festen Regeln, kein Prompt. Und die erste Regel im Prompt der Prüfinstanz ist jedem Auditor vertraut: „Erst messen, dann urteilen. Was du nicht gelesen oder getestet hast, behauptest du nicht.“

Warum „prüf dich selbst“ nicht reicht

Die naheliegende Abkürzung wäre, das Modell zu bitten, seine Antwort noch einmal durchzusehen. Die Forschung der letzten Jahre spricht dagegen:

• Ohne Rückmeldung von außen gelingt die Selbstkorrektur schlecht. Huang und Kollegen zeigten auf der ICLR 2024, dass Sprachmodelle bei Aufgaben des logischen Schließens ohne externe Rückmeldung Mühe haben, ihre Antworten zu verbessern — und nach der „Selbstkorrektur“ mitunter schlechter abschneiden als vorher.
• Modelle bevorzugen ihre eigenen Texte. Panickssery, Bowman und Feng zeigten auf der NeurIPS 2024 an Textzusammenfassungen, dass Sprachmodelle als Bewerter ihre eigenen Texte gegenüber denen anderer Modelle und von Menschen bevorzugen. Ihre eigenen Texte erkennen sie ohne besonderes Training überzufällig gut — und beim Nachtrainieren zeigte sich: Je besser ein Modell seine eigenen Texte erkennt, desto stärker bevorzugt es sie.
• Was hilft, ist verlässliche Rückmeldung von außen. Eine Übersichtsarbeit von Kamoi und Kollegen (TACL 2024) kommt zu dem Schluss, dass Selbstkorrektur dort gut funktioniert, wo es verlässliche externe Rückmeldung gibt. Und die CRITIC-Studie von Gou und Kollegen (ICLR 2024) zeigt, dass Modelle ihre Antworten verbessern, wenn sie sie mit Werkzeugen überprüfen — so wie ein Mensch eine Suchmaschine zum Faktencheck nutzt.

Daraus folgt unser Aufbau: keine zweite Denkschleife desselben Laufs, sondern eine getrennte Instanz, die den Entwurf als fremde Arbeit ohne Herleitung vorgelegt bekommt — und die nachschlagen kann, statt sich nur zu erinnern.

Ehrlich dazu: Auch die Prüfinstanz ist ein Sprachmodell. Nutzen Autor und Prüfinstanz dasselbe Modell, hebt die Trennung allein die Vorliebe für eigene Texte nicht auf. Und dieselbe Übersichtsarbeit hält fest, dass es für Selbstkorrektur allein mit der Rückmeldung eines per Prompt angewiesenen Sprachmodells bis dahin keinen überzeugenden Beleg gab — außer bei Aufgaben, die sich dafür besonders eignen. Deshalb geben wir der Prüfinstanz Nachschlagewerke an die Hand statt nur ein zweites Bauchgefühl: Sie ist angewiesen, Fundstellen in Wissensbasis, Rechtskataster und Gesetzestexten nachzuschlagen und jede Beanstandung mit Stelle und Vorschlag zu versehen. Erzwungen wird das Nachschlagen nicht — ob und wonach sie nachgeschlagen hat, zeigen die Schritte auf der Tafel. Unfehlbar ist sie also nicht; deshalb gibt es einen Deckel, eine sichtbare Tafel und offene Punkte statt stiller Glättung. Und wie oft sie im Alltag anschlägt, können wir noch nicht mit Zahlen belegen: Der Schalter ist neu.

Was die Normen dazu sagen

Für Qualitätsmanager ist das alles nicht neu. Neu ist, dass wir es auf KI-Antworten anwenden:

• ISO 9001:2015, Abschnitt 8.6 verlangt, in geeigneten Phasen geplant zu verifizieren, ob die Anforderungen erfüllt sind. An den Kunden freigegeben wird erst, wenn diese Verifizierung zufriedenstellend abgeschlossen ist — es sei denn, eine befugte Stelle und gegebenenfalls der Kunde genehmigen es anders. Über die Freigabe ist dokumentierte Information aufzubewahren: der Nachweis der Konformität und wer freigegeben hat.
• Abschnitt 8.7 verlangt, nichtkonforme Ergebnisse zu kennzeichnen und zu steuern, damit sie nicht unbeabsichtigt geliefert werden — und nach einer Korrektur die Konformität erneut zu verifizieren.
• Abschnitt 9.2.2 c) verlangt, Auditoren so auszuwählen und Audits so durchzuführen, dass Objektivität und Unparteilichkeit des Auditprozesses sichergestellt sind. In der Praxis heißt das: Wer auditiert, auditiert in der Regel nicht den eigenen Bereich.
• ISO 19011:2018, der Leitfaden für Audits, zählt die Unabhängigkeit zu den Grundsätzen des Auditierens: Sie ist die Grundlage für die Unparteilichkeit des Audits und die Objektivität seiner Schlussfolgerungen; Auditoren sollen, wo immer praktikabel, von der auditierten Tätigkeit unabhängig sein. Feststellungen sollen sich allein auf Nachweise stützen.

In Norminator übersetzt:

Die Abschnitte beziehen sich auf ISO 9001:2015. Die Nachfolgerin ISO 9001:2026 ist am 16. September 2026 erschienen — was sich dort ändert, steht in unserem Revisions-Guide.

Was Sie auf dem Bildschirm sehen

Während geprüft wird, erscheint die Tafel Unabhängige Prüfung läuft — mit Uhr und den Schritten der Prüfinstanz. Jede Runde ist eine Zeile: Inhaltliche Prüfung, das Kennzeichen ANTWORT, Runde 1/3 und die Dauer. Vorn zeigt ein Zeichen den Stand:

Die Kopfzeile fasst zusammen, etwa Unabhängige Prüfung bestanden oder Unabhängige Prüfung bestanden nach 1 Korrektur. Ein Klick auf … Schritte klappt auf, was die Prüfinstanz nachgeschlagen hat — mit Suchbegriff oder Gesetz — und was sie gefunden hat. Die Tafel steht unter der Antwort und bleibt dort, auch nach dem Neuladen der Seite. So trägt jede geprüfte Antwort ihre Prüfspur mit sich.

Ob Ihre Antwort als Ganzes geprüft wurde, zeigt die Zeile Inhaltliche Prüfung mit dem Kennzeichen ANTWORT: Ein Haken dort heißt bestanden. Lässt Norminator im Schwarm einzelne Teilergebnisse prüfen, können auch diese Prüfungen auf der Tafel stehen, mit dem Kennzeichen TEILERGEBNIS — sie ersetzen die Prüfung der Antwort nicht.

Drei Runden — dann entscheiden Sie

Die Prüfung hat einen Deckel: höchstens drei Prüfrunden, also die erste Fassung und bis zu zwei Korrekturen. Das ist Absicht. Eine Schleife ohne Ende kostet Zeit, ohne zu garantieren, dass die Antwort irgendwann besteht — nach der dritten Runde ist der Mensch dran.

Drei Ausgänge gibt es neben dem Bestehen, und keiner wird verschwiegen:

• Nach drei Runden nicht bestanden: Sie bekommen die letzte Fassung mit dem Vermerk ⚠️ Unabhängige Prüfung: nach 3 Runden nicht bestanden. und den offenen Punkten darunter — verbunden mit der Bitte, sie selbst zu prüfen, bevor Sie die Antwort verwenden.
• Die Korrektur selbst fällt aus oder bleibt leer, etwa weil gerade kein Anbieter liefert: Sie bekommen die zuletzt geprüfte Fassung mit dem Vermerk ⚠️ Unabhängige Prüfung: nicht bestanden, und die Korrektur ist gescheitert. und den offenen Punkten.
• Die Prüfinstanz liefert kein Urteil: Norminator fasst einmal nach — das kostet keine Korrekturrunde. Kommt auch dann kein Urteil, erscheint die Antwort mit dem Vermerk ⚠️ Unabhängige Prüfung nicht abgeschlossen und ist ausdrücklich als nicht unabhängig geprüft gekennzeichnet.

Was die Prüfung gefunden hat, wird nicht geglättet und nicht weggelassen. Eine Antwort, die nicht bestanden hat, erscheint nie so, als hätte sie bestanden.

Wann nicht geprüft wird

In vier Fällen kommt die Prüfung nicht zu Ende:

• Rückfrage: Stellt Norminator eine Rückfrage, wird in diesem Zug nicht geprüft — auch nicht der Text, der mit der Frage kommt. Die Frage erscheint, geprüft wird die Antwort danach. Fragt Norminator erst während einer Korrektur zurück, erscheint die Frage — die durchgefallene Fassung nicht; was die Prüfung gefunden hat, steht auf der Tafel.
• Abbruch oder Störung: Brechen Sie mit dem roten Quadrat ab, bevor die Antwort erschienen ist, lädt die Seite nach einem kurzen Moment, was bis dahin gesichert wurde — ohne bestandene Prüfung; war noch nichts entstanden, sagt sie auch das. Bricht der Zug während einer Korrektur ab, ist das die zuletzt geprüfte Fassung, und die Tafel zeigt, dass sie nicht bestanden hat. Bricht der Zug wegen eines technischen Fehlers ab, bleibt stehen, was bis dahin entstanden war, mit einem ⚠️-Vermerk und dem Grund.
• Kein Urteil: Liefert die Prüfinstanz auch im zweiten Anlauf kein Urteil, kommt die Antwort mit dem Vermerk, dass sie nicht unabhängig geprüft ist.
• Im Betrieb abgeschaltet oder Notbetrieb: Hat der Betrieb die Prüfung vorübergehend abgeschaltet, wirkt der Schalter nicht. Das steht dann in der Schrittzeile und unter der Antwort: ⚠️ Unabhängige Prüfung gerade abgeschaltet. Ebenso im Notbetrieb, etwa wenn der Wissensdienst beim Start der Anwendung nicht geladen werden konnte — dort gibt es keine Prüfinstanz, und unter der Antwort steht ⚠️ Unabhängige Prüfung nicht möglich.

Was es kostet — und wann es sich lohnt

Die unabhängige Prüfung kostet Zeit. Die Antwort erscheint erst, wenn die Prüfung durch ist, und jede Korrektur kostet eine weitere Runde. Wie viel länger es dauert, hängt vom Umfang der Antwort und von der Zahl der Korrekturen ab. Eine Minutenangabe nennen wir bewusst nicht: Dafür haben wir noch nicht genug Fälle gemessen — und eine geschätzte Zahl wäre genau die Art Behauptung, die wir vermeiden.

Daraus folgt eine einfache Faustregel. Für eine schnelle Zwischenfrage lohnt sich der Schalter nicht — für ein Dokument, das Ihr Haus verlässt, schon. Typische Fälle für den Schalter:

• eine Mail an die Bank, einen Kunden oder eine Behörde,
• eine Pflichtenliste für das nächste Audit,
• eine Tabelle voller Zahlen, Summen und Prozentwerte,
• eine Verfahrensanweisung oder ein Bericht, der freigegeben werden soll.

Drei Hinweise holen mehr aus der Prüfung heraus:

1. Sagen Sie ausdrücklich, was Sie wollen. Die Prüfinstanz prüft gegen Ihren Wortlaut. Was Sie ausdrücklich verlangen — Form, Umfang, Empfänger, Sprache —, muss in der Antwort stehen. Was Sie nur meinen, kann sie nicht einfordern.
2. Hängen Sie die Unterlagen an. Nachrechnen kann die Prüfinstanz nur mit dem, was sie hat: Ihre Nachricht mit Anhängen und einen Auszug des Gesprächs. Die Kostenaufstellung, die Messreihe, die Liste — angehängt werden sie zur Prüfgrundlage. Ihr Profil, den Projektkontext und Ihre Erinnerungen sieht die Prüfinstanz nicht; Angaben daraus, auf die es ankommt, gehören in die Nachricht.
3. Schalten Sie gezielt. Der Schalter bleibt an, bis Sie ihn ausschalten. Für eine Reihe schneller Fragen also aus, für das Ergebnis, auf das es ankommt, an.

Wie Sie die Tafel im Detail lesen, steht im Handbuch unter 5.4 Die unabhängige Prüfung; wo der Schalter sitzt, unter 4.1 Das Eingabefeld.

Ehrliche Grenzen

Transparenz gehört auch dahin, wo die Prüfung endet. Sechs Grenzen benennen wir ausdrücklich:

Zwei KI-Instanzen sind immer noch KI. Die Prüfinstanz kann etwas übersehen, und sie kann sich in einem Befund irren; nachzuschlagen ist ihr Auftrag, erzwungen wird es nicht. Deshalb darf Norminator einem Befund mit Begründung widersprechen, statt blind zu „korrigieren“ — und deshalb sehen Sie auf der Tafel, wie geprüft wurde und was sie gefunden hat.

Sie prüft gegen das, was sie nachschlagen kann. Ihre Werkzeuge sind die Wissensbasis, das Rechtskataster und die Gesetzestexte. Im Internet sucht sie nicht. Aussagen, die auf einer Webrecherche beruhen, kann sie auf Stimmigkeit prüfen, aber nicht an der Quelle.

Was sie nicht sieht, kann sie nicht gegenprüfen. Ihr Profil, den Projektkontext und Ihre Erinnerungen bekommt nur Norminator. Stützt sich die Antwort auf eine Angabe daraus, kann die Prüfinstanz sie nicht nachprüfen — im ungünstigen Fall beanstandet sie sie als unbelegt.

Bei Tabellen sieht sie Formeln, nicht Ergebnisse. Aus einer Excel-Datei liest die Prüfinstanz bei Formelzellen die Formel, nicht den berechneten Wert. Sie prüft, ob die Rechenlogik stimmt — nachrechnen, was eine Formel am Ende ergibt, kann sie aus der Datei allein nicht.

Lange Unterlagen sieht sie in Auszügen. Vom Gespräch bekommt sie die Zusammenfassung und die letzten Nachrichten. Dieser Gesprächsauszug, Ihre Nachricht mit Anhängen und mitgegebene Projekt-Dateien teilen sich in der Grundeinstellung rund 30.000 Zeichen, grob zehn Seiten; gekürzt wird zuerst bei den mitgegebenen Projekt-Dateien, dann bei den Anhängen. Vom Ergebnis — Antworttext und erzeugte Dateien — liest sie bis rund 40.000 Zeichen. Was darüber hinausgeht, prüft sie nicht mit.

Die Freigabe bleibt Ihre. Unter jedem Chatfenster steht: „Norminator ist eine KI und kann Fehler machen. Bitte überprüfen Sie ihre Antworten.“ Das gilt mit Schalter genauso. Die unabhängige Prüfung ist eine zusätzliche Hürde für Fehler — die Verantwortung für das, was Sie freigeben, nimmt sie Ihnen nicht ab. So steht es auch im Handbuch.

Häufige Fragen

Was ist die unabhängige Prüfung in Norminator?

Ein Schalter im Eingabefeld. Ist er an, nimmt eine zweite, unabhängige KI-Instanz jede Antwort ab, bevor sie bei Ihnen erscheint: Sie prüft, ob Ihr Auftrag vollständig erfüllt ist und ob Aussagen, Fundstellen und Zahlen stimmen — mit Zugriff auf Wissensbasis, Rechtskataster und Gesetzestexte —, und sie liest erzeugte Dateien mit. Findet sie Fehler, wird die Antwort korrigiert und erneut geprüft — höchstens drei Prüfrunden.

Wie schalte ich die unabhängige Prüfung ein?

Mit dem Schalter „Unabhängige Prüfung“ unten links im Eingabefeld, direkt neben der Büroklammer; auf dem Handy heißt er kurz „Prüfung“. Er gilt ab der nächsten Nachricht, bis Sie ihn wieder ausschalten, und Ihr Browser merkt sich die Einstellung.

Prüft sich die KI da nicht einfach selbst?

Nicht im selben Lauf. Die Prüfinstanz arbeitet getrennt und mit eigenem Auftrag: Sie hat die Antwort nicht geschrieben, sieht nicht, wie sie entstanden ist, und bekommt nur Ihren Auftrag, die Unterlagen und das Ergebnis. Sie kann nachschlagen, aber nichts ändern — korrigieren muss der Autor, und die korrigierte Fassung wird erneut geprüft. Ob dahinter dasselbe Sprachmodell arbeitet, legen wir im Betrieb fest; die Trennung liegt im Ablauf, nicht im Modellnamen.

Was passiert, wenn die Prüfung Fehler findet?

Die Fassung wird verworfen, bevor sie als Antwort bei Ihnen erscheint. Norminator bekommt die Befunde, korrigiert sie und liefert die vollständige Antwort neu; dann wird wieder geprüft. Besteht auch die dritte Fassung nicht, bekommen Sie sie mit dem Vermerk „nach 3 Runden nicht bestanden“ und den offenen Punkten darunter.

Wie lange dauert eine geprüfte Antwort?

Länger als eine ungeprüfte: Die Antwort erscheint erst nach der Prüfung, und jede Korrektur kostet eine weitere Runde. Wie viel länger, hängt vom Umfang der Antwort und von der Zahl der Korrekturen ab. Für eine schnelle Zwischenfrage lohnt sich der Schalter nicht, für ein Dokument, das Ihr Haus verlässt, schon.

Wird wirklich jede Antwort geprüft?

Jede Antwort, solange der Schalter an ist — mit klar benannten Ausnahmen: Stellt Norminator eine Rückfrage, wird in diesem Zug nicht geprüft; geprüft wird die Antwort danach. Brechen Sie mit dem roten Quadrat ab, bevor die Antwort erschienen ist, oder bricht der Zug vorher wegen eines technischen Fehlers ab, wird gesichert, was bis dahin entstanden war — ohne bestandene Prüfung. Und liefert die Prüfinstanz auch im zweiten Anlauf kein Urteil, wird die Antwort ausdrücklich als nicht unabhängig geprüft gekennzeichnet. Ist die Prüfung im Betrieb gerade abgeschaltet oder läuft die Anwendung im Notbetrieb, steht das ebenfalls unter der Antwort.

Ersetzt die unabhängige Prüfung meine eigene Freigabe?

Nein. Auch zwei KI-Instanzen können sich irren. Die Prüfung ist eine zusätzliche Hürde für Fehler und macht sichtbar, wie geprüft wurde und was sie gefunden hat. Was Sie freigeben, verantworten weiterhin Sie.

Geprüft, nicht geglaubt

Im August lautete der rote Faden: gemessen, nicht behauptet. Die Wächter sichern seitdem den Vorgang — dass nichts als erledigt dasteht, was nicht stattfand. Die unabhängige Prüfung ergänzt das um den Inhalt: Eine zweite Instanz, die die Antwort nicht geschrieben hat, prüft sie nach festen Kriterien und mit Nachschlagewerken, bevor sie bei Ihnen erscheint. Was sie findet, wird korrigiert oder offen benannt.

Das ist kein neues Prinzip, sondern eines der ältesten der Qualitätssicherung: Wer etwas erstellt, gibt es nicht selbst frei. Neu ist nur, dass Sie es für jede KI-Antwort mit einem Klick einschalten können — und dass Sie danach an jeder geprüften Antwort sehen, was mit ihr geschehen ist.

Quellen

• Jie Huang u. a.: Large Language Models Cannot Self-Correct Reasoning Yet. ICLR 2024.
• Arjun Panickssery, Samuel R. Bowman, Shi Feng: LLM Evaluators Recognize and Favor Their Own Generations. NeurIPS 2024.
• Ryo Kamoi u. a.: When Can LLMs Actually Correct Their Own Mistakes? A Critical Survey of Self-Correction of LLMs. Transactions of the Association for Computational Linguistics, 2024.
• Zhibin Gou u. a.: CRITIC: Large Language Models Can Self-Correct with Tool-Interactive Critiquing. ICLR 2024.
• DIN EN ISO 9001:2015, Abschnitte 8.6, 8.7 und 9.2.2; DIN EN ISO 19011:2018, Abschnitt 4.