Definition
ISO/IEC-Norm zur Bewertung der Robustheit neuronaler Netze gegen Eingabe-Störungen (Adversarial Inputs, Out-of-Distribution-Daten, Rauschen). Definiert Metriken und Testverfahren für die quantitative Robustness-Bewertung. Praktisch wichtig für sicherheitskritische KI-Anwendungen in der Luftfahrt (CAST-33), in Medizinprodukten und in autonomen Fahrzeugen (ISO 21448).
In der Praxis
Wer ein neuronales Netz nur auf seine Trefferquote am Testdatensatz prüft, kennt sein Modell nicht. Genau hier setzt die Robustheitsbewertung an: Wie verhält sich das Netz bei verrauschten Bildern, bei gezielt manipulierten Eingaben, bei Daten, die so im Training nie vorkamen? In der Beratung sehe ich zwei Fehlerbilder. Erstens: Robustheit wird mit Genauigkeit verwechselt. Ein Modell mit 99 Prozent Trefferquote kann an einem leicht veränderten Eingabebild spektakulär scheitern — die Trefferquote sagt darüber nichts. Zweitens: Der Out-of-Distribution-Fall fehlt im Testkonzept. Was passiert, wenn die Bildverarbeitung eine Variante sieht, die es beim Training nicht gab — erkennt das System „unbekannt" oder rät es selbstbewusst eine Klasse? Für sicherheitsrelevante Anwendungen — von der Luftfahrt über Medizinprodukte bis zum automatisierten Fahren — sind das keine akademischen Fragen, sondern Zulassungsthemen. Die Norm liefert dafür Metriken und Testverfahren, mit denen Robustheit quantifizierbar und damit auditierbar wird.
Verwandte Begriffe
Häufige Fragen zu ISO/IEC 24029-1
Was ist der Unterschied zwischen Robustheit, Genauigkeit und Bias bei neuronalen Netzen?
Genauigkeit misst, wie oft das Modell auf den bekannten Testdaten richtig liegt — die klassische Trefferquote. Robustheit misst, wie stabil das Modell bleibt, wenn die Eingaben gestört sind: Rauschen, Kompression, leichte Verschiebungen oder gezielt feindliche Manipulationen, sogenannte Adversarial Inputs. Bias schließlich beschreibt systematische Verzerrungen, etwa wenn ein Modell für bestimmte Gruppen oder Randfälle schlechter funktioniert. Alle drei Eigenschaften sind unabhängig voneinander: Ein genaues Modell kann fragil sein, ein robustes kann verzerrt sein. Für die Praxis heißt das: Eine vollständige Bewertung braucht alle drei Perspektiven. Die Robustheitsbewertung ist dabei die am häufigsten vergessene, weil sie im Standard-Testworkflow nicht vorkommt — sie muss bewusst geplant werden.
Welchen normativen und rechtlichen Rahmen gibt es für die Robustheit von KI-Systemen?
Die ISO/IEC 24029-1 beschreibt als technischer Report die Bewertung der Robustheit neuronaler Netze: Begriffe, Störszenarien und statistische Methoden, mit denen Robustheit messbar wird. Rechtlich verbindlich wird das Thema über den EU AI Act: Für Hochrisiko-KI-Systeme fordert Artikel 15, dass diese ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit erreichen und über ihren Lebenszyklus konsistent bleiben — einschließlich der Widerstandsfähigkeit gegen Fehler, Störungen und Angriffsversuche über die Eingabedaten. Ergänzend liefert die ISO/IEC 42001 den Managementsystem-Rahmen, in dem solche Bewertungen als wiederkehrender Prozess verankert werden. Für Sie heißt das: Auch wenn Ihre Anwendung kein Hochrisiko-System ist, bilden Norm und Artikel 15 den fachlichen Maßstab, an dem Sie sich im Streitfall messen lassen müssen (Verordnung (EU) 2024/1689, Art. 15).
Wie testen wir die Robustheit unseres KI-Modells praktisch?
Bauen Sie den Robustheitstest als eigenen Baustein neben dem Genauigkeitstest. Erstens: Störtests — versehen Sie Testdaten systematisch mit Rauschen, Kompression und Helligkeits- oder Kontraständerungen, wie sie im realen Betrieb auftreten, und messen Sie den Leistungsabfall. Zweitens: Out-of-Distribution-Tests — prüfen Sie mit Eingaben außerhalb des Trainingsbereichs, ob das Modell Unsicherheit erkennt oder selbstsicher falsch klassifiziert. Drittens, bei erhöhtem Risiko: Adversarial-Tests mit gezielt manipulierten Eingaben. Definieren Sie vorab Akzeptanzgrenzen — ab welchem Leistungsabfall gilt das Modell als nicht mehr einsetzbar? Dokumentieren Sie Testdaten, Störparameter und Ergebnisse so, dass ein Dritter die Bewertung nachvollziehen kann, und wiederholen Sie die Tests nach jedem Retraining. Verankern Sie das Vorgehen im KI-Managementsystem, damit es nicht vom einzelnen Entwickler abhängt.