Definition
Strukturierte Praxis, bei der ein internes oder externes Team gezielt versucht, Schwachstellen, Fehlverhaltensweisen oder unerwünschte Outputs eines Systems zu provozieren. Ursprünglich aus der Informationssicherheit, heute Pflichtpraxis bei KI-Sicherheits-Evaluationen großer Anbieter (Anthropic, OpenAI, Google) und Hochrisiko-KI nach EU AI Act. Methodisch verwandt mit Penetration Testing und Mystery Shopping.
In der Praxis
Red Teaming klingt nach Spielerei der großen KI-Labore — dabei ist es methodisch nichts anderes als das, was ein guter Auditor tut: gezielt versuchen, das System zum Versagen zu bringen, bevor es die Realität tut. Der Unterschied zum klassischen Audit: Der Auditor prüft gegen Anforderungen, das Red Team prüft gegen Bosheit und Unvorhergesehenes. Für KI-Systeme heißt das konkret: Kann ich das Modell dazu bringen, vertrauliche Inhalte aus dem Wissensspeicher auszuspielen? Antwortet es auch dann plausibel, wenn die Frage unsinnig ist? Lässt es sich durch geschickte Formulierung über seine eigenen Leitplanken hinwegsetzen? In der Beratung empfehle ich Mittelständlern die abgespeckte Variante: kein eigenes Red-Team, sondern eine dokumentierte Testsession vor der Freigabe — zwei Personen, eine Stunde, ein Protokoll mit den fiesesten Fragen, die ihnen einfallen. Was dort bricht, bricht später nicht vor dem Kunden. Und bei eingekauften KI-Systemen gehört die Frage nach den adversariellen Tests des Anbieters in jeden Beschaffungsprozess.
Verwandte Begriffe
Häufige Fragen zu Red Teaming
Was unterscheidet Red Teaming von Penetration Testing und von einem internen Audit?
Drei Prüfansätze, drei Zielrichtungen. Das Penetration Testing kommt aus der Informationssicherheit: Es sucht technische Schwachstellen in IT-Systemen — offene Ports, fehlerhafte Rechte, ausnutzbare Software. Das interne Audit prüft Prozesse gegen festgelegte Anforderungen: Erfüllt der Ablauf die Norm, die Verfahrensanweisung, den Plan? Red Teaming dagegen zielt auf das Verhalten des Systems unter adversarialem Druck: Ein Team spielt den Angreifer oder Grenzfall-Nutzer und versucht, unerwünschte Ausgaben zu provozieren — bei KI-Systemen etwa das Umgehen von Schutzregeln, das Ausspielen vertraulicher Daten oder das Erzeugen schädlicher Inhalte. Die drei ergänzen sich: Ein KI-System kann audit-konform und penetrationssicher sein und trotzdem auf eine trickreiche Frage hereinfallen. Wer KI ernsthaft betreibt, braucht alle drei Perspektiven — in dieser Reihenfolge der Aufwand: Audit regelmäßig, Pentest bei der IT, Red Teaming vor Freigabe und nach wesentlichen Änderungen.
Ist Red Teaming gesetzlich vorgeschrieben?
Für die meisten Anwender nicht — aber für eine bestimmte Klasse von Modellen ist es ausdrücklich vorgesehen. Der EU AI Act verlangt in Art. 55 von Anbietern von KI-Modellen mit allgemeinem Verwendungszweck und systemischem Risiko unter anderem Modellbewertungen einschließlich adversarieller Tests — das ist die regulatorische Verankerung des Red Teaming. Diese Pflichten gelten seit dem 02.08.2025 und treffen die großen Modellanbieter, nicht den mittelständischen Anwender. Für Sie bleibt Red Teaming freiwillige Sorgfalt — mit zwei Ausnahmen im weiteren Sinn: Wer Hochrisiko-Systeme betreibt, muss ohnehin Robustheit und Genauigkeit sicherstellen, wozu strukturierte Fehlerprovokation faktisch gehört; und wer KI sicherheitsrelevant einsetzt, wird in Zulieferer-Audits zunehmend danach gefragt. Die pragmatische Lesart: Die Pflicht haben die Anbieter — die Frage „welche adversariellen Tests haben Sie durchgeführt?" gehört trotzdem in Ihre Beschaffung (Verordnung (EU) 2024/1689, Art. 55).
Wie führen wir als Mittelständler ein pragmatisches Red-Teaming für unsere KI-Anwendungen durch?
Klein anfangen, dokumentiert arbeiten. Erster Schritt: Zwei Personen benennen, die nicht am Aufbau des Systems beteiligt waren — frische Augen sind der halbe Effekt. Zweiter Schritt: Eine Testsession von einer Stunde mit drei Angriffsklassen — Vertraulichkeit (kann man interne Inhalte herauslocken, die nicht für jeden Nutzer bestimmt sind?), Robustheit (was passiert bei unsinnigen, widersprüchlichen oder boshaft formulierten Fragen?) und Leitplanken (lässt sich das System über geschickte Rollenspiel-Formulierungen zu Ausgaben bewegen, die es nicht machen soll?). Dritter Schritt: Protokoll mit Frage, Antwort und Bewertung — das ist dokumentierte Information und im Streitfall Ihr Sorgfaltsnachweis. Vierter Schritt: Befunde in Maßnahmen überführen und nach wesentlichen Änderungen am System wiederholen — Modellwechsel, neue Wissensbasis, neue Nutzergruppe. Das kostet einen Nachmittag pro Quartal und ist mehr, als die meisten Wettbewerber vorweisen können.