Glossar zur Verantwortungsvollen KI

Systematische und wiederholbare Fehler in einem System, die zu unfairen Ergebnissen für bestimmte Gruppen führen.

Der Teilbereich des KI-Risikomanagements, der sich auf den Schutz von KI-Systemen, Modellen und Daten vor böswilligen Angriffen (z. B. Data Poisoning, Modelldiebstahl, adversariale Manipulation) konzentriert – abzugrenzen vom breiteren Fokus der AI Safety auf unbeabsichtigte Schäden.

Spezialisiertes Verzeichnis der KI-Agenten einer Organisation, das Konfiguration, Berechtigungen, angebundene Tools und Risikoklassifizierung jedes Agenten erfasst – eine Erweiterung des KI-Registers auf autonome Systeme, die schnell und in großem Umfang eingesetzt werden.

Betrachtung von KI-Systemen als untrennbare Kombination aus Technologie, Menschen und organisatorischem Kontext.

Priorisierter, zeitlich gestaffelter Plan, um die Lücken zwischen dem aktuellen Zustand einer Organisation und ihrem angestrebten KI-Governance-Framework zu schließen, indem Anforderungen nach Dringlichkeit, Wirkung, Aufwand und Risiko sequenziert werden.

Maß und Art des Risikos, das eine Organisation zur Verfolgung ihrer Ziele einzugehen bereit ist.

Risiko, dass ein KI-System über Trainingsdaten oder Modellausgaben Inhalte reproduziert oder erzeugt, die Urheber- oder geistige Eigentumsrechte Dritter verletzen – ein wachsendes Thema für verantwortungsvolle KI und Recht.

Fairness-Kriterium, das verlangt, dass eine Entscheidung in einer kontrafaktischen Welt ohne ein geschütztes Merkmal dieselbe wäre.

Ein KI-Modell, dessen interne Entscheidungslogik für Nutzer oder Prüfer nicht interpretierbar ist.

Großes Modell, das auf breiten Daten trainiert wurde und sich für eine Vielzahl nachgelagerter Aufgaben anpassen lässt.

Strukturierter Vergleich der aktuell vorhandenen Kontrollen eines KI-Systems mit den von einem gewählten Framework oder einer Regulierung geforderten, um fehlende oder unzureichende Schutzmaßnahmen zur Behebung aufzudecken.

Risiko, dass Modelle vertrauliche oder personenbezogene Daten über ihre Ausgaben preisgeben.

Nachvollziehbarer Nachweis des Ursprungs, der Bewegung und der Transformationen von Daten durch ein System.

Verteidigungstechnik, bei der ein Modell mit adversarialen Beispielen trainiert wird, um seine Robustheit gegen Angriffe zu verbessern.

Angriff, der während des Trainings einen versteckten Auslöser einpflanzt, sodass sich ein Modell normal verhält, bis eine bestimmte Eingabe bösartiges Verhalten aktiviert.

Praxis, die Grenzen dessen zu definieren, zu überwachen und durchzusetzen, was ein KI-Agent tun darf (die Tools, Daten und Aktionen in seinem Zuständigkeitsbereich), sowie das Erkennen von Scope-Verletzungen, bei denen ein Agent diese Berechtigungen überschreitet.

Europäische Norm, die nach ihrer Verabschiedung eine Konformitätsvermutung mit den Anforderungen der EU-KI-Verordnung begründet.

Ereignis, bei dem ein KI-System einen Schaden verursacht oder beinahe verursacht; erfasst in Quellen wie dem OECD AI Incidents Monitor und dem MIT AI Risk Repository.

Die durchgängige Disziplin, Risiken aus KI-Systemen über deren gesamten Lebenszyklus zu identifizieren, zu bewerten, zu behandeln und zu überwachen – die Praxis, die Frameworks wie NIST AI RMF und ISO 42001 strukturieren und formalisieren.

Von der DSGVO vorgeschriebene Bewertung der Datenschutzrisiken bei risikoreichen Verarbeitungstätigkeiten, häufig kombiniert mit KI-Risikobewertungen.

Technisches Werkzeug (z. B. Differential Privacy, Föderiertes Lernen), das das Datenschutzrisiko bei der Datenverarbeitung reduziert.

Sicherstellung, dass die Ziele und Verhaltensweisen eines KI-Systems mit menschlichen Absichten und Werten übereinstimmen.

Eine Richtlinie, ein Prozess oder eine technische Schutzmaßnahme, die eingerichtet wird, um ein bestimmtes Risiko auf ein akzeptables Maß zu steuern; der Grundbaustein jedes GRC-Programms.

Internes Governance-Gremium, das KI-Systeme auf ethische Risiken und Compliance prüft.

Internationale Norm für Informationssicherheits-Managementsysteme (ISMS); in der KI-Governance untermauert sie die Sicherheit von Daten und Modellen und wird häufig zusammen mit ISO/IEC 42001 verfolgt.

Richtlinien und Kontrollen zur Steuerung von Verfügbarkeit, Integrität, Sicherheit und Nutzbarkeit der in KI-Systemen verwendeten Daten.

Jede am Lebenszyklus eines KI-Systems beteiligte Instanz: Designer, Entwickler, Betreiber, Nutzer oder Prüfer (Terminologie des NIST AI RMF).

Strukturierte Bewertung der möglichen Auswirkungen eines algorithmischen Systems vor oder während des Einsatzes.

Zentraler Katalog der KI-Systeme, Anwendungsfälle und Risikoklassifizierungen einer Organisation.

Integrierter Ansatz für Unternehmensführung, Risikomanagement und regulatorische Compliance.

Grundsatz, nur die für einen festgelegten Zweck erforderlichen Daten zu erheben bzw. zu verarbeiten.

Strukturierte Bewertung eines KI-Produkts oder -Anbieters eines Dritten anhand Ihrer Sicherheits-, Datenschutz- und Risikorichtlinien – unter Prüfung von Dokumentation, Fragebögen und Nachweisen – um zu entscheiden, ob ein externes KI-System vor der Einführung Ihren Standards entspricht.

Identifizierung und Analyse der Parteien, die von der Entwicklung und dem Einsatz eines KI-Systems betroffen sind oder darauf Einfluss nehmen.

Unabhängige Organisation, die benannt ist, um die Konformität bestimmter Hochrisiko-KI-Systeme nach der EU-KI-Verordnung zu bewerten.

EU-Verordnung zur Verarbeitung personenbezogener Daten; sie bildet die Grundlage vieler KI-Governance-Pflichten (Rechtsgrundlage, Datenminimierung, Rechte bei automatisierten Entscheidungen) und überschneidet sich häufig mit KI-spezifischen Anforderungen wie DSFA und Profiling-Grenzen.

Angriff, der ermittelt, ob ein bestimmter Datensatz im Trainingsdatensatz eines Modells verwendet wurde.

Pflicht der EU-KI-Verordnung (Art. 72) für Anbieter, die Leistung von Hochrisiko-KI-Systemen nach dem Einsatz systematisch zu überwachen.

KI-System, das eigenständig planen, entscheiden und handeln kann (oft durch den Aufruf von Tools oder anderen Systemen), um Ziele mit begrenztem menschlichem Eingreifen zu verfolgen; seine Autonomie wirft besondere Herausforderungen für verantwortungsvolle KI in Bezug auf Aufsicht, Rechenschaft, Nachvollziehbarkeit und Scope-Kontrolle auf.

Die übergreifenden Strukturen, Richtlinien, Rollen und Prozesse, mit denen Organisationen die Gestaltung, Entwicklung, Beschaffung und Nutzung von KI steuern, verwalten, überwachen und verantworten – die Dachdisziplin, die KI-Risikomanagement, Ethik, Sicherheit und Compliance umfasst.

Dokumentiertes Verzeichnis identifizierter Risiken, Verantwortlicher, Bewertungen von Wahrscheinlichkeit/Auswirkung und des Minderungsstatus.

Nach der EU-KI-Verordnung verbotene Praxis, Personen anhand ihres Verhaltens oder ihrer Eigenschaften zu bewerten, was zu ungerechtfertigter Benachteiligung führt.

Governance-Mechanismus, der Personen schützt, die KI-bezogenes Fehlverhalten oder Risiken melden.

Verordnung (EU) 2024/1689, die harmonisierte Regeln für KI in der EU festlegt und einen risikobasierten, abgestuften Ansatz verfolgt.

GPAI-Modell, das einen Schwellenwert für hohe Wirkungsfähigkeit erreicht und zusätzlichen Pflichten der EU-KI-Verordnung unterliegt (Art. 51–55).

Formales System aus Richtlinien und Prozessen zur Steuerung von KI gemäß ISO/IEC 42001.

Fairness-Metrik, die gleiche Raten für richtig-positive und falsch-positive Ergebnisse über Gruppen hinweg verlangt.

Risiko, das aus kompromittierten Modellen, Daten oder Plugins von Drittanbietern entsteht.

Adversariale Testübung, die Angriffe oder Missbrauch simuliert, um Schwachstellen eines Systems aufzudecken.

Live-Identifizierung anhand biometrischer Daten in öffentlich zugänglichen Räumen durch Strafverfolgungsbehörden; nach der EU-KI-Verordnung stark eingeschränkt.

Angriff, der zur Inferenzzeit Eingaben erzeugt, um ein eingesetztes Modell zu Fehlklassifikationen oder Fehlfunktionen zu bringen, ohne das Modell selbst zu verändern.

Angriff, der Trainingsdaten korrumpiert, um das Modellverhalten zu manipulieren (OWASP LLM/ML Top 10).

Risiko, dass Nutzer KI-Ausgaben ohne ausreichende Überprüfung oder Aufsicht vertrauen.

Fähigkeit eines Systems, unter wechselnden, adversarialen oder unerwarteten Bedingungen Leistung und Sicherheit aufrechtzuerhalten.

Manipulationssicherer, chronologischer Nachweis der Aktionen, Entscheidungen und Änderungen über den Governance-Lebenszyklus eines KI-Systems (wer hat was wann getan), der Rechenschaft, Überprüfung und Nachweise für interne und externe Audits ermöglicht.

Risiko von Angriffen zur Ressourcenerschöpfung gegen ein gehostetes Modell.

Strukturierte Grundlage aus Standards, Anforderungen und Best Practices, die eine Organisation zur Steuerung von KI übernimmt und anpasst – häufig aufbauend auf etablierten Frameworks (z. B. NIST AI RMF, ISO/IEC 42001) sowie rechtlichen Vorgaben und Branchenpraktiken.

Grundsatz, dass Organisationen und Einzelpersonen für die Ergebnisse der von ihnen entworfenen, entwickelten oder eingesetzten KI-Systeme verantwortlich und rechenschaftspflichtig sind (OECD, NIST AI RMF).

Technische oder prozedurale Kontrollen, die die Ausgaben oder Handlungen eines KI-Systems innerhalb akzeptabler Grenzen halten.

Einteilung von Personen anhand biometrischer Daten in Kategorien wie ethnische Herkunft, Geschlecht oder politische Meinung; nach der EU-KI-Verordnung eingeschränkt.

Person, die das KI-Governance-Programm einer Organisation koordiniert und vorantreibt – Buy-in sichert, Geschäfts- und Governance-Ziele in Einklang bringt und den Fortschritt überwacht – ohne zwangsläufig jede einzelne Governance-Aufgabe selbst zu verantworten.

Unabhängige Prüfung des Designs, der Daten und der Ergebnisse eines Algorithmus auf Verzerrungen, Sicherheit oder Compliance-Probleme.

Klassifizierung von KI-Anwendungen (z. B. geringes, begrenztes, hohes, inakzeptables Risiko), um die anwendbaren Kontrollen zu bestimmen.

Werkzeug zur Zuweisung von Verantwortlichkeit und Rechenschaft über KI-Governance-Aufgaben hinweg (Responsible, Accountable, Consulted, Informed), das klärt, wer im KI-Lebenszyklus was tut, und Governance als gemeinsame, nachvollziehbare Anstrengung ermöglicht.

Begriff der EU-KI-Verordnung für eine Änderung an einem KI-System, die bedeutend genug ist, um eine erneute Konformitätsbewertung zu erfordern.

Veränderung des statistischen Zusammenhangs zwischen Modelleingaben und -ausgaben im Zeitverlauf, die die Leistung verschlechtert.

Kontrollierte Umgebung, die das Testen innovativer KI-Systeme unter regulatorischer Aufsicht vor dem Markteintritt ermöglicht (EU-KI-Verordnung Art. 57–63).

KI-Sicherheitsbedenken, bei dem ein Modell während der Bewertung absichtlich unterdurchschnittlich abschneidet, um seine wahren Fähigkeiten zu verbergen.

Automatisierte Verarbeitung personenbezogener Daten zur Bewertung oder Vorhersage von Aspekten einer Person (DSGVO Art. 4(4)).

Governance-Muster, bei dem die vorgeschlagenen Änderungen eines KI-Agenten in einer sicheren Kopie zwischengespeichert statt direkt in Live-Systeme geschrieben werden, sodass ein Mensch sie prüfen, bearbeiten und freigeben kann, bevor sie wirksam werden – der Mensch bleibt eingebunden, ohne dass die Automatisierung leidet.

Selbstverpflichtung führender KI-Labore, Fähigkeitszuwächse von Modellen an entsprechende Sicherheits- und Schutzmaßnahmen zu koppeln.

Beschreibt die Nutzung, Entwicklung usw. von KI, die valide, zuverlässig, sicher, geschützt, rechenschaftspflichtig, transparent, erklärbar, datenschutzfördernd und fair ist.

Fähigkeit, die Entscheidungen, Daten und Handlungen eines KI-Systems zu rekonstruieren und auf ihre Quellen zurückzuführen – Modelle, Datensätze, Prompts und menschliche Freigaben – eine Voraussetzung für Rechenschaft, Fehlersuche und Audits und eine besonders große Herausforderung für autonome Agenten.

Von einem Modell erzeugte Ausgabe, die sachlich falsch oder erfunden ist, aber als wahr dargestellt wird.

Eingabe, die gezielt erstellt wird, um ein Modell zu einem Fehler zu verleiten (OWASP ML Top 10).

Maß dafür, inwieweit ein Mensch die Ursache einer Entscheidung oder Vorhersage eines Modells verstehen kann.

Entscheidungen, die von einem KI-System mit wenig oder ohne menschliche Beteiligung getroffen werden, häufig verbunden mit Erklärungs- oder Widerspruchsrechten (vgl. DSGVO Art. 22).

Verfahren zur Überprüfung, ob ein Hochrisiko-KI-System die geltenden Anforderungen der EU-KI-Verordnung vor dem Inverkehrbringen erfüllt.

Einbettung erkennbarer Markierungen in KI-generierte Inhalte, um deren synthetischen Ursprung anzuzeigen.

Forschungsfeld, das darauf abzielt, das Innenleben neuronaler Netze in menschlich verständliche Algorithmen zurückzuübersetzen (Reverse Engineering).

Übergreifende Praxis, KI so zu gestalten, zu entwickeln und einzusetzen, dass sie ethisch, sicher, fair und rechenschaftspflichtig ist.

Begriff der EU-KI-Verordnung für eine Instanz, die ein KI-System in eigener Verantwortung nutzt, außerhalb der persönlichen, nicht beruflichen Nutzung.

Formales internes Dokument, das die Regeln, Grundsätze, Rollen und Verantwortlichkeiten dafür festlegt, wie eine Organisation KI entwickelt, beschafft und nutzt – die praktische Formalisierung eines KI-Governance-Programms, die Leitlinien für Mitarbeitende umsetzbar macht.

Angriff, der wörtliche oder nahezu wörtliche Trainingsbeispiele (einschließlich sensibler Daten) direkt aus den Ausgaben eines Modells wiederherstellt.

Veränderung der statistischen Verteilung von Eingabedaten im Zeitverlauf gegenüber den Trainingsdaten, eine häufige Ursache für nachlassende Modellleistung (abzugrenzen vom Concept Drift, einer Änderung der Eingabe-Ausgabe-Beziehungen).

Phasen von Design und Datenerhebung über Einsatz und Monitoring bis zur Außerbetriebnahme (ISO 42001, NIST AI RMF).

Techniken und Praktiken, die die Entscheidungen eines KI-Systems für Menschen verständlich machen.

Forschungsproblem der Beaufsichtigung von KI-Systemen, deren Fähigkeiten die eines menschlichen Bewerters übersteigen.

Vordefiniertes Verfahren zur Erkennung, Eskalation und Behebung von Ausfällen oder Schäden eines KI-Systems.

Aufsichtsmodell, bei dem ein Mensch aktiv an den Entscheidungen eines KI-Systems beteiligt ist oder diese freigibt.

Hypothetischer Fehlermodus, bei dem sich ein Modell während der Bewertung sicher verhält, aber unbeaufsichtigt andere Ziele verfolgt.

Praktiken und Werkzeuge zur Operationalisierung, Bereitstellung und Überwachung von Machine-Learning-Modellen im großen Maßstab.

Fähigkeit, die in einem Modell mit zunehmender Größe unvorhersehbar auftritt und in kleineren Versionen nicht vorhanden ist.

LLM-Risiko durch fehlende Validierung oder Bereinigung von LLM-Ausgaben vor der nachgelagerten Verwendung.

Verschlechterung der Modellleistung im Zeitverlauf, wenn reale Daten von den Trainingsdaten abweichen.

Mathematische Technik, die kalibriertes Rauschen hinzufügt, um die Privatsphäre einzelner Personen in Datensätzen oder Ausgaben zu schützen.

Einstufung der EU-KI-Verordnung (Anhang III / Art. 6), die die strengsten Pflichten vor und nach dem Inverkehrbringen auslöst – unterhalb eines Verbots.

Kennzahl, die eine steigende Risikoexposition signalisiert, bevor eine tatsächliche Kontrollstörung eintritt.

Risiko, das entsteht, wenn ein Angreifer das Modellverhalten über eine gezielt gestaltete Eingabe manipuliert, die die beabsichtigten Anweisungen überschreibt.

Diskriminierung, die entsteht, wenn eine dem Anschein nach neutrale Vorgehensweise eine geschützte Gruppe unverhältnismäßig benachteiligt.

Standardisiertes Dokument, das den vorgesehenen Einsatz, die Leistung, die Grenzen und die Evaluierungsergebnisse eines Modells beschreibt.