Glossar zur Verantwortungsvollen KI

Internationale Managementsystem-Norm für KI (AIMS), die Anforderungen festlegt, um KI-Systeme über ihren Lebenszyklus verantwortungsvoll zu steuern, zu managen und kontinuierlich zu verbessern; eine führende Grundlage für die Zertifizierung von KI-Governance.

Internes Governance-Gremium, das KI-Systeme auf ethische Risiken und Compliance prüft.

Grundsatz, der verlangt, dass KI-Systeme und ihre Nutzung offengelegt, dokumentiert und für relevante Stakeholder verständlich sind.

Person, die ein KI-System oder GPAI-Modell entwickelt und unter eigenem Namen in Verkehr bringt.

Fähigkeit, die Entscheidungen, Daten und Handlungen eines KI-Systems zu rekonstruieren und auf ihre Quellen zurückzuführen – Modelle, Datensätze, Prompts und menschliche Freigaben – eine Voraussetzung für Rechenschaft, Fehlersuche und Audits und eine besonders große Herausforderung für autonome Agenten.

Veränderung der statistischen Verteilung von Eingabedaten im Zeitverlauf gegenüber den Trainingsdaten, eine häufige Ursache für nachlassende Modellleistung (abzugrenzen vom Concept Drift, einer Änderung der Eingabe-Ausgabe-Beziehungen).

Liste verbotener Anwendungen nach Art. 5 der EU-KI-Verordnung, z. B. Social Scoring, manipulative KI, ungezieltes Auslesen von Gesichtsbildern zur Gesichtserkennung.

Strukturierte Grundlage aus Standards, Anforderungen und Best Practices, die eine Organisation zur Steuerung von KI übernimmt und anpasst – häufig aufbauend auf etablierten Frameworks (z. B. NIST AI RMF, ISO/IEC 42001) sowie rechtlichen Vorgaben und Branchenpraktiken.

Angriff, der Trainingsdaten oder sensible Merkmale aus den Ausgaben eines Modells rekonstruiert.

Richtlinien und Kontrollen zur Steuerung von Verfügbarkeit, Integrität, Sicherheit und Nutzbarkeit der in KI-Systemen verwendeten Daten.

Die durchgängige Disziplin, Risiken aus KI-Systemen über deren gesamten Lebenszyklus zu identifizieren, zu bewerten, zu behandeln und zu überwachen – die Praxis, die Frameworks wie NIST AI RMF und ISO 42001 strukturieren und formalisieren.

Selbstverpflichtung führender KI-Labore, Fähigkeitszuwächse von Modellen an entsprechende Sicherheits- und Schutzmaßnahmen zu koppeln.

Begriff der EU-KI-Verordnung für eine Änderung an einem KI-System, die bedeutend genug ist, um eine erneute Konformitätsbewertung zu erfordern.

Kontrollierte Umgebung, die das Testen innovativer KI-Systeme unter regulatorischer Aufsicht vor dem Markteintritt ermöglicht (EU-KI-Verordnung Art. 57–63).

Praxis, die Grenzen dessen zu definieren, zu überwachen und durchzusetzen, was ein KI-Agent tun darf (die Tools, Daten und Aktionen in seinem Zuständigkeitsbereich), sowie das Erkennen von Scope-Verletzungen, bei denen ein Agent diese Berechtigungen überschreitet.

Risiko, dass ein KI-System über Trainingsdaten oder Modellausgaben Inhalte reproduziert oder erzeugt, die Urheber- oder geistige Eigentumsrechte Dritter verletzen – ein wachsendes Thema für verantwortungsvolle KI und Recht.

Werkzeug zur Zuweisung von Verantwortlichkeit und Rechenschaft über KI-Governance-Aufgaben hinweg (Responsible, Accountable, Consulted, Informed), das klärt, wer im KI-Lebenszyklus was tut, und Governance als gemeinsame, nachvollziehbare Anstrengung ermöglicht.

Nach der EU-KI-Verordnung erforderliche Unterlagen (Anhang IV), die Design, Zweck und Risikokontrollen eines Hochrisiko-KI-Systems beschreiben.

Verordnung (EU) 2024/1689, die harmonisierte Regeln für KI in der EU festlegt und einen risikobasierten, abgestuften Ansatz verfolgt.

Internationale Norm für Informationssicherheits-Managementsysteme (ISMS); in der KI-Governance untermauert sie die Sicherheit von Daten und Modellen und wird häufig zusammen mit ISO/IEC 42001 verfolgt.

Technische oder prozedurale Kontrollen, die die Ausgaben oder Handlungen eines KI-Systems innerhalb akzeptabler Grenzen halten.

Risiko, dass Modelle vertrauliche oder personenbezogene Daten über ihre Ausgaben preisgeben.

Dokumentiertes Verzeichnis identifizierter Risiken, Verantwortlicher, Bewertungen von Wahrscheinlichkeit/Auswirkung und des Minderungsstatus.

Angriff, der Trainingsdaten korrumpiert, um das Modellverhalten zu manipulieren (OWASP LLM/ML Top 10).

Forschungsproblem der Beaufsichtigung von KI-Systemen, deren Fähigkeiten die eines menschlichen Bewerters übersteigen.

Klassifizierung von KI-Anwendungen (z. B. geringes, begrenztes, hohes, inakzeptables Risiko), um die anwendbaren Kontrollen zu bestimmen.

Risiko, das aus kompromittierten Modellen, Daten oder Plugins von Drittanbietern entsteht.

Anforderung der EU-KI-Verordnung (Art. 14), dass Hochrisiko-KI-Systeme so gestaltet sein müssen, dass eine wirksame menschliche Aufsicht möglich ist.

Phasen von Design und Datenerhebung über Einsatz und Monitoring bis zur Außerbetriebnahme (ISO 42001, NIST AI RMF).

Ein KI-Modell, dessen interne Entscheidungslogik für Nutzer oder Prüfer nicht interpretierbar ist.

GRC-Modell, das operatives Management, Risiko-/Compliance-Aufsicht und unabhängige Auditfunktionen voneinander trennt.

Prozess der Bewertung und Überwachung von Risiken, die durch Anbieter, Lieferanten oder KI-Modellanbieter entstehen.

In der EU niedergelassene Instanz, die ein KI-System eines Anbieters aus einem Nicht-EU-Land in Verkehr bringt.

Kategorie der EU-KI-Verordnung für Modelle mit erheblicher Allgemeinheit, die ein breites Aufgabenspektrum kompetent erfüllen können.

Hypothetischer Fehlermodus, bei dem sich ein Modell während der Bewertung sicher verhält, aber unbeaufsichtigt andere Ziele verfolgt.

Verteidigungstechnik, bei der ein Modell mit adversarialen Beispielen trainiert wird, um seine Robustheit gegen Angriffe zu verbessern.

Angriff, der über gezielt gestaltete Nutzereingaben den verborgenen Prompt, die Anweisungen oder den vertraulichen Kontext eines Systems extrahiert.

Vordefiniertes Verfahren zur Erkennung, Eskalation und Behebung von Ausfällen oder Schäden eines KI-Systems.

Standardisiertes Dokument, das den vorgesehenen Einsatz, die Leistung, die Grenzen und die Evaluierungsergebnisse eines Modells beschreibt.

Adversariale Testübung, die Angriffe oder Missbrauch simuliert, um Schwachstellen eines Systems aufzudecken.

Risiko von Angriffen zur Ressourcenerschöpfung gegen ein gehostetes Modell.

Angriff, der ermittelt, ob ein bestimmter Datensatz im Trainingsdatensatz eines Modells verwendet wurde.

Nicht autorisierte oder nicht genehmigte Nutzung von KI-Tools innerhalb einer Organisation, außerhalb der Governance-Aufsicht.

Forschungsfeld, das darauf abzielt, das Innenleben neuronaler Netze in menschlich verständliche Algorithmen zurückzuübersetzen (Reverse Engineering).

KI-Grundsatz, der verlangt, dass KI-Systeme Menschenrechte, demokratische Werte und Vielfalt achten.

Angriff, der zur Inferenzzeit Eingaben erzeugt, um ein eingesetztes Modell zu Fehlklassifikationen oder Fehlfunktionen zu bringen, ohne das Modell selbst zu verändern.

Einbettung erkennbarer Markierungen in KI-generierte Inhalte, um deren synthetischen Ursprung anzuzeigen.

Kennzahl, die eine steigende Risikoexposition signalisiert, bevor eine tatsächliche Kontrollstörung eintritt.

Automatisierte Verarbeitung personenbezogener Daten zur Bewertung oder Vorhersage von Aspekten einer Person (DSGVO Art. 4(4)).

Formales System aus Richtlinien und Prozessen zur Steuerung von KI gemäß ISO/IEC 42001.

Spezialisiertes Verzeichnis der KI-Agenten einer Organisation, das Konfiguration, Berechtigungen, angebundene Tools und Risikoklassifizierung jedes Agenten erfasst – eine Erweiterung des KI-Registers auf autonome Systeme, die schnell und in großem Umfang eingesetzt werden.

Diskriminierung, die entsteht, wenn eine dem Anschein nach neutrale Vorgehensweise eine geschützte Gruppe unverhältnismäßig benachteiligt.

Technisches Werkzeug (z. B. Differential Privacy, Föderiertes Lernen), das das Datenschutzrisiko bei der Datenverarbeitung reduziert.

Mathematische Technik, die kalibriertes Rauschen hinzufügt, um die Privatsphäre einzelner Personen in Datensätzen oder Ausgaben zu schützen.

Kontrollpunkt, der die Tools, Daten und Systeme vermittelt und überwacht, die ein KI-Agent über das Model Context Protocol (MCP) erreichen kann, Berechtigungsgrenzen durchsetzt und außerhalb des Scopes liegende Aktionen kennzeichnet, bevor sie eintreten.

Angriff, der während des Trainings einen versteckten Auslöser einpflanzt, sodass sich ein Modell normal verhält, bis eine bestimmte Eingabe bösartiges Verhalten aktiviert.

Eine Richtlinie, ein Prozess oder eine technische Schutzmaßnahme, die eingerichtet wird, um ein bestimmtes Risiko auf ein akzeptables Maß zu steuern; der Grundbaustein jedes GRC-Programms.

Zentrale KI-Governance-Funktion, die sicherstellt, dass KI-Systeme und -Prozesse fortlaufend geltende rechtliche, regulatorische und Framework-Anforderungen erfüllen – eine wesentliche Säule des KI-Governance-Betriebsmodells und ein Teilbereich von GRC.

Unabhängige Prüfung des Designs, der Daten und der Ergebnisse eines Algorithmus auf Verzerrungen, Sicherheit oder Compliance-Probleme.

KI-Sicherheitsbedenken, bei dem ein Modell während der Bewertung absichtlich unterdurchschnittlich abschneidet, um seine wahren Fähigkeiten zu verbergen.

Strukturierte Bewertung eines KI-Produkts oder -Anbieters eines Dritten anhand Ihrer Sicherheits-, Datenschutz- und Risikorichtlinien – unter Prüfung von Dokumentation, Fragebögen und Nachweisen – um zu entscheiden, ob ein externes KI-System vor der Einführung Ihren Standards entspricht.

Governance-Mechanismus, der Personen schützt, die KI-bezogenes Fehlverhalten oder Risiken melden.

Betrachtung von KI-Systemen als untrennbare Kombination aus Technologie, Menschen und organisatorischem Kontext.

Strukturierter Vergleich der aktuell vorhandenen Kontrollen eines KI-Systems mit den von einem gewählten Framework oder einer Regulierung geforderten, um fehlende oder unzureichende Schutzmaßnahmen zur Behebung aufzudecken.

Fairness-Kriterium, das verlangt, dass eine Entscheidung in einer kontrafaktischen Welt ohne ein geschütztes Merkmal dieselbe wäre.

Risiko, das nach Anwendung von Kontrollen und Minderungsmaßnahmen verbleibt.

Großes Modell, das auf breiten Daten trainiert wurde und sich für eine Vielzahl nachgelagerter Aufgaben anpassen lässt.

Systematische und wiederholbare Fehler in einem System, die zu unfairen Ergebnissen für bestimmte Gruppen führen.

Maß dafür, inwieweit ein Mensch die Ursache einer Entscheidung oder Vorhersage eines Modells verstehen kann.

Die Auswirkung von Unsicherheit auf Ziele, typischerweise ausgedrückt als Funktion von Eintrittswahrscheinlichkeit und Auswirkung (Rahmen nach ISO 31000 / ISO 42001, angepasst an KI-Schäden).

Zentraler Katalog der KI-Systeme, Anwendungsfälle und Risikoklassifizierungen einer Organisation.

Von der DSGVO vorgeschriebenes Verzeichnis, das dokumentiert, wie personenbezogene Daten verarbeitet werden (Zwecke, Datenkategorien, Empfänger, Schutzmaßnahmen); in der KI-Governance ergänzt es das KI-Register und DSFAs für datengetriebene Systeme.

Widerstandsfähigkeit eines Systems gegenüber adversarialen Angriffen oder manipulierten Eingaben.

Einteilung von Personen anhand biometrischer Daten in Kategorien wie ethnische Herkunft, Geschlecht oder politische Meinung; nach der EU-KI-Verordnung eingeschränkt.

Disziplin (ursprünglich im Finanzsektor, nun auf KI angewandt), die Modellvalidierung, -überwachung und -kontrollen regelt.

EU-Vorschlag zur zivilrechtlichen Haftung für Schäden, die durch KI-Systeme verursacht werden.

LLM-Risiko durch fehlende Validierung oder Bereinigung von LLM-Ausgaben vor der nachgelagerten Verwendung.

Funktionsübergreifendes Gremium, das das KI-Governance-Programm einer Organisation steuert – es bringt Stakeholder wie Recht, Sicherheit, Datenschutz, Risiko und technische Teams zusammen, um die Richtung vorzugeben, zu priorisieren und Entscheidungen zu überwachen (weiter gefasst als ein KI-Ethikrat).

Standard, der verlangt, dass Menschen echten, informierten Einfluss auf die folgenreichen Entscheidungen eines KI-Systems behalten.

GPAI-Modell, das einen Schwellenwert für hohe Wirkungsfähigkeit erreicht und zusätzlichen Pflichten der EU-KI-Verordnung unterliegt (Art. 51–55).

Beschreibt die Nutzung, Entwicklung usw. von KI, die valide, zuverlässig, sicher, geschützt, rechenschaftspflichtig, transparent, erklärbar, datenschutzfördernd und fair ist.

Kontinuierliche Echtzeitüberwachung und -beschränkung eines eingesetzten KI-Systems oder Agenten, um es innerhalb genehmigter Grenzen zu halten – Prüfung von Berechtigungen, Tool-Nutzung und Verhalten zur Laufzeit sowie Kennzeichnung oder Blockierung von Scope-Verletzungen, bevor sie zu Vorfällen werden.

Maß und Art des Risikos, das eine Organisation zur Verfolgung ihrer Ziele einzugehen bereit ist.

Künstlich erzeugte Daten, die zum Trainieren oder Testen von Modellen verwendet werden, oft zum Schutz der Privatsphäre oder zur Erweiterung von Datensätzen.

Technik zum Umgehen der Sicherheitskontrollen eines KI-Modells, um verbotene Inhalte oder Verhaltensweisen zu erzeugen.

Praktiken und Werkzeuge zur Operationalisierung, Bereitstellung und Überwachung von Machine-Learning-Modellen im großen Maßstab.

Der Teilbereich des KI-Risikomanagements, der sich auf den Schutz von KI-Systemen, Modellen und Daten vor böswilligen Angriffen (z. B. Data Poisoning, Modelldiebstahl, adversariale Manipulation) konzentriert – abzugrenzen vom breiteren Fokus der AI Safety auf unbeabsichtigte Schäden.

Zwischenstaatliche Standards (2019) für vertrauenswürdige KI: inklusives Wachstum, menschenzentrierte Werte, Transparenz, Robustheit und Rechenschaft.

Von der EU-KI-Verordnung geforderte Bewertung (Art. 27) der Auswirkungen eines Hochrisiko-KI-Systems auf die Grundrechte, für bestimmte Betreiber.

Eingabe, die gezielt erstellt wird, um ein Modell zu einem Fehler zu verleiten (OWASP ML Top 10).

Entscheidungen, die von einem KI-System mit wenig oder ohne menschliche Beteiligung getroffen werden, häufig verbunden mit Erklärungs- oder Widerspruchsrechten (vgl. DSGVO Art. 22).

Die übergreifenden Strukturen, Richtlinien, Rollen und Prozesse, mit denen Organisationen die Gestaltung, Entwicklung, Beschaffung und Nutzung von KI steuern, verwalten, überwachen und verantworten – die Dachdisziplin, die KI-Risikomanagement, Ethik, Sicherheit und Compliance umfasst.

KI-Technologie mit sowohl nützlichen als auch potenziell schädlichen Anwendungen, einschließlich ziviler und militärischer Nutzung.

Risiko, das entsteht, wenn ein Angreifer das Modellverhalten über eine gezielt gestaltete Eingabe manipuliert, die die beabsichtigten Anweisungen überschreibt.

Konformitätskennzeichnung, die anzeigt, dass ein Hochrisiko-KI-System die Anforderungen der EU-KI-Verordnung erfüllt.

Unabhängige Prüfung, die bestätigt, dass ein Modell wie beabsichtigt und innerhalb akzeptabler Risikogrenzen funktioniert.

Priorisierter, zeitlich gestaffelter Plan, um die Lücken zwischen dem aktuellen Zustand einer Organisation und ihrem angestrebten KI-Governance-Framework zu schließen, indem Anforderungen nach Dringlichkeit, Wirkung, Aufwand und Risiko sequenziert werden.

Instanz in der Lieferkette, die nicht Anbieter oder Importeur ist und ein KI-System auf dem Markt bereitstellt.

Akzeptable Abweichung von der Risikobereitschaft für bestimmte Ziele oder Risikoarten (Begriff des NIST AI RMF).

Aufkommende Führungsrolle, die für die unternehmensweite KI-Strategie, Ethik und Governance verantwortlich ist.