Glossar zur Verantwortungsvollen KI

Mathematische Technik, die kalibriertes Rauschen hinzufügt, um die Privatsphäre einzelner Personen in Datensätzen oder Ausgaben zu schützen.

Strukturierter Vergleich der aktuell vorhandenen Kontrollen eines KI-Systems mit den von einem gewählten Framework oder einer Regulierung geforderten, um fehlende oder unzureichende Schutzmaßnahmen zur Behebung aufzudecken.

Funktionsübergreifendes Gremium, das das KI-Governance-Programm einer Organisation steuert – es bringt Stakeholder wie Recht, Sicherheit, Datenschutz, Risiko und technische Teams zusammen, um die Richtung vorzugeben, zu priorisieren und Entscheidungen zu überwachen (weiter gefasst als ein KI-Ethikrat).

Internationale Managementsystem-Norm für KI (AIMS), die Anforderungen festlegt, um KI-Systeme über ihren Lebenszyklus verantwortungsvoll zu steuern, zu managen und kontinuierlich zu verbessern; eine führende Grundlage für die Zertifizierung von KI-Governance.

EU-Vorschlag zur zivilrechtlichen Haftung für Schäden, die durch KI-Systeme verursacht werden.

Technische oder prozedurale Kontrollen, die die Ausgaben oder Handlungen eines KI-Systems innerhalb akzeptabler Grenzen halten.

Konformitätskennzeichnung, die anzeigt, dass ein Hochrisiko-KI-System die Anforderungen der EU-KI-Verordnung erfüllt.

Veränderung der statistischen Verteilung von Eingabedaten im Zeitverlauf gegenüber den Trainingsdaten, eine häufige Ursache für nachlassende Modellleistung (abzugrenzen vom Concept Drift, einer Änderung der Eingabe-Ausgabe-Beziehungen).

Risiko, das entsteht, wenn ein Angreifer das Modellverhalten über eine gezielt gestaltete Eingabe manipuliert, die die beabsichtigten Anweisungen überschreibt.

Fähigkeit, die Entscheidungen, Daten und Handlungen eines KI-Systems zu rekonstruieren und auf ihre Quellen zurückzuführen – Modelle, Datensätze, Prompts und menschliche Freigaben – eine Voraussetzung für Rechenschaft, Fehlersuche und Audits und eine besonders große Herausforderung für autonome Agenten.

Unbefugte Veränderung der Gewichte, Architektur oder Konfiguration eines Modells nach dem Training, sei es durch Kompromittierung der Lieferkette oder durch Insider.

Hypothetischer Fehlermodus, bei dem sich ein Modell während der Bewertung sicher verhält, aber unbeaufsichtigt andere Ziele verfolgt.

Bewertung, ob eine Kontrolle implementiert wurde und tatsächlich wirkt, um das anvisierte KI-Risiko zu mindern; zunehmend automatisiert durch die Analyse angebundener Quellen und Nachweise zur Beurteilung der Wirksamkeit.

Fachgebiet, das sich auf die Verhinderung unbeabsichtigten, schädlichen oder katastrophalen Verhaltens von KI-Systemen konzentriert.

Kategorie im MIT AI Risk Repository, die KI-generierte falsche oder irreführende Inhalte umfasst und zwischen unbeabsichtigter (Fehl-) und absichtlicher (Des-) Verbreitung unterscheidet.

Die Auswirkung von Unsicherheit auf Ziele, typischerweise ausgedrückt als Funktion von Eintrittswahrscheinlichkeit und Auswirkung (Rahmen nach ISO 31000 / ISO 42001, angepasst an KI-Schäden).

Strukturierte Grundlage aus Standards, Anforderungen und Best Practices, die eine Organisation zur Steuerung von KI übernimmt und anpasst – häufig aufbauend auf etablierten Frameworks (z. B. NIST AI RMF, ISO/IEC 42001) sowie rechtlichen Vorgaben und Branchenpraktiken.

Aufsichtsmodell, bei dem ein Mensch aktiv an den Entscheidungen eines KI-Systems beteiligt ist oder diese freigibt.

Anforderungen nach Art. 50 der EU-KI-Verordnung, KI-generierte oder manipulierte Inhalte (z. B. Deepfakes) gegenüber Nutzern offenzulegen.

Zyklus der kontinuierlichen Verbesserung, der ISO-Managementsystem-Normen zugrunde liegt, einschließlich ISO 42001.

Strukturierter Mechanismus (z. B. an Teams versandte Formulare) zur Erkennung und Registrierung von KI-Systemen und Anwendungsfällen in einer Organisation, einschließlich des Aufdeckens von Schatten-KI – der Einstiegspunkt, der das KI-Inventar speist.

Standardisiertes Dokument, das den vorgesehenen Einsatz, die Leistung, die Grenzen und die Evaluierungsergebnisse eines Modells beschreibt.

Risiko, das nach Anwendung von Kontrollen und Minderungsmaßnahmen verbleibt.

Angriff, der ermittelt, ob ein bestimmter Datensatz im Trainingsdatensatz eines Modells verwendet wurde.

Zentraler Katalog der KI-Systeme, Anwendungsfälle und Risikoklassifizierungen einer Organisation.

Einteilung von Personen anhand biometrischer Daten in Kategorien wie ethnische Herkunft, Geschlecht oder politische Meinung; nach der EU-KI-Verordnung eingeschränkt.

Angriff, der Trainingsdaten oder sensible Merkmale aus den Ausgaben eines Modells rekonstruiert.

Eingabe, die gezielt erstellt wird, um ein Modell zu einem Fehler zu verleiten (OWASP ML Top 10).

Governance-Mechanismus, der Personen schützt, die KI-bezogenes Fehlverhalten oder Risiken melden.

Jede am Lebenszyklus eines KI-Systems beteiligte Instanz: Designer, Entwickler, Betreiber, Nutzer oder Prüfer (Terminologie des NIST AI RMF).

GPAI-Modell, das einen Schwellenwert für hohe Wirkungsfähigkeit erreicht und zusätzlichen Pflichten der EU-KI-Verordnung unterliegt (Art. 51–55).

Risiko, dass ein KI-System über Trainingsdaten oder Modellausgaben Inhalte reproduziert oder erzeugt, die Urheber- oder geistige Eigentumsrechte Dritter verletzen – ein wachsendes Thema für verantwortungsvolle KI und Recht.

Einbettung erkennbarer Markierungen in KI-generierte Inhalte, um deren synthetischen Ursprung anzuzeigen.

Von KI erzeugte oder manipulierte synthetische Medien, die das Abbild oder Handeln einer realen Person fälschlich darstellen.

Standardisiertes Dokument, das die wichtigsten Details eines konkreten KI-Anwendungsfalls erfasst (Zweck, Daten, Stakeholder, Risiken, Kontrollen), um Inventar, Transparenz und Governance zu unterstützen – ergänzt Modell- und Systemkarten auf Anwendungsebene.

Mittelbare Diskriminierung, die auftritt, wenn eine neutrale Variable stark mit einem geschützten Merkmal korreliert.

Risikokategorie im MIT AI Risk Repository, die das Potenzial von KI beschreibt, das Aussterben der Menschheit oder einen dauerhaften Zusammenbruch der Zivilisation zu verursachen.

Widerstandsfähigkeit eines Systems gegenüber adversarialen Angriffen oder manipulierten Eingaben.

Strukturierte Bewertung der möglichen Auswirkungen eines algorithmischen Systems vor oder während des Einsatzes.

Kennzahl, die eine steigende Risikoexposition signalisiert, bevor eine tatsächliche Kontrollstörung eintritt.

Kontrollpunkt, der die Tools, Daten und Systeme vermittelt und überwacht, die ein KI-Agent über das Model Context Protocol (MCP) erreichen kann, Berechtigungsgrenzen durchsetzt und außerhalb des Scopes liegende Aktionen kennzeichnet, bevor sie eintreten.

Von der EU-KI-Verordnung geforderte Bewertung (Art. 27) der Auswirkungen eines Hochrisiko-KI-Systems auf die Grundrechte, für bestimmte Betreiber.

Risiko, dass Modelle vertrauliche oder personenbezogene Daten über ihre Ausgaben preisgeben.

Trainingstechnik, die Modelle anhand menschlicher Präferenzurteile feinabstimmt.

Großes Modell, das auf breiten Daten trainiert wurde und sich für eine Vielzahl nachgelagerter Aufgaben anpassen lässt.

Kontrollierte Umgebung, die das Testen innovativer KI-Systeme unter regulatorischer Aufsicht vor dem Markteintritt ermöglicht (EU-KI-Verordnung Art. 57–63).

Unabhängige Prüfung des Designs, der Daten und der Ergebnisse eines Algorithmus auf Verzerrungen, Sicherheit oder Compliance-Probleme.

Diskriminierung, die entsteht, wenn eine dem Anschein nach neutrale Vorgehensweise eine geschützte Gruppe unverhältnismäßig benachteiligt.

GRC-Modell, das operatives Management, Risiko-/Compliance-Aufsicht und unabhängige Auditfunktionen voneinander trennt.

Grundsatz, der verlangt, dass KI-Systeme und ihre Nutzung offengelegt, dokumentiert und für relevante Stakeholder verständlich sind.

Sicherstellung, dass die Ziele und Verhaltensweisen eines KI-Systems mit menschlichen Absichten und Werten übereinstimmen.

LLM-Risiko durch fehlende Validierung oder Bereinigung von LLM-Ausgaben vor der nachgelagerten Verwendung.

Der Teilbereich des KI-Risikomanagements, der sich auf den Schutz von KI-Systemen, Modellen und Daten vor böswilligen Angriffen (z. B. Data Poisoning, Modelldiebstahl, adversariale Manipulation) konzentriert – abzugrenzen vom breiteren Fokus der AI Safety auf unbeabsichtigte Schäden.

Verteidigungstechnik, bei der ein Modell mit adversarialen Beispielen trainiert wird, um seine Robustheit gegen Angriffe zu verbessern.

Adversariale Testübung, die Angriffe oder Missbrauch simuliert, um Schwachstellen eines Systems aufzudecken.

Disziplin (ursprünglich im Finanzsektor, nun auf KI angewandt), die Modellvalidierung, -überwachung und -kontrollen regelt.

Techniken, die auf Daten, Modelle oder Prozesse angewendet werden, um unfaire Verzerrungen in KI-Ergebnissen zu reduzieren.

Prozess der Bewertung und Überwachung von Risiken, die durch Anbieter, Lieferanten oder KI-Modellanbieter entstehen.

Übergreifende Praxis, KI so zu gestalten, zu entwickeln und einzusetzen, dass sie ethisch, sicher, fair und rechenschaftspflichtig ist.

Grundsatz, Datenschutz von Anfang an in die Systemarchitektur einzubetten, statt ihn nachträglich nachzurüsten.

Kontinuierliche Echtzeitüberwachung und -beschränkung eines eingesetzten KI-Systems oder Agenten, um es innerhalb genehmigter Grenzen zu halten – Prüfung von Berechtigungen, Tool-Nutzung und Verhalten zur Laufzeit sowie Kennzeichnung oder Blockierung von Scope-Verletzungen, bevor sie zu Vorfällen werden.

Zentrale KI-Governance-Funktion, die sicherstellt, dass KI-Systeme und -Prozesse fortlaufend geltende rechtliche, regulatorische und Framework-Anforderungen erfüllen – eine wesentliche Säule des KI-Governance-Betriebsmodells und ein Teilbereich von GRC.

Europäische Norm, die nach ihrer Verabschiedung eine Konformitätsvermutung mit den Anforderungen der EU-KI-Verordnung begründet.

Internationale Norm für Informationssicherheits-Managementsysteme (ISMS); in der KI-Governance untermauert sie die Sicherheit von Daten und Modellen und wird häufig zusammen mit ISO/IEC 42001 verfolgt.

Dokumentation ähnlich einer Modellkarte, die das Gesamtverhalten, die Schutzmaßnahmen und die Grenzen eines KI-Systems auf Produktebene beschreibt.

Phasen von Design und Datenerhebung über Einsatz und Monitoring bis zur Außerbetriebnahme (ISO 42001, NIST AI RMF).

Forschungsproblem der Beaufsichtigung von KI-Systemen, deren Fähigkeiten die eines menschlichen Bewerters übersteigen.

KI-System, das eigenständig planen, entscheiden und handeln kann (oft durch den Aufruf von Tools oder anderen Systemen), um Ziele mit begrenztem menschlichem Eingreifen zu verfolgen; seine Autonomie wirft besondere Herausforderungen für verantwortungsvolle KI in Bezug auf Aufsicht, Rechenschaft, Nachvollziehbarkeit und Scope-Kontrolle auf.

Automatisierte Verarbeitung personenbezogener Daten zur Bewertung oder Vorhersage von Aspekten einer Person (DSGVO Art. 4(4)).

Von einem Modell erzeugte Ausgabe, die sachlich falsch oder erfunden ist, aber als wahr dargestellt wird.

Aufkommende Führungsrolle, die für die unternehmensweite KI-Strategie, Ethik und Governance verantwortlich ist.

Technisches Werkzeug (z. B. Differential Privacy, Föderiertes Lernen), das das Datenschutzrisiko bei der Datenverarbeitung reduziert.

Person, die ein KI-System oder GPAI-Modell entwickelt und unter eigenem Namen in Verkehr bringt.

Die fortlaufende Praxis, die KI-Anwendungsfälle einer Organisation über ihren Lebenszyklus zu identifizieren, zu erfassen, zuzuordnen und zu steuern – die Grundlage für Inventar, Risikoklassifizierung und Compliance mit der EU-KI-Verordnung.

Formales System aus Richtlinien und Prozessen zur Steuerung von KI gemäß ISO/IEC 42001.

Fähigkeit eines Systems, unter wechselnden, adversarialen oder unerwarteten Bedingungen Leistung und Sicherheit aufrechtzuerhalten.

Unabhängige Organisation, die benannt ist, um die Konformität bestimmter Hochrisiko-KI-Systeme nach der EU-KI-Verordnung zu bewerten.

Ein KI-Modell, dessen interne Entscheidungslogik für Nutzer oder Prüfer nicht interpretierbar ist.

Fairness-Metrik, die gleiche Raten für richtig-positive und falsch-positive Ergebnisse über Gruppen hinweg verlangt.

Standard, der verlangt, dass Menschen echten, informierten Einfluss auf die folgenreichen Entscheidungen eines KI-Systems behalten.

Instanz in der Lieferkette, die nicht Anbieter oder Importeur ist und ein KI-System auf dem Markt bereitstellt.

Richtlinien und Kontrollen zur Steuerung von Verfügbarkeit, Integrität, Sicherheit und Nutzbarkeit der in KI-Systemen verwendeten Daten.

Formales internes Dokument, das die Regeln, Grundsätze, Rollen und Verantwortlichkeiten dafür festlegt, wie eine Organisation KI entwickelt, beschafft und nutzt – die praktische Formalisierung eines KI-Governance-Programms, die Leitlinien für Mitarbeitende umsetzbar macht.

Person, die das KI-Governance-Programm einer Organisation koordiniert und vorantreibt – Buy-in sichert, Geschäfts- und Governance-Ziele in Einklang bringt und den Fortschritt überwacht – ohne zwangsläufig jede einzelne Governance-Aufgabe selbst zu verantworten.

Angriff, der über gezielt gestaltete Nutzereingaben den verborgenen Prompt, die Anweisungen oder den vertraulichen Kontext eines Systems extrahiert.

Betrachtung von KI-Systemen als untrennbare Kombination aus Technologie, Menschen und organisatorischem Kontext.

Von der DSGVO vorgeschriebene Bewertung der Datenschutzrisiken bei risikoreichen Verarbeitungstätigkeiten, häufig kombiniert mit KI-Risikobewertungen.

Entscheidungen, die von einem KI-System mit wenig oder ohne menschliche Beteiligung getroffen werden, häufig verbunden mit Erklärungs- oder Widerspruchsrechten (vgl. DSGVO Art. 22).

Die Gesamtheit der laufenden Funktionen, Prozesse und Strukturen, die KI-Governance im Tagesgeschäft operationalisieren – typischerweise Use-Case-Management, Risiko- und Compliance-Management, Third-Party-Management, Sicherheit, Data Governance und Incident-Management.

Fähigkeiten, Wissen und Verständnis, die Anbieter, Betreiber und Nutzer in die Lage versetzen, fundierte Entscheidungen über KI zu treffen (ausdrückliche Pflicht der EU-KI-Verordnung, Art. 4).

Eine Richtlinie, ein Prozess oder eine technische Schutzmaßnahme, die eingerichtet wird, um ein bestimmtes Risiko auf ein akzeptables Maß zu steuern; der Grundbaustein jedes GRC-Programms.

Freiwilliges Framework des NIST (Funktionen: Govern, Map, Measure, Manage) zum Management von KI-Risiken.

Risiko von Angriffen zur Ressourcenerschöpfung gegen ein gehostetes Modell.

Angriff, der während des Trainings einen versteckten Auslöser einpflanzt, sodass sich ein Modell normal verhält, bis eine bestimmte Eingabe bösartiges Verhalten aktiviert.

Klassifizierung von KI-Anwendungen (z. B. geringes, begrenztes, hohes, inakzeptables Risiko), um die anwendbaren Kontrollen zu bestimmen.

Technik zum Umgehen der Sicherheitskontrollen eines KI-Modells, um verbotene Inhalte oder Verhaltensweisen zu erzeugen.

KI-Grundsatz, der verlangt, dass KI-Systeme Menschenrechte, demokratische Werte und Vielfalt achten.

Nach der EU-KI-Verordnung erforderliche Unterlagen (Anhang IV), die Design, Zweck und Risikokontrollen eines Hochrisiko-KI-Systems beschreiben.

Angriff, der die Funktionalität oder Parameter eines proprietären Modells durch wiederholte Abfragen über dessen API rekonstruiert oder stiehlt.

EU-Behörde, die für die Umsetzung der KI-Verordnung zuständig ist, insbesondere für die Aufsicht über KI-Modelle mit allgemeinem Verwendungszweck.