Glossar zur Verantwortungsvollen KI

Künstlich erzeugte Daten, die zum Trainieren oder Testen von Modellen verwendet werden, oft zum Schutz der Privatsphäre oder zur Erweiterung von Datensätzen.

Priorisierter, zeitlich gestaffelter Plan, um die Lücken zwischen dem aktuellen Zustand einer Organisation und ihrem angestrebten KI-Governance-Framework zu schließen, indem Anforderungen nach Dringlichkeit, Wirkung, Aufwand und Risiko sequenziert werden.

Disziplin (ursprünglich im Finanzsektor, nun auf KI angewandt), die Modellvalidierung, -überwachung und -kontrollen regelt.

Jede am Lebenszyklus eines KI-Systems beteiligte Instanz: Designer, Entwickler, Betreiber, Nutzer oder Prüfer (Terminologie des NIST AI RMF).

Technisches Werkzeug (z. B. Differential Privacy, Föderiertes Lernen), das das Datenschutzrisiko bei der Datenverarbeitung reduziert.

Akzeptable Abweichung von der Risikobereitschaft für bestimmte Ziele oder Risikoarten (Begriff des NIST AI RMF).

Formales internes Dokument, das die Regeln, Grundsätze, Rollen und Verantwortlichkeiten dafür festlegt, wie eine Organisation KI entwickelt, beschafft und nutzt – die praktische Formalisierung eines KI-Governance-Programms, die Leitlinien für Mitarbeitende umsetzbar macht.

Dokumentation oder Artefakte (Logs, Berichte, Testergebnisse, Freigaben), die belegen, dass eine Kontrolle vorhanden und wirksam ist oder dass eine Governance-Anforderung erfüllt wurde; die belegende Grundlage für Audits und Konformitätsbewertungen.

Identifizierung und Analyse der Parteien, die von der Entwicklung und dem Einsatz eines KI-Systems betroffen sind oder darauf Einfluss nehmen.

Live-Identifizierung anhand biometrischer Daten in öffentlich zugänglichen Räumen durch Strafverfolgungsbehörden; nach der EU-KI-Verordnung stark eingeschränkt.

Standard, der verlangt, dass Menschen echten, informierten Einfluss auf die folgenreichen Entscheidungen eines KI-Systems behalten.

Selbstverpflichtung führender KI-Labore, Fähigkeitszuwächse von Modellen an entsprechende Sicherheits- und Schutzmaßnahmen zu koppeln.

Verschlechterung der Modellleistung im Zeitverlauf, wenn reale Daten von den Trainingsdaten abweichen.

In der EU-KI-Verordnung definiertes Ereignis (Art. 3(49)) mit Tod, schwerem Schaden, Störung kritischer Infrastruktur oder Verletzung von Grundrechten im Zusammenhang mit einem KI-System, das eine Meldepflicht auslöst.

KI-Grundsatz, der verlangt, dass KI-Systeme Menschenrechte, demokratische Werte und Vielfalt achten.

Forschungsfeld, das darauf abzielt, das Innenleben neuronaler Netze in menschlich verständliche Algorithmen zurückzuübersetzen (Reverse Engineering).

Verordnung (EU) 2024/1689, die harmonisierte Regeln für KI in der EU festlegt und einen risikobasierten, abgestuften Ansatz verfolgt.

Sicherstellung, dass die Ziele und Verhaltensweisen eines KI-Systems mit menschlichen Absichten und Werten übereinstimmen.

Zentraler Katalog der KI-Systeme, Anwendungsfälle und Risikoklassifizierungen einer Organisation.

Formales System aus Richtlinien und Prozessen zur Steuerung von KI gemäß ISO/IEC 42001.

Mittelbare Diskriminierung, die auftritt, wenn eine neutrale Variable stark mit einem geschützten Merkmal korreliert.

Strukturierte Bewertung der möglichen Auswirkungen eines algorithmischen Systems vor oder während des Einsatzes.

Kategorie im MIT AI Risk Repository, die KI-generierte falsche oder irreführende Inhalte umfasst und zwischen unbeabsichtigter (Fehl-) und absichtlicher (Des-) Verbreitung unterscheidet.

Angriff, der über gezielt gestaltete Nutzereingaben den verborgenen Prompt, die Anweisungen oder den vertraulichen Kontext eines Systems extrahiert.

Diskriminierung, die entsteht, wenn eine dem Anschein nach neutrale Vorgehensweise eine geschützte Gruppe unverhältnismäßig benachteiligt.

Veränderung des statistischen Zusammenhangs zwischen Modelleingaben und -ausgaben im Zeitverlauf, die die Leistung verschlechtert.

Betrachtung von KI-Systemen als untrennbare Kombination aus Technologie, Menschen und organisatorischem Kontext.

Zentrale KI-Governance-Funktion, die sicherstellt, dass KI-Systeme und -Prozesse fortlaufend geltende rechtliche, regulatorische und Framework-Anforderungen erfüllen – eine wesentliche Säule des KI-Governance-Betriebsmodells und ein Teilbereich von GRC.

Verteidigungstechnik, bei der ein Modell mit adversarialen Beispielen trainiert wird, um seine Robustheit gegen Angriffe zu verbessern.

Die Auswirkung von Unsicherheit auf Ziele, typischerweise ausgedrückt als Funktion von Eintrittswahrscheinlichkeit und Auswirkung (Rahmen nach ISO 31000 / ISO 42001, angepasst an KI-Schäden).

KI-Technologie mit sowohl nützlichen als auch potenziell schädlichen Anwendungen, einschließlich ziviler und militärischer Nutzung.

Großes Modell, das auf breiten Daten trainiert wurde und sich für eine Vielzahl nachgelagerter Aufgaben anpassen lässt.

Risiko, dass ein KI-System über Trainingsdaten oder Modellausgaben Inhalte reproduziert oder erzeugt, die Urheber- oder geistige Eigentumsrechte Dritter verletzen – ein wachsendes Thema für verantwortungsvolle KI und Recht.

Integrierter Ansatz für Unternehmensführung, Risikomanagement und regulatorische Compliance.

Werkzeug zur Zuweisung von Verantwortlichkeit und Rechenschaft über KI-Governance-Aufgaben hinweg (Responsible, Accountable, Consulted, Informed), das klärt, wer im KI-Lebenszyklus was tut, und Governance als gemeinsame, nachvollziehbare Anstrengung ermöglicht.

Klassifizierung von KI-Anwendungen (z. B. geringes, begrenztes, hohes, inakzeptables Risiko), um die anwendbaren Kontrollen zu bestimmen.

Strukturiertes Testen der Fähigkeiten, Sicherheitseigenschaften oder Risiken eines Modells anhand von Benchmarks.

Unabhängige Prüfung, die bestätigt, dass ein Modell wie beabsichtigt und innerhalb akzeptabler Risikogrenzen funktioniert.

Pflicht der EU-KI-Verordnung (Art. 72) für Anbieter, die Leistung von Hochrisiko-KI-Systemen nach dem Einsatz systematisch zu überwachen.

LLM-Risiko durch fehlende Validierung oder Bereinigung von LLM-Ausgaben vor der nachgelagerten Verwendung.

Angriff, bei dem bösartige Anweisungen in Inhalte Dritter eingebettet werden, die später von einem LLM verarbeitet werden.

Strukturierter Vergleich der aktuell vorhandenen Kontrollen eines KI-Systems mit den von einem gewählten Framework oder einer Regulierung geforderten, um fehlende oder unzureichende Schutzmaßnahmen zur Behebung aufzudecken.

Die fortlaufende Praxis, die KI-Anwendungsfälle einer Organisation über ihren Lebenszyklus zu identifizieren, zu erfassen, zuzuordnen und zu steuern – die Grundlage für Inventar, Risikoklassifizierung und Compliance mit der EU-KI-Verordnung.

Aufkommende Führungsrolle, die für die unternehmensweite KI-Strategie, Ethik und Governance verantwortlich ist.

Maß und Art des Risikos, das eine Organisation zur Verfolgung ihrer Ziele einzugehen bereit ist.

Automatisierte Verarbeitung personenbezogener Daten zur Bewertung oder Vorhersage von Aspekten einer Person (DSGVO Art. 4(4)).

Person, die ein KI-System oder GPAI-Modell entwickelt und unter eigenem Namen in Verkehr bringt.

Recht einer Person, aussagekräftige Informationen über die Logik einer sie betreffenden automatisierten Entscheidung zu erhalten.

EU-Behörde, die für die Umsetzung der KI-Verordnung zuständig ist, insbesondere für die Aufsicht über KI-Modelle mit allgemeinem Verwendungszweck.

Technische oder prozedurale Kontrollen, die die Ausgaben oder Handlungen eines KI-Systems innerhalb akzeptabler Grenzen halten.

Nachvollziehbarer Nachweis des Ursprungs, der Bewegung und der Transformationen von Daten durch ein System.

Strukturierter Mechanismus (z. B. an Teams versandte Formulare) zur Erkennung und Registrierung von KI-Systemen und Anwendungsfällen in einer Organisation, einschließlich des Aufdeckens von Schatten-KI – der Einstiegspunkt, der das KI-Inventar speist.

Systematische und wiederholbare Fehler in einem System, die zu unfairen Ergebnissen für bestimmte Gruppen führen.

Grundsatz, der verlangt, dass KI-Systeme und ihre Nutzung offengelegt, dokumentiert und für relevante Stakeholder verständlich sind.

Bewertung, ob eine Kontrolle implementiert wurde und tatsächlich wirkt, um das anvisierte KI-Risiko zu mindern; zunehmend automatisiert durch die Analyse angebundener Quellen und Nachweise zur Beurteilung der Wirksamkeit.

Einbettung erkennbarer Markierungen in KI-generierte Inhalte, um deren synthetischen Ursprung anzuzeigen.

Eingabe, die gezielt erstellt wird, um ein Modell zu einem Fehler zu verleiten (OWASP ML Top 10).

Manipulationssicherer, chronologischer Nachweis der Aktionen, Entscheidungen und Änderungen über den Governance-Lebenszyklus eines KI-Systems (wer hat was wann getan), der Rechenschaft, Überprüfung und Nachweise für interne und externe Audits ermöglicht.

Mathematische Technik, die kalibriertes Rauschen hinzufügt, um die Privatsphäre einzelner Personen in Datensätzen oder Ausgaben zu schützen.

KI-Sicherheitsbedenken, bei dem ein Modell während der Bewertung absichtlich unterdurchschnittlich abschneidet, um seine wahren Fähigkeiten zu verbergen.

Angriff, der die Funktionalität oder Parameter eines proprietären Modells durch wiederholte Abfragen über dessen API rekonstruiert oder stiehlt.

Unabhängige Organisation, die benannt ist, um die Konformität bestimmter Hochrisiko-KI-Systeme nach der EU-KI-Verordnung zu bewerten.

Angriff, der ermittelt, ob ein bestimmter Datensatz im Trainingsdatensatz eines Modells verwendet wurde.

Anforderung der EU-KI-Verordnung (Art. 14), dass Hochrisiko-KI-Systeme so gestaltet sein müssen, dass eine wirksame menschliche Aufsicht möglich ist.

Risiko, dass Nutzer KI-Ausgaben ohne ausreichende Überprüfung oder Aufsicht vertrauen.

Risiko von Angriffen zur Ressourcenerschöpfung gegen ein gehostetes Modell.

Nach der EU-KI-Verordnung verbotene Praxis, Personen anhand ihres Verhaltens oder ihrer Eigenschaften zu bewerten, was zu ungerechtfertigter Benachteiligung führt.

Spezialisiertes Verzeichnis der KI-Agenten einer Organisation, das Konfiguration, Berechtigungen, angebundene Tools und Risikoklassifizierung jedes Agenten erfasst – eine Erweiterung des KI-Registers auf autonome Systeme, die schnell und in großem Umfang eingesetzt werden.

Von der DSGVO vorgeschriebenes Verzeichnis, das dokumentiert, wie personenbezogene Daten verarbeitet werden (Zwecke, Datenkategorien, Empfänger, Schutzmaßnahmen); in der KI-Governance ergänzt es das KI-Register und DSFAs für datengetriebene Systeme.

Phasen von Design und Datenerhebung über Einsatz und Monitoring bis zur Außerbetriebnahme (ISO 42001, NIST AI RMF).

Forschungsproblem der Beaufsichtigung von KI-Systemen, deren Fähigkeiten die eines menschlichen Bewerters übersteigen.

Konformitätskennzeichnung, die anzeigt, dass ein Hochrisiko-KI-System die Anforderungen der EU-KI-Verordnung erfüllt.

Governance-Muster, bei dem die vorgeschlagenen Änderungen eines KI-Agenten in einer sicheren Kopie zwischengespeichert statt direkt in Live-Systeme geschrieben werden, sodass ein Mensch sie prüfen, bearbeiten und freigeben kann, bevor sie wirksam werden – der Mensch bleibt eingebunden, ohne dass die Automatisierung leidet.

Von der EU-KI-Verordnung geforderte Bewertung (Art. 27) der Auswirkungen eines Hochrisiko-KI-Systems auf die Grundrechte, für bestimmte Betreiber.

Nach der EU-KI-Verordnung erforderliche Unterlagen (Anhang IV), die Design, Zweck und Risikokontrollen eines Hochrisiko-KI-Systems beschreiben.

Techniken und Praktiken, die die Entscheidungen eines KI-Systems für Menschen verständlich machen.

Von KI erzeugte oder manipulierte synthetische Medien, die das Abbild oder Handeln einer realen Person fälschlich darstellen.

Techniken, die auf Daten, Modelle oder Prozesse angewendet werden, um unfaire Verzerrungen in KI-Ergebnissen zu reduzieren.

Unabhängige Prüfung des Designs, der Daten und der Ergebnisse eines Algorithmus auf Verzerrungen, Sicherheit oder Compliance-Probleme.

Fachgebiet, das sich auf die Verhinderung unbeabsichtigten, schädlichen oder katastrophalen Verhaltens von KI-Systemen konzentriert.

Zwischenstaatliche Standards (2019) für vertrauenswürdige KI: inklusives Wachstum, menschenzentrierte Werte, Transparenz, Robustheit und Rechenschaft.

Strukturierte Bewertung eines KI-Produkts oder -Anbieters eines Dritten anhand Ihrer Sicherheits-, Datenschutz- und Risikorichtlinien – unter Prüfung von Dokumentation, Fragebögen und Nachweisen – um zu entscheiden, ob ein externes KI-System vor der Einführung Ihren Standards entspricht.

Angriff, der Trainingsdaten korrumpiert, um das Modellverhalten zu manipulieren (OWASP LLM/ML Top 10).

Europäische Norm, die nach ihrer Verabschiedung eine Konformitätsvermutung mit den Anforderungen der EU-KI-Verordnung begründet.

Die übergreifenden Strukturen, Richtlinien, Rollen und Prozesse, mit denen Organisationen die Gestaltung, Entwicklung, Beschaffung und Nutzung von KI steuern, verwalten, überwachen und verantworten – die Dachdisziplin, die KI-Risikomanagement, Ethik, Sicherheit und Compliance umfasst.

Die durchgängige Disziplin, Risiken aus KI-Systemen über deren gesamten Lebenszyklus zu identifizieren, zu bewerten, zu behandeln und zu überwachen – die Praxis, die Frameworks wie NIST AI RMF und ISO 42001 strukturieren und formalisieren.

Beschreibt die Nutzung, Entwicklung usw. von KI, die valide, zuverlässig, sicher, geschützt, rechenschaftspflichtig, transparent, erklärbar, datenschutzfördernd und fair ist.

Vordefiniertes Verfahren zur Erkennung, Eskalation und Behebung von Ausfällen oder Schäden eines KI-Systems.

Angriff, der zur Inferenzzeit Eingaben erzeugt, um ein eingesetztes Modell zu Fehlklassifikationen oder Fehlfunktionen zu bringen, ohne das Modell selbst zu verändern.

Angriff, der Trainingsdaten oder sensible Merkmale aus den Ausgaben eines Modells rekonstruiert.

Metadaten oder kryptografischer Nachweis, der Ursprung und Verlauf von KI-generierten oder bearbeiteten Inhalten dokumentiert (z. B. C2PA).

Begriff der EU-KI-Verordnung für eine Änderung an einem KI-System, die bedeutend genug ist, um eine erneute Konformitätsbewertung zu erfordern.

Praxis, die Grenzen dessen zu definieren, zu überwachen und durchzusetzen, was ein KI-Agent tun darf (die Tools, Daten und Aktionen in seinem Zuständigkeitsbereich), sowie das Erkennen von Scope-Verletzungen, bei denen ein Agent diese Berechtigungen überschreitet.

Risiko, das nach Anwendung von Kontrollen und Minderungsmaßnahmen verbleibt.

Der Teilbereich des KI-Risikomanagements, der sich auf den Schutz von KI-Systemen, Modellen und Daten vor böswilligen Angriffen (z. B. Data Poisoning, Modelldiebstahl, adversariale Manipulation) konzentriert – abzugrenzen vom breiteren Fokus der AI Safety auf unbeabsichtigte Schäden.

Angriff, der während des Trainings einen versteckten Auslöser einpflanzt, sodass sich ein Modell normal verhält, bis eine bestimmte Eingabe bösartiges Verhalten aktiviert.

Unbefugte Veränderung der Gewichte, Architektur oder Konfiguration eines Modells nach dem Training, sei es durch Kompromittierung der Lieferkette oder durch Insider.

Richtlinien und Kontrollen zur Steuerung von Verfügbarkeit, Integrität, Sicherheit und Nutzbarkeit der in KI-Systemen verwendeten Daten.

Anforderungen nach Art. 50 der EU-KI-Verordnung, KI-generierte oder manipulierte Inhalte (z. B. Deepfakes) gegenüber Nutzern offenzulegen.

In der EU niedergelassene Instanz, die ein KI-System eines Anbieters aus einem Nicht-EU-Land in Verkehr bringt.