Risikoklassifizierung in der KI-Verordnung

In einem früheren Artikel haben wir den EU AI Act bereits kurz vorgestellt und gezeigt, dass die EU einen risikobasierten Ansatz zur Regulierung von KI-Systemen verfolgt. Verschiedene Anwendungsfälle bringen unterschiedliche Risikostufen mit sich – eine Unterscheidung, die von den EU-Gesetzgebern klar beschrieben wird. Dieser Artikel geht näher auf die Risikoklassifizierungen sowie die entsprechenden Anwendungsbereiche ein und hilft Ihnen dabei zu verstehen, ob Ihr konkreter KI-Anwendungsfall als Hochrisiko eingestuft werden könnte.

‍Sind Sie sich unsicher, ob Ihr Unternehmen vom EU AI Act betroffen ist oder in welche Risikoklasse Ihre KI-Anwendung fällt? Dann nutzen Sie unser kostenlosen AI Act Compliance Checker, um eine erste Einschätzung zu erhalten.

‍

Aktueller Stand

Der EU AI Act ist seit August 2024 in Kraft. Die ersten Vorschriften der Verordnung sind sechs Monate später, im Februar 2025, in Kraft getreten. Dazu gehören KI-Kompetenz-Maßnahmen, wenn man im eigenen Unternehmen KI einsetzt, oder das Verbot von bestimmten KI-Anwendungen. Weitere Vorschriften treten gestaffelt, zum August 2025, August 2026 und 2027, in Kraft.

‍

Risikoklassifizierung gemäß dem EU AI Act

Der EU AI Act (oder auch die KI-Verordnung) sieht vier Risikostufen für KI-Systeme vor: inakzeptables, hohes, begrenztes und minimales (bzw. kein) Risiko. Für jede dieser Stufen gelten unterschiedliche regulatorische Anforderungen.

Inakzeptable Risiken stellen die strengste Risikokategorie der KI-VO dar. Diese Kategorie umfasst acht Arten von KI-Anwendungen, die mit den Werten der EU und den Grundrechten unvereinbar sind. Die folgenden Anwendungen sind betroffen:

• Unterschwellige Beeinflussung: Verhaltensänderung bei Personen, ohne deren Inkenntnisnahme oder deren Bewusstsein darüber – etwa ein System, das Menschen ohne ihr Wissen zur Wahl einer bestimmten Partei bewegt.
• Ausnutzung von vulnerablen Gruppen: Dazu zählen Personen, die aufgrund ihrer sozialen oder wirtschaftlichen Situation, ihres Alters oder ihrer physischen oder mentalen Behinderungen, ausgenutzt werden, um diesen oder auch jemand anderem zu schaden. Zum Beispiel, Sprachassistenten in Spielzeugen, die Kinder zu gefährlichem Verhalten verleiten können.
• Biometrische Kategorisierung basierend auf sensiblen Merkmalen: etwa nach Geschlecht, ethnischer Herkunft, politischer oder religiöser Überzeugung, sexueller Orientierung oder Weltanschauung.
• Allgemeine soziale Bewertung (Social Scoring): Bewertung von Personen auf Grundlage ihres Verhaltens oder ihrer Eigenschaften – z. B. anhand von Online-Käufen oder Social-Media-Aktivitäten. Es besteht die Gefahr, dass Menschen z.B. keinen Kredit oder Job erhalten, basierend auf nicht nachvollziehbaren oder ungerechtfertigten Bewertungen.
• Echtzeit-Fernidentifikation durch biometrische Systeme in öffentlichen Räumen: Derartige Systeme – auch nachträgliche Identifikationen – sind grundsätzlich verboten. Ausnahmen gelten nur für Strafverfolgungsbehörden mit richterlicher Genehmigung und unter Aufsicht der Europäischen Kommission, und auch nur für klar definierte Zwecke wie die gezielte Suche nach Opfern von Straftaten, Terrorismusprävention oder Fahndung nach schweren Straftätern.
• Erkennung emotionaler Zustände: Dazu zählen KI-Systeme zur Emotionserkennung am Arbeitsplatz oder in Bildungseinrichtungen. Eine Ausnahme ist möglich, wenn der Einsatz der Sicherheit dient (z. B. zur Erkennung von einschlafenden Fahrern).
• Predictive Policing: Systeme, die auf Basis persönlicher Merkmale vorhersagen, ob eine Person in Zukunft eine Straftat begehen könnte.
• Automatisiertes Sammeln (Scraping) von Gesichtsbildern: etwa aus dem Internet oder durch Videoüberwachung zur Erstellung biometrischer Datenbanken.

KI-Systeme, die in diese Bereiche fallen, sind in der EU verboten.

Hochrisiko-KI-Systeme sind die am stärksten regulierten, aber weiterhin zugelassenen KI-Systeme in der EU. Dazu zählen sicherheitsrelevante Komponenten bereits regulierter Produkte sowie eigenständige KI-Systeme in bestimmten Bereichen. Sie können erhebliche Schäden verursachen, etwa für Gesundheit, Sicherheit, Grundrechte oder Umwelt – insbesondere bei Fehlfunktionen oder Missbrauch. Was konkret als hochriskant eingestuft wird, erläutern wir im nächsten Abschnitt.

Die Stufe des begrenzten Risikos umfasst KI-Systeme mit potenziellem Risiko der Irreführung oder Manipulation. Hier gelten Transparenzpflichten – Nutzerinnen und Nutzer müssen darüber informiert werden, dass sie mit einer KI interagieren (sofern dies nicht offensichtlich ist). Auch sogenannte Deepfakes müssen klar gekennzeichnet werden. Beispiele hierfür sind Chatbots oder generative KI-Systeme, insbesondere im Kontext von Text- und Bildgenerierung.

Unter das minimale Risiko fallen alle übrigen KI-Systeme, wie etwa Spamfilter, die keiner der anderen Risikokategorien zuzuordnen sind. Für Systeme dieser Kategorie bestehen keine spezifischen regulatorischen Anforderungen. Dennoch empfiehlt die EU die freiwillige Einhaltung allgemeiner Prinzipien wie menschliche Aufsicht, Nichtdiskriminierung und Fairness.

Da der AI Act recht komplex zu verstehen ist, haben wir ein kostenloses Selbstbewertungstool entwickelt, mit dem Sie ermitteln können, in welche Risikostufe Ihr KI-Anwendungsfall eingestuft wird und welchen EU AI Act Verpflichtungen Sie wahrscheinlich unterliegen.

‍

‍

Was ist ein Hochrisiko-System unter dem EU AI Act?

Die Einstufung von KI-Systemen als hochriskant im Rahmen des EU AI Act war eines der umstrittensten und meistdiskutierten Themen, da sie erhebliche Anforderungen an Organisationen stellen kann. Wie bereits erwähnt, betrifft diese Klassifizierung alle KI-Anwendungen, die die Gesundheit und Sicherheit von Personen, ihre Grundrechte oder die Umwelt negativ beeinflussen könnten. Um in der EU in Verkehr gebracht und betrieben werden zu dürfen, müssen KI-Systeme dieser Risikoklasse bestimmte Anforderungen erfüllen.

Ein Bereich, der unter diese Klassifizierung fällt, sind KI-Systeme, die sicherheitsrelevante Komponenten von regulierten Produkten betreffen – also Produkte, die bereits einer Konformitätsbewertung unterliegen. Dazu zählen etwa KI-Anwendungen in Medizinprodukten, Aufzügen, Fahrzeugen oder Maschinen.

Anhang III des EU AI Acts listet zusätzliche Bereiche auf, in denen eigenständige KI-Systeme ebenfalls als hochriskant eingestuft werden. Dazu gehören:

(a) Biometrische und biometriebasierte Systeme (z. B. fernbiometrische Identifikation, Kategorisierung von Personen, Emotionserkennungssysteme)

(b) Verwaltung und Betrieb kritischer Infrastrukturen (z. B. Straßenverkehr, Energieversorgung, digitale Infrastrukturen)

(c) Bildung und berufliche Weiterbildung (z. B. Bewertung von Schüler:innen und Studierenden in Bildungseinrichtungen)

(d) Beschäftigung und Personalmanagement (z. B. Bewerbungsverfahren, Leistungsbewertung, Zuweisung von Aufgaben)

(e) Zugang zu wesentlichen privaten und öffentlichen Dienstleistungen und Leistungen (z. B. Kredit-Scoring, Risikobewertungen in der Krankenversicherung, Notfallversorgung)

(f) Strafverfolgung (z. B. Bewertung der Verlässlichkeit von Beweismitteln oder Kriminalitätsanalysen)

(g) Migration, Asyl und Grenzkontrollen (z. B. Bewertung von Sicherheitsrisiken bei Personen oder Prüfung von Asyl-, Visa- und Aufenthaltstiteln)

(h) Rechtspflege und demokratische Prozesse (z. B. Unterstützung bei der Auslegung von Gesetzen, der Recherche von Sachverhalten und Rechtsnormen oder Beeinflussung von Wahlen)

Erfahren Sie in diesem Artikel, wie Sie die regulatorischen Anforderungen erfüllen, wenn Sie ein Hochrisiko-KI-System entwickeln oder einsetzen. Strafverfolgungsbehörden dürfen Hochrisiko-Systeme im Bereich der öffentlichen Sicherheit mit richterlicher Genehmigung auch ohne vorherige Konformitätsbewertung einsetzen.

Die EU plant zudem ein öffentlich zugängliches Online-Register, in dem alle eingesetzten Hochrisiko-KI-Systeme und -Anwendungsfälle sowie verfügbare Basismodelle aufgeführt werden sollen (Artikel 71 des EU AI Acts). Lediglich Strafverfolgungsbehörden (z. B. Polizei und Migrationsbehörden) dürfen ihre Systeme nicht-öffentlich registrieren – nur zugänglich für eine unabhängige Aufsichtsstelle.

‍

GPAI (General Purpose AI)

Während im ursprünglichen Vorschlag des EU AI Acts KI-Modelle mit allgemeinem Verwendungszweck – etwa von OpenAI, Mistral oder Aleph Alpha – nicht berücksichtigt wurden, wurde die KI-VO im Laufe der Verhandlungen entsprechend erweitert. Wie bereits erläutert, richtet sich die Risikoklassifizierung nach dem jeweiligen Anwendungsfall eines KI-Systems – was bei GPAI allerdings schwer abgrenzbar ist.

Der EU AI Act unterscheidet nun zwei Risikostufen für GPAI-Modelle: solche mit nicht-systemischem Risiko und systemischem Risiko, abhängig von der Rechenleistung, die für das Training des Modells erforderlich ist. Während alle Foundation Models bestimmte Transparenzpflichten erfüllen müssen, gelten für systemisch riskante Modelle deutlich strengere Auflagen.

Entwickler von GPAI-Modellen müssen zudem nachgelagerten Anbietern, die diese Modelle in Hochrisiko-Anwendungen einsetzen, relevante Informationen zur Verfügung stellen. Unternehmen, die zwar GPAI-Systeme einsetzen (z.B. ein Chatbot der auf einem großen Sprachmodell basiert), aber das darunterliegende GPAI-Modell nicht selbst entwickeln, sind von diesen zusätzlichen Anforderungen nicht zwingend betroffen.

Open-Source-Modelle, die öffentlich zugänglich sind und deren Lizenz Zugriff, Nutzung, Modifikation und Weiterverbreitung des Modells samt Parameter erlaubt, können von den strengeren Vorgaben ausgenommen werden – vorausgesetzt, es besteht kein Bezug zu Hochrisiko- oder verbotenen Anwendungen und keine Gefahr der Manipulation. Weitere Informationen darüber, wie der EU AI Act mit GPAI- und GenAI-Systemen umgeht, finden Sie in diesem Artikel.

‍

Fazit

Der EU AI Act verfolgt einen risikobasierten Ansatz zur Regulierung von KI-Systemen. Es gibt vier Risikostufen: unvertretbares, hohes, begrenztes und minimales (bzw. kein) Risiko. Jede Stufe ist mit spezifischen regulatorischen Anforderungen verknüpft. Zusätzlich unterscheidet die KI-VO noch gezielt GPAI-Modelle in ihrem Risiko.

• Inakzeptables Risiko ist die höchste Risikostufe und betrifft acht Arten von KI-Anwendungen, die mit den Werten und Grundrechten der EU unvereinbar sind. Solche Anwendungen sind in der EU verboten.
• Hochrisiko-KI-Systeme sind die am stärksten regulierten zulässigen Systeme auf dem EU-Markt. Sie umfassen sicherheitsrelevante Komponenten bereits regulierter Produkte sowie eigenständige Systeme in sensiblen Anwendungsbereichen. Für sie gelten umfangreiche Anforderungen vor dem Inverkehrbringen.
• Begrenztes Risiko umfasst Systeme mit potenzieller Täuschungs- oder Manipulationsgefahr. Sie müssen Transparenz gewährleisten und Nutzer darüber informieren, dass sie mit einer KI interagieren.
• Minimales Risiko beschreibt alle übrigen KI-Systeme, z. B. Spamfilter. Für sie gelten keine verbindlichen Vorschriften, dennoch empfiehlt die EU die freiwillige Einhaltung von Grundprinzipien wie menschliche Aufsicht, Nichtdiskriminierung und Fairness.

GPAI-Modelle unterliegen grundsätzlich Transparenzpflichten. Bei systemischem Risiko – d. h. bei besonders leistungsstarken Modellen – gelten zusätzliche, strengere Anforderungen.

Wenn Ihr Anwendungsfall als hochriskant eingestuft wird, sollten Sie rechtzeitig mit der Vorbereitung beginnen und umfassende Compliance- und Risikomanagement-Maßnahmen treffen, um künftig wettbewerbsfähig zu bleiben.

Wir haben ein kostenloses EU AI Act Compliance Checker Tool entwickelt, mit dem Sie die Risikoklasse Ihres KI-Systems ermitteln und die daraus resultierenden Pflichten abschätzen können.

Wir bei trail unterstützen Sie dabei, Ihre KI-Entwicklung und -Anwendungen vollständig zu verstehen, Risiken frühzeitig zu erkennen und automatisiert Compliance-Dokumentation zu generieren, um Ihren manuellen Aufwand zu minimieren.

Kontaktieren Sie uns, um mehr über unsere KI-Governance-Softwarelösung und unsere EU AI Act Compliance Unterstützungsangebote, zu erfahren.

‍

[Letzte Aktualisierung nach Veröffentlichung des finalen Gesetzestexts im Amtsblatt der EU - 28.08.2025]