Risikoklassifizierung in der KI-Verordnung

In einem früheren Artikel haben wir den EU AI Act bereits kurz vorgestellt und gezeigt, dass die EU einen risikobasierten Ansatz zur Regulierung von KI-Systemen verfolgt. Verschiedene Anwendungsfälle bringen unterschiedliche Risikostufen mit sich – eine Unterscheidung, die von den EU-Gesetzgebern klar beschrieben wird. Dieser Artikel geht näher auf die Risikoklassifizierungen sowie die entsprechenden Anwendungsbereiche ein und hilft Ihnen dabei zu verstehen, ob Ihr konkreter KI-Anwendungsfall als Hochrisiko eingestuft werden könnte.

‍Sind Sie sich unsicher, ob Ihr Unternehmen vom EU AI Act betroffen ist oder in welche Risikoklasse Ihre KI-Anwendung fällt? Dann nutzen Sie unser kostenlosen AI Act Compliance Checker, um eine erste Einschätzung zu erhalten.

‍

Aktueller Stand

Der EU AI Act ist am 1. August 2024 in Kraft getreten und gilt gestaffelt. Die Verbote unzulässiger KI-Praktiken und die Pflicht zur KI-Kompetenz gelten seit dem 2. Februar 2025, die Vorschriften für KI-Modelle mit allgemeinem Verwendungszweck seit dem 2. August 2025, und die Verordnung ist allgemein ab dem 2. August 2026 anwendbar.

Die Verordnung wurde durch den Digital-Omnibus zur KI, Verordnung (EU) 2026/1744, geändert, die am 27. Juli 2026 in Kraft trat. Damit wurden die Hochrisiko-Anforderungen verschoben: Kapitel III des EU AI Acts gilt nun ab dem 2. Dezember 2027 für Systeme, die über Anhang III als hochriskant eingestuft werden, und ab dem 2. August 2028 für Systeme, die über Anhang I als hochriskant eingestuft werden. Zudem wurden zwei neue Verbote ergänzt, die ab dem 2. Dezember 2026 gelten.

‍

Risikoklassifizierung gemäß dem EU AI Act

Der EU AI Act (oder auch die KI-Verordnung bzw. KI-VO) sieht im Prinzip vier Risikostufen für KI-Systeme vor: inakzeptables, hohes, begrenztes und minimales (bzw. kein) Risiko. Für jede dieser Stufen gelten unterschiedliche regulatorische Anforderungen.

Inakzeptable Risiken stellen die strengste Risikokategorie der KI-VO dar. Diese Kategorie umfasst zehn Arten von KI-Anwendungen, die mit den Werten der EU und den Grundrechten unvereinbar sind. Die folgenden Anwendungen sind betroffen:

• Unterschwellige Beeinflussung: Verhaltensänderung bei Personen, ohne deren Inkenntnisnahme oder deren Bewusstsein darüber – etwa ein System, das Menschen ohne ihr Wissen zur Wahl einer bestimmten Partei bewegt.
• Ausnutzung von vulnerablen Gruppen: Dazu zählen Personen, die aufgrund ihrer sozialen oder wirtschaftlichen Situation, ihres Alters oder ihrer physischen oder mentalen Behinderungen, ausgenutzt werden, um diesen oder auch jemand anderem zu schaden. Zum Beispiel, Sprachassistenten in Spielzeugen, die Kinder zu gefährlichem Verhalten verleiten können.
• Biometrische Kategorisierung anhand sensibler Merkmale: erfasst sind ethnische Herkunft, politische Meinungen, Gewerkschaftszugehörigkeit, religiöse oder philosophische Überzeugungen, Sexualleben und sexuelle Orientierung. Das Kennzeichnen oder Filtern rechtmäßig erworbener biometrischer Datensätze im Bereich der Strafverfolgung ist nicht erfasst.
• Allgemeine soziale Bewertung (Social Scoring): Bewertung von Personen auf Grundlage ihres Verhaltens oder ihrer Eigenschaften – z. B. anhand von Online-Käufen oder Social-Media-Aktivitäten. Es besteht die Gefahr, dass Menschen z.B. keinen Kredit oder Job erhalten, basierend auf nicht nachvollziehbaren oder ungerechtfertigten Bewertungen.
• Biometrische Echtzeit-Fernidentifizierung in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken: Diese ist verboten, mit engen Ausnahmen. Die nachträgliche biometrische Fernidentifizierung ist nicht verboten – sie gilt als hochriskant und unterliegt zusätzlichen Schutzvorkehrungen nach Artikel 26 Absatz 10. Die Ausnahme für den Echtzeiteinsatz bedarf der vorherigen Genehmigung durch eine Justizbehörde oder eine unabhängige Verwaltungsbehörde des Mitgliedstaats. Dies ist ausschließlich für die vordefinierten Zwecke der gezielten Suche nach Opfern von Straftaten, der Terrorismusprävention und der gezielten Suche nach Schwerverbrechern oder Verdächtigen (z.B. bei Menschenhandel, sexueller Ausbeutung, bewaffnetem Raubüberfall, Umweltkriminalität) zulässig.
• Erkennung emotionaler Zustände: Dazu zählen KI-Systeme zur Emotionserkennung am Arbeitsplatz oder in Bildungseinrichtungen. Eine Ausnahme ist möglich, wenn der Einsatz der Sicherheit dient (z. B. zur Erkennung von einschlafenden Fahrern).
• Predictive Policing: Systeme, die auf Basis persönlicher Merkmale vorhersagen, ob eine Person in Zukunft eine Straftat begehen könnte.
• Automatisiertes Sammeln (Scraping) von Gesichtsbildern: etwa aus dem Internet oder durch Videoüberwachung zur Erstellung biometrischer Datenbanken.
• [Neu durch den Digital Omnibus] Nicht einvernehmliche intime Bildinhalte: KI-Systeme, die realistische Bilder, Videos, Audioinhalte oder vergleichbares Material erzeugen oder manipulieren, das die Intimbereiche einer identifizierbaren Person oder diese Person bei sexuell eindeutigen Handlungen zeigt, ohne deren ausdrückliche Zustimmung.
• [Neu durch den Digital Omnibus] Material über sexuellen Kindesmissbrauch: KI-Systeme, die Material im Sinne der Richtlinie 2011/93/EU erzeugen oder manipulieren.

KI-Systeme, die in diese Bereiche fallen, sind in der EU verboten.

Hochrisiko-KI-Systeme sind die am stärksten regulierten, aber weiterhin zugelassenen KI-Systeme in der EU. Dazu zählen Bauteile, die in bereits regulierten Produkten eine Sicherheitsfunktion erfüllen, sowie eigenständige KI-Systeme in bestimmten Bereichen. Sie können erhebliche Schäden verursachen, etwa für Gesundheit, Sicherheit oder Grundrechte – insbesondere bei Fehlfunktionen oder Missbrauch. Was konkret als hochriskant eingestuft wird, erläutern wir im nächsten Abschnitt.

Die Stufe des begrenzten Risikos umfasst KI-Systeme mit potenziellem Risiko der Irreführung oder Manipulation. Hier gelten Transparenzpflichten – Nutzerinnen und Nutzer müssen darüber informiert werden, dass sie mit einer KI interagieren (sofern dies nicht offensichtlich ist). Auch sogenannte Deepfakes müssen klar gekennzeichnet werden. Beispiele hierfür sind Chatbots oder generative KI-Systeme, insbesondere im Kontext von Text- und Bildgenerierung.

Unter das minimale Risiko fallen alle übrigen KI-Systeme, wie etwa Spamfilter, die keiner der anderen Risikokategorien zuzuordnen sind. Für Systeme dieser Kategorie bestehen keine spezifischen regulatorischen Anforderungen. Dennoch empfiehlt die EU die freiwillige Einhaltung allgemeiner Prinzipien wie menschliche Aufsicht, Nichtdiskriminierung und Fairness. Die Pflicht zur KI-Kompetenz nach Artikel 4 gilt jedoch unabhängig von der Risikoklasse: Anbieter und Betreiber müssen weiterhin Maßnahmen ergreifen, die den Aufbau von KI-Kompetenz bei den Personen fördern, die ihre Systeme bedienen.

Da der EU AI Act recht komplex ist, haben wir ein kostenloses Selbstbewertungstool entwickelt, mit dem Sie ermitteln können, in welche Risikostufe Ihr KI-Anwendungsfall eingestuft wird und welchen EU AI Act Verpflichtungen Sie wahrscheinlich unterliegen.

‍

Was ist ein Hochrisiko-System unter dem EU AI Act?

Die Einstufung von KI-Systemen als hochriskant im Rahmen des EU AI Act war eines der umstrittensten und meistdiskutierten Themen, da sie erhebliche Anforderungen an Organisationen stellen kann. Wie bereits erwähnt, betrifft diese Klassifizierung alle KI-Anwendungen, die die Gesundheit und Sicherheit von Personen, ihre Grundrechte oder die Umwelt negativ beeinflussen könnten. Um in der EU in Verkehr gebracht und betrieben werden zu dürfen, müssen KI-Systeme dieser Risikoklasse bestimmte Anforderungen erfüllen.

Ein Bereich, der unter diese Klassifizierung fällt, sind KI-Systeme, die sicherheitsrelevante Komponenten von regulierten Produkten betreffen – also Produkte, die bereits einer Konformitätsbewertung unterliegen (siehe Anhang I des EU AI Acts). Dazu zählen etwa KI-Anwendungen in Medizinprodukten, Aufzügen, Flugzeugen, Fahrzeugen oder Maschinen.

Seit Juli 2026 wird durch den Digital Omnibus in Artikel 6 Absatz 1a eine weitere Ausnahmeregelung eingeführt: KI-Systeme, die ausschließlich für nicht sicherheitsrelevante Aspekte der Benutzerunterstützung, Leistungsoptimierung, Serviceeffizienz, Automatisierung, Komfort oder Qualitätskontrolle eingesetzt werden, gelten nicht als Sicherheitskomponenten und können somit aus zumindest Teilen der Hochrisiko-Klassifizierung herausfallen.

Anhang III des EU AI Acts listet zusätzliche Bereiche auf, in denen eigenständige KI-Systeme bzw. -Anwendungen ebenfalls als hochriskant eingestuft werden.

Die Zuordnung zu einem Bereich des Anhangs III macht ein System nicht automatisch zu einem Hochrisiko-System. Nach Artikel 6 Absatz 3 gilt ein in Anhang III genanntes System nicht als hochriskant, wenn es nur eine eng umgrenzte Aufgabe erfüllt, das Ergebnis einer vorher abgeschlossenen menschlichen Tätigkeit verbessert, Entscheidungsmuster erkennt, ohne die vorherige menschliche Bewertung zu ersetzen oder zu beeinflussen, oder eine vorbereitende Aufgabe wahrnimmt. Führt das System ein Profiling natürlicher Personen durch, gilt es stets als hochriskant.

Dazu gehören:

(a) Biometrische und biometriebasierte Systeme (z. B. fernbiometrische Identifikation, Kategorisierung von Personen, Emotionserkennungssysteme)

(b) Verwaltung und Betrieb kritischer Infrastrukturen (z. B. Straßenverkehr, Energieversorgung, digitale Infrastrukturen)

(c) Bildung und berufliche Weiterbildung (z. B. Bewertung von Schüler:innen und Studierenden in Bildungseinrichtungen)

(d) Beschäftigung und Personalmanagement (z. B. Bewerbungsverfahren, Leistungsbewertung, Zuweisung von Aufgaben)

(e) Zugang zu wesentlichen privaten und öffentlichen Dienstleistungen und Leistungen (z. B. Kredit-Scoring, Risikobewertungen in der Krankenversicherung, Notfallversorgung)

(f) Strafverfolgung (z. B. Bewertung der Verlässlichkeit von Beweismitteln oder Kriminalitätsanalysen)

(g) Migration, Asyl und Grenzkontrollen (z. B. Bewertung von Sicherheitsrisiken bei Personen oder Prüfung von Asyl-, Visa- und Aufenthaltstiteln)

(h) Rechtspflege und demokratische Prozesse (z. B. Unterstützung bei der Auslegung von Gesetzen, der Recherche von Sachverhalten und Rechtsnormen oder Beeinflussung von Wahlen)

Erfahren Sie in diesem Artikel, wie Sie die regulatorischen Anforderungen erfüllen, wenn Sie ein Hochrisiko-KI-System entwickeln oder einsetzen. Strafverfolgungsbehörden dürfen Hochrisiko-Systeme in Ausnahmefällen aus Gründen der öffentlichen Sicherheit bereits vor Abschluss des Konformitätsbewertungsverfahrens einsetzen; die Abweichung richtet sich nach Artikel 46.

Die EU führt zudem eine öffentlich zugängliche Datenbank, in der Anbieter und Betreiber ihre Hochrisiko-KI-Systeme registrieren (Artikel 71 des EU AI Acts). Nur Systeme in den Bereichen Strafverfolgung, Migration, Asyl und Grenzkontrolle werden in einem nicht öffentlichen Teil registriert, der der Kommission und den nationalen Behörden zugänglich ist. Anbieter von GPAI-Modellen sind hier nicht aufgeführt – Modelle mit systemischem Risiko erscheinen auf einer separaten öffentlichen Liste der Kommission nach Artikel 52 Absatz 6.

‍

GPAI (General Purpose AI)

Während im ursprünglichen Vorschlag des EU AI Acts KI-Modelle mit allgemeinem Verwendungszweck – etwa von OpenAI, Mistral oder Anthropic – nicht berücksichtigt wurden, wurde die KI-VO im Laufe der Verhandlungen entsprechend erweitert. Wie bereits erläutert, richtet sich die Risikoklassifizierung nach dem jeweiligen Anwendungsfall eines KI-Systems – was bei GPAI allerdings schwer abgrenzbar ist.

Der EU AI Act unterscheidet nun zwei Risikostufen für GPAI-Modelle: solche mit nicht-systemischem Risiko und systemischem Risiko, je nachdem, ob das Modell Fähigkeiten mit hohem Wirkungsgrad aufweist – vermutet wird dies, wenn der kumulierte Rechenaufwand für das Training 10^25 Gleitkommaoperationen (FLOP) übersteigt. Während alle GPAI-Modelle Dokumentations- und Urheberrechtspflichten nach Artikel 53 erfüllen müssen.

Entwickler von GPAI-Modellen müssen zudem nachgelagerten Anbietern, die diese Modelle in Hochrisiko-Anwendungen einsetzen, relevante Informationen zur Verfügung stellen. Unternehmen, die zwar GPAI-Systeme einsetzen (z.B. ein Chatbot der auf einem großen Sprachmodell basiert), aber das darunterliegende GPAI-Modell nicht selbst entwickeln, sind von diesen zusätzlichen Anforderungen nicht zwingend betroffen.

Open-Source-Modelle, die öffentlich zugänglich sind und deren Lizenz Zugriff, Nutzung, Modifikation und Weiterverbreitung des Modells samt Parameter erlaubt, können von den strengeren Vorgaben ausgenommen werden – vorausgesetzt, es besteht kein Bezug zu Hochrisiko- oder verbotenen Anwendungen und keine Gefahr der Manipulation. Weitere Informationen darüber, wie der EU AI Act mit GPAI- und GenAI-Systemen umgeht, finden Sie in diesem Artikel.

‍

Fazit

Der EU AI Act verfolgt einen risikobasierten Ansatz zur Regulierung von KI-Systemen. Es gibt vier Risikostufen: unvertretbares, hohes, begrenztes und minimales (bzw. kein) Risiko. Jede Stufe ist mit spezifischen regulatorischen Anforderungen verknüpft. Zusätzlich unterscheidet die KI-VO noch gezielt GPAI-Modelle in ihrem Risiko.

• Inakzeptables Risiko ist die höchste Risikostufe und betrifft zehn Arten von KI-Anwendungen, die mit den Werten und Grundrechten der EU unvereinbar sind. Solche Anwendungen sind in der EU verboten.
• Hochrisiko-KI-Systeme sind die am stärksten regulierten zulässigen Systeme auf dem EU-Markt. Sie umfassen Bauteile mit Sicherheitsfunktion in bereits regulierten Produkten sowie eigenständige Systeme in sensiblen Anwendungsbereichen. Für sie gelten umfangreiche Anforderungen vor dem Inverkehrbringen.
• Begrenztes Risiko umfasst Systeme mit potenzieller Täuschungs- oder Manipulationsgefahr. Sie müssen Transparenz gewährleisten und Nutzer darüber informieren, dass sie mit einer KI interagieren.
• Minimales Risiko beschreibt alle übrigen KI-Systeme, z. B. Spamfilter. Für sie gelten keine verbindlichen Vorschriften, dennoch empfiehlt die EU die freiwillige Einhaltung von Grundprinzipien wie menschliche Aufsicht, Nichtdiskriminierung und Fairness, und die Pflicht zur KI-Kompetenz nach Artikel 4 gilt jedoch unabhängig von der Risikoklasse.

GPAI-Modelle unterliegen grundsätzlich Transparenzpflichten. Bei systemischem Risiko – d. h. bei besonders leistungsstarken Modellen – gelten zusätzliche, strengere Anforderungen.

Wenn Ihr Anwendungsfall als hochriskant eingestuft wird, sollten Sie rechtzeitig mit der Vorbereitung beginnen und umfassende Compliance- und Risikomanagement-Maßnahmen treffen, um künftig wettbewerbsfähig zu bleiben.

Wir haben ein kostenloses EU AI Act Compliance Checker Tool entwickelt, mit dem Sie die Risikoklasse Ihres KI-Systems ermitteln und die daraus resultierenden Pflichten abschätzen können.

Wir bei trail unterstützen Sie dabei, Ihre KI-Entwicklung und -Anwendungen vollständig zu verstehen, Risiken frühzeitig zu erkennen und automatisiert Compliance-Dokumentation zu generieren, um Ihren manuellen Aufwand zu minimieren.

Kontaktieren Sie uns, um mehr über unsere KI-Governance-Softwarelösung und unsere EU AI Act Compliance Unterstützungsangebote, zu erfahren.