EU AI Act: 10 Punkte, die bei Hochrisiko-KI relevant sind

Die EU hat den EU AI Act (dt. KI Verordnung) verabschiedet, um eine vertrauenswürdige und verantwortungsvolle Nutzung von Künstlicher Intelligenz in ganz Europa sicherzustellen. Die Verordnung führt eine Reihe von Anforderungen und Pflichten für Unternehmen ein, die KI-Systeme bereitstellen oder einsetzen – insbesondere in sogenannten Hochrisikobereichen. Fällt Ihr System in diesen Bereich? Finden Sie heraus, ob Ihr KI-System als Hochrisiko gilt – und was das für Sie bedeutet!

In aller Kürze:

• Unternehmen, die gegen den EU AI Act verstoßen, müssen mit erheblichen Geldbußen rechnen – bis zu 7 % des weltweiten Jahresumsatzes oder 35 Millionen Euro (bei Verstößen gegen Verbote), je nachdem, welcher Betrag höher ist.
• Wenn Ihr KI-System als Hochrisiko eingestuft wird, müssen Sie bereits in der Entwicklung und weiter nach dem Inverkehrbringen zahlreiche Anforderungen erfüllen.
• Zu den zentralen Pflichten für Anbieter von Hochrisiko-KI zählen unter anderem:
  • Einrichtung eines umfassenden Qualitätsmanagementsystems
  • Protokollierungspflichten und technische Dokumentation
  • Erstellung detaillierter technischer Unterlagen als Grundlage für Audits
  • Durchführung einer Konformitätsbewertung
  • Implementierung von menschlicher Aufsicht

‍

Was ist der EU AI Act?

Der EU AI Act wurde im April 2021 von der Europäischen Kommission vorgestellt, 2024 von den EU-Mitgesetzgebern und den Mitgliedstaaten verabschiedet und ist am 1. August 2024 in Kraft getreten.. Ziel ist es, KI europaweit rechtssicher, vertrauenswürdig und ethisch nutzbar zu machen.

Die Verordnung verfolgt einen risikobasierten Ansatz und unterscheidet vier Risikostufen:

• Unvertretbares Risiko
• Hohes Risiko
• Begrenztes Risiko
• Minimales Risiko

Die Anforderungen variieren je nach Risikokategorie, wobei Hochrisiko-Systeme den höchsten regulatorischen Pflichten unterliegen. Auch sogenannte General Purpose AI (GPAI) – also KI-Systeme mit einem weiten Anwendungsbereich – werden vom Gesetz erfasst. Der Pflichtenumfang richtet sich hierbei danach, ob das Modell ein systemisches Risiko aufweist.

‍

Gilt mein KI-System als hochriskant?

Die EU stuft KI-Systeme als hochriskant ein, wenn diese potenziell erhebliche Schäden für die Gesundheit, die Sicherheit oder die Grundrechte von Personen verursachen können. Beispiele sind:

• KI-Systeme im Bereich der kritischen Infrastruktur, des Verkehrs oder der Gesundheitsversorgung
• Systeme, die rechtlich relevante Entscheidungen treffen – z. B. zur Kreditwürdigkeit oder in Bewerbungsverfahren

Mehr Informationen finden Sie in diesem Artikel oder im Anhang I und III des EU AI Acts, die eine umfangreiche Liste von Hochrisiko-Systemen enthalten.

Vorsicht: Verstöße können Millionen kosten!

Unternehmen, die die Anforderungen des EU AI Acts – insbesondere bei Hochrisiko-KI – nicht einhalten, riskieren hohe Geldstrafen:

• Bis zu 7 % des weltweiten Jahresumsatzes oder 35 Millionen Euro bei Verstößen gegen Verbote
• Bis zu 3 % oder 15 Millionen Euro bei sonstigen Verstößen

Zusätzlich drohen Reputationsschäden und rechtliche Schritte durch betroffene Personen.

10 Anforderungen und Pflichten für Hochrisiko-KI-Systeme

Kapitel III des EU AI Acts legt die Anforderungen und Pflichten für Anbieter von Hochrisiko-Systemen fest. Wir haben diese im Folgenden zusammengefasst, um einen klaren Überblick darüber zu geben, was auf Unternehmen in Hochrisikobereichen zukommt.

Der EU AI Act wurde dafür kritisiert, dass er nicht genau vorgibt, wie diese Anforderungen konkret umzusetzen sind – was noch Spielraum für Interpretationen lässt.

Der Digital-Omnibus hat einen Teil der Kritik, dass der EU AI Act an alle Hochrisiko-Systeme denselben allgemeinen Anforderungskatalog knüpfe, aufgegriffen: Die technische Dokumentation darf nun von KMU, Start-ups und kleinen Midcap-Unternehmen in vereinfachter Form erstellt werden, das vereinfachte Qualitätsmanagement wurde von Kleinstunternehmen auf alle KMU ausgeweitet, und Systeme, die ausschließlich für nicht sicherheitsbezogene Optimierung eingesetzt werden, gelten nicht mehr als Sicherheitsbauteil.

‍

1. Einrichtung eines Qualitätsmanagementsystems, das folgende Elemente umfasst:

• Ein Risikomanagementsystem als kontinuierlicher und iterativer Prozess über den gesamten Lebenszyklus hinweg, um alle potenziellen Risiken zu bewerten und zu mindern sowie eine angemessene Gestaltung und Entwicklung des KI-Systems sicherzustellen.
• Ein Datenmanagementsystem zur Ermöglichung effektiver Data Governance. Daten müssen in Trainings-, Test- und Validierungsdatensätze unterteilt und entsprechend dokumentiert werden. Vor der Analyse sind Annahmen zu formulieren und Qualität, Verteilung sowie mögliche Verzerrungen (Bias) zu dokumentieren.
• Prozesse zur Marktüberwachung nach Inverkehrbringen sowie ein Meldesystem für Vorfälle.
• Testprozesse während der Entwicklung und vor Markteinführung. Geeignete Testmetriken und Schwellenwerte sind bereits vor Beginn der Entwicklung festzulegen.
• Ein Verantwortlichkeitsrahmen, der Rollen und Zuständigkeiten definiert.
• Berichtspflichten, die proportional zur Größe der Organisation ausgestaltet sind.
• KMU dürfen die Anforderungen an das Qualitätsmanagementsystem in vereinfachter Form erfüllen (Artikel 63 Absatz 1).

2. Prüfen, ob Sie eine Grundrechte-Folgenabschätzung durchführen müssen. Dies ist eine Pflicht der Betreiber, nicht der Anbieter, und sie gilt für einen begrenzten Kreis: Einrichtungen des öffentlichen Rechts, private Einrichtungen, die öffentliche Dienste erbringen, sowie Betreiber von Systemen zur Kreditwürdigkeitsprüfung und zur Risikobewertung in der Lebens- und Krankenversicherung. Für Systeme nach Anhang III Nummer 2 gilt sie nicht. Die Abschätzung muss die Einsatzprozesse, den Zeitraum und die Häufigkeit der Verwendung, die betroffenen Personengruppen, die spezifischen Schadensrisiken, die Maßnahmen der menschlichen Aufsicht und die Governance-Maßnahmen beschreiben. Sie darf auf Teile einer Datenschutz-Folgenabschätzung verweisen oder diese einbeziehen (Artikel 27).

3. Bereitstellung von Kontaktinformationen für Nutzer*innen und andere relevante Stakeholder.

4. Protokollierungspflichten über den gesamten Lebenszyklus hinweg zur Sicherstellung von Rückverfolgbarkeit und Überwachung. Die Protokolle müssen den Zeitraum der Systemnutzung, die Eingabedaten sowie die an der Überprüfung der Ergebnisse beteiligten Personen enthalten. Je nach Ihrer Anwendung können für die Protokolle unterschiedliche Vorgaben gelten.

5. Umsetzung von Transparenzmaßnahmen wie:

• Bereitstellung einer Bedienungsanleitung
• Informationen zu Eigenschaften, Fähigkeiten und Leistungsgrenzen des Systems
• Hilfsmittel zur Interpretation der Ausgabe
• Beschreibung der im System enthaltenen Entscheidungsmechanismen

6. Aufbewahrung relevanter Dokumentationen für zehn Jahre, darunter

• Detaillierte technische Dokumentation (= Audit-Unterlagen, gemäß Anhang IV). KMU, Start-ups und kleine Midcap-Unternehmen (SMCs) dürfen diese in vereinfachter Form über das vereinfachte Dokumentationsformular der Kommission einreichen.
• Dokumentation zum Qualitätsmanagementsystem
• Dokumentation über die von notifizierten Stellen genehmigten Änderungen sowie deren Entscheidungen und sonstige Unterlagen
• EU-Konformitätserklärung (→ siehe Anhang V)

7. Registrierung des KI-Systems und Durchführung einer Konformitätsbewertung, um die EU-Konformitätserklärung und die entsprechende CE-Kennzeichnung zu erhalten. Dies gilt auch für außereuropäische Anbieter, die KI auf dem EU-Markt bereitstellen – einschließlich der vollständigen Einhaltung aller Anforderungen. Bei Abweichungen sind geeignete Korrekturmaßnahmen zu treffen und die zuständige Behörde zu informieren.

8. Nachweispflicht bei Audits – auf Anforderung müssen Unternehmen die Konformität belegen können, einschließlich aktueller technischer Dokumentation und der neuesten Protokolle zur Systemleistung.

9. Menschliche Aufsicht während der Nutzung des Systems, um dessen Fähigkeiten und Grenzen zu verstehen, Ausgaben korrekt zu interpretieren und ggf. eingreifen zu können.

10. Cybersicherheitsmaßnahmen zum Schutz vor Angriffen, zur Sicherstellung der Systemrobustheit und zur Vermeidung von Systemausfällen. Die Genauigkeit der Modelle ist zu wahren. Systeme mit kontinuierlichem Lernen müssen so gestaltet sein, dass sie Verzerrungen in den Ausgaben vermeiden, die zukünftige Operationen beeinflussen könnten.

Wenn Sie nach einem KI-Governance-Framework suchen, das auf die EU AI Act Anforderungen abgestimmt ist, fragen Sie eines hier an.

Wie kann ich mich schon heute vorbereiten?

Die Einhaltung des EU AI Act kann für Unternehmen mit Hochrisiko-Anwendungen herausfordernd sein. Unser Rat: Beginnen Sie frühzeitig mit dem Aufbau von Governance-Strukturen.

Organisationen, die Hochrisiko-Systeme bereitstellen, müssen die Vorgaben ab dem 2. Dezember 2027 für Systeme nach Anhang III und ab dem 2. August 2028 für Systeme nach Anhang I einhalten. Frühzeitig eingeführte Prozesse wie Risikomanagement, Logging und Dokumentation sorgen dafür, dass bereits heute entwickelte Systeme auch in Zukunft weiterverwendet werden können. Zudem erhöhen sie die Transparenz und Effizienz im Unternehmen.

Minimieren Sie technische, organisationsspezifische und gesellschaftliche Risiken und fördern Sie das Verständnis für verantwortungsvolle KI-Entwicklung sowohl innerhalb Ihrer Organisation als auch bei Ihren Kund*innen.

Erfahren Sie in diesem Artikel, wie Sie die ersten Schritte in der KI-Governance umsetzen können.

Gerne unterstützen wir Sie bei der Einrichtung der richtigen Tools und Prozesse, mit denen Sie die Anforderungen der EU-KI-Verordnung erfüllen und gleichzeitig die damit verbundenen Routineaufgaben automatisieren können. Kontaktieren Sie uns hier.