Regulierung von GenAI: Was der EU AI Act vorgibt

Der EU AI Act ist zurzeit eine der wichtigsten Regulierungen Europas im Technologiebereich. Ziel ist es, eine sich rasant weiterentwickelnde Technologie sinnvoll zu regulieren, ohne Innovation auszubremsen. Ursprünglich hatte der Vorschlag der Europäischen Kommission aus dem Jahr 2021 allgemeine KI-Systeme wie GenAI noch gar nicht auf dem Schirm. Doch mit dem rasanten Fortschritt generativer Modelle wurde die KI-Verordnung Ende 2022 überarbeitet und um Regeln für GPAI ergänzt.

Diese Änderung wurde vom Europäischen Parlament stark unterstützt und spielte eine zentrale Rolle in den Trilog-Verhandlungen. Dennoch stieß die GPAI-Regulierung auf große Kritik, unter anderem aus Frankreich, Deutschland und Italien, die eine stärker anwendungsbezogene statt technologiebasierte Herangehensweise bevorzugt hätten. Anfang 2024 einigten sich schließlich alle Parteien auf eine finale Version, die GPAI-Modelle ähnlich streng behandelt wie Hochrisiko-KI.

In diesem Überblick erfahren Sie, in welche Risikokategorien GPAI-Modelle eingeteilt werden und welche Pflichten für Anbieter wie OpenAI, Aleph Alpha oder Mistral sowie für nachgelagerte Anbieter gelten, die solche Modelle in eigenen Anwendungen einsetzen.

‍

Wie GPAI-Modelle im AI Act klassifiziert werden

Der EU AI Act unterscheidet GPAI-Modelle in ihrem Risikograd in zwei Gruppen: solche mit systemischem und nicht-systemischem Risiko. Diese Einteilung ist wichtig, da sie direkt den Anforderungs-Umfang von Anbietern beeinflusst. Wer ein Modell mit systemischem Risiko bereitstellt, hat deutlich strengere Vorgaben zu beachten.

Wann hat ein KI-Modell ein systemisches Risiko?

Ein KI-Modell wird als systemisch riskant eingestuft, wenn es besonders leistungsfähig ist. Ein Kriterium dafür ist die Rechenleistung, die für das Training eingesetzt wurde. Wenn diese über 10^25 FLOPS (Floating Point Operations per Second) liegt, gilt das Modell als potenziell systemisch riskant.

Zusätzlich kann die Europäische Kommission ein Modell auch aufgrund anderer Kriterien als systemisch riskant einstufen. Dazu gehören unter anderem die Komplexität des Modells, die Art der Eingabe- und Ausgabemodalitäten oder die Reichweite des Modells in Wirtschaft und Gesellschaft (siehe Anhang XIII des AI Acts).

Kann man diese Einstufung vermeiden?

Anbieter solcher GPAI-Modelle haben die Möglichkeit, begründete Einwände gegen die Einordnung als systemisches Risiko vorzubringen. Auch eine spätere Neubewertung des Modells ist möglich. Das Verfahren ähnelt dem für Hochrisiko-KI.

‍

Welche Pflichten GPAI-Modell-Anbieter erfüllen müssen

Alle Anbieter von KI-Systemen müssen offenlegen, wenn Nutzer (also natürliche Personen) mit einem KI-System interagieren, etwa mit einem generativen KI-Chatbot, es sei denn, dies ist offensichtlich. Außerdem müssen sämtliche KI-generierten Ausgaben in einem maschinenlesbaren Format gekennzeichnet werden. Diese Anforderungen werden als Transparenzpflichten bezeichnet. Anbieter von GPAI-Modellen können dies meist durch technische Lösungen vereinfachen, sodass nachgelagerte Anbieter leichter ihren Transparenzpflichten nachkommen können.

Jedes GPAI-Modell, einschließlich seines Trainings- und Testprozesses sowie der Ergebnisse seiner Evaluation, muss umfassend dokumentiert werden (siehe Anhang XI). Diese Dokumentation ist stets aktuell zu halten und muss nachgelagerten Anbietern – also jenen, die ein GPAI-Modell eines Drittanbieters in ihre Produkte oder KI-Systeme integrieren möchten – zur Verfügung gestellt werden, damit diese ihren Pflichten nach dem AI Act nachkommen können (siehe Anhang XII).

Anbieter von GPAI-Modellen müssen zudem eine öffentlich zugängliche und detaillierte Zusammenfassung der Inhalte bereitstellen, mit denen das Modell trainiert wurde. Anbieter mit Sitz außerhalb der EU, die ihr Modell auf dem Binnenmarkt der Union anbieten, müssen außerdem eine autorisierte Vertretung benennen, die in der EU ansässig ist. Diese ist verantwortlich für die Prüfung der technischen Dokumentation oder dafür, die erforderlichen Informationen gegenüber den Behörden bereitzustellen.

Zusätzliche Pflichten bei Modellen mit systemischem Risiko

Für GPAI-Modelle mit systemischem Risiko gelten strengere Vorschriften. Die Anbieter müssen ihre Modelle der Kommission melden, damit sie in eine öffentliche Datenbank aufgenommen werden können. Außerdem sind sie verpflichtet, schwerwiegende Vorfälle zu melden und geeignete Maßnahmen zu ergreifen.

Weitere Anforderungen sind unter anderem:

• umfassende Risikoanalysen
• Maßnahmen zur Cybersicherheit
• Schutz der Infrastruktur
• ein Nachweis über die Einhaltung des AI Acts in Form eines Code of Practice

Auch die Dokumentation muss detaillierter sein, etwa mit Informationen über die Architektur des Modells, die verwendeten Evaluierungsstrategien und die Ergebnisse von Tests, bei denen gezielt Schwachstellen im Modell untersucht wurden.

Kann man GPAI-Vorgaben vollständig umgehen?

Ganz vermeiden lassen sich die Vorgaben nicht, wenn man als Anbieter von KI-Modellen mit allgemeinem Verwendungszweck eingestuft wird. Wer jedoch ein nicht-systemisches GPAI-Modell unter einer freien Open-Source-Lizenz anbietet, kann den regulatorischen Aufwand deutlich reduzieren. Dafür müssen bestimmte Bedingungen erfüllt sein: Die Modellarchitektur, Parameter, Gewichte sowie die Nutzung des Modells müssen öffentlich zugänglich sein. Außerdem muss es möglich sein, das Modell zu verändern und weiterzugeben.

In solchen Fällen genügt es, eine öffentlich verfügbare und detaillierte Übersicht der Trainingsinhalte bereitzustellen.

‍

Was gilt für Unternehmen, die GenAI in Produkten nutzen?

Viele Unternehmen integrieren generative KI wie GPT-4 in ihre Produkte oder Anwendungen, ohne eigene Modelle zu entwickeln. In diesem Fall spricht man laut AI Act von Betreibern oder nachgelagerten Anbietern. Ob daraus Pflichten entstehen, hängt davon ab, wie genau das Modell eingesetzt wird, und ob das Modell signifikant modifiziert wird.

Wer ein GPAI-Modell so verändert, dass es in einem Hochrisiko-Kontext verwendet wird, gilt als Anbieter eines Hochrisiko-KI-Systems und muss die entsprechenden Vorgaben erfüllen.

Damit dies möglich ist, muss der ursprüngliche Anbieter des KI-Modells die nötigen Informationen zur Verfügung stellen. Eine vertragliche Vereinbarung ist dafür sinnvoll. Die Verantwortung für die Einhaltung der Vorschriften liegt dann bei beiden Seiten.

Allerdings ist in der KI-Verordnung auch festgehalten, dass ein Anbieter nicht verpflichtet ist, Dokumentation bereitzustellen, wenn er ausdrücklich ausschließt, dass sein Modell zu einem Hochrisiko-System weiterentwickelt werden darf (siehe Artikel 25). Wie dieser Artikel künftig in der Praxis ausgelegt wird, ist noch offen.

In den Guidelines für GPAI-Modell-Anbietern der Europäischen Kommission ist außerdem beschrieben, wann eine Modifikation eines KI-Modells Sie zu einem GPAI-Anbieter machen kann. Das Finetuning eines Modells kann so, zum Beispiel, als wesentliche Änderung gelten und weitere Konsequenzen entlang der KI-Wertschöpfungskette auslösen.

Wer ein GPAI-System in einem Kontext mit begrenztem Risiko verwendet, muss zumindest die Transparenzanforderungen einhalten, also unter anderem kennzeichnen, dass Inhalte KI-generiert sind und die Nutzer über die Interaktion mit einem KI-System informieren.

‍

Was passiert bei Verstößen?

Wer gegen die Regeln aus dem EU AI Act für GPAI-, Hochrisiko- oder begrenzt-risikobehaftete Systeme und Modelle verstößt, muss mit hohen Bußgeldern rechnen. Diese können bis zu 15 Millionen Euro oder 3% des weltweiten Jahresumsatzes betragen. Wer falsche oder unvollständige Angaben macht oder irreführende Informationen liefert, riskiert Bußgelder von bis zu 7,5 Millionen Euro oder 1,5% des Umsatzes. Für Start-ups und KMU gelten niedrigere Strafen.

‍

Wie geht es weiter?

Die Liste der Anforderungen für Anbieter von GPAI-Modellen ist umfangreich. Dieser Artikel bietet Ihnen lediglich einen ersten Überblick. Für viele Unternehmen bedeutet die Umsetzung des EU AI Acts, bestehende Governance-Strukturen und Dokumentationsprozesse grundlegend zu überarbeiten.

Die neu geschaffene europäische KI-Behörde (AI Office) sowie das AI Board werden in den kommenden Monaten weitere Leitlinien, Beispiele und Auslegungshilfen veröffentlichen. Eine der zentralen Fragen wird sein, wie die Verantwortlichkeiten entlang der KI-Wertschöpfungskette konkret verteilt werden, insbesondere bei Anwendungen, die direkt mit Endnutzern in Kontakt stehen.

Fest steht: Man muss handeln. Der AI Act trat im August 2024 in Kraft. Die Vorschriften zu verbotenen KI-Systemen müssen seit Februar 2025 umgesetzt werden, die Anforderungen an GPAI-Modelle gelten seit August 2025.

Sie setzen bereits KI in einem hochregulierten Umfeld ein oder entwickeln eigene KI-Modelle? Dann empfehlen wir Ihnen, sich auch unsere weiteren Beiträge zu den Pflichten im Rahmen des EU AI Acts anzusehen.

Bei trail unterstützen wir Sie mit effektiven KI-Governance-Software-Lösungen zur Dokumentation, Risikobewertung, Audit-Vorbereitung und Compliance – damit Sie rechtskonform KI nutzen und skalieren können.