Der AI-Act kommt – Der europäische Ansatz zur Regulierung künstlicher Intelligenz

Das Thema „Künstliche Intelligenz“ steht schon seit geraumer Zeit auf der Agenda des Europäischen Gesetzgebers. Bereits 2018 hatte die EU-Kommission eine Strategie zur Regulierung und gleichzeitigen Förderung der Entwicklung künstlicher Intelligenz erarbeitet. Ein erster Entwurf für das Gesetz über Künstliche Intelligenz („KI-Verordnung“ bzw. „AI-Act“) wurde dann im April 2021 von der Kommission vorgelegt. Ziel war es, durch die Schaffung eines Rechtsrahmens hinreichenden Grundrechtsschutz zu gewährleisten und eine Vertrauensbasis beim Umgang mit künstlicher Intelligenz zu schaffen. Nach einigen inhaltlichen Anpassungen hatten zunächst die Mitgliedstaaten am 02.02.2024 im Ausschuss der Ständigen Vertreter (AStV) die KI-Verordnung einstimmig gebilligt. Zuletzt wurde nun der finale Entwurf vom Europäischen Parlament am 13.03.02024 mit 523 von 618 Stimmen (bei 49 Enthaltungen) verabschiedet.

Zwar muss nun im April noch der Ministerrat formell über den Entwurf abstimmen, allerdings hatte dieser bereits der Billigung der finalen Fassung zugesagt. Der letzte Schritt ist dann die Veröffentlichung der Verordnung im Amtsblatt der EU. In Kraft tritt die Verordnung 20 Tage nach diesem Datum, sodass die Verordnung voraussichtlich ab Ende Mai ihre Geltung entfaltet.

Unternehmen, die KI nutzen oder anbieten, sind daher angehalten, sich spätestens jetzt mit der Verordnung zu befassen und mit der Umsetzung der Vorgaben zu beginnen. Wie schon früh abzusehen war, betrifft die Verordnung jedoch bei weitem nicht alle gewerblichen Akteure, die mit KI umgehen. Ein Großteil von KI-Systemen unterfällt nämlich gar nicht den strengen Anforderungen, die die Verordnung an hoch-riskante KI-Systeme stellt. Die meisten Akteure dürften demnach entweder bloße Transparenzpflichten zu erfüllen haben oder gar keinen Anforderungen unterliegen.

Mit diesem Artikel soll Ihnen eine Zusammenfassung geben werden, ob und welche Vorgaben nach der KI-Verordnung zu beachten sind, wenn Sie mit künstlicher Intelligenz geschäftlich arbeiten.

Dies ist zunächst davon abhängig, wie das betroffene KI-System von der Verordnung klassifiziert wird. Die KI-Verordnung verfolgt einen risikobasierten Ansatz, nach welchem KI-Systeme anhand ihres Einsatzbereichs und ihres Zwecks in vier verschiedene Risikogruppen unterteilt werden. Demnach gibt es KI-Systeme mit unannehmbarem, hohem, begrenztem und minimalem Risiko. Die Verordnung adressiert grundsätzlich einerseits Anbieter („provider“) von KI-Systemen, wenn diese das System in der EU in Verkehr bringen oder in Betrieb nehmen, und anderseits deren Anwender („deployer“), wobei die rein private Nutzung ausgenommen ist. Die konkret umzusetzenden Anforderungen variieren dementsprechend nicht nur nach Art bzw. Risiko des Systems, sondern auch danach, welche Rolle Sie in Bezug zu dem System einnehmen.

Anbieter: Der Großteil der rechtlichen Anforderungen wird an die Anbieter von KI-Systemen gestellt. Nach der Legaldefinition in Art. 3 Abs. 1 Nr. 2 KI-VO gilt als „Anbieter“ sinngemäß eine natürliche oder juristische Person, die ein KI-System entwickelt oder entwickeln lässt, um es in eigenem Namen oder unter ihrer eigenen Marke in Verkehr zu bringen oder in Betrieb zu nehmen. Dabei ist es ohne Bedeutung, ob das System entgeltlich oder unentgeltlich angeboten wird.

Anwender: Anwender werden hingegen nach Art. 3 Abs. 1 Nr. 4 KI-VO als natürliche oder juristische Person definiert, die ein KI-System in eigener Verantwortung verwendet. Die rein private Verwendung ist jedoch ausgenommen, sodass private Akteure nicht der Verordnung unterfallen.

In beiden Fällen stellt die Verordnung ausdrücklich klar, dass auch Behörden und sonstige öffentliche Stellen unter die Begriffe gefasst werden.

Die KI-Verordnung verbietet zunächst solche KI-Praktiken, denen sie ein unannehmbares Risiko zuordnet. Das Verbot gilt nicht nur für die Anbieter, sondern auch für die Anwender solcher Praktiken. Die Verordnung listet konkret auf, welche Praktiken verboten sind, wobei solche im Fokus stehen, die besonders grundrechtsinvasiv sind. Hierzu zählen etwa Praktiken zur unterbewussten Verhaltensbeeinflussung von natürlichen Personen oder Systeme des Social Scoring.

Im geschäftlichen Alltag dürften verbotene KI-Praktiken allerdings selten vorkommen. Weitaus relevanter und zentraler Regelungsgegenstand der Verordnung sind vielmehr die Hochrisiko-Systeme.

Die meisten Anforderungen aus der KI-Verordnung betreffen Hochrisiko-Systeme. Um zu prüfen, welche Anforderungen Sie konkret zu erfüllen haben, ist daher zunächst zu ermitteln, ob Ihr System von der Verordnung als hochriskant eingestuft wird.

Klassifizierung als Hochrisiko-System

Die Einordnung kann im Einzelfall durchaus Schwierigkeiten bereiten, da der Gesetzgeber anstelle einer klaren Definition ein komplexes Klassifizierungssystem entworfen hat.

Zu den Hochrisiko-Systemen gehören zum einen KI-Systeme, die als Sicherheitskomponente eines Produkts genutzt werden, das Gegenstand der in Annex II aufgeführten EU-Rechtsakte ist, bzw. selbst ein solches Produkt sind. Die in Annex II genannten Rechtsakte betreffen beispielsweise Maschinen, Spielzeug oder Medizinprodukte.

Zum anderen gelten KI-Systeme als hochriskant, wenn ihr Anwendungsbereich in Annex III der Verordnung aufgeführt ist. Dazu zählen zusammengefasst:

• (1.) KI-Anwendungen in kritischen Infrastrukturen, wie Verkehr und Energieversorgung, die Sicherheitsrisiken bergen;

• (2.) KI-Systeme in Bildung, Berufsbildung, Beschäftigung und Personalmanagement, die signifikante Auswirkungen auf das Leben der Menschen haben; und

• (3.) KI-Anwendungen in wesentlichen öffentlichen Dienstleistungen und in der Strafjustiz, wo sie grundlegende Rechte beeinflussen könnten.

Zu beachten ist jedoch, dass die Verordnung in ihrer finalen Fassung nun eine neue Ausnahmeregelung vorsieht. Danach gilt ein System trotz Klassifikation in Annex III nicht als hochriskant, wenn es kein erhebliches Risiko einer Schädigung der Gesundheit, Sicherheit oder Grundrechte von natürlichen Personen darstellt und materiell auch keinen wesentlichen Einfluss auf Entscheidungsprozesse hat. Ausgenommen sind danach schlussendlich solche KI-Systeme, die nur untergeordnete Hilfstätigkeiten ausführten.

Ob die Ausnahmeregelung im konkreten Fall greift, kann von dem Anbieter des Systems selbst beurteilt werden, wobei die Begründung für die Entscheidung dokumentiert werden muss.

Damit Anwender nicht das Risiko einer Fehlbewertung durch den Anbieter tragen, sollten sie stets selbst prüfen, ob das System unter den Annex III fällt und im Zweifel die dokumentierte Begründung des Anbieters erfragen, sollte dieser das System als von den Regelungen ausgenommen erachten.

Gilt das fragliche KI-System nach dem oben Gesagten als hochriskant, dann sind eine Vielzahl an Anforderungen zu erfüllen, wobei danach zu unterscheiden ist, ob Sie als Anbieter oder als Anwender des Systems auftreten.

Pflichten für Anbieter von Hochrisiko-KI-Systemen (Art. 16 KI-VO)

• Einrichtung eines Risikomanagementsystems: In dem System müssen die mit der KI verbundenen Risiken fortlaufend identifiziert, analysiert und bewertet werden. Den ermittelten Risiken muss im Anschluss durch geeignete Maßnahmen begegnet werden.

• Data-Governance: Es muss sichergestellt werden, dass das KI-System qualitativ hochwertige Trainingsdaten verwendet, deren Datensätze relevant und „unbiased“ sind.

• Technische Dokumentation: Aus der Dokumentation muss hervorgehen, wie das System die Anforderungen der Verordnung erfüllt. In Annex IV KI-VO werden die Informationen aufgelistet, die darin mindestens enthalten sein müssen.

• Protokollierung („Logs“): Der Anbieter muss sicherstellen, dass das System automatisch Ereignisse und Vorgänge protokolliert oder dies zumindest für den Anwendern ermöglicht, sodass die wesentlichen Prozesse innerhalb des Systems rückverfolgbar sind. Diese sog. „Logs“ müssen vom Anbieter aufbewahrt werden.

• Transparenz: Das System muss hinreichend transparent gestaltet und mit einer (digitalen) Gebrauchsanleitung versehen werden, damit die Anwender das System richtig bedienen und die Vorschriften der Verordnung selbst einhalten können.

• Menschliche Aufsicht: Sie dient der Verhinderung bzw. Minimierung von Risiken. Der Anbieter des Systems kann die menschliche Aufsicht entweder bereits vor Inverkehrbringen in das KI-System integrieren, oder aber es technisch ermöglichen, dass der Anwender des Systems die Aufsicht selbst übernimmt.

• Genauigkeit, Robustheit und Cybersicherheit: Das System muss während seines gesamten Lebenszyklus‘ ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit haben.

• Einrichtung eines Qualitätsmanagementsystems: Das System soll die Einhaltung der Vorschriften sicherstellen und schriftlich dokumentiert werden sowie unter anderem Verfahren zum Risikomanagement, zur Überwachung nach dem Inverkehrbringen oder auch zur Meldung von Zwischenfällen abdecken.

• Korrekturmaßnahmen: Nach Inverkehrbringen bzw. Inbetriebnahme des Systems sind gegebenenfalls Korrekturmaßnahmen zu ergreifen, falls der Verdacht besteht, dass das System nicht den Anforderungen der Verordnung entspricht.

• Bereitstellung von Informationen: Im Falle von Behördenanfragen und Audits müssen Behörden alle nötigen Informationen für den Nachweis von Konformität mit den Vorgaben der Verordnung bereitgestellt werden.

• Ernennung eines EU-Vertreters: Anbieter, die nicht in der EU niedergelassen sind, müssen gem. Art. 25 KI-VO einen in der EU niedergelassenen Vertreter schriftlich ernennen, bevor sie das System auf den Unionsmarkt einführen.

• Konformitätsbewertungsverfahren: Gem. Art. 43 KI-VO muss das System dem betreffenden Konformitätsbewertungsverfahren unterzogen werden, bevor es in Verkehr gebracht oder in Betrieb genommen wird. Der Anbieter muss zudem gem. Art. 48 KI-VO eine EU-Konformitätserklärung für das KI-System ausstellen und für 10 Jahre nach Inbetriebnahme bzw. Inverkehrbringen aufbewahren.

• CE-Konformitätskennzeichnung: Die CE-Konformitätskennzeichnung nach Art. 30 der EU-Verordnung EG 765/2008 ist an das KI-System (digital) anzubringen, um die Konformität mit der KI-Verordnung anzuzeigen.

• Registrierung in EU-Datenbank: Bevor das System auf den Markt gebracht oder in Betrieb genommen wird, muss es in der in Art. 60 KI-VO genannten EU-Datenbank registriert werden.

• Post-Market-Monitoring: Dieses sammelt, dokumentiert und analysiert aktiv und systematisch die von den Nutzern bereitgestellten oder aus anderen Quellen stammenden relevanten Daten über die Leistung des KI-Systems über dessen gesamte Lebensdauer.

Pflichten für Anwender von Hochrisiko-KI-Systemen (Art. 29 KI-VO)

• Technische und organisatorische Maßnahmen: Anwender müssen zunächst TOMs ergreifen, damit das KI-System im Einklang mit der Gebrauchsanleitung und mit den weiteren Anforderungen aus Art. 29 Abs. 2-5 KI-VO genutzt wird.

• Menschliche Aufsicht: Für den Fall, dass der Anbieter die Rolle der menschlichen Aufsicht an den Nutzer übertragen hat, ist diese Aufgabe von einer kompetenten Person wahrzunehmen, die hierfür ausreichend qualifiziert ist und unterstützt wird.

• Qualität der Eingabedaten: Soweit die Eingabedaten seiner Kontrolle unterliegen, sorgt der Nutzer dafür, dass diese der Zweckbestimmung des KI-Systems entsprechen.

• Pflichtgemäßer Umgang: Der Anwender hat das System gemäß der Gebrauchsanweisung nutzen und dem Hersteller die nötigen Informationen für das Post-Market-Monitoring zu geben. Ist davon auszugehen, dass der Betrieb zu einem unverhältnismäßigen Risiko für Gesundheit, Sicherheit oder Grundrechte führt, ist das System außer Betrieb zu nehmen.

• Meldepflichten: Im Falle der Außerbetriebnahme oder bei sonstigen schwerwiegenden Vorfällen bestehen verschiede Meldepflichten gegenüber dem Anbieter oder Händler des Systems.

• Aufbewahrung der Logs: Die vom System automatisch erzeugten Protokolle sind vom Anbieter für mindestens 6 Monate aufzubewahren, um das ordnungsgemäße Funktionieren des Systems nachweisen zu können bzw. nachträgliche Kontrollen zu ermöglichen.

• Erklärung gegenüber Arbeitnehmern: Arbeitgeber müssen ihrer Angestellten darüber informieren, dass sie künstlicher Intelligenz unterworfen sind, wenn sie diese am Arbeitsplatz einsetzen.

• Informationspflichten: Es gelten besondere Informationspflichten, wenn das System Entscheidungen über natürliche Personen trifft bzw. dabei unterstützend eingesetzt wird, wie etwa das Recht auf Erklärung einer Einzelfallentscheidung gem. Art. 68c KI-VO.

• Fundamental Rights Impact Assessment: Anders als vom EU-Parlament noch ursprünglich vorgeschlagen, ist ein Fundamental Rights Impact Assessment nur noch von staatlichen Anwendern und von privaten Anwendern, die staatliche Aufgaben wahrnehmen, durchzuführen. Ausnahmen bestehen jedoch bei Kreditwürdigkeitsprüfungen oder bei der Preisgestaltung von Lebens- und Krankenversicherungen.

Es darf nicht übersehen werden, dass auch für Anwender die Anbieterpflichten aus Art. 16 KI-VO in bestimmten Fällen gelten können. Dies ist insbesondere dann der Fall, wenn der Anwender

• ein Hochrisiko-KI-System unter eigenem Namen oder seiner Marke in den Verkehr bringt oder in Betrieb nimmt,
• eine wesentliche Änderung an einem als hochriskant eingestuften KI-System vornimmt, ohne dass dieses seine Eigenschaft als Hochrisiko-KI-System verliert, oder
• eine wesentliche Änderung an der Zweckbestimmung eines sonstigen KI Systems vornimmt und es dadurch zu einem Hochrisiko-KI-System wird.

In diesen Fällen gilt nämlich gem. Art. 28 Abs. 1, 2 KI-VO der Anwender als neuer Anbieter des KI-Systems, während der alte Anbieter aus der Verantwortung genommen wird. Dieser hat aber den neuen Anbieter bei der Erfüllung seiner Pflichten zu unterstützen.

An bestimmte KI-Systeme mit besonderen Manipulationsrisiken stellt die Verordnung lediglich bestimmte Transparenzanforderungen – unabhängig davon, ob das Systeme als hochriskant eingestuft wird. Aus Sicht der Verordnungsgebers bestehen besondere Risiken nämlich dann, wenn künstliche Intelligenz Inhalte generiert oder in direkten Kontakt mit natürlichen Personen tritt. Für die Anbieter und Anwender solcher Systeme gelten daher besondere Anforderungen.

Pflichten für Anbieter für bestimmte KI-Systeme (Art. 52 Abs. 1 KI-VO)

• KI-Systeme, die dafür vorgesehen sind, direkt mit natürlichen Personen zu interagieren, müssen vom Anbieter so gestaltet bzw. konzipiert werden, dass die natürliche Person darüber informiert wird, dass sie mit einem KI-System interagiert. Dies gilt ausnahmsweise nicht, wenn dieser Umstand für eine vernünftige Person ohne Weiteres erkennbar ist.

• KI-Systeme, die Audio-, Bild-, Video- oder Textmaterial generieren, müssen in einem maschinenlesbaren Format als generiert bzw. manipuliert gekennzeichnet werden. Die vom Anbieter zur Umsetzung dieser Anforderungen gewählte Lösung muss zudem wirksam, interoperabel, robust und zuverlässig sein und dem Stand der Technik entsprechen.

In beiden Fällen müssen die Informationen den betroffenen natürlichen Personen spätestens zum Zeitpunkt der ersten Interaktion oder Exposition mit dem KI-System in klarer und erkennbarer Weise zur Verfügung gestellt werden.

Pflichten für Anwender (Art. 52 Abs. 2, 3 KI-VO)

• Betroffene müssen vom Anwender eines Emotionserkennungssystems oder eines Systems zur biometrischen Kategorisierung über den Betrieb dieses Systems informiert werden.

• Anwender von KI-Systemen, die Bilder, Videos oder Audioinhalte erstellt oder verändert, müssen offenlegen, dass die generierten Inhalte nicht echt sind. Es gelten allerdings Ausnahmen im Bereich der Kunstfreiheit und der Satire.

• Schließlich müssen Anwender von KI-Systemen, die einen Text, der zu öffentlichen Informationszwecken veröffentlicht wird, erstellen oder verändern, dies ebenfalls grundsätzlich offenlegen.

Wie auch im Fall der Anbieter, müssen diese Informationen den betroffenen natürlichen Personen spätestens zum Zeitpunkt der ersten Interaktion oder Exposition in klarer und erkennbarer Weise zur Verfügung gestellt werden.

Die Verordnung legt zudem unabhängig von der Einordnung der KI fest, dass Anwender von KI-Systemen grundsätzlich sogenannte „AI-Literacy“ haben sollen. Anwender müssen demnach sicherstellen, dass das eigene Personal und die anderen Personen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, hinreichende KI-Kompetenz haben. Dabei sollen die vorhandenen Erfahrungen und Kenntnisse der betroffenen Personen sowie der Kontext berücksichtigt werden, in dem das KI-System eingesetzt werden soll. Der Umfang der erforderlichen Kompetenz richtet sich nach dem Risikopotenzial des KI-Systems und den damit verbundenen Pflichten.

Gegenstand nachträglicher Änderungen im Laufe des Gesetzgebungsverfahren war sogenannte „General-Purpose-KI“ (GPAI), ehemals noch als „Foundations-Models“ (dt.: „Basismodelle“) bezeichnet. Hierunter fallen Modelle von KI-Systemen, die auf breiter Datenbasis trainiert wurden, auf eine allgemeine Verwendung ausgelegt sind und für vielfältige unterschiedliche Aufgaben angepasst werden können. Klassische Beispiele hierfür sind etwa GPT-4 von OpenAI und andere Large Language Models.

Beachtlich ist, dass der Verordnungsgeber lediglich an die Anbieter von GPAI zusätzliche Anforderungen stellt. Daneben – also ungeachtet dessen, ob die KI auch noch als General-Purpose-KI eingeordnet wird – sind alle anderen Anforderungen weiterhin zu beachten, insbesondere die für hochriskante KI-Systeme. Anwender von GPAI treffen daher zwar keine zusätzlichen Pflichten, sie haben aber gegebenenfalls die bisher aufgezeigten Vorgaben einzuhalten.

Die Pflichten für die Anbieter von GPAI sind in Art. 52c Abs. 1 aufgelistet und sollen hier kurz dargestellt werden:

• Technische Dokumentation: Diese soll erstellt und laufend aktualisiert werden, wobei sie die Trainings- und Testverfahren des KI-Systems sowie dessen Bewertungsergebnisse enthalten muss.

• Bereitstellung von Informationen und Unterlagen zur Funktionsweise des KI-Modells: So sollen nachgelagerte Anbieter, die beabsichtigen, das GPAI-Modell in ihr eigenes KI-System zu integrieren, die Fähigkeiten und Grenzen des Systems verstehen und die an sie gestellten Anforderungen erfüllen können.

• Erstellung einer Policy zur Einhaltung der Urheberrechtsrichtlinie.

• Veröffentlichung einer ausreichend detaillierten Zusammenfassung der für das Training des GPAI-Modells verwendeten Inhalte.

In Art. 52a KI-VO definiert der Verordnungsgeber zudem GPAI-Modelle mit systematischem Risiko und stellt an diese in Art. 52d KI-VO wiederum folgende zusätzliche Anforderungen:

• Durchführung von Modellevaluierungen: Dabei sind auch kontradiktorische Test zur Ermittlung und Abschwächung systemischer Risiken vorzunehmen und zu dokumentieren.

• Bewertung und Abschwächung möglicher systematischer Risiken sowie ihrer Quellen.

• Dokumentation und Meldung schwerwiegender Vorfälle und diesbezüglicher Abhilfemaßnahmen.

• Gewährleistung eines angemessenen Niveaus an Cybersecurity.

Die Vorschriften der Verordnung finden grundsätzlich 2 Jahre nach Inkrafttreten Anwendung. Einige allgemeine Vorschriften sowie die Vorschriften über verbotene KI-Praktiken sind jedoch ausnahmsweise schon 6 Monate nach Inkrafttreten anwendbar. Zudem finden die Regelungen zur Klassifizierung von Hoch-Risiko-Systemen und die korrespondierenden Pflichten erst nach 3 Jahren Anwendung.

Für Anbieter und Anwender von KI-Systemen stellt sich zunächst die entscheidende Frage, ob das fragliche KI-System als hochriskant einzustufen ist. Da von dieser Frage maßgeblich abhängt, wie groß der Umsetzungsaufwand sein wird und im Falle der Nichteinhaltung von Hochrisiko-Vorschriften hohe Bußgelder drohen, sollte man bei der Klassifizierung besonders gründlich sein und im Zweifel Rechtsrat einholen. Die meisten KI-Systeme werden aller Voraussicht nach jedoch nicht als hochriskant gelten, sodass viele Unternehmen mit überschaubarem Mehraufwand konfrontiert werden.

Wir warten gemeinsam ab, bis die Verordnung im Mai in Kraft tritt. Es lohnt sich dennoch, bereits jetzt mit der Umsetzung der Vorgaben zu beginnen oder sich zumindest darauf vorzubereiten.