Der AI-Act ist da – Der europäische Ansatz zur Regulierung künstlicher Intelligenz

Dies ist zunächst davon abhängig, wie das betroffene KI-System von der Verordnung klassifiziert wird. Die KI-Verordnung verfolgt einen risikobasierten Ansatz, nach welchem KI-Systeme anhand ihres Einsatzbereichs und ihres Zwecks in vier verschiedene Risikogruppen unterteilt werden. Demnach gibt es KI-Systeme mit unannehmbarem, hohem, begrenztem und minimalem Risiko. Die einzuhaltenden Pflichten sind also umso umfassender, je größer das von dem KI-System ausgehende Risiko ist. So versucht der Verordnungsgeber zum Zwecke der Aufrechterhaltung eines innovationsfreundlichen Rechtsrahmens, die Regulierung auf das erforderliche Maß zu beschränken.

Die KI-Verordnung findet nur Anwendung beim Einsatz von "KI-Systemen". Klassische Software wird daher nicht von der KI-Verordnung erfasst (vgl. ErwG 12).

KI-Systeme sind maschinengestützte Systeme, die für einen in unterschiedlichem Maße autonomen Betrieb ausgelegt sind. Diese Systeme können sich nach ihrer Inbetriebnahme anpassen und aus den erhaltenen Eingaben ableiten, wie bestimmte Ausgaben werden sollen (vgl. Art. 3 Nr. 1 KI-VO).

KI-Systeme unterscheiden sich also insbesondere durch ihre Fähigkeit zum Ableiten von der einfachen Datenverarbeitung. Bei KI-Systemen werden Lern-, Schlussfolgerungs- und Modellierungsprozesse auf der Grundlage von maschinellem Lernen ermöglicht.

Die Verordnung adressiert grundsätzlich einerseits Anbieter („provider“) von KI-Systemen, wenn diese das System in der EU in Verkehr bringen oder in Betrieb nehmen, und anderseits deren Betreiber („deployer“), wobei die rein private Nutzung ausgenommen ist. Die konkret umzusetzenden Anforderungen variieren dementsprechend nicht nur nach Art bzw. Risiko des Systems, sondern auch danach, welche Rolle Sie in Bezug zu dem System einnehmen.

Anbieter: Der Großteil der rechtlichen Anforderungen wird an die Anbieter von KI-Systemen gestellt. Nach der Legaldefinition in Art. 3 Abs. 1 Nr. 2 KI-VO gilt als „Anbieter“ sinngemäß eine natürliche oder juristische Person, die ein KI-System entwickelt oder entwickeln lässt, um es in eigenem Namen oder unter ihrer eigenen Marke in Verkehr zu bringen oder in Betrieb zu nehmen. Dabei ist es ohne Bedeutung, ob das System entgeltlich oder unentgeltlich angeboten wird.

Betreiber: Betreiber werden hingegen nach Art. 3 Abs. 1 Nr. 4 KI-VO als natürliche oder juristische Person definiert, die ein KI-System in eigener Verantwortung verwendet. Die rein private Verwendung ist jedoch ausgenommen, sodass private Akteure nicht der Verordnung unterfallen.

In beiden Fällen stellt die Verordnung ausdrücklich klar, dass auch Behörden und sonstige öffentliche Stellen unter die Begriffe fallen.

Die KI-Verordnung verbietet zunächst solche KI-Praktiken, denen sie ein unannehmbares Risiko zuordnet. Das Verbot gilt nicht nur für die Anbieter, sondern auch für die Betreiber solcher Praktiken. Die Verordnung listet konkret auf, welche Praktiken verboten sind, wobei solche im Fokus stehen, die besonders grundrechtsinvasiv sind. Hierzu zählen etwa Praktiken zur unterbewussten Verhaltensbeeinflussung von natürlichen Personen oder Systeme des Social Scoring.

Im geschäftlichen Alltag dürften verbotene KI-Praktiken allerdings selten vorkommen. Weitaus relevanter und zentraler Regelungsgegenstand der Verordnung sind vielmehr die Hochrisiko-Systeme.

Die meisten Anforderungen aus der KI-Verordnung betreffen Hochrisiko-Systeme. Um zu prüfen, welche Anforderungen Sie konkret zu erfüllen haben, ist daher zunächst zu ermitteln, ob Ihr System von der Verordnung als hochriskant eingestuft wird.

1. Klassifizierung von Hochrisiko-Systemen

Die Einordnung kann im Einzelfall durchaus Schwierigkeiten bereiten, da der Gesetzgeber anstelle einer klaren Definition ein komplexes Klassifizierungssystem entworfen hat.

Zu den Hochrisiko-Systemen gehören zum einen KI-Systeme, die als Sicherheitskomponente eines Produkts genutzt werden, das Gegenstand der in Annex II aufgeführten EU-Rechtsakte ist, bzw. selbst ein solches Produkt sind. Die in Annex II genannten Rechtsakte betreffen beispielsweise Maschinen, Spielzeug oder Medizinprodukte.

Zum anderen gelten KI-Systeme als hochriskant, wenn ihr Anwendungsbereich in Annex III der Verordnung aufgeführt ist. Dazu zählen zusammengefasst:

• KI-Systeme in kritischen Infrastrukturen, wie Verkehr und Energieversorgung, die Sicherheitsrisiken bergen;
• KI-Systeme in Bildung, Berufsbildung, Beschäftigung und Personalmanagement, die signifikante Auswirkungen auf das Leben der Menschen haben;
• und KI-Systeme in wesentlichen öffentlichen Dienstleistungen und in der Strafjustiz, wo sie grundlegende Rechte beeinflussen könnten.

Zu beachten ist, dass die finale Fassung der Verordnung nach Anpassungen in der letzten Gesetzgebungsphase eine neue Ausnahmeregelung erhalten hat. Danach gilt ein System trotz Klassifikation in Annex III nicht als hochriskant, wenn es kein erhebliches Risiko einer Schädigung der Gesundheit, Sicherheit oder Grundrechte von natürlichen Personen darstellt und materiell auch keinen wesentlichen Einfluss auf Entscheidungsprozesse hat. Ausgenommen sind danach schlussendlich solche KI-Systeme, die nur untergeordnete Hilfstätigkeiten ausführen.

Ob die Ausnahmeregelung im konkreten Fall greift, kann von dem Anbieter des Systems selbst beurteilt werden, wobei die Begründung für die Entscheidung dokumentiert werden muss.

Damit Betreiber nicht das Risiko einer Fehlbewertung durch den Anbieter tragen, sollten sie stets selbst prüfen, ob das System unter den Annex III fällt und im Zweifel die dokumentierte Begründung des Anbieters erfragen, sollte dieser das System als von den Regelungen ausgenommen erachten.

Zusammengefasst gilt der Einsatz von KI-Systemen in folgenden Bereichen als hochriskant:

• kritische Infrastrukturen (z.B. Verkehr), die das Leben und die Gesundheit der Bürger gefährden könnten
• allgemeine oder berufliche Bildung, die den Zugang zu Bildung und den beruflichen Werdegang einer Person bestimmen kann (z.B. Punktzahl der Prüfungen)
• Sicherheitskomponenten von Produkten (z.B. KI-Anwendung in der robotergestützten Chirurgie)
• Beschäftigung, Management von Arbeitnehmern und Zugang zur Selbstständigkeit (z.B. CV-sorting-Software für Einstellungsverfahren)
• wesentliche private und öffentliche Dienstleistungen (z.B. Kreditbewertung, die den Bürgern die Möglichkeit verwehrt, einen Kredit zu erhalten)
• Strafverfolgung, die in die Grundrechte der Menschen eingreifen kann (z.B. Bewertung der Zuverlässigkeit von Beweismitteln)
• Migrations-, Asyl- und Grenzkontrollmanagement (z.B. automatisierte Prüfung von Visumanträgen)
• Justizverwaltung und demokratische Prozesse (z.B. KI-Lösungen zur Suche nach Gerichtsurteilen)

Gilt das fragliche KI-System nach dem oben Gesagten als hochriskant, dann sind eine Vielzahl an Anforderungen zu erfüllen, wobei danach zu unterscheiden ist, ob Sie als Anbieter oder als Betreiber des Systems auftreten.

2. Pflichten für Anbieter von Hochrisiko-KI-Systemen (Art. 16 KI-VO)

Wird festgestellt, dass das KI-System hochriskant ist, muss es in einem ersten Schritt das Konformitätsbewertungsverfahren durchlaufen und die im Folgenden aufgelisteten Anforderungen einhalten. In einem zweiten Schritt ist es dann in der EU-Datenbank zu registrieren. Im letzten Schritt muss die Konformitätskennzeichnung ausgestellt und angebracht werden. Werden im Nachgang substanzielle Änderungen an dem System vorgenommen, muss der Prozess erneut durchlaufen werden.

Die Pflichten sind im Einzelnen:

• Einrichtung eines Risikomanagementsystems: In dem System müssen die mit der KI verbundenen Risiken fortlaufend identifiziert, analysiert und bewertet werden. Den ermittelten Risiken muss im Anschluss durch geeignete Maßnahmen begegnet werden.
• Data-Governance: Es muss sichergestellt werden, dass das KI-System qualitativ hochwertige Trainingsdaten verwendet, deren Datensätze relevant und „unbiased“ sind.
• Technische Dokumentation: Aus der Dokumentation muss hervorgehen, wie das System die Anforderungen der Verordnung erfüllt. In Annex IV KI-VO werden die Informationen aufgelistet, die darin mindestens enthalten sein müssen.
• Protokollierung („Logs“): Der Anbieter muss sicherstellen, dass das System automatisch Ereignisse und Vorgänge protokolliert oder dies zumindest für den Betreiber ermöglicht, sodass die wesentlichen Prozesse innerhalb des Systems rückverfolgbar sind. Diese sog. „Logs“ müssen vom Anbieter aufbewahrt werden.
• Transparenz: Das System muss hinreichend transparent gestaltet und mit einer (digitalen) Gebrauchsanleitung versehen werden, damit die Betreiber das System richtig bedienen und die Vorschriften der Verordnung selbst einhalten können.
• Menschliche Aufsicht: Sie dient der Verhinderung bzw. Minimierung von Risiken. Der Anbieter des Systems kann die menschliche Aufsicht entweder bereits vor Inverkehrbringen in das KI-System integrieren, oder aber es technisch ermöglichen, dass der Betreiber des Systems die Aufsicht selbst übernimmt.
• Genauigkeit, Robustheit und Cybersicherheit: Das System muss während seines gesamten Lebenszyklus‘ ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit haben.
• Einrichtung eines Qualitätsmanagementsystems: Das System soll die Einhaltung der Vorschriften sicherstellen und schriftlich dokumentiert werden sowie unter anderem Verfahren zum Risikomanagement, zur Überwachung nach dem Inverkehrbringen oder auch zur Meldung von Zwischenfällen abdecken.
• Korrekturmaßnahmen: Nach Inverkehrbringen bzw. Inbetriebnahme des Systems sind gegebenenfalls Korrekturmaßnahmen zu ergreifen, falls der Verdacht besteht, dass das System nicht den Anforderungen der Verordnung entspricht.
• Bereitstellung von Informationen: Im Falle von Behördenanfragen und Audits müssen Behörden alle nötigen Informationen für den Nachweis von Konformität mit den Vorgaben der Verordnung bereitgestellt werden.
• Ernennung eines EU-Vertreters: Anbieter, die nicht in der EU niedergelassen sind, müssen gem. Art. 22 KI-VO einen in der EU niedergelassenen Vertreter schriftlich ernennen, bevor sie das System auf den Unionsmarkt einführen.
• Konformitätsbewertungsverfahren: Gem. Art. 43 KI-VO muss das System dem betreffenden Konformitätsbewertungsverfahren unterzogen werden, bevor es in Verkehr gebracht oder in Betrieb genommen wird. Der Anbieter muss zudem gem. Art. 47 KI-VO eine EU-Konformitätserklärung für das KI-System ausstellen und für 10 Jahre nach Inbetriebnahme bzw. Inverkehrbringen aufbewahren.
• CE-Konformitätskennzeichnung: Die CE-Konformitätskennzeichnung nach Art. 30 der EU-Verordnung EG 765/2008 ist an das KI-System (digital) anzubringen, um die Konformität mit der KI-Verordnung anzuzeigen.
• Registrierung in EU-Datenbank: Bevor das System auf den Markt gebracht oder in Betrieb genommen wird, muss es in der in Art. 71 KI-VO genannten EU-Datenbank registriert werden.
• Post-Market-Monitoring: Dieses sammelt, dokumentiert und analysiert aktiv und systematisch die von den Nutzern bereitgestellten oder aus anderen Quellen stammenden relevanten Daten über die Leistung des KI-Systems über dessen gesamte Lebensdauer.

3. Pflichten für Betreiber von Hochrisiko-KI-Systemen (Art. 26 KI-VO)

• Technische und organisatorische Maßnahmen: Betreiber müssen zunächst TOMs ergreifen, damit das KI-System im Einklang mit der Gebrauchsanleitung und mit den weiteren Anforderungen aus Art. 26 Abs. 2-5 KI-VO genutzt wird.
• Menschliche Aufsicht: Für den Fall, dass der Anbieter die Rolle der menschlichen Aufsicht an den Nutzer übertragen hat, ist diese Aufgabe von einer kompetenten Person wahrzunehmen, die hierfür ausreichend qualifiziert ist und unterstützt wird.
• Qualität der Eingabedaten: Soweit die Eingabedaten seiner Kontrolle unterliegen, sorgt der Betreiber dafür, dass diese der Zweckbestimmung des KI-Systems entsprechen.
• Pflichtgemäßer Umgang: Der Betreiber hat das System gemäß der Gebrauchsanweisung nutzen und dem Hersteller die nötigen Informationen für das Post-Market-Monitoring zu geben. Ist davon auszugehen, dass der Betrieb zu einem unverhältnismäßigen Risiko für Gesundheit, Sicherheit oder Grundrechte führt, ist das System außer Betrieb zu nehmen.
• Meldepflichten: Im Falle der Außerbetriebnahme oder bei sonstigen schwerwiegenden Vorfällen bestehen verschiede Meldepflichten gegenüber dem Anbieter oder Händler des Systems.
• Aufbewahrung der Logs: Die vom System automatisch erzeugten Protokolle sind vom Betreiber für mindestens 6 Monate aufzubewahren, um das ordnungsgemäße Funktionieren des Systems nachweisen zu können bzw. nachträgliche Kontrollen zu ermöglichen.
• Erklärung gegenüber Arbeitnehmern: Arbeitgeber müssen ihrer Angestellten darüber informieren, dass sie künstlicher Intelligenz unterworfen sind, wenn sie diese am Arbeitsplatz einsetzen.
• Informationspflichten: Es gelten besondere Informationspflichten, wenn das System Entscheidungen über natürliche Personen trifft bzw. dabei unterstützend eingesetzt wird.
• Fundamental Rights Impact Assessment: Anders als vom EU-Parlament noch ursprünglich vorgeschlagen, ist ein Fundamental Rights Impact Assessment nur noch von staatlichen Betreibern und von privaten Betreibern, die staatliche Aufgaben wahrnehmen, durchzuführen. Ausnahmen bestehen jedoch bei Kreditwürdigkeitsprüfungen oder bei der Preisgestaltung von Lebens- und Krankenversicherungen.

Es darf nicht übersehen werden, dass auch für Betreiber die Anbieterpflichten aus Art. 16 KI-VO in bestimmten Fällen gelten können. Dies ist insbesondere dann der Fall, wenn der Betreiber

• ein Hochrisiko-KI-System unter eigenem Namen oder seiner Marke in den Verkehr bringt oder in Betrieb nimmt,
• eine wesentliche Änderung an einem als hochriskant eingestuften KI-System vornimmt, ohne dass dieses seine Eigenschaft als Hochrisiko-KI-System verliert, oder
• eine wesentliche Änderung an der Zweckbestimmung eines sonstigen KI-Systems vornimmt und es dadurch zu einem Hochrisiko-KI-System wird.

In diesen Fällen gilt nämlich gem. Art. 25 Abs. 1, 2 KI-VO der Betreiber als neuer Anbieter des KI-Systems, während der alte Anbieter aus der Verantwortung genommen wird. Dieser hat aber den neuen Anbieter bei der Erfüllung seiner Pflichten zu unterstützen.

Die KI-Verordnung benennt die dritte Kategorie von KI-Systemen nicht ausdrücklich. Vielmehr impliziert die Verordnung diese Kategorie, indem sie bestimmte Transparenzanforderungen an KI-Systeme mit besonderen Manipulationsrisiken stellt – unabhängig davon, ob das Systeme als hochriskant eingestuft wird. Da diese Transparenzpflichten somit auch für solche KI-Systeme gelten können, die nicht als hochriskant eingestuft werden, kann von einer „dritten Kategorie“ für KI-Systeme gesprochen werden, denn von diesen geht insofern nur ein „geringes Risiko“ (ein Manipulationsrisiko) aus.

Aus Sicht der Verordnungsgebers bestehen solche Risiken dann, wenn künstliche Intelligenz Inhalte generiert oder in direkten Kontakt mit natürlichen Personen tritt. Dies ist etwa bei Chatbots wie ChatGPT der Fall. Für die Anbieter und Betreiber solcher Systeme gelten daher besondere Anforderungen.

Nicht übersehen werden darf aber, dass diese Anforderungen auch für Hochrisiko-KI-Systeme gelten können und insofern zusätzlich Anwendung finden. KI-Systeme, die nicht verboten, nicht hochriskant und auch nicht Gegenstand der Transparenzpflichten (bzw. der Vorschriften über KI mit allgemeinem Verwendungszweck, siehe unten) sind, unterliegen nicht der Verordnung und bilden somit die vierte Kategorie („minimales Risiko“).

1. Pflichten für Anbieter von bestimmten KI-Systemen (Art. 50 Abs. 1, 2 KI-VO)

• KI-Systeme, die dafür vorgesehen sind, direkt mit natürlichen Personen zu interagieren, müssen vom Anbieter so gestaltet bzw. konzipiert werden, dass die natürliche Person darüber informiert wird, dass sie mit einem KI-System interagiert. Dies gilt ausnahmsweise nicht, wenn dieser Umstand für eine vernünftige Person ohne Weiteres erkennbar ist.
• KI-Systeme, die Audio-, Bild-, Video- oder Textmaterial generieren, müssen in einem maschinenlesbaren Format als generiert bzw. manipuliert gekennzeichnet werden. Die vom Anbieter zur Umsetzung dieser Anforderungen gewählte Lösung muss zudem wirksam, interoperabel, robust und zuverlässig sein und dem Stand der Technik entsprechen.

In beiden Fällen müssen die Informationen den betroffenen natürlichen Personen spätestens zum Zeitpunkt der ersten Interaktion oder Exposition mit dem KI-System in klarer und erkennbarer Weise zur Verfügung gestellt werden.

2. Pflichten für Betreiber von bestimmten KI-Systemen (Art. 50 Abs. 3, 4 KI-VO)

• Betroffene müssen vom Betreiber eines Emotionserkennungssystems oder eines Systems zur biometrischen Kategorisierung über den Betrieb dieses Systems informiert werden.
• Betreiber von KI-Systemen, die Bilder, Videos oder Audioinhalte erstellt oder verändert, müssen offenlegen, dass die generierten Inhalte nicht echt sind. Es gelten allerdings Ausnahmen im Bereich der Kunstfreiheit und der Satire.
• Schließlich müssen Betreiber von KI-Systemen, die einen Text, der zu öffentlichen Informationszwecken veröffentlicht wird, erstellen oder verändern, dies ebenfalls grundsätzlich offenlegen.

Wie auch im Fall der Anbieter, müssen diese Informationen den betroffenen natürlichen Personen spätestens zum Zeitpunkt der ersten Interaktion oder Exposition in klarer und erkennbarer Weise zur Verfügung gestellt werden.

Die Verordnung legt zudem unabhängig von der Einordnung der KI fest, dass Betreiber von KI-Systemen grundsätzlich sogenannte „AI-Literacy“ haben sollen. Betreiber müssen demnach sicherstellen, dass das eigene Personal und die anderen Personen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, hinreichende KI-Kompetenz haben. Dabei sollen die vorhandenen Erfahrungen und Kenntnisse der betroffenen Personen sowie der Kontext berücksichtigt werden, in dem das KI-System eingesetzt werden soll. Der Umfang der erforderlichen Kompetenz richtet sich nach dem Risikopotenzial des KI-Systems und den damit verbundenen Pflichten.

Gegenstand nachträglicher Änderungen im Laufe des Gesetzgebungsverfahren war sogenannte „General-Purpose-KI“ (GPAI), ehemals noch als „Foundations-Models“ (dt.: „Basismodelle“) bezeichnet. Hierunter fallen Modelle von KI-Systemen, die auf breiter Datenbasis trainiert wurden, auf eine allgemeine Verwendung ausgelegt sind und für vielfältige unterschiedliche Aufgaben angepasst werden können. Klassische Beispiele hierfür sind etwa GPT-4o von OpenAI und andere Large Language Models.

Interessant ist, dass der Verordnungsgeber lediglich an die Anbieter von GPAI zusätzliche Anforderungen stellt. Daneben – also ungeachtet dessen, ob die KI auch noch als General-Purpose-KI eingeordnet wird – sind alle anderen Anforderungen weiterhin zu beachten, insbesondere die für hochriskante KI-Systeme. Betreiber von GPAI treffen daher zwar keine zusätzlichen Pflichten, sie haben aber gegebenenfalls die bisher aufgezeigten Vorgaben einzuhalten.

Die Pflichten für die Anbieter von GPAI sind in Art. 53 KI-VO aufgelistet und sollen hier kurz dargestellt werden:

• Technische Dokumentation: Diese soll erstellt und laufend aktualisiert werden, wobei sie die Trainings- und Testverfahren des KI-Systems sowie dessen Bewertungsergebnisse enthalten muss.
• Bereitstellung von Informationen und Unterlagen zur Funktionsweise des KI-Modells: So sollen nachgelagerte Anbieter, die beabsichtigen, das GPAI-Modell in ihr eigenes KI-System zu integrieren, die Fähigkeiten und Grenzen des Systems verstehen und die an sie gestellten Anforderungen erfüllen können.
• Erstellung einer Policy zur Einhaltung der Urheberrechtsrichtlinie.
• Veröffentlichung einer ausreichend detaillierten Zusammenfassung der für das Training des GPAI-Modells verwendeten Inhalte.

In Art. 3 Nr. 63-66 KI-VO definiert der Verordnungsgeber zudem GPAI-Modelle mit systemischem Risiko und stellt an diese in Art. 55 KI-VO wiederum folgende zusätzliche Anforderungen:

• Durchführung von Modellevaluierungen: Dabei sind auch kontradiktorische Test zur Ermittlung und Abschwächung systemischer Risiken vorzunehmen und zu dokumentieren.
• Bewertung und Abschwächung möglicher systematischer Risiken sowie ihrer Quellen.
• Dokumentation und Meldung schwerwiegender Vorfälle und diesbezüglicher Abhilfemaßnahmen.
• Gewährleistung eines angemessenen Niveaus an Cybersecurity.

Die Aufsicht über die Einhaltung der Verordnung ist in Sektoren aufgeteilt. Teilweise liegt die Zuständigkeit damit bei der EU-Kommission, die bereits im Februar 2024 bei sich ein entsprechendes Büro eingerichtet hat, das „Europäische Amt für Künstliche Intelligenz“. Dieses hat hauptsächlich die Aufsicht für KI-Systeme mit allgemeinem Verwendungszweck.

Die Vollzugsaufgaben liegen jedoch im Wesentlichen bei den mitgliedstaatlichen Aufsichtsbehörden. Diese sind insbesondere für die Kernaufgabe der Marktüberwachung sowie die Akkreditierung der Konformitätsbewertungsstellen zuständig, die ihrerseits überprüfen, ob KI-Systeme die Anforderungen der Verordnung einhalten. So müssen die Mitgliedstaaten bis zum 02. August 2025 jeweils mindestens eine notifizierende Behörde und eine Marktüberwachungsbehörde als zuständige nationale Behörde benennen sowie eine zentrale Anlaufstelle („single point of contact“) einrichten, die als zentrale Annahmestelle für Beschwerden nach der KI-Verordnung dient. Dafür müssen nicht notwendig neue Behörden eingerichtet werden, sondern es kann auch bestehenden Behörden die entsprechende Aufsichtsfunktion zugewiesen werden.

Für einzelne Sektoren wird die nationale Kompetenzverteilung bereits durch die KI-Verordnung vorgegeben. So sollen für Hochrisiko-KI-Systeme, die in Produkten eingesetzt werden, die bereits besonderen EU-Produktregulierungen unterliegen, die dafür jeweils zuständigen nationalen Marktüberwachungsbehörden auch für die Einhaltung der KI-Verordnung zuständig sein. Im Bereich der Strafverfolgung, Migration, Asyl oder Grenzkontrolle sowie bei der Rechtspflege sind die Datenschutzaufsichtsbehörden als Marktüberwachungsbehörden vorgesehen.

Ein Großteil der Zuständigkeiten ist allerdings der Festlegung durch die Mitgliedstaaten überlassen, wie zum Beispiel die für KI-Systeme zur biometrischen Fernidentifizierung oder für Hochrisiko-KI-Systeme in den Bereichen kritische Infrastruktur, Bildung und Arbeitnehmermanagement.

In Deutschland ist die Verteilung hinsichtlich der nicht in der KI-Verordnung vorgesehenen sektoralen Zuständigkeiten noch ungeklärt. Von der Datenschutzkonferenz (DSK) wurde in einem Beschluss vom 03. Mai 2024 vorgeschlagen, dass die Datenschutzbehörden nicht nur die von der KI-Verordnung vorgesehenen Zuständigkeiten wahrnehmen, sondern darüber hinaus als allgemeine Marktüberwachungsbehörde für die KI-Verordnung fungieren sollen. Auch das European Data Protection Board (EDPB) hatte sich in einem Statement vom 16. Juli 2024 für eine Zuständigkeit der Datenschutzbehörden ausgesprochen.

Demgegenüber empfiehlt eine Studie der Bertelsmann-Stiftung aus dem Mai 2024 die Bundesnetzagentur (BNetzA) als Marktüberwachungsbehörde, da sich diese leicht zu einer umfassenderen Digitalbehörde weiterentwickeln lasse. Nach jüngsten Recherchen des Tagesspiegel tendieren wohl auch die federführenden Ministerien zu dieser Lösung.

Die Bundesregierung hat sich bislang noch nicht öffentlich dazu geäußert, wie die Kompetenzen verteilt werden sollen, sondern bloß angekündigt, einen Entwurf für ein Durchführungsgesetz in den Bundestag einzubringen, in dem die Zuständigkeiten geregelt werden. Ein Referentenentwurf ist bis Mitte Oktober 2024 geplant.

Wie eingangs festgestellt, ist die Verordnung am 01. August 2024 in Kraft getreten. Allerdings wird sie erst nach zwei Jahren in vollem Umfang anwendbar sein. Aufgrund des stark unterschiedlichen Umsetzungsaufwandes bezüglich einzelner Verpflichtungen treten die Regelungen gemäß Art. 113 KI-VO phasenweise in Kraft. So gelten die Verbote bestimmter KI-Praktiken erst nach sechs Monaten, während die Governance-Regeln und die Verpflichtungen für GPAI erst nach zwölf Monaten einzuhalten sind. Die Vorschriften für KI-Systeme, die in regulierte Produkte eingebettet sind, treten erst nach 36 Monaten in Kraft.

Hier eine Übersicht zu den relevanten Daten:

• 02. Februar 2025 (6 Monate nach Inkrafttreten): Verbotene KI-Systeme sind abzuschalten und die allgemeinen Vorschriften sind umzusetzen
• 02. August 2025 (12 Monate nach Inkrafttreten): Verpflichtungen für GPAI-Systeme sind zu einzuhalten (mit Ausnahme des Art. 101 KI-VO); der Sanktionsmechanismus der KI-Verordnung gilt und wird umgesetzt
• 02. August 2026 (24 Monate nach Inkrafttreten): Alle Vorschriften der KI-VO werden anwendbar, insb. die für Hochrisiko-KI-Systeme nach Anhang III (mit Ausnahme der nach Anhang II)
• 02. August 2027 (36 Monate nach Inkrafttreten): Verpflichtungen für Hochrisiko-KI-Systeme nach Anhang II sind einzuhalten
• 02. August 2030 (72 Monate nach Inkrafttreten): Geltung für Hochrisiko-KI-Systeme, die bestimmungsgemäß von Behörden genutzt werden sollen
• 31. Dezember 2030: Geltung für KI-Systeme, die Komponenten der in einem Anhang zu dieser Verordnung aufgeführten durch Rechtsakte eingerichteten IT-Großsysteme sind und vor dem 02. August 2027 in Verkehr gebracht oder in Betrieb genommen wurden

Bei der Umsetzung der rechtlichen Vorgaben werden die Leitlinien und Durchführungsrechtsakte der Kommission von besonderer Bedeutung sein, die in den kommenden sechs Monaten erlassen werden sollen. Dadurch wird die Kommission maßgeblichen Einfluss darauf haben, wie die Verordnung verstanden und angewendet werden soll.

So ist beispielsweise die Definition des Begriffs „Künstliche Intelligenz“ weiterhin unklar. Während die gesetzliche Definition teilweise eng verstanden wird, sodass nur solche KI-Systeme erfasst sind, die sich noch im Betrieb und außerhalb der unmittelbaren Kontrolle durch den Anbieter weiterentwickeln, lesen andere die Definition so, dass der Großteil an IT-Systemen erfasst wird, die komplexere Aufgaben zu bewältigen haben. Daher bleibt abzuwarten, bis die Kommission ihre diesbezüglichen Leitlinien veröffentlich.

Eine Liste hilfreicher Stellungnahmen und Orientierungshilfen von Aufsichtsbehörden finden Sie hier:

• Diskussionspapier zu Rechtsgrundlagen im Datenschutz bei Einsatz von KI des* Landesbeauftragten für Datenschutz und Informationsfreiheit Baden-Württemberg* (7. November 2023)
• Checkliste zum Einsatz LLM-basierter Chatbots des Hamburgischen Beauftragten für Datenschutz und Informationsfreiheit (13. November 2023)
• Checkliste mit Prüfkriterien nach DSGVO des Bayerischen Landesamts für Datenschutzaufsicht (24. Januar 2024)
• Orientierungshilfe zu Künstliche Intelligenz und Datenschutz der Konferenz der unabhängigen Datenschutzaufsichtsbehörden des Bundes und der Länder (Datenschutzkonferenz) (06. Mai 2024)
• Datenschutzrechtliche Anleitungen für die Entwicklung von KI-Systemen der französischen Aufsichtsbehörde CNIL (02. Juli 2024)
• Diskussionspapier: Large Language Models und personenbezogene Daten des Hamburgischen Beauftragten für Datenschutz und Informationsfreiheit (15. Juli 2024)