Aktuelle Entwicklungen im Bereich KI-Regulierung

Künstliche Intelligenz findet mehr und mehr den Weg in unseren Alltag. Ihr Einsatz kann Entscheidungsprozesse und Arbeitsvorgänge in vielen Lebensbereichen optimieren und ermöglicht Lösungsansätze, die zuvor kaum denkbar gewesen wären. Durch die rasante technische Weiterentwicklung und den stetig zunehmenden Gebrauch von KI werden jedoch auch immer mehr mitunter grundrechtsrelevante Risiken offenbar, die mit der Nutzung künstlicher Intelligenz einhergehen.

Diese werden besonders dann deutlich, wenn KI im Rahmen von Gesichtserkennungs-, Überwachungs- und Gesundheitstechnologien genutzt wird. In den vergangenen Wochen drehten sich die Debatten und Medienberichte jedoch vor allem um den Chatbot „ChatGPT“ des kalifornischen Entwicklers OpenAI.

Anhand dieses Beispiels kann man eine Vorstellung davon gewinnen, welche gesamtgesellschaftlichen Folgen künstliche Intelligenz haben kann, wenn sie von einer Großzahl der Bevölkerung genutzt wird. Je mehr KI an Autorität und Einfluss gewinnt, desto größer ist auch die Gefahr, dass die KI für schädigende Zwecke instrumentalisiert wird, z.B. um die öffentliche Meinung und den demokratischen Diskurs zu beeinflussen. Nicht nur deshalb ist es notwendig, den Umgang mit künstlicher Intelligenz zu regulieren.

Dieser Meinung ist auch Sam Altmann, einer der Gründer von OpenAI:

Die EU-Kommission ist schon vor einigen Jahren auf die Risiken von KI aufmerksam geworden und hat 2018 eine Strategie zur Regulierung und gleichzeitigen Förderung der Entwicklung künstlicher Intelligenz erarbeitet. Konkret wurde im Frühjahr 2021 ein Vorschlag für das Gesetz über Künstliche Intelligenz („KI-Verordnung“ bzw. „AI-Act“) unterbreitet. Ziel des Entwurfs ist neben der Förderung der Entwicklung von KI, durch die Schaffung eines Rechtsrahmens einen hinreichenden Grundrechtsschutz zu gewährleisten und eine Vertrauensbasis beim Umgang mit künstlicher Intelligenz zu schaffen.

Als Reaktion auf die durch ChatGPT ausgelösten KI-Hype und die damit einhergehenden Risiken, wurden am 11.05.2023 durch die parlamentarischen Ausschüsse des Europäischen Parlaments Änderungsanträge zum Kommissionsvorschlag einbracht. Vorangegangen waren unter anderem Verhandlungen über strengere Anforderungen an generative Allzweck-KI („General-Purpose-AI“), sodass etwa bei deren Entwicklung die Grundrechte, einschließlich der Meinungsfreiheit, berücksichtigt werden muss. Zudem wurden weitere Verpflichtungen und Transparenzanforderungen an Anbieter so genannter Foundation Models wie ChatGPT aufgenommen. Außerdem sollen allgemeine Grundsätze wie technische Sicherheit, Transparenz und Data-Governance für alle KI-Systeme gelten, ohne dass dabei jedoch neue Anforderungen entwickelt werden. Die Grundsätze sollen vielmehr in technische Standards und Leitfäden aufgenommen werden.

Neben der KI-Verordnung liegt seit Herbst 2022 ein Vorschlag der Kommission für eine Richtlinie zur KI-Haftung vor, wodurch Geschädigten von KI-Systemen die Prozessführung erleichtert werden soll.

Auch in den USA wird derzeit versucht, spezielle Vorschriften für künstliche Intelligenz zu schaffen. So wurden 2022 Vorschläge für ein „AI Risk Management Framework“ und eine „AI Bill of Rights“ vorgelegt. Im Unterschied zum europäischen Ansatz dienen diese jedoch lediglich als unverbindliche Leitlinien und setzen somit prinzipiell auf die freiwillige Umsetzung der Vorgaben durch die Adressaten.

Die KI-Verordnung verfolgt einen risikobasierten Ansatz, nach welchem KI-Systeme anhand ihres Einsatzbereichs und ihres Zwecks in vier verschiedene Risikogruppen unterteilt werden. Demnach gibt es KI-Systeme mit unannehmbarem, hohem, begrenztem und minimalem Risiko. Die Verordnung adressiert einerseits Anbieter („provider“) von KI-Systemen, wenn diese das System in der EU in Verkehr bringen oder in Betrieb nehmen, und anderseits deren Nutzer („user“), es sei denn, die Nutzung geschieht allein zu rein privaten Zwecken.

Wie der Verordnungsgeber annimmt, geht von dem Großteil aller KI-Systeme ein minimales Risiko aus. Für solche Systeme, zu denen beispielsweise Spamfilter gehören, enthält die Verordnung keine besonderen Vorgaben.

Demgegenüber werden KI-Systeme mit unannehmbarem Risiko nach Art. 5 KI-VO verboten. Darunter fallen nur wenige Fallgruppen wie etwa das System des Social-Scorings (nach chinesischem Vorbild) oder – von einigen Ausnahmen abgesehen - biometrische Echtzeit-Fernidentifizierungssysteme im öffentlichen Raum zu Zwecken der Strafverfolgung.

Transparenzanforderungen

An bestimmte KI-Systeme mit besonderen Manipulationsrisiken stellt die Verordnung bestimmte Transparenzanforderungen – unabhängig davon, ob das Systeme als hochriskant eingestuft wird. Hierzu zählen nun auch so genannte Generative Foundation Models wie GPT weswegen ChatGPT oder Replika in diese Gruppe fallen dürften. Zur Erfüllung der Anforderungen ist es erforderlich, dass den Nutzern eines solchen Systems transparent gemacht wird, dass sie mit einer KI interagieren, es sei denn, dass dies aus den Umständen offensichtlich ist. Zudem soll es für Anbieter derartiger Modelle eine Registrierungspflicht in einer EU-Datenbank geben. Ob dadurch den mit Chatbots einhergehenden Risiken ausreichend Rechnung getragen wird, bleibt abzuwarten. Die Transparenzpflichten können aber zumindest gewährleisten, dass das Risiko so genannter „Deep-Fakes“ zurückgedrängt wird.

Hochrisiko-Systeme

Kernstück der Verordnung bildet die Regulierung von Hochrisiko-Systemen. Zu dieser Gruppe gehören einerseits KI-Systeme, die als Sicherheitskomponente in Produkten genutzt werden, und andererseits KI-basierte Anwendungen mit besonderer grundrechtlicher Relevanz wie etwa solche im Bereich des Personalmanagements, in der Aus- und Weiterbildung oder in kritischer Infrastruktur. An Hochrisiko-Systeme sowie an ihre Betreiber und Nutzer werden besondere Anforderungen gestellt, die bei Verwendung des Systems in der EU einzuhalten sind. Einige dieser Anforderungen sollen im Folgenden überblicksmäßig dargestellt werden.

Risikomanagement-System

Zunächst muss das KI-System von einem dokumentierenden Risikomanagement-System begleitet werden, das durch konkrete, dem Stand der Technik entsprechende Maßnahmen das Risiko des KI-Systems auf ein akzeptables Niveau senkt. Das Risikomanagement-System ist dabei als iterativer Prozess ausgestaltet und muss regelmäßig aktualisiert werden, wobei die tatsächlichen und potenziellen Risiken des KI-Systems fortlaufend ermittelt und abgewogen werden müssen. Gegen die so ermittelten Risiken sind dann „geeignete“ Maßnahmen zu treffen.

Daneben stehen einzelne Dokumentations- und Informationspflichten. Art. 13 I KI-VOE gibt etwa vor, dass die Systeme so konzipiert und entwickelt werden, dass ihr Betrieb hinreichend transparent ist, damit die Nutzer die Ergebnisse angemessen interpretieren und verwenden können, ohne dass dabei jedoch konkrete Maßnahmen benannt werden, durch die dieses Ziel erreicht werden kann.

Umgang mit den Datensätzen/Datenschutz

Aus datenschutzrechtlicher Perspektive relevant ist insbesondere Art. 10 KI-VOE, der Anforderungen an den Umgang mit den Datensätzen stellt, mit denen die KI trainiert wird. Wird ein Hochrisiko-System mit Daten trainiert, sind Trainings-, Validierungs- und Testdatensätze zu verwenden, die bestimmte Qualitätsanforderungen erfüllen müssen. Die Datensätze unterliegen nach Art. 10 II KI-VOE bestimmten Verwaltungspraktiken, etwa hinsichtlich der Erfassung, Bewertung und Aufbereitung von Daten oder hinsichtlich etwaiger Datenmängel. Zudem müssen die Datensätze gem. Art. 10 III 1 KI-VOE relevant, repräsentativ, fehlerfrei und vollständig sein. Praktisch wird indes schwer zu bestimmen sein, wann ein Datensatz fehlerfrei ist, da hierfür bislang objektive Qualitätsstandards fehlen.

Absatz 5 enthält eine Befugnisnorm für die Verarbeitung besonderer Kategorien personenbezogenen Daten i.S.d. Art. 9 I DS-GVO, wenn die Verarbeitung für die Feststellung und Korrektur von Bias unbedingt notwendig ist und angemessene Schutzmaßnahmen für die Grundrechte bzw. -freiheiten der Betroffenen getroffen werden. Eine weitere Bedingung ist, dass der verfolgte Zweck durch eine vorherige Anonymisierung erheblich beeinträchtigt werden würde. Die Norm macht an dieser Stelle von der Generalklausel aus Art. 9 II lit. g DS-GVO Gebrauch, da die Verhinderung von Bias („Verzerrungen“) als öffentliches Interesse zu werten sein dürfte, wobei sich die Frage nach dessen „Erheblichkeit“ stellt. Es bleibt zudem offen, wann die Verarbeitung der personenbezogenen Daten zu diesem Zweck „unbedingt erforderlich“ ist und wann der Zweck durch die Anonymisierung der Daten „erheblich beeinträchtigt“ werden würde.

Post-Market-Monitoring

Des Weiteren besteht nach Art. 61 KI-VOE die Pflicht des Anbieters, ein „Post-Market Monitoring“ vorzunehmen, das zur aktiven und systematischen Sammlung von Anwenderdaten dient. Die so gesammelten Daten sollen dann im System mit Anwenderdaten aus anderen Quellen zusammengeführt werden, wodurch dem Anbieter die fortlaufende Überwachung der Einhaltung der Verordnung durch die Anwender ermöglicht werden soll. Bei schwerwiegenden Vorfällen und Fehlfunktionen des Systems besteht gem. Art. 62 KI-VOE eine Meldepflicht. Das Post-Market-Monitoring muss gem. Art. 61 III KI-VOE auf einem Plan beruhen, welcher Teil der technischen Dokumentation nach Anhang IV Nr. 8 KI-VOE ist.

Sanktionierungen

Verstöße gegen die Verordnung sollen nach Art. 71 KI-VOE durch die Mitgliedstaaten mit Geldbußen sanktioniert werden. Die höchsten Strafen sind bei Verstößen gegen Art. 5 KI-VOE (Systeme mit unannehmbarem Risiko) oder Art. 10 KI-VOE (Umgang mit Daten) zu erwarten, nämlich in Höhe von bis zu 30 Mio. EUR bzw. 6 % des weltweiten Jahresumsatzes, falls es sich bei dem Verletzer um ein Unternehmen handelt.

Die KI-Haftungs-RL findet auf außervertragliche, verschuldensabhängige, zivilrechtliche Schadensersatzansprüche in Bezug auf durch KI-Systeme verursachte Schäden Anwendung.

Wesentliche Regelung der Richtlinie ist zum einen der Anspruch auf die gerichtliche Anordnung der Offenlegung von Beweismitteln bei Schäden durch Hochrisiko-Systeme nach Art. 3 KI-Haftungs-RL. Die Offenlegungspflicht wird dabei auf ein erforderliches und verhältnismäßiges Maß beschränkt, wobei insbesondere der Schutz von Geschäftsgeheimnissen zu beachten ist. Daneben beinhaltet Art. 4 KI-Haftungs-RL eine widerlegliche Kausalitätsvermutung zwischen dem Verschulden und dem durch ein KI-System hervorgebrachten Ergebnis bzw. dem Fehlen eines solchen.

Insgesamt trägt die Richtlinie somit dem „Blackbox“-Problem Rechnung, das heißt dem Umstand, dass die Entscheidungsfindung einer KI regelmäßig nicht nachvollzogen werden kann und Geschädigte daher im Prozess nur schwer die von ihnen vorzubringenden Tatsachen beweisen können.

Für den Umgang mit künstlicher Intelligenz ist jedoch auch zukünftig nicht allein die KI-Verordnung maßgeblich. Da KI-basierte Anwendungen oft personenbezogene Daten verarbeiten, wird die KI-VO in diesen Fällen auch von den Vorschriften der DS-GVO flankiert. Hier sind vornehmlich die Grundsätze der Datenverarbeitung wie etwa Datensparsamkeit, Zweckbindung und Transparenz maßgeblich. Daneben kann es bei dem Rückgriff der KI auf bestimmte Daten zu Verletzungen etwaiger Urheber- oder Persönlichkeitsrechte kommen. Zudem werden auch das Arbeits- und IT-Recht, sowie der Geschäftsgeheimnisschutz von den Betreibern und Nutzern von KI zu beachten sein, sodass es eine Breite an Regularien gibt, die dem übermäßigen Einsatz von künstlicher Intelligenz Einhalt gebieten.

Mit der Abstimmung für das KI-Gesetz haben die parlamentarischen Ausschüsse des EU-Parlaments am 11.05.2023 den Weg für Verabschiedung im Plenum Mitte Juni geebnet. Danach beginnt die letzte Phase des Gesetzgebungsverfahrens und die Verhandlungen mit dem EU-Rat und der Kommission (Trilogie) werden eingeleitet.

Bei der Umsetzung der Verordnung werden weitere Probleme auftreten, die in der Verordnung angelegt sind. Die an Hochrisiko-Systeme gestellten Anforderungen müssen beispielsweise in Ausgleich mit datenschutzrechtlichen Grundsätzen gebracht werden. So steht etwa die Protokollierungspflicht der Vorgänge beim Betrieb eines KI-Systems nach Art. 12 KI-VOE im Widerspruch zum Grundsatz der Datenminimierung, weshalb eine datenschutzrechtskonforme Umsetzung der Anforderung nicht ohne weiteres möglich sein wird. Insgesamt kommt mit der Verordnung ein nicht unerheblicher Aufwand auf die Nutzer und Betreiber von KI-Systemen zu. Um diesen die Einhaltung der Vorschriften zu vereinfachen, könnte der in Art. 56 KI-VOE beschriebene „Europäische Ausschuss für künstliche Intelligenz“ eine Hilfe sein, der Stellungnahmen, Empfehlungen und Leitlinien erarbeiten soll.