Am 01. August 2024 ist die KI-VO in Kraft getreten. Für Unternehmen stellt sich die Frage, welche Pflichten daraus folgen, wenn sie KI-Systeme implementieren. Beispielsweise ist eine Einbindung von API in interne Unternehmenssoftware denkbar oder die Implementierung eines GPT-Chatbots auf der eigenen Website.
Die KI-VO knüpft dabei an verschiedene Rollen im Umgang mit KI-Systemen an: demnach gelten für „Anbieter“ von KI-Systemen andere Pflichten als für „Betreiber“. Eine zutreffende Einordnung der eigenen Rolle erlangt daher eine zentrale Bedeutung im rechtskonformen Umgang mit KI-Systemen als Unternehmen.
KI-System oder herkömmliche Software?
Bevor es die konkrete Rolle des eigenen Unternehmens einzuordnen ist, gilt es zu beurteilen ob überhaupt ein KI-System i.S.d. KI-VO vorliegt oder nicht nur eine herkömmliche Software. Denn nur im Falle eines KI-Systems, gelten die Pflichten der KI-VO.
Die Bestimmung der Definition eines KI-Systems zählte zu einer der umstrittensten Fragestellungen im Rahmen der Gesetzgebungsentwicklung. Im Ergebnis wurde sich für die Definition des Art. 3 Nr. 1 KI-VO entschieden:
- KI-System ist demnach „ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können“.
Hieran wird kritisiert, dass es sich um eine zu weite Definition handelt, die keine klare Abgrenzung zu herkömmlicher Software ermöglicht. Ergänzend ist daher Erwägungsgrund 12 der KI-VO heranzuziehen. Dieser führt aus:
- „Ein wesentliches Merkmal von KI-Systemen ist ihre Fähigkeit, abzuleiten.“
Zentrales Abgrenzungskriterium ist mithin die Fähigkeit „abzuleiten“. Einfache Software fällt damit offensichtlich aus dem Anwendungsbereich der KI-VO. Bei besonders komplexer Software scheint eine eindeutige Grenzziehung aber nach wie vor diffizil. Beispielhaft könnte der Einsatz von „Hybrid-KI-Systemen mit Deep-Learning-Elementen“ angeführt werden.
In diesen Grenzfällen gilt es die konkreten Umstände des Einzelfalls dezidiert zu betrachten und eine Abwägungsentscheidung zu treffen.
Anbieter oder Betreiber?
Liegt ein KI-System vor, gilt es zu bewerten, ob das Unternehmen als Anbieter oder Betreiber einzuordnen ist. Denn die KI-VO knüpft hieran unterschiedliche Pflichten an. Während im Entwurfsstadium noch vom Begriff des „Anwenders“ die Rede war, hat man sich im Ergebnis auf den des „Betreibers“ geeinigt. Gesetzlich ist die Abgrenzung anhand der Definitionen des Art. 3 KI-VO vorzunehmen.
Art. 3 Nr. 3 KI-VO: Anbieter
Für Unternehmen stellt sich die Frage, ob im Zuge der Implementierung eines KI-Systems schon zum Anbieter wird.
Gemäß Art. 3 Nr. 3 KI-VO ist unter einem Anbieter „eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI System oder ein KI Modell mit allgemeinem Verwendungszweck entwickelt oder entwickeln lässt und es unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringt oder das KI System unter ihrem eigenen Namen oder ihrer Handelsmarke in Betrieb nimmt, sei es entgeltlich oder unentgeltlich“; zu verstehen.
Das Vorliegen der Anbieterstellung gilt es folglich anhand eines 2-Schritts zu ermitteln: das Unternehmen muss das KI-System (1) Entwickeln bzw. Entwickeln lassen, sowie (2) das KI-System Inverkehrbringen oder Inbetriebnehmen („und“).
Auf erster Ebene setzt die Einordnung als Anbieter somit jedenfalls voraus, dass das Unternehmen das KI-System entwickeln lassen hat. Dahingehend stellt sich regelmäßig die Frage, ob es schon zur Entwicklung eines KI-Systems kommt oder nur auf ein bestehendes KI-System zurückgegriffen wird. Abstrakt kann dahingehend an die Definition des KI-Systems aus Art. 3 Nr. 1 KI-VO angeknüpft werden: die Entwicklung eines KI-Systems ist demnach anzunehmen, wenn nicht nur auf eine bestehende Ableitung aufgebaut wird, sondern eine eigene Ableitungsfunktion erzeugt wird.
Liegt die Entwicklung oder das entwickeln lassen vor, ist auf zweiter Ebene das Inverkehrbringen oder die Inbetriebnahme des Systems erforderlich. Der Begriff der „Inbetriebnahme“ wird in Art. 3 Nr. 11 KI-VO ausgeführt und umfasst auch den Eigengebrauch des Systems. Damit werden auch Unternehmen zu Anbietern, die eine Fremdentwicklung des Systems für den nur internen Einsatz beauftragen. Das Unternehmen kann einer Einordnung als Anbieter somit nur entgehen, wenn auch der Betrieb des Systems einem Dritten überlassen wird.
Ebenso reicht es im Falle des Inverkehrbringens eines Systems (Art. 3 Nr. 9 KI-VO) aus, eine KI durch Dritte entwickeln zu lassen und diese unter eigenem Namen auf den Markt zu bringen.
Indem die Anbieter Hauptadressaten der Anforderungen der KI-VO sind, kann es vorteilhaft sein über die Entwicklung hinaus auch den Betrieb durch den Dritten zu beauftragen. Dahingehend werden vertragliche und gesellschaftsrechtliche Gestaltungsmöglichkeiten relevant.
Art. 3 Nr. 4 KI-VO: Betreiber
Ist das Unternehmen kein Anbieter, stellt sich die Frage nach den Betreiberpflichten.
Betreiber ist nach Art. 3 Nr. 4 KI-VO „eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI System in eigener Verantwortung verwendet, es sei denn, das KI System wird im Rahmen einer persönlichen und nicht beruflichen Tätigkeit verwendet“.
Mitarbeiter fallen im Zuge des Wortlautes der Definition („eigene Verantwortung“) nicht darunter. Vom Anwendungsbereich ausgenommen sind ebenso Private, die das System nicht berufsmäßig verwenden. Beispiel hierfür wäre die private Nutzung von ChatGPT.
Darüber hinaus werden die Unternehmen, sofern sie nicht Anbieter sind, in der Regel zum Betreiber, indem sie das System in eigener Verantwortung verwenden.
Grad der Kritikalität
Indem die KI-VO einen risikobasierten Ansatz verfolgt, gilt es im Anschluss an die Einordnung der persönlichen Rolle (Anbieter oder Betreiber) die Art des KI-Systems zu bewerten. Denn je höher der Grad der Kritikalität des eingesetzten Systems bzw. seines Einsatzszenarios ist, desto umfassender sind die in der Verordnung angelegten Verpflichtungen.
Dahingehend differenziert die Verordnung zwischen: Verbotenen Praktiken; Hochrisiko KI-Systemen; bestimmten KI-Systemen und Systemen mit allgemeinem Verwendungszweck.
Fallbeispiel: Einsatz eines Unternehmens-Chatbots
Fallbeispiel
Die Y-GmbH nutzt einen GPT-Chatbot, um ihn für Kundenkommunikation auf der eigenen Website einzusetzen. Zur Implementierung des Chatbots auf ihrer Website nutzt sie einen GPT-Wrapper. Welche Rolle nimmt die Y-GmbH ein?
Schritt 1: KI-System oder normale Software?
Bei dem GPT-Chatbot handelt es sich um ein KI-System i.S.d. Art. 3 Nr. 1 KI-VO. Es handelt sich ein maschinengestütztes System, das für den autonomen Betrieb ausgelegt ist, anpassungsfähig sein kann und aus erhaltenen Eingaben Ausgaben anhand expliziter Ziele ableiten kann. In Abgrenzung dazu liegt keine herkömmliche Software vor. Damit ist der sachliche Anwendungsbereich der KI-VO eröffnet.
Schritt 2: Anbieter oder Betreiber?
Fraglich ist, ob es sich bei der Y-GmbH um den Anbieter oder Betreiber des KI-Systems handelt. Eine Klassifizierung als Anbieter würde voraussetzen, dass die Y-GmbH (1) das System entwickelt hat oder entwickeln lässt und (2) im eigenen Namen in Verkehr bringt oder in Betrieb nimmt. Auch wenn eine Inbetriebnahme vorliegen könnte, scheidet eine Anbieterstellung vorliegend aus, indem keine eigene Entwicklung des Systems vorliegt und die Entwicklung auch nicht beauftragt wurde.
Nicht ausreichend für die Entwicklung des KI-Systems ist es insbesondere, den GPT-Chatbot durch Nutzung eines GPT-Wrappers auf der eigenen Website einzubinden. Denn Art. 3 Nr. 3 KI-VO knüpft an die Entwicklung des KI-Systems selbst an. Dieses ist der GPT-Chatbot als solcher.
Im Ergebnis kommt der Y-GmbH damit die Stellung eines Betreibers zu, indem sie das KI-System in eigener Verantwortung verwendet.
Schritt 3: Grad der Kritikalität
In einem Dritten Schritt wäre der Grad der Kritikalität einzuordnen, um die konkreten Handlungspflichten ableiten zu können.
Quellen
(1) Chibanguza/Steege NJW 2024, 1769.
(2) Steege/Chibanguza Metaverse-HdB § 8 Rn. 27 f.
(3) Steege MMR 2022, 926.