Definition KI-System (Art. 3 KI-VO)

Das Digital Policy Committee (DPC) der Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD) fördert die digitale Transformation im Sinne einer menschenzentrierten und rechtsorientierten Politikentwicklung. Das DPC überwacht verschiedene Arbeitsgruppen, darunter die Arbeitsgruppe für Governance künstlicher Intelligenz (AIGO), die sich mit der politischen Entwicklung im Bereich der künstlichen Intelligenz befasst.

Am 22. Mai 2019 wurde die Definition eines KI-Systems erstmals verabschiedet, mit einer überarbeiteten Fassung der Empfehlung, die am 3. Mai 2024 angenommen wurde. Weitere Informationen finden sich im "Erläuternden Memorandum der OECD".

OECD Definition

"Ein KI-System ist ein maschinenbasiertes System, das explizite oder implizite Ziele verfolgt und aus empfangenen Eingaben ableitet, wie es Vorhersagen, Inhalte, Empfehlungen, Entscheidungen oder andere Ausgaben generiert, die physische oder virtuelle Umgebungen beeinflussen können. KI-Systeme unterscheiden sich in Bezug auf ihre Autonomie und Anpassungsfähigkeit nach der Einführung."

Vergleicht man diese Definition mit der Definition in Artikel 3(1) der KI-Verordnung, fällt auf, dass die Begriffe nahezu identisch sind.

Definition der KI-Verordnung

"KI-System": ein maschinenbasiertes System, das mit unterschiedlichem Grad an Autonomie betrieben wird, sich nach Beginn des Betriebs möglicherweise anpassen kann und das aus gegebenen Eingaben für explizite oder implizite Ziele ableitet, wie es Ausgaben wie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erzeugt, die physische oder virtuelle Umgebungen beeinflussen können."

Leitlinien der EU-Kommission zur Definition eines KI-Systems

Am 6. Februar 2025 veröffentlichte die Europäische Kommission ihre "Leitlinien zur Definition eines KI-Systems".Die von der EU-Kommission veröffentlichten Leitlinien sehen vor, dass die Definition eines KI-Systems flexibel und einzelfallbezogen angewendet werden muss, wobei bewusst auf eine abschließende Liste von KI-Systemen verzichtet wird, um zukünftige technologische Entwicklungen nicht auszuschließen. Aufgrund ihres unverbindlichen Charakters und der bewusst offenen Formulierung tragen die Leitlinien somit kaum zur Rechtssicherheit bei der Anwendung der KI-Verordnung bei.

Ein genauerer Blick auf die enthaltenen Begriffsmerkmale lässt folgende Tatbestandsmerkmale erkennen und bietet einen Hinweis auf den gesetzgeberischen Regelungsgedanken bei der Definition von KI-Systemen:

Maschinengestütztes System

In Abgrenzung zu biologischen Systemen muss für ein KI-System nach der KI-VO ein "maschinengestütztes" System vorliegen. Dies erscheint zunächst selbstverständlich, da menschliche oder tierische Intelligenz nicht erfasst werden soll. Allerdings gibt es bereits jetzt bemerkenswerte Fortschritte in den Forschungsbereichen Bioinformatik und synthetische Biologie (z.B. programmierbare Zellstrukturen und neuromorphe Chips). Bei der auf den ersten Blick selbstverständlichen Feststellung, dass keine "organische Intelligenz" erfasst werden soll, stellt sich also die Frage, ob dieser Ausschluss im Sinne einer umfassenden, zukunftssicheren KI-Regulierung zielführend ist.

Autonomer Betrieb (unterschiedliche Grade)

In Erwägungsgrund 12 der KI-VO wird ausgeführt, dass KI-Systeme "mit unterschiedlichem Grad an Autonomie arbeiten, d.h., dass sie bis zu einem gewissen Grad unabhängig von menschlichen Eingriffen agieren und in der Lage sind, ohne menschliches Eingreifen zu arbeiten."
Dieses Merkmal grenzt KI-Systeme nicht von deterministischen oder stochastischen Systemen ab, da auch ein System ohne Autonomie als KI-System qualifiziert werden kann. Die Formulierung "unterschiedlichem Grad an Autonomie" impliziert, dass auch ein Grad von Null ausreicht. Dies führt zu einer sehr weiten Definition des KI-System-Begriffs.

Anpassungsfähigkeit nach Betriebsaufnahme

Die Entwicklung und der Betrieb von KI-Systemen (z.B. LLM) besteht typischerweise aus verschiedenen Phasen: Trainingsphase, Produktionsphase und Betriebsphase. Diese Phasen werden oft wiederholt durchgeführt und können sich überlappen, wobei Feedback aus der Betriebsphase zum Teil in neue Trainingszyklen einfließt. So wird beispielsweise bei der konzeptionellen Wissensdestillation ein großes Modell als Lehrer eingesetzt, um Wissen in ein kleineres Modell zu komprimieren. Durch iteratives Lernen und wechselseitiges Feedback zwischen den Modellen verbessert sich das System schrittweise.

Das Vorliegen dieses Kriteriums ist jedoch nicht zwingend erforderlich für das Vorliegen eines KI-Systems. Ein Großteil der derzeitigen LLM wird ausschließlich in der Trainingsphase verbessert und lernt nicht automatisch in der Nutzungsphase anhand der Nutzereingaben hinzu.

Verarbeitung von Eingaben für explizite/implizite Ziele

Während bei KI-Systemen die Verarbeitung durch eigenständige Inferenzen und Ableitungen erfolgt, arbeiten regelbasierte Systeme nach fest vorgegebenen, von Menschen definierten Operationsregeln. KI-Systeme können dabei sowohl explizite (klar definierte) als auch implizite (durch Training erworbene) Ziele verfolgen, während regelbasierte Systeme nur explizite, vorprogrammierte Ziele umsetzen können.

Bei näherer Betrachtung ergeben sich jedoch auch bei dieser Abgrenzung praktische Schwierigkeiten. Auch klassische Software beinhaltet zum Teil adaptive Regeln. Wenn beispielsweise ein "Smart Meter" eine optimale Heizkurve berechnet, nutzt es dafür einen Controller, der kontinuierlich Ist- und Sollwert abgleicht und die Steuergrößen entsprechend anpasst. Dabei findet eine mathematische Optimierung statt, die technisch einer Zielwertsuche entspricht, ohne dass ein KI-System vorliegt.

Erstellung von Outputs

Aus den Eingaben (Inputs) muss das System Ausgaben (Outputs) erzeugen. Genannt werden hier als Beispiele Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen, wobei die Aufzählung nicht abschließend ist. Inhalte meinen hier verschiedenste Formen der Ergebnisse von generativer KI (z.B. Videos, Ton, Bilder aufgrund von Texteingaben ("Prompts")).

Im Gegensatz zu algorithmisch deterministischen Ausgaben können KI-Systeme auch Aufgaben lösen, die keine "korrekte" Lösung haben. Wenn beispielsweise ein Gedicht über einen grünen Frosch geschrieben werden soll, ist der Inhalt dieses Gedichtes nicht deterministisch vorgegeben. Ein "fantasierendes LLM" kann die Aufgabe des Gedichtes auf verschiedene Weise lösen und verschiedene Gedichte schreiben, die alle korrekt sind. Doch auch das Merkmal der Unsicherheit der Ausgabe ist nicht zwingend bei jedem KI-System oder LLM gegeben: KI-Systeme und LLMs können, je nach Architektur und Implementation, auch hochstrukturierte und validierbare Ausgaben (Structured Outputs) wie JSON, SQL-Abfragen, Programmcode oder template-basierte Dokumente erzeugen. Die Unsicherheit bezüglich dem Ausgabeergebnis wird also durch die jeweilige Systemarchitektur des KI-Systems bestimmt und ist kein inhärentes Wesensmerkmal der KI.

Beeinflussung von Umgebungen

Schließlich muss der Output physische oder virtuelle Umgebungen beeinflussen können. Eine Beeinflussung der physischen Umgebung liegt vor, wenn die Ausgabedaten des KI-Systems mechanische Aktionen auslösen, beispielsweise wenn ein KI-gesteuerter Roboterarm Werkstücke greift und bewegt. Eine virtuelle Umgebung wird beeinflusst, wenn die KI-Outputs als Eingabedaten für andere Systeme dienen - etwa wenn ein KI-System die Aktionen eines computergesteuerten Charakters (NPC) in einem Videospiel bestimmt, der dann mit der Spielumgebung interagiert.

Auch dieses Kriterium eignet sich nicht als eindeutiges Abgrenzungsmerkmal gegenüber klassischer Software. Sowohl ein konventioneller, algorithmisch arbeitender Bewegungssensor in einem Roboter als auch ein traditionell programmierter Computergegner in einem Videospiel beeinflussen ihre jeweilige Umgebung - der Sensor die physische Welt durch Roboterbewegungen, der programmierte Bot die virtuelle Spielwelt. Auch die Fähigkeit zur Umgebungsbeeinflussung ist daher kein Alleinstellungsmerkmal von KI-Systemen.

Zwischenfazit

Die nähere Betrachtung verdeutlicht zwar die Intention des Gesetzgebers bei der Definition von KI-Systemen. Doch das rechtliche Problem bleibt bestehen: Wenn an die Einstufung als KI-System konkrete Rechtsfolgen wie Strafen und Bußgelder geknüpft werden, stellt sich die Frage, wie auf Basis derart unbestimmter Tatbestandsmerkmale eine hinreichende Abgrenzung erfolgen kann. Die präzise Identifizierung eines KI-Systems im Sinne der Verordnung erscheint unter diesen Voraussetzungen - jedenfalls in Zweifelsfällen - kaum möglich.

Um eine tatsächlich praktikable Unterscheidung zwischen herkömmlicher Software und KI-Systemen zu ermöglichen, wird ein sogenannter Drei-Faktoren-Ansatz vorgeschlagen.

Nach diesem Ansatz werden drei grundsätzlich unabhängige Faktoren zur Bewertung herangezogen:

• Faktor I (Entwicklung): Verwendet es große Datenmengen zum Trainieren oder basiert es auf explizit festgelegten Regeln?

• Faktor II (Anwendung): Optimiert es sein Verhalten während der Anwendung?

• Faktor III (Ergebnisse): Sind die Ergebnisse unbestimmt oder subjektiv interpretierbar?

Faktor I: Daten oder Expertise in der Entwicklung

Erläuterung: Dieser Faktor betrachtet, wie das System erstellt wurde. Ziel ist es festzustellen, ob das System datengetrieben entwickelt wurde oder auf expliziten, deterministischen Regeln/Wissen basiert.

1. Wird das System durch maschinelles Lernen oder auf der Grundlage expliziter Regeln entwickelt?

Positives Beispiel: Ein Bilderkennungssystem, das lernt, verschiedene Schreibstile zu erkennen, indem es mit Millionen von Handschriften und Maschinenschriften trainiert wird.

Negatives Beispiel: Ein OCR-Programm, das ausschließlich auf vordefinierten Musterregeln für gängige Schriftarten basiert und keine Methode des maschinellen Lernens verwendet.

2. Werden Daten aus der Nutzung für Updates oder Anpassungen des Systems verwendet?

Positives Beispiel: Eine Rechtschreibprüfung, die aus Benutzereingaben lernt und sich automatisch an neue Wortkombinationen oder Sprachtrends anpasst.

Negatives Beispiel: Eine fest programmierte Autokorrektur, die nur eine statische Liste von Tippfehlern und Korrekturen enthält, ohne sich an neue Fehler anzupassen.

Faktor II: Zielorientierte Optimierung während der Anwendung

Erläuterung: Dieser Faktor unterscheidet zwischen einfachen Vorwärtsberechnungen und komplexen Optimierungen zur Erfüllung von Zielen in der Anwendungsphase.

1. Bestimmt das System Lösungen auf der Grundlage heuristischer oder deduktiver Methoden?

Positives Beispiel: Ein Empfehlungssystem für Online-Shops, das das Benutzerverhalten analysiert und dynamisch passende Produkte auf der Grundlage heuristischer Regeln oder maschinellen Lernens vorschlägt.

Negatives Beispiel: Ein fester Satz von Regeln für Produktempfehlungen, der ausschließlich auf manuell definierten Kriterien basiert (z. B. "Kunden, die X gekauft haben, kauften auch Y", ohne weitere Anpassung an das Verhalten des Benutzers).

2. Passt sich das System während der Anwendung an Zielvorgaben an?

Positives Beispiel: Ein adaptives Navigationssystem, das Staus in Echtzeit erkennt und alternative Routen vorschlägt, um die Reisezeit zu minimieren.

Negatives Beispiel: Ein statischer Routenplaner, der immer die kürzeste Route basierend auf einer fest gespeicherten Karte berechnet, unabhängig von aktuellen Verkehrsdaten.

Faktor III: Formale Unbestimmtheit der Ergebnisse

Erläuterung: Dieser Faktor bewertet, ob die Systemergebnisse formal eindeutig bestimmt werden können oder ob es einen Ermessensspielraum hinsichtlich "richtiger" Ergebnisse gibt.

1. Sind die Ergebnisse des Systems eindeutig oder gibt es einen Ermessensspielraum?

Positives Beispiel: Ein automatisiertes Kreditbewertungssystem, das verschiedene Faktoren (Einkommen, Zahlungsverhalten, Kredithistorie) gewichtet und eine individuelle Risikobewertung erstellt, die nicht eindeutig definiert ist.

Negatives Beispiel: Ein Steuerrechner, der den genauen Steuerbetrag für ein gegebenes Einkommensniveau basierend auf festen Steuersätzen berechnet – ohne jeglichen Interpretationsspielraum.

2. Kann es bei gleicher Eingabe unterschiedliche, nicht-deterministische Ausgaben geben?

Positives Beispiel: Ein Chatbot, der je nach Kontext und Gesprächsverlauf unterschiedliche plausible Antworten auf dieselbe Benutzerfrage generiert.

Negatives Beispiel: Ein Taschenrechner, der für dieselbe Rechenoperation immer genau dasselbe Ergebnis liefert.

1. Large Language Models (z.B. ChatGPT)

Ein Large Language Model wie ChatGPT stellt ein eindeutiges Beispiel für ein KI-System dar. Es nutzt nicht nur massive Datenmengen zum Training (Faktor I), sondern optimiert auch sein Verhalten im Gesprächskontext (Faktor II) und erzeugt nicht-deterministische, kreative Ausgaben (Faktor III). Die hohe Ausprägung aller drei Faktoren macht die Einstufung als KI-System unproblematisch.

2. Autonome Fahrzeuge

Auch bei autonomen Fahrzeugen ist die Einstufung als KI-System regelmäßig eindeutig. Diese Systeme lernen aus umfangreichen Trainings- und Sensordaten (Faktor I), passen ihr Verhalten in Echtzeit an verschiedene Verkehrssituationen an (Faktor II) und müssen in komplexen Situationen nicht-deterministische Entscheidungen treffen (Faktor III).

3. Regelbasierte Systeme

Anders verhält es sich bei klassischen regelbasierten Systemen. Ein Buchungssystem etwa, das auf fest programmierten Geschäftsregeln basiert, keine Trainingsdaten nutzt und deterministische Ergebnisse liefert, erfüllt keinen der drei Faktoren in relevanter Ausprägung und ist damit kein KI-System im Sinne der Verordnung.

Die Einstufung als KI-System löst einen gestaffelten Pflichtenkatalog aus, der sich nach der jeweiligen Risikoklasse bestimmt. Zentral sind dabei die Regelungen zu verbotenen KI-Praktiken nach Art. 5 KI-VO, die umfangreichen Anforderungen an Hochrisiko-KI-Systeme nach Art. 6 KI-VO und die Transparenzpflichten nach Art. 50 KI-VO.

Bei Verstößen gegen die KI-VO drohen erhebliche Sanktionen. Diese reichen von Geldbußen von bis zu 35 Mio. EUR oder 7% des weltweiten Jahresumsatzes bis hin zur Anordnung der Systementfernung vom Markt. Die Höhe der Sanktion orientiert sich an Art, Schwere und Dauer des Verstoßes sowie der Unternehmensgröße.

Der vorgestellte Drei-Faktor-Ansatz bietet eine strukturierte Methodik für die erforderliche Einzelfallprüfung. Die rechtssichere Abgrenzung bleibt jedoch in der Praxis herausfordernd, insbesondere bei komplexen Systemen, die sowohl regelbasierte als auch dynamisch lernende Komponenten enthalten. Zur Reduktion von Compliance-Risiken sollten die verschiedenen Komponenten des Gesamtsystems (Entwicklung, Anwendung, Ausgaben) bewertet werden.

Die Dokumentation der Einstufung und der getroffenen Maßnahmen ist dabei von besonderer Bedeutung, um eine nachvollziehbare Herleitung begründen zu können und Compliance-Risiken zu reduzieren. Die weitere Konkretisierung durch Rechtsprechung und Behördenpraxis sollte dabei im Auge behalten werden.

Wendehorst/Nessler/Aufreiter/Aichinger: Der Begriff des „KI-Systems“ unter der neuen KI-VO (MMR 2024, 605).