12 Juli 2024 Dr. Daniel Pauly  -  Dr. Anna-Katharina Lohbeck Crisis Management & Compliance - Cyber Security - Datenschutz - Arbeitsrecht - EU Recht - Fintech - Outsourcing - Technology - Technologie, Medien & Telekommunikation (TMT) - Internationales Handelsrecht

Die KI-Verordnung tritt in Kraft: Was dies für Ihr Unternehmen bedeutet

Heute wurde die KI-Verordnung der EU ("AI Act") als weltweit erster umfassender Rechtsrahmen für künstliche Intelligenz im Amtsblatt der EU veröffentlicht und tritt damit von heute in 20 Tagen in Kraft. 

Aufgrund der Verbote und zahlreichen Anforderungen der Verordnung und ihres weiten - materiellen, persönlichen und territorialen - Anwendungsbereiches kommt der KI-Verordnung eine erhebliche praktische Bedeutung zu. Unternehmen müssen sich mit den für sie aus diesem komplexen Rechtsakt ergebenden Anforderungen befassen und in diesem Zusammenhang relevante weitere Rechtsakte im Blick behalten, so insbesondere die vorgeschlagene KI-Haftungsrichtlinie sowie die neue Produkthaftungsrichtlinie.

1. Gilt die KI-Verordnung auch für Ihr Unternehmen? 

Die KI-Verordnung definiert KI-System als „eine Software, die […] im Hinblick auf eine Reihe von Zielen, die vom Menschen festgelegt werden, Ergebnisse wie Inhalte, Vorhersagen, Empfehlungen oder Entscheidungen hervorbringen kann, die das Umfeld beeinflussen, mit dem sie [interagiert].“ Aus technologischer Sicht ist allerdings damit nicht eindeutig, welche Systeme in der Praxis unter die Definition fallen, und es wird voraussichtlich einen nicht unerheblichen Spielraum für Diskussionen geben, ob ein System nun „KI“ ist oder nicht. 

Die KI-Verordnung gilt für alle Branchen und Sektoren. Ausgenommen sind lediglich Systeme, die ausschließlich für militärische Zwecke oder für die wissenschaftliche Forschung und Entwicklung entwickelt und genutzt werden, sowie die rein private Nutzung durch natürliche Personen. 

Die KI-Verordnung enthält Vorgaben für sämtliche Akteure in der KI-Wertschöpfungskette: Sie trifft Anbieter, die KI-Systeme oder KI-Modelle mit allgemeinem Verwendungszweck in der EU in Verkehr bringen oder KI-Systeme in Betrieb nehmen, unabhängig davon, ob sie in der EU oder in einem Drittland niedergelassen oder ansässig sind. Betreiber von KI-Systemen, die ihren Sitz oder eine Niederlassung in der EU haben, sind ebenso erfasst wie Anbieter und Betreiber unabhängig von ihrem Sitz oder ihrer Niederlassung, wenn die von dem KI-System hervorgebrachten Ausgaben in der EU verwendet werden. Weiterhin gilt die KI-Verordnung für Hersteller, die KI-Systeme zusammen mit ihrem Produkt unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringen oder in Betrieb nehmen, sowie für Einführer und Händler von KI-Systemen. 

2. Ein risikobasierter Ansatz 

Die KI-Verordnung verfolgt einen risikobasierten Ansatz und knüpft dabei an KI-Systeme in den verschiedenen Risikoklassen unterschiedliche Pflichten, was von den Unternehmen eine Einstufung für jedes einzelne KI-System in eine der vier Risikostufen der Verordnung erforderlich macht: 

1. Unannehmbares Risiko – verbotene Praktiken

  • Die KI-Verordnung führt bestimmte KI-Systeme auf, die Manipulation, Ausbeutung und soziale Kontrollpraktiken ermöglichen, deren Risiken als unannehmbar angesehen werden. Dazu gehört unter anderem der Einsatz von KI für Social Scoring, Systeme zur Erkennung von Emotionen am Arbeitsplatz oder die Berechnung der Wahrscheinlichkeit einer zukünftigen Straffälligkeit von Personen.
  • Die Verwendung solcher KI-Systemen zu diesen Zwecken ist verboten und derartige Systeme dürfen ausnahmslos nicht auf den EU-Markt gebracht, dort betrieben oder genutzt werden.

2. Hochrisiko-KI-Systeme 

  • KI-Systeme mit einem potenziell hohen Risiko für Sicherheit, Gesundheit oder Grundrechte von Menschen gelten als Hochrisiko-KI-Systeme. Hierunter fallen eine begrenzte Zahl von KI-Systemen, bei denen es sich entweder um Sicherheitskomponenten von Produkten, die unter die EU-Produktsicherheitsverordnung fallen (z. B. medizinische Geräte, Kraftfahrzeuge, Maschinen oder Spielzeug) handelt, oder die in einem von acht festgelegten Bereichen eingesetzt werden, etwa in der kritischen Infrastruktur, bei der Beurteilung des Anspruchs auf öffentliche Unterstützungsleistungen, bei der Entscheidung über den Zugang zu Bildungseinrichtungen oder einem Beschäftigungsverhältnis.
  • Dem risikobasierten Ansatz folgend gelten für diese Hochrisiko-KI-Systeme die strengsten regulatorischen Anforderungen. Dabei treffen die verschiedenen Akteure unterschiedliche Pflichten, wobei Anbieter, wenig überraschend, die umfassendsten Pflichten treffen, insbesondere:
    • Allgemeine Verpflichtungen wie die Einrichtung und Aufrechterhaltung eines angemessenen KI-Risikomanagementsystems, eine effektive Daten-Governance, das Vorhalten einer angemessenen technischen Dokumentation, Aufzeichnungspflichten, Transparenz- und Informationspflichten gegenüber Nutzern, die Ermöglichung und Gewährleistung menschlicher Aufsicht sowie die Einhaltung von Standards für Genauigkeit, Robustheit und Cybersicherheit des KI-Systems.
    • Verpflichtungen vor dem Inverkehrbringen, wie z. B. eine Konformitätserklärung und eine Registrierung des KI-Systems in der EU-Datenbank.
    • Verpflichtungen nach dem Inverkehrbringen, wie Aufzeichnungspflichten, die Pflicht zum Ergreifen erforderlicher Korrekturmaßnahmen, zur Zusammenarbeit mit den zuständigen nationalen Behörden, Überwachung der Leistung und Sicherheit des KI-Systems, Meldung schwerwiegender Vorfälle und Durchführung neuer Konformitätsbewertungen bei wesentlichen Änderungen.

Demgegenüber treffen Betreiber eines Hochrisiko-KI-Systems limitierte Pflichten. Sie müssen etwa gewährleisten, dass das KI-System entsprechend den Nutzungsbedingungen eingesetzt, eine angemessene menschliche Aufsicht gewährleistet, und der Betrieb des Systems überwacht und protokolliert wird. Wiederum andere Pflichten treffen einen Importeur oder Händler. Wichtig ist in diesem Zusammenhang, dass ein Betreiber, Importeur oder Händler, wenn er die eigene Marke auf einem KI-System anbringt, ein KI-System wesentlich verändert oder es für einen vom Anbieter nicht vorgesehenen Zweck mit hohem Risiko verwendet, selbst als Anbieter gilt.

3. KI-Systeme mit begrenztem Risiko

  • KI-Systeme, die nicht als Hochrisiko-KI-Systeme einzustufen sind, aber menschliches Verhalten nachahmen und deswegen ein Täuschungsrisiko mit sich bringen können, wie z. B. Chatbots oder Systeme, die "Deepfakes" erzeugen, gelten als KI-Systeme mit begrenztem Risiko.
  • Für Anbieter und Betreiber solcher KI-Systeme gelten bestimmte Transparenzpflichten, insbesondere müssen sie Nutzer darüber informieren, dass diese mit einem KI-System interagieren.

4. Gesonderte Anforderungen an KI mit allgemeinem Verwendungszweck 

  • Unter KI-Modellen mit allgemeinem Verwendungszweck (General Purpose AI, "GPAI") versteht man KI-Systeme, die eine Vielzahl von Funktionen ausführen und sich an verschiedene Aufgaben anpassen können, wie z. B. ChatGPT.
  • Für die Anbieter von GPAI Modellen, mit Ausnahme von frei lizensierten GPAI Modellen (Open Source), gelten Transparenz- sowie Dokumentationspflichten. Sehr leistungsstarke GPAI Modelle, die systemische Risiken bergen können, müssen zusätzlich Modellbewertungen sowie Angriffstests durchlaufen und ein angemessenes Maß an Cybersicherheit gewährleisten. Außerdem müssen schwerwiegende Vorfälle bei Verwendung dieser Modelle dokumentiert und gemeldet werden.

5. KI-Systeme, die nicht unter eine der vorstehend genannten Kategorien fallen

  • Alle anderen KI-Systeme, wie z. B. KI-gestützte Videospiele und Spam-Filter, gelten als KI-Systeme mit minimalem Risiko.
  • Diese KI-Systeme werden durch die KI-Verordnung nichtreguliert, unterliegen aber gegebenenfalls anderen Vorschriften, insbesondere etwa der EU-Produktsicherheitsverordnung oder der DS-GVO.

3. Bis wann muss Ihr Unternehmen die Vorgaben aus der KI-Verordnung umgesetzt haben?

Die meisten Verpflichtungen, insbesondere in Bezug auf Hochrisiko-Systeme, gelten erst nach einer Übergangsfrist von 24 Monaten, also ab August 2026. Allerdings müssen KI-Systeme mit unannehmbarem Risiko spätestens Ende Januar 2025 vom Markt genommen werden, und die Vorschriften für KI-Modelle mit allgemeinem Verwendungszweck greifen bereits nach zwölf Monaten, also ab August 2025.

4. Was sind mögliche Sanktionen bei Nichtbeachtung? 

Bei einer Nichtbeachtung der Vorgaben der KI-Verordnung drohen je nach Schwere des Verstoßes gestaffelte Geldbußen von bis zu 35 Mio. EUR oder 7 % des weltweiten Jahresumsatzes. Die Durchsetzung der KI-Verordnung wird durch nationale Behörden erfolgen, wobei für Deutschland noch nicht entschieden ist, welche staatlichen Stellen die KI-Verordnung durchsetzen werden. 

5. Was bedeutet das für Ihr Unternehmen?

Angesichts des weiten Anwendungsbereiches ist es wahrscheinlich, dass Ihr Unternehmen, zumindest als Betreiber eines KI-Systems, von der KI-Verordnung betroffen sein wird. Auch wenn die Verpflichtungen nicht sofort gelten, ist es wichtig, sich bereits jetzt auf die neuen Anforderungen vorzubereiten. Obwohl der Aufwand von Organisation zu Organisation variiert, dürften aber zumeist die folgenden Schritte erforderlich sein:

  • Bestandsaufnahme: Identifizieren Sie, bei welchen der von Ihrem Unternehmen eingesetzten oder vertriebenen Produkte es sich um KI-Systeme handelt, und bestimmen Sie die Rolle Ihres Unternehmens im Hinblick auf jedes dieser KI-Systeme (Anbieter, Importeur, Betreiber, etc.).
  • Risikoanalyse: Bestimmen Sie jeweils die Risikokategorie für jedes der KI-Systeme und ermitteln Sie den daraus resultierenden Pflichtenkatalog. Beachten Sie dabei, dass der Pflichtenkatalog je nach Rolle erhebliche Unterschiede aufweist.
  • Gap-Analyse: Ermitteln Sie etwaige Defizite der KI-Systeme im Hinblick auf die Anforderungen aus der KI-Verordnung
  • Umsetzung: Implementieren Sie Prozesse, Rollen und Verantwortlichkeiten zur Umsetzung der Anforderungen aus der KI-Verordnung, sowohl hinsichtlich der ermittelten Defizite als auch im Hinblick auf den Einsatz zukünftiger KI-Systeme, sowie die Verpflichtung zur kontinuierlichen Überprüfung der eingesetzten KI-Systeme.

Dies erfordert den Aufbau geeigneter Governance-Strukturen, die die folgenden Aspekte abbilden sollten: 

  • Vertragsmanagement: Passen Sie ihre Verträge mit Dritten (Betreiber, Anbieter, Nutzer) im Hinblick auf den Bezug, Einsatz oder Vertrieb von KI-Systemen an die Anforderungen aus der KI-Verordnung an.
  • Daten-Governance: Implementieren Sie Standards für Datenqualität und -integrität im Hinblick auf die Anforderungen aus der KI-Verordnung und konsolidieren Sie diese mit etwaig anderweitig bestehenden Standards, etwa im Hinblick auf den Datenschutz, oder die IT Sicherheit.
  • Transparenz: KI-Systeme müssen verständlich über ihre Funktionsweise, die Datennutzung und die Entscheidungsprozesse informieren. Erforderlichenfalls sind Vertragspartner vertraglich zu einer Beistellung notwendiger Informationen zu verpflichten.
  • Menschliche Aufsicht: Insbesondere Hochrisiko-Systeme müssen einer menschlichen Aufsicht unterstellt werden, so dass hierfür Rollen und Prozesse aufgesetzt werden müssen.
  • Cybersicherheit: Die in Ihrem Unternehmen bestehenden Maßnahmen zur Gewährleistung der Cybersicherheit sind im Hinblick auf spezifische Bedrohungen für KI-Systeme zu untersuchen und erforderlichenfalls anzupassen. Soweit möglich, sollte die Überprüfung mit der Prüfung im Hinblick auf etwaige anderweitige, etwa sektorspezifische, Cybersicherheitsanforderungen, wie aus der NIS-2-Richtlinie oder DORA, kombiniert werden.
  • Verantwortlichkeit und KI-Kenntnisse: Schaffen Sie in Ihrem Unternehmen einen klaren Rahmen, der die Verantwortlichkeiten für KI-Systeme während ihres gesamten Lebenszyklus festlegt. Mitarbeiter, die mit Aufgaben im Zusammenhang mit dem Betrieb oder der Nutzung von KI betraut sind, müssen entsprechend geschult werden.
  • Standards und Good Practices: Definieren Sie für die Entwicklung und den Einsatz von KI in Ihrem Unternehmen klare Richtlinien und sorgen Sie für deren Einhaltung. Stimmen Sie die Anforderungen mit Vorgaben aus anderen Bereichen ab, um Dopplungen und Widersprüche zu vermeiden.
  • Kommunikation: Richten Sie in Ihrer Organisation Kanäle ein, um Probleme mit KI-Systemen umgehend zu melden und eine wirksame Kommunikation mit den Beteiligten, einschließlich Aufsichtsbehörden, Nutzern und der Öffentlichkeit, zu gewährleisten, wann immer dies erforderlich ist.
  • Überprüfung ("PDCA"): Die Einhaltung der Vorgaben der KI-Verordnung ist kein einmaliger Vorgang, sondern ein kontinuierlicher Prozess. Setzen Sie daher Prozesse zur Durchführung regelmäßiger Tests und Evaluierungen auf, die es Ihnen ermöglichen, Risiken neu zu bewerten, erforderliche Maßnahmen zu erkennen und entsprechend umsetzen zu können.
  • Dokumentation: Führen Sie detaillierte Aufzeichnungen über die in Ihrem Unternehmen eingesetzten KI-Systeme und deren Entwicklungsprozesse. Dies ist wichtig, um die Einhaltung der Vorgaben der KI-Verordnung nachweisen zu können, ist aber auch Voraussetzung für die Zertifizierung eines KI-Systems.

KI Systeme unterfallen aber nicht nur der KI-Verordnung, sondern sind nach wie vor durch andere Gesetze reguliert, insbesondere durch die DS-GVO, dem Urheberrecht, und (sektorspezifischen) Vorschriften zur Cybersicherheit. Hier kann es sich empfehlen, bereits für diese Bereiche, oder auch im Hinblick auf andere Vorschriften des EU Digitalpakets geschaffene Prozesse und Strukturen zu nutzen, z.B. im Rahmen von Risikobewertungen. 

International agierende Unternehmen müssen letztlich im Blick behalten, dass auch andere Länder, wie z. B. China oder die USA, den Einsatz von KI regeln, und zwar anders, als dies durch die KI-Verordnung erfolgt.