10 wichtige Rechtsfragen zum EU AI Act

Voraussichtlich noch im Juni tritt der EU AI Act in Kraft. Dann wird auf Hunderten von Seiten der Umgang mit Künstlicher Intelligenz detailliert geregelt. Damit ergeben sich für Unternehmen, die KI einsetzen, einige rechtliche Fragen. Die wichtigsten hat für uns Rechtsexperte Markus Kaulartz beantwortet:

Wen betrifft der EU AI Act?
Der AI Act betrifft sechs zentrale Akteure:
Anbieter: Ein Unternehmen, das ein KI-System entwickelt oder entwickeln lässt und es unter eigenem Namen oder eigener Marke anbietet. Zum Beispiel ein Software-Unternehmen, das eine generative KI entwickelt, die bei der Nutzung der Software-Produkte unterstützt.

• Betreiber: Ein Nutzer eines KI-Systems, zum Beispiel ein Unternehmen, das eine Online-Handelsplattform betreibt und KI-Systeme zur Optimierung von Logistik und Bestandsmanagement in seinen Warenhäusern benutzt.
• Bevollmächtigter: Eine Entität, die von einem Provider, der seinen Sitz außerhalb der EU hat, bevollmächtigt wird, Rechten und Pflichten unter dem AI Act nachzukommen. Zum Beispiel eine Anwaltskanzlei, die auf die Tech-Industrie spezialisiert ist.
• Einführer: Ein Unternehmen, das ein KI-System in die EU (erstmalig) importiert. Zum Beispiel ein EU-Tech-Unternehmen, das mit KI ausgestattete Smart-Home-Geräte von einem Hersteller in Südkorea importiert.
• Händler: Ein Unternehmen, das innerhalb der EU KI-Systeme vertreibt, ohne Einführer oder Anbieter zu sein. Zum Beispiel ein EU-Unternehmen, das KI-gesteuerte Fitness-Tracker von verschiedenen Anbietern erwirbt und sie in der EU verkauft.
• Produkthersteller: Ein Unternehmen, das ein Produkt entwickelt und zusammen mit einem KI-System auf den Markt bringt (es gelten dieselben Anforderungen wie für Provider). Zum Beispiel mit KI ausgestattete Smart-Home-Geräte.

In territorialer Hinsicht gilt Folgendes: Für ein Unternehmen, das vorhat, ein KI-System zu entwickeln, gilt der AI Act, wenn das KI-System in der EU auf den Markt gebracht werden soll – unabhängig vom Sitz oder der Niederlassung des Unternehmens. Für den Nutzer eines KI-Systems kommt es bei der Anwendbarkeit darauf an, dass dieser seinen Sitz oder Aufenthalt in der EU hat. Der EU AI Act findet aber auch Anwendung auf KI-Systeme, die nicht auf dem EU-Markt vertrieben werden, deren Output aber in der EU verwendet wird.

Wann tritt der EU AI Act in Kraft?
Der AI Act tritt zwanzig Tage nach seiner Veröffentlichung im Amtsblatt der Europäischen Union, voraussichtlich noch im Juni 2024, in Kraft. Die allgemeinen Bestimmungen und Verbote (Kapitel I und II) gelten sechs Monate nach Inkrafttreten, die Bestimmungen betreffend die KI-Systeme und Modelle mit allgemeinem Verwendungszweck (Kapitel V), die Vorschriften betreffend Notifizierungsstellen (Kapitel III Abschnitt 4) sowie die Sanktionsvorschriften (Kapitel XII) gelten zwölf Monate nach Inkrafttreten. Die meisten anderen Vorschriften 24 Monate nach Inkrafttreten. Art. 6 I AI Act, der die Einstufung bestimmter Systeme als Hochrisiko-KI-Systeme vornimmt, gilt erst 36 Monate nach Inkrafttreten.

Was bedeutet die neue Verordnung für mittelständische Unternehmen?
Der AI Act enthält neue Compliance-Anforderungen, die sich danach richten, welcher Akteur in der KI-Wertschöpfungskette betroffen ist. An die unterschiedlichen Akteure richten sich unterschiedliche Pflichten. Die meisten Pflichten treffen Anbieter und Betreiber. Vor allem sollten sich mittelständische Unternehmen damit auseinandersetzen, welche KI-Systeme sie verwenden. Art. 5 AI Act enthält eine Liste mit verbotenen Systemen, die überhaupt nicht angeboten werden dürfen. Die höchsten Compliance-Anforderungen stellt der AI Act an sog. Hochrisiko-KI-Systeme (ein Überblick kann in Anhang III des AI Act gefunden werden). Wenn es sich nicht um ein Hochrisiko-System handelt, können noch Transparenzpflichten aus Art. 50 AI Act eine Rolle spielen.

Zu erwähnen ist auch noch eine generelle Pflicht, wonach Personal, das mit der Nutzung von KI-Systemen befasst ist, über ein ausreichendes Maß an KI-Kompetenz verfügen soll.

Stellen die Vorschriften eine grundlegende Neuerung gegenüber den bisher gelten Gesetzen dar?
Die Compliance-Pflichten für Hochrisiko-KI-Systeme stellen durchaus eine grundlegende Neuerung in der Regulierung von bestimmten KI-Produkten dar. Diese Anforderungen werden in der Praxis jedoch nur einen kleinen Teil aller KI-Systeme betreffen. Für viele Produktbereiche, in denen KI als Sicherheitskomponente eine Rolle spielt, werden lediglich bestehende Rechtsvorschriften angepasst und ergänzt. Schließlich kommt es auch darauf an, welche Akteure in der KI-Wertschöpfungskette betroffen sind.

Wie finde ich heraus, welche neuen Compliance-Anforderungen auf mein Unternehmen zutreffen?
Das kommt stets auf den Einzelfall an. Hier empfiehlt es sich, mit einem Rechtsberater bzw. einer Rechtsberaterin des Vertrauens die angebotenen oder benutzten IT-Systeme unter der KI-Verordnung zu qualifizieren und rechtliche Konsequenzen abzuleiten.

Muss ich mein Unternehmen auditieren lassen?
Das kommt darauf an. In den allermeisten Fällen jedoch nicht. Audit-Verfahren sind nur für Anbieter vorgesehen, die Hochrisiko-KI-Systeme entwickeln und auf den Markt bringen wollen. In den meisten Fällen genügt jedoch ein internes Prüfverfahren. Ein externes Audit-Verfahren ist insbesondere für Anbieter von KI-Systemen vorgesehen, die eine biometrische Identifizierung und Kategorisierung von Personen ermöglichen. Falls ein Unternehmen unter einen der in Anhang I des AI Act gelisteten Rechtsakte fällt, werden die unter diesen Rechtsakten vorgesehen Audit-Verfahren durch KI-spezifische Vorgaben entsprechend denen im AI Act ergänzt.

Hat der EU AI Act arbeitsrechtliche Implikationen?
Soweit wir das einschätzen können, sind arbeitsrechtliche Implikationen überschaubar. Es wurde bereits die Pflicht erwähnt, bestimmtes Personal, das mit KI in Kontakt kommt, entsprechend zu schulen (Art. 4 AI Act). Zudem sind unternehmensinterne Richtlinien im Umgang mit KI-Systemen zu empfehlen, die den Mitarbeitenden Leit- und Handlungsfäden an die Hand geben.

Wer kontrolliert, ob mein Unternehmen die Vorschriften einhält?
Diese Kontrolle obliegt primär dem Unternehmen selbst. Bei externen Konformitätsbewertungsverfahren sind notifizierende Stellen zu beteiligen, deren Ausgestaltung ist in Art. 34 AI Act geregelt. Im Übrigen sei auf die Frage zu Audits und Konformitätsbewertungsverfahren verwiesen. Für KI-Systeme mit allgemeinem Verwendungszweck ist das AI Office (Art. 64 AI Act) die Aufsichtsbehörde.

Welche Bußgelder drohen?
Art. 99 AI Act ist die einschlägige Vorschrift betreffend Bußgelder:

• Verstöße gegen Art. 5 (Verbotene KI-Systeme): Bußgelder in Höhe von bis zu 35 Millionen EUR oder, wenn es sich bei dem Zuwiderhandelnden um ein Unternehmen handelt, in Höhe von bis zu 7 % seines gesamten weltweiten Jahresumsatzes im vorangegangenen Geschäftsjahr – je nachdem, welcher Betrag höher ist.
• Sonstige Verstöße: Bußgelder in Höhe von bis zu 15 Millionen EUR oder, wenn es sich bei dem Zuwiderhandelnden um ein Unternehmen handelt, in Höhe von bis zu 3 % seines gesamten weltweiten Jahresumsatzes im vorangegangenen Geschäftsjahr – je nachdem, welcher Betrag höher ist.
• Bei Erteilung unrichtiger, unvollständiger oder irreführender Auskünfte an benannte Stellen oder zuständige nationale Behörden in Beantwortung eines Ersuchens wird mit einer Geldbuße bis zu 7,5 Millionen EUR oder, wenn es sich bei dem Zuwiderhandelnden um ein Unternehmen handelt, bis zu 1 % seines gesamten weltweiten Jahresumsatzes im vorausgegangenen Geschäftsjahr belegt – je nachdem, welcher Betrag höher ist.

Ist mein Unternehmen zu einer kontinuierlichen Überwachung der KI-Compliance verpflichtet?
Das kommt darauf an, welcher Akteur in der KI-Wertschöpfungskette betroffen ist. Anbieter treffen die Beobachtungspflichten aus den Art. 72 ff. AI Act, wonach ein Anbieter insbesondere dazu verpflichtet ist, unter verhältnismäßigem Aufwand ein System einzurichten, um sein KI-System nach Inverkehrbringen beobachten zu können Einführer und Händler treffen Pflichten, darüber im Bilde zu sein, ob die Anbieter von KI-Systemen, die sie vertreiben, über die erforderlichen Zertifikate und Kennzeichnungen verfügen. Unabhängig davon müssen Unternehmen alle bei sich eingesetzten KI-Systeme kennen und klassifizieren.