Die Abgeordneten nahmen die Verordnung mit 523 zu 46 Stimmen bei 49 Enthaltungen an. Auf den Text hatten sich Parlament und Rat im Dezember 2023 geeinigt.
Die neuen Regeln zielen darauf ab, Grundrechte, Demokratie und Rechtsstaatlichkeit sowie ökologische Nachhaltigkeit vor Hochrisiko-KI-Systemen zu schützen. Gleichzeitig sollen sie Innovationen ankurbeln und dafür sorgen, dass die EU in diesem Bereich eine Führungsrolle einnimmt. Die Verordnung legt bestimmte Verpflichtungen für KI-Systeme fest, abhängig von den jeweiligen möglichen Risiken und Auswirkungen.
Verbotene Anwendungen
Die neuen Vorschriften verbieten bestimmte KI-Anwendungen, die die Rechte der Bürgerinnen und Bürger bedrohen. Dazu zählen unter anderem die biometrische Kategorisierung auf der Grundlage sensibler Merkmale und das ungezielte Auslesen von Gesichtsbildern aus dem Internet oder von Überwachungskameras für Gesichtserkennungsdatenbanken. Ebenfalls verboten sind künftig Emotionserkennungssysteme am Arbeitsplatz und in Schulen sowie das Bewerten von sozialem Verhalten mit KI. Auch vorausschauende Polizeiarbeit, die einzig auf der Profilerstellung oder der Bewertung von Merkmalen einer Person beruht, und der Einsatz von künstlicher Intelligenz, um das Verhalten von Menschen zu beeinflussen oder ihre Schwächen auszunutzen, ist nach den neuen Regeln nicht erlaubt.
Ausnahmen für Strafverfolgungsbehörden
Grundsätzlich ist die Nutzung von biometrischen Fernidentifizierungssystemen durch Strafverfolgungsbehörden verboten. Es gibt jedoch bestimmte ausführlich beschriebene und eng abgegrenzte Ausnahmefälle. Fernidentifizierung in Echtzeit ist nur dann erlaubt, wenn strenge Sicherheitsbestimmungen eingehalten werden – unter anderem gibt es zeitliche und räumliche Beschränkungen, und es muss vorab eine spezielle behördliche oder gerichtliche Genehmigung eingeholt werden. Entsprechende Systeme dürfen beispielsweise genutzt werden, um gezielt nach einer vermissten Person zu suchen oder einen Terroranschlag zu verhindern. Der Einsatz von KI-Systemen zur nachträglichen Fernidentifizierung gilt als hochriskant. Hierfür ist eine gerichtliche Genehmigung nötig, die mit einer Straftat in Verbindung stehen muss.
Verpflichtungen für Hochrisikosysteme
Auch für andere Hochrisiko-KI-Systeme sind bestimmte Verpflichtungen vorgesehen, denn sie können eine erhebliche Gefahr für Gesundheit, Sicherheit, Grundrechte, die Umwelt, Demokratie und den Rechtsstaat darstellen. Als hochriskant werden unter anderem KI-Systeme eingestuft, die in den Bereichen kritische Infrastruktur, allgemeine und berufliche Bildung oder Beschäftigung eingesetzt werden. Auch KI-Systeme, die für grundlegende private und öffentliche Dienstleistungen – etwa im Gesundheits- oder Bankwesen –, in bestimmten Bereichen der Strafverfolgung sowie im Zusammenhang mit Migration und Grenzmanagement, Justiz und demokratischen Prozessen (zum Beispiel zur Beeinflussung von Wahlen) genutzt werden, gelten als hochriskant. Solche Systeme müssen Risiken bewerten und verringern, Nutzungsprotokolle führen, transparent und genau sein und von Menschen beaufsichtigt werden. Die Bevölkerung hat künftig das Recht, Beschwerden über KI-Systeme einzureichen und Entscheidungen erklärt zu bekommen, die auf der Grundlage hochriskanter KI-Systeme getroffen wurden und ihre Rechte beeinträchtigen.
Transparenzanforderungen
KI-Systeme mit allgemeinem Verwendungszweck und die Modelle, auf denen sie beruhen, müssen bestimmte Transparenzanforderungen erfüllen, darunter die Einhaltung des EU-Urheberrechts und die Veröffentlichung detaillierter Zusammenfassungen der für das Training verwendeten Inhalte. Für die leistungsfähigeren Modelle, die systemische Risiken bergen könnten, gelten künftig zusätzliche Anforderungen – etwa müssen Modellbewertungen durchgeführt, systemische Risiken bewertet und gemindert und Vorfälle gemeldet werden.
Darüber hinaus müssen künstlich erzeugte oder bearbeitete Bilder bzw. Audio- und Videoinhalte (sogenannte Deepfakes) in Zukunft eindeutig als solche gekennzeichnet werden.
Maßnahmen zur Förderung von Innovationen und KMU
In den Mitgliedstaaten müssen Reallabore eingerichtet und Tests unter realen Bedingungen durchgeführt werden. Diese müssen für kleine und mittlere Unternehmen sowie für Start-ups zugänglich sein, damit sie innovative KI-Systeme entwickeln und trainieren können, bevor sie auf den Markt kommen.
Die Verordnung tritt 20 Tage nach ihrer Veröffentlichung im Amtsblatt der EU in Kraft und ist – bis auf einige Ausnahmen – 24 Monate nach ihrem Inkrafttreten uneingeschränkt anwendbar. Die Ausnahmen sind Verbote sogenannter verbotener Praktiken, die bereits sechs Monate nach Inkrafttreten gelten, Verhaltenskodizes (sie gelten neun Monate nach Inkrafttreten), Regeln für künstliche Intelligenz mit allgemeinem Verwendungszweck, einschließlich Governance, (zwölf Monate nach Inkrafttreten) und Verpflichtungen für Hochrisikosysteme (36 Monate nach Inkrafttreten).
Hintergrund
Das Gesetz über künstliche Intelligenz ist eine direkte Antwort auf die Vorschläge der Bürgerinnen und Bürger der Konferenz zur Zukunft Europas (COFOE), insbesondere auf den Vorschlag 12(10) zur Stärkung der Wettbewerbsfähigkeit der EU in strategischen Sektoren, den Vorschlag 33(5) zu einer sicheren und vertrauenswürdigen Gesellschaft, einschließlich der Bekämpfung von Desinformation und der Gewährleistung, dass letztlich der Mensch die Kontrolle hat, Vorschlag 35 zur Förderung der digitalen Innovation (3) unter Gewährleistung der menschlichen Kontrolle und (8) vertrauenswürdige und verantwortungsvolle Nutzung von KI, Festlegung von Schutzmaßnahmen und Gewährleistung von Transparenz sowie Vorschlag 37 (3) zur Nutzung von KI und digitalen Werkzeugen zur Verbesserung des Zugangs der Bürgerinnen und Bürger zu Informationen, einschließlich Menschen mit Behinderungen.
