Warum der AI Act bestimmte KI-Systeme verbietet
Der AI Act ordnet KI-Systeme unterschiedlichen Risikoklassen zu. Die höchste Stufe umfasst KI mit einem derart hohen Gefährdungspotenzial, dass ihr Einsatz generell untersagt ist. Sie dürfen solche Systeme nicht durch zusätzliche Maßnahmen „sicher“ machen – sie sind schlicht verboten. Damit schützt der Gesetzgeber vor Manipulation, Diskriminierung und unzulässigen Überwachungsmaßnahmen.
Die verbotenen KI-Systeme im Überblick
Der AI Act definiert klar, welche Arten von KI als unvertretbar riskant gelten. Dazu gehören Systeme, die Menschen gezielt beeinflussen oder diskriminieren sollen oder die ohne Anlass in tiefgreifende Grundrechte eingreifen.
1. KI zur Verhaltensmanipulation
Dazu zählen Systeme, die darauf abzielen, Personen systematisch zu manipulieren. Die Gefahr besteht darin, dass Nutzerinnen und Nutzer unbewusst beeinflusst werden und Entscheidungen treffen, die nicht in ihrem eigenen Interesse liegen.
2. Social-Scoring-Systeme
Verboten sind insbesondere Systeme, die Menschen anhand ihres Verhaltens oder bestimmter Merkmale bewerten und daraus Nachteile ableiten. Diese Form systematischer Benachteiligung schafft ein erhebliches Missbrauchsrisiko. Der Gesetzgeber bezeichnet das Risiko als unvertretbar hoch.
3. Anlasslose biometrische Erkennung
Der AI Act untersagt KI-Systeme, die ohne klaren Anlass oder völlig unangemessen biometrische Merkmale wie Gesichter analysieren, erfassen oder kategorisieren – insbesondere dann, wenn dabei sensible Merkmale wie ethnische Herkunft eine Rolle spielen. Biometrische Echtzeitüberwachung im öffentlichen Raum ist ein klassisches Beispiel.
Wichtig: Es gibt eng begrenzte Ausnahmen, wenn ein konkreter Anlass besteht, beispielsweise im Rahmen bestimmter Ermittlungsbefugnisse. Ohne Anlass oder in unverhältnismäßigen Szenarien bleibt der Einsatz jedoch verboten.
Was nicht verboten ist – aber dennoch streng reguliert wird
Neben den verbotenen Systemen gibt es weitere Risikokategorien, die zulässig sind, aber umfangreichen Anforderungen unterliegen. Dazu gehören insbesondere Hochrisiko-KI-Systeme, die z. B. in der Verwaltung, Strafverfolgung oder im HR-Bereich eingesetzt werden. Wenn Sie prüfen möchten, wie Ihr eigenes System einzuordnen ist, finden Sie hier einen hilfreichen Leitfaden zur KI-System-Klassifizierung.
Externer DSB für Ihr Unternehmen
Sichern Sie sich zuverlässige Unterstützung im Datenschutz – individuell, skalierbar und rechtssicher.
So prüfen Sie, ob Ihr KI-System vom Verbot betroffen sein könnte
Wenn Sie ein KI-System einführen wollen, sollten Sie immer zuerst klären, ob das System:
- Menschen gezielt manipuliert,
- eine systematische Bewertung oder Benachteiligung ermöglicht (Social Scoring),
- biometrische Merkmale ohne Anlass erfasst oder auswertet.
Ist eines dieser Merkmale erfüllt, bewegen Sie sich möglicherweise im Bereich der verbotenen KI. In allen anderen Fällen ist zu prüfen, welche Risikoklasse vorliegt und welche Pflichten sich daraus ergeben. Einen strukturierten Überblick über die weiteren Anforderungen finden Sie hier: AI Act: Anforderungen an Unternehmen.
Unterstützung bei der rechtssicheren KI-Einführung
Der AI Act sieht erhebliche Bußgelder vor – insbesondere, wenn verbotene KI-Systeme eingesetzt werden. Daher sollten Sie frühzeitig prüfen, ob Ihr geplantes System zulässig ist. Nutzen Sie gern meinen kostenfreien Datenschutz-Check für Unternehmen, um eine erste Einschätzung zu erhalten.
Wenn Sie eine dauerhafte Unterstützung wünschen, stehe ich Ihnen als externer Datenschutzbeauftragter zur Seite.
Fazit
Verbotene KI-Systeme nach dem AI Act betreffen vor allem manipulative, diskriminierende oder anlasslos überwachende Anwendungen. Diese dürfen in der EU nicht eingesetzt werden – ohne Ausnahme. Wenn Sie KI in Ihrem Unternehmen nutzen, sollten Sie daher sorgfältig prüfen, ob eine Einstufung in diese Kategorie möglich ist. Die richtige Einordnung ist nicht nur rechtlich verpflichtend, sondern schützt Sie auch vor späteren Haftungsrisiken.
