Frage: Kontrolle, Überwachung, Datenerfassung: Künstliche Intelligenz (KI) gehört mittlerweile zu unserem Alltag. Sind wir alle gleichermaßen von diesen neuen Technologien betroffen?
In bestimmten Bereichen – etwa bei polizeilichen Ermittlungen und der Migrationskontrolle, aber auch bei der Bewertung von gesellschaftlichen Risiken – kann KI sich diskriminierend auswirken und zur Vertiefung bestehender Ungleichheiten beitragen.
In den Niederlanden zum Beispiel haben die Behörden KI-Systeme eingesetzt, um vorherzusagen, ob die Wahrscheinlichkeit, dass bei der Beantragung von Sozialleistungen betrogen wird, bei bestimmten Personen jeweils höher oder geringer ist.
Diese Systeme sind jedoch häufig fehleranfällig, da ihr Zweck darin besteht, auf der Grundlage einiger vorgegebener Variablen und bereits im System vorhandener Informationen Muster zu erkennen.
„In den Niederlanden wurden Menschen fälschlicherweise aufgefordert, Tausende von Euro zurückzuzahlen. Das brachte Betroffene in finanzielle Not“
Im Fall der staatlichen Sozialsysteme bedeutet dies, dass Leistungen möglicherweise verweigert werden, aber auch, dass man irrtümlicherweise als Leistungsbetrüger dargestellt und behandelt wird.
In den Niederlanden wurden zum Beispiel in den 2010er Jahren fälschlicherweise Tausende Menschen und Familien aufgefordert, Tausende von Euro zurückzuzahlen. Das brachte viele Betroffene in große finanzielle Not und stürzte einige in eine psychische Krise. Es kam sogar zu Suiziden.
Ähnlich schlimme Auswirkungen kann es haben, wenn KI-Systeme im polizeilichen Kontext das Risiko dafür vorhersagen sollen, dass bestimmte Personen Straftaten begehen.
Häufig werden Gesichtserkennungssysteme eingesetzt, die jedoch nicht bei allen Menschen gleich funktionieren. Schwarze Männer etwa wurden in den USA aufgrund dieser Systeme fälschlicherweise identifiziert und zu Unrecht verhaftet.
Das Problem besteht darin, dass die Software nicht nur Fehler macht, sondern auch bereits bestehende rassistische Stereotypen verstärkt. Damit wird eine Art von erhöhtem Misstrauen gegenüber Gemeinschaften gefördert, die ohnehin schon unter einer Marginalisierung und übermäßigen Überwachung leiden.
Selbst wenn die Systeme perfekt funktionieren würden, können sie also allein durch die Art ihrer Nutzung immer noch zur Diskriminierung beitragen. Sie werden eher zur Überwachung einer bestimmten Menschengruppe eingesetzt.
So finden sie beispielsweise bevorzugt in Gebieten oder Stadtvierteln Verwendung, in denen Schwarze oder Roma oder allgemein Menschen mit niedrigem Einkommen leben.
Frage: Berücksichtigt der aktuelle EU-Vorschlag, einen rechtlichen Rahmen für den Einsatz von KI zu schaffen, diese Probleme?
Meiner Meinung nach ist der Vorschlag ein wirklich komplizierter Rechtsakt. Er untersagt bestimmte Arten der Verwendung von KI. Damit wird also anerkannt, dass einige Formen, in denen die Technologie genutzt werden kann, mit unseren Vorstellungen von einer demokratischen Gesellschaft unvereinbar sind. Sie können grundsätzlich diskriminierend wirken und zu einer Massenüberwachung führen.
„Es wird ein erhöhtes Misstrauen gegenüber Gemeinschaften gefördert, die ohnehin schon unter Marginalisierung und übermäßiger Überwachung leiden“
Allerdings gehen die Verbote nicht weit genug. Das betrifft zum Beispiel die Verwendung von Gesichtserkennung im öffentlichen Raum, die immer wieder diskutiert wird. Der Gesetzentwurf sieht ein teilweises Verbot dieser und anderer biometrischer Technologien vor, sofern sie der Strafverfolgung dienen sollten.
Der Einsatz solcher Technologien etwa in Einkaufszentren oder Flughäfen fällt jedoch nicht unter dieses Verbot. Dabei handelt es sich auch hier um öffentliche Räume, in denen man ebenfalls nicht überwacht werden möchte.
Frage: Ist das die einzige Gesetzeslücke?
Nein, es gibt viele andere Ausnahmen. Sogar wo es um das Verbot der Gesichtserkennung für Strafverfolgungsbehörden geht. Die Polizei könnte die Technologie immer noch bei zahlreichen Fahndungen einsetzen, wenn sie zum Beispiel einen Terroristen oder ein vermisstes Kind finden will.
Während also einige potenziell schädliche KI-Anwendungen verboten werden sollen, ermöglicht der Gesetzentwurf der Polizei in vielen Fällen doch die Nutzung von Gesichtserkennung.
Außerdem würde keine der Vorschriften für Systeme gelten, die ausschließlich für militärische Zwecke entwickelt und eingesetzt werden. Die EU-Regierungen haben darauf gedrängt, dieses Schlupfloch zu erweitern, und dabei auf mögliche Gefahren für die nationale Sicherheit verwiesen.
Sollte dies geschehen, würde keine der Forderungen, wie sie Bürgerrechtsgruppen immer wieder vorbringen, wirklich umgesetzt werden und keine der Vorschriften würde greifen.
Denn dann könnten nationale Regierungen stets den Einsatz von verbotenen oder hoch riskanten KI-Systemen unter dem Vorwand beschließen, dass man sich gegen eine Bedrohung verteidigen müsse. Was aber, wenn diese Bedrohung ein öffentlicher Protest ist?
In dem Fall könnten Regierungen problemlos argumentieren, sie benötigten diese „Werkzeuge“, so bedenklich sie sind, um eine Gefahr für die nationale Sicherheit abzuwenden. Sie müssten vielleicht nicht einmal erklären, worin diese genau besteht. Das ist ein großes Problem.
Frage: Setzen nicht auch EU-Behörden wie Europol Künstliche Intelligenz ein, etwa im Rahmen des Eurosur-Überwachungssystems? Dürften sie dies, wenn der Vorschlag angenommen wird, weiterhin tun?
Nach dem KI-Gesetz sollten die Bestimmungen grundsätzlich für alle EU-Institutionen gelten. Ganz am Ende des Vorschlags gibt es jedoch eine Klausel, die besagt, dass das Gesetz nicht greift, wenn das KI-System Teil der EU-Datenbanken zur Migrationskontrolle ist.
„Im Grunde genommen befreit sich die EU selbst von ihren eigenen Gesetzen, wo es um die Steuerung der Migration geht“
Und das schließt so ziemlich alle großen IT-Systeme ein, die in dem Zusammenhang zum Einsatz kommen – solche etwa, die Visa und Reisegenehmigungen, aber auch Asylanträge bearbeiten.
Das bedeutet, dass die EU selbst als Entwickler und Nutzer von KI-Systemen keiner Prüfung unterliegt, wenn diese für eine dieser Datenbanken verwendet werden. Im Grunde genommen befreit sich die EU also selbst von ihren eigenen Gesetzen, wo es um die Steuerung der Migration geht.
Frage: Bei den Risiken, die der Einsatz von KI-Systemen mit sich bringt, unterscheidet der Gesetzvorschlag verschiedene Stufen: minimales, geringes, hohes oder unannehmbares Risiko. Ist das sinnvoll?
Es ist sinnvoll, verschiedene Risikokategorien zu haben, ja. Aber natürlich wird es immer Schwachstellen geben, wenn es darum geht, etwas so Kompliziertes und Vielfältiges wie den Einsatz von KI-Systemen zu kategorisieren. Für mich wiegen die politischen Aspekte schwerer.
Und in dieser Hinsicht sind Fragen wie: Wer darf entscheiden, wie diese Systeme reglementiert werden?, viel interessanter als die Kategorien selbst. Sind es die betroffenen Menschen, ist es die Zivilgesellschaft oder sind es die Regierungen, Unternehmen und Institutionen der EU?
Derzeit hat die Kommission die Kontrolle darüber, welche Systeme unter diese Kategorien fallen, und es gibt keine Möglichkeit, die Kategorie der unannehmbaren Risiken zu aktualisieren.
Frage: Die Technologie hat sich zuletzt rasant entwickelt: Ist es nicht wahrscheinlich, dass neue Entwicklungen in der Künstlichen Intelligenz die Forderungen des Vorschlags bald aushöhlen werden – oder ihn sogar unbrauchbar machen?
Der Sinn des KI-Gesetzes besteht darin, bedenkliche oder risikoreiche Praktiken zu verbieten oder zu regulieren. Genau diese könnten jedoch in Zukunft zunehmen. Es ist bereits absehbar, dass mehr dystopische Vorstellungen Verbreitung finden werden und damit wahrscheinlich auch der Wunsch, verbotene und gefährliche Methoden einzusetzen.
KI-Systeme, die jetzt noch als Hochrisikosysteme eingestuft werden, könnten sich schon bald als zu schädlich im Gebrauch erweisen. In einem Technologiemarkt, der sich so rasend schnell verändert, können wir solche Entwicklungen natürlich nicht immer berücksichtigen.
Daher ist mehr Flexibilität erforderlich, die Liste der verbotenen Praktiken und Hochrisikosysteme im KI-Gesetz muss schnell aktualisierbar sein.
Frage: An welche problematischen Entwicklungen denken Sie da?
Es könnte zum Beispiel zum verstärkten Einsatz von Emotionserkennung im öffentlichen Raum kommen, zu einer Ausweitung des algorithmischen Managements in Unternehmen oder einer Verwendung von KI-Systemen, mit denen sich überwachen lässt, wie aufmerksam Schüler im Unterricht sind.
Derzeit gilt ein System im Bildungsbereich nur dann als hoch riskant, wenn es bestimmte Kriterien erfüllt, etwa jenes, dass es zur Bewertung von Prüfungsleistungen dient. Zu der Kategorie zählen zum Beispiel auch KI-Systeme, die Studierende über eine Webcam beobachten und deren Aufmerksamkeitsspanne beurteilen.
„Wer darf entscheiden, wie KI-Systeme reglementiert werden? Sind es die betroffenen Menschen oder die Regierungen und Unternehmen?“
Man könnte sich vorstellen, dass etwas entwickelt wird, das auf andere Weise funktioniert, aber denselben Zweck hat. Aufgrund des Wortlauts des Gesetzes könnte es jedoch nicht unter die entsprechenden Bestimmungen und unter die Kategorie „Hochrisiko“ fallen.
Außerdem klaffen schon jetzt große Lücken auf der Liste. Systeme zur Emotionserkennung und biometrische Kategorisierungssysteme sind beispielsweise nicht enthalten.
Frage: Welche positiven Änderungen wurden bisher vorgenommen?
Die gute Nachricht lautet, dass das Gesetz derzeit im EU-Parlament verhandelt wird, das in der Vergangenheit bereits ein Verbot des Predictive Policing – dem Modell der Verbrechensvorhersage –, der Emotionserkennung sowie zahlreicher schädlicher KI-Anwendungen im Kontext der Migrationssteuerung vorgeschlagen hat.
Es lässt sich also eine gewisse Bewegung beim Thema Verbote erkennen – und das EU-Parlament gilt insgesamt als Verfechter von Grundrechten und demokratischen Werten.
Es ist jedoch zu befürchten, dass viele dieser positiven Entwicklungen und Änderungen vom Rat wieder rückgängig gemacht werden könnten, da dieser weitere Schlupflöcher einführen möchte, etwa wieder unter dem Vorwand, Gefahren für die nationale Sicherheit abzuwenden.
Frage: Welche weiteren Änderungen wären Ihrer Meinung nach entscheidend, um die Wirkung des Gesetzes zu erhöhen?
Das KI-Gesetz enthält technische Anforderungen für Unternehmen, die diese KI-Systeme entwickeln. Den Einrichtungen und Institutionen, die diese Systeme nutzen, wird allerdings nicht genug Aufmerksamkeit geschenkt.
Und das ist die wichtigste Frage im Bereich der Menschenrechte: Wie, wo und im welchem Umfang kommen diese Systeme zum Einsatz? Bevor man solche Hochrisikosysteme in Betrieb nimmt, sollte es einige Governance-Anforderungen geben, Folgenabschätzungen sollten vorgenommen und die Ergebnisse verbindlich veröffentlicht werden.
Wir müssen wissen, welche Systeme Verwendung finden und wie sie sich auf uns auswirken können. Außerdem sind mehr Rechenschaftspflicht und Transparenz seitens der Nutzer von KI-Systemen erforderlich. In dem KI-Gesetz fehlen Bestimmungen zu den Rechten der Menschen, die durch diese Systeme geschädigt wurden.
„Die Technologieunternehmen wollen die Ressourcen, die zur Einhaltung von Menschenrechten erforderlich sind, nicht aufbringen“
Es braucht Mechanismen, um gegen bedenkliche Entwicklungen im nationalen Kontext vorgehen zu können. Das gilt auch für die Möglichkeit, Unternehmen und Organisationen – die Nutzer –, die mit dem Einsatz der KI-Technologie gegen das Gesetz verstoßen, gerichtlich zu belangen.
Frage: Manche behaupten, zu strenge Vorschriften für KI-Systeme könnten Innovationen auf diesem Gebiet verhindern.
Dieses Argument wird oft von den Technologieunternehmen vorgebracht. Sie wollen die Ressourcen, die zur Einhaltung von Menschenrechten erforderlich sind, nicht aufbringen oder als Teil ihres Geschäftsmodells sehen.
Die Organisation European Digital Rights hat jedoch mit vielen verantwortungsbewussten Mitarbeiterinnen und Mitarbeitern solcher Unternehmen gesprochen, die erklärt haben, dass die Anforderungen des KI-Gesetzes minimal seien.
Zumal die Liste der Hochrisikosysteme sehr klein ist – nach Schätzungen der EU-Kommission machen sie etwa zehn bis 15 Prozent der KI auf dem Markt aus. Nur wer solche Systeme herstellt, muss sich an die technischen Anforderungen halten.
Mit diesen Schutzmaßnahmen sollen Menschenrechtsverletzungen ausgeschlossen werden. Wenn diese Schutzklauseln Innovationen verhindern, dann nur die Sorte von Innovation, die nicht mit den Grundrechten vereinbar ist. Und das ist ohnehin nicht die Art von Innovation, die wir fördern sollten.
Sarah Chander ist Politikberaterin der Bürgerrechtsvereinigung European Digital Rights (EDRi). Das Interview führte Atifa Qazi
Aus dem Englischen von Claudia Kotte
