„Der Terminator ist nicht das schlimmste Szenario“

Das Protokoll führte Morgane Llanque

Viele stellen sich das Risiko, das Künstliche Intelligenz birgt, wie in einem Science-Fiction-Film vor: das klassische Terminator- oder Skynet-Szenario, eine Superintelligenz, die die Kontrolle übernimmt und uns vernichtet. Theoretisch ist das möglich, aber in meiner Arbeit ist das nicht das zentrale Szenario. Wenn man Risiko als Wahrscheinlichkeit mal Schadenshöhe definiert, ist klar: Sollte so etwas wie in „Terminator“ passieren, wäre der Schaden unermesslich. Aber die Wahrscheinlichkeit ist im Moment gering. Die heutigen Systeme sind zu weit davon entfernt. Aktuelle Sprachmodelle können oft nicht einmal zuverlässig bis zehn zählen, sind anfällig für Fehler. Sie sind spezialisierte Werkzeuge, aber keine Intelligenzen mit eigenem Wertesystem. Es ist meiner Meinung nach sogar gefährlich, bei KI-Risiken nur über die ferne Zukunft zu reden. Ich sehe dahinter ein System: Wenn man davon spricht, dass es in zehn Jahren eine Superintelligenz geben wird, kann man heute ungestört weiter KI verkaufen und einsetzen. Man muss sich nicht mit der Tatsache auseinandersetzen, dass schon die heutigen Systeme Fehler machen, Menschen schaden oder Ressourcen verbrauchen. Man sagt dann: „Unsere Systeme sind doch gar nicht superintelligent, also sind sie sicher.“ Aber das ist ein Trugschluss.

„Ein US-General in Südkorea verwendet Chatbots zur Strategieberatung“ 

Was mich beunruhigt, sind die subtilen, gegenwärtigen Gefahren. KI kann eine Gesellschaft auf schleichende Weise schwächen – durch tausend kleine Schnitte. Wir delegieren immer mehr Entscheidungen an Systeme, die wir nicht verstehen. Wir wissen oft nicht, warum die KI etwas empfiehlt, aber wir befolgen ihren Rat, weil er smart klingt. Schon wenn überall ein bisschen falsch entschieden wird, bei Bildung, Medizin, Infrastruktur, kann eine Gesellschaft daran zerbrechen, ohne dass ein einziger großer Unfall passiert. Das ist ein viel wahrscheinlicheres Szenario als ein Terminator. Besonders riskant ist der Einsatz von KI in militärischen Kontexten. Der oberste US-amerikanische General, der in Südkorea stationiert ist, sagte im Oktober 2025 öffentlich, er konsultiere immer häufiger Chatbots, um strategische Fragen zu besprechen. Der Chatbot kontrolliert keine Waffen, aber er beeinflusst den Menschen, der die Waffen kontrolliert. Das reicht. Es gibt ein YouTube-Video mit dem Titel „Artificial Escalation“. Darin nutzen zwei Nationen KI-Systeme, um über mögliche militärische Eskalationen zu entscheiden – und landen am Ende im Krieg. Das ist Fiktion, aber sie beschreibt etwas Reales. Ich habe selbst zu solchen Situationen geforscht, die wir „algorithmic collisions“ nennen: Zwei Systeme sind einzeln sicher, aber wenn sie aufeinandertreffen, destabilisieren sie sich gegenseitig.

Man kann sich das vorstellen wie zwei selbstfahrende Autos. Das eine ist so programmiert, im Notfall nach links auszuweichen, das andere nach rechts. Beide Systeme sind für sich sicher. Aber wenn sie aufeinandertreffen, kollidieren sie. Ein anderes Beispiel kommt aus dem Onlinehandel: Auf Amazon gab es zwei Verkäufer mit automatisierten Preis- Algorithmen. Der eine war immer siebzehn Prozent teurer als der günstigste Anbieter, der andere immer drei Prozent billiger als der zweitgünstigste. Es gab nur die beiden. Die Preise schaukelten sich gegenseitig hoch, bis ein Buch plötzlich zwanzig Millionen Dollar kostete. Keiner merkte es, weil alles automatisch lief. Solche digitalen Dominoeffekte entstehen, weil Systeme keine natürlichen Grenzen kennen. Viele Regierungen unterschätzen die Risiken. Sie führen KI-Systeme mit enormem Tempo ein, oft ohne zu verstehen, was sie da eigentlich tun. Diese Mechanismen gab es natürlich bereits vor KI: Man erinnere sich an den Horizon-Skandal der britischen Post. Ein Computersystem rechnete falsch, und Hunderte Postangestellte wurden fälschlicherweise wegen angeblicher Diebstähle verurteilt. Das war nicht einmal KI, sondern einfache Software. Sollten wir dann wirklich Algorithmen über Fragen der Justiz, Gesundheit oder Verteidigung entscheiden lassen? Das wirklich Gefährliche daran ist: Wir geben Verantwortung und Kompetenz ab. Wenn eine KI uns Entscheidungen abnimmt, dann verlernen wir, diese selbst zu treffen. Wir gewöhnen uns daran, dass eine Maschine das Denken für uns übernimmt. Wir entlassen spezialisiertes Personal, und wenn die KI dann auf einmal außer Kontrolle gerät und wir Menschen brauchen, um wieder alles einzurenken, dann gibt es jene mit dem nötigen Wissen und der entsprechenden Erfahrung womöglich nicht mehr. Vielleicht wurden ganze Studiengänge oder Ausbildungen sogar in der Zwischenzeit abgeschafft. Das ist eine schleichende Erosion. Eine Gesellschaft kann so verlernen, Probleme eigenständig zu lösen.

„Wenn KIs nur noch von KI-Inhalten lernen, kommt es zu digitalem Inzest“ 

Hinzu kommt, dass KI-Modelle immer wieder dieselben Informationen reproduzieren. Sie greifen auf Inhalte zurück, die bereits im Internet existieren, Texte, Bilder, Formulierungen, und erzeugen daraus neue Versionen derselben Dinge. Wenn zukünftige KI-Systeme wiederum mit diesen von KI erzeugten Inhalten trainiert werden, entsteht eine Art digitaler Inzest: dieselben Fehler, dieselben Vereinfachungen, dieselben Verzerrungen zirkulieren endlos weiter. Die Informationsqualität sinkt, aber das System hält sich selbst für klüger, weil es ständig bestätigt, was es schon weiß. Wir bekommen dann ein Internet, das Wissen degeneriert. Ein weiteres Risiko liegt im Energieverbrauch. Viele denken, KI laufe einfach auf ihrem Laptop. Aber diese Modelle sind auf gigantische Rechenzentren angewiesen. Ihr Energiehunger ist so groß, dass Meta in den USA entschieden hat, seine KIRechencenter mithilfe eines Atomkraftwerks zu betreiben. Wir nutzen also eine potenziell gefährliche Technologie, um den Einsatz einer anderen potenziell gefährlichen Technologie zu gewährleisten. Es ist wie in dem alten englischen Kinderlied: Es war eine alte Dame, die verschluckte eine Fliege. Dann verschluckte sie eine Spinne, um die Fliege zu fangen, dann einen Vogel, um die Spinne zu fangen, und immer so weiter, bis alles außer Kontrolle gerät. Wir versuchen ein Problem mit etwas zu lösen, das eventuell ein noch größeres Problem darstellt.

In meiner Arbeit geht es darum, diese Fehlerketten zu erkennen, bevor sie entstehen. Die gefährlichen Entscheidungen werden heute getroffen, oder morgen früh, in einem Unternehmen, in einem Ministerium, in einer militärischen Kommandozentrale. Deshalb versuchen meine Kolleginnen, Kollegen und ich, nicht nur in unserem akademischen Elfenbeinturm zu bleiben, sondern Kontakt zu genau solchen Akteuren aufzunehmen, um über die Risiken aufzuklären. Ich habe einmal gesagt, ich sei der optimistischste Mensch im Büro. Das war halb im Scherz. In meinen früheren Jobs galt ich als zu pessimistisch, weil ich immer fragte, was schiefgehen könnte. Dann kam ich ans Centre for the Study of Existential Risk – ein Institut, das genau dafür geschaffen wurde, sich mit Risiken auseinanderzusetzen. Plötzlich war ich der Sonnenschein im Raum. Nach ein paar Jahren hat sich das geändert, heute bin ich realistischer. Und das ist vielleicht das Beunruhigendste: Wenn man lange genug zu Risiken forscht, merkt man, dass die meisten nicht hypothetischer Art sind. Sie sind bereits im vollen Gange.