KI, war da was? Was vor wenigen Jahren noch das technologische Modethema überhaupt war, wird derzeit scheinbar nur noch in der Filterblase von Fachleuten und besonders interessierten Laien diskutiert. Es scheint, als wäre die Künstliche Intelligenz vom politischen Radar verschwunden. Doch das täuscht: KI ist keine Zukunftstechnologie mehr, sondern findet längst in unserem Alltag statt, nur merken wir das nicht immer. Oft versteckt sie sich auch hinter anderen Begriffen wie Algorithmen, Automatisierung, in Übersetzungs-Apps und Intelligenten Lern-Systemen. Das ist der Anlass für uns, regelmäßig genau nachzufragen, wie die Bundesregierung und die Bundesländer Künstliche Intelligenz einsetzen – denn der Einsatz durch den Staat ist besonders grundrechtssensibel und muss unserer Meinung nach daher auch besonders vorsichtig abgewogen und kontrolliert werden. Spoiler: Leider geschieht genau das nicht.
KI im Bund: Im Blindflug
Im Januar 2022 haben wir aus der Bundestagsfraktion zunächst die Bundesregierung gefragt, wo sie welche KI zu welchen Zwecken einsetzt und wie KI begleitet und erforscht wird. Schließlich sind viele Aspekte der Technologie noch zu wenig bekannt oder gänzlich unbekannt.
Die Bundesregierung verriet uns, dass sie in ihren Geschäftsbereichen mehr als 80 Anwendungen einsetzt, 22 Anwendungen werden im Bereich Sicherheit genutzt. Bei vielen Anwendungen ist das Ziel oder der Zweck anhand der Antwort gar nicht erkennbar, auch nicht, welchen Einfluss automatisiert oder halb-automatisierte System-Prozesse auf Beratungen und politische Empfehlungen oder Entscheidungen nehmen.
Eine Risikoklassifizierung, wie sie die Enquete-Kommission KI oder die Datenethik-Kommission schon seit mehreren Jahren empfehlen und die auch Grundlage der gerade stattfindenden Verhandlungen zur KI-Verordnung auf Europäischer Ebene ist (die Deutschland auch unterstützt), findet praktisch gar nicht statt. Angaben zu Datenquellen sind teilweise haarsträubend: Es werden unter anderem Wikipedia oder Zeitungsartikel benannt – wer sich näher mit dem Thema KI beschäftigt, weiß, dass unter anderem die Datengrundlage entscheidend ist für die Qualität und Zuverlässigkeit der Ergebnisse. Auch die Antworten zu Schulungen und Evaluierungen sind dünner als sie sein sollten.
Wohlgemerkt: Diese Nachlässigkeit erlaubt sich der Staat auch bei Anwendungen, die grundrechtssensibel sind, wie zum Beispiel im Bereich der Sicherheitsbehörden.
Die viel beschworene Ausrichtung auf Menschen und Gemeinwohl ist kaum erkennbar. Auch in der Forschungsförderung liegen die Schwerpunkte eindeutig bei Mobilität und „Innovationen“ – wobei schwammig bleibt, was hier gemeint ist. Ethik und Gemeinwohl bilden die Schlusslichter der Finanzierung.
Uns ist aufgefallen, dass mindestens ein Pilot-Projekt aus dem Bildungsbereich aus Sachsen und Sachsen-Anhalt nicht aufgelistet wurde. Da diese Umsetzung in der Bildung auf Länder-Ebene entschieden wurde, haben wir dies zum Anlass genommen, auch bei einigen Ländern nachzufragen, wie KI dort schon eingesetzt wird. Mithin werden auch die sensiblen Sektoren „Inneres“ und „Gesundheit“ größtenteils in den Ländern entschieden.
KI in den Ländern: Risikoreich
Mit Hilfe unserer Kolleginnen und Kollegen aus den Landtags-Fraktionen haben wir während er letzten Monate einige Antworten zusammengetragen, wie KI in den Ländern eingesetzt wird. Antworten liegen uns aus Hamburg, Hessen, Sachsen-Anhalt sowie Thüringen (Teil 1 und Teil 2) vor.
Zusammenfassend gilt, dass es auch hier (bis auf eine Ausnahme in einem unsensiblen Bereich) keine Risikoklassifizierungen gibt. Was überhaupt unter KI verstanden wird und in der Folge, welche Anwendungen zu unserer Anfrage überhaupt mitgezählt werden, handhaben die Länder unterschiedlich. Kein Wunder, denn eine einheitliche Definition von KI gibt es bislang nicht. Darüber hinaus zeigt sich, dass die Verantwortlichen über keinerlei Kompetenz bei der Risikobewertung von Künstlicher Intelligenz verfügen.
Auch die dringend notwendigen Fort- und Weiterbildungen für Entscheider*innen und Anwendende beschränken sich zumeist auf reine Anwendungs-Schulungen, oft auch noch durch die System-Anbieter. Eine unabhängige, kritische Auseinandersetzung zu Diskriminierungs-Risiken und Grenzen der KI-Technologie ist nicht erkennbar. Evaluierungen finden kaum statt. Hier wiederholt sich eine bestenfalls naive, schlimmstenfalls ahnungslose Herangehensweise.
Insbesondere Hessen sticht dabei mit den umfangreichsten Anwendungen hervor und zwar in den Bereichen Sicherheit und Polizei sowie Hochschulbildung. Und das auch noch mit Hilfe von Anbietern, die in Bezug auf Datenschutz-Missbrauch und Fehlfunktionen bereits als höchst problematisch aufgefallen sind.
Warum ist das problematisch?
KI bedeutet nicht das Ende der Menschheit, ist aber auch nicht die technische Heilsbringerin, wie sie von manchen Anbietern gern angepriesen wird. Die Systeme bilden lediglich Korrelationen und Statistiken ab, können jedoch keine Kausalitäten erkennen oder gar Schlüsse ziehen, die mit denen von Menschen vergleichbar sind.
Jüngstes Beispiel ist Chat GPT – Die Anwendung erweckt in hohem Maße den Eindruck, als könnte sie durchdachte und schlüssige Antworten geben oder Aufgaben erfüllen. Jedoch wendet das System lediglich Sprachlogik an und baut Sätze zusammen, die es rein rechnerisch für wahrscheinlich hält. Erstaunlich oft führt das zu Ergebnissen, die uns sinnvoll erscheinen. Nichtsdestotrotz schleichen sich immer wieder Fehler ein, die nur dann erkennbar werden, wenn die oder der Lesende selbst Fachkompetenz zu dem Thema hat und daher weiß, dass das System falsch gerechnet haben muss. Jeder Text muss zwingend durch Auftrag Gebende einer Prüfung unterzogen werden.
Viele Rechenwege und Prozessschritte bei KI sind intransparent und für Menschen nicht nachvollziehbar. Je nach Datenbasis und Training der Algorithmen sind die Rechenverfahren mal mehr oder mal weniger zuverlässig, außerdem sind die ausgewählten Daten nie vollständig oder aktuell und damit nie neutral oder gar „gerecht“ (was Gerechtigkeit ist, muss sowieso pro Einsatzzweck definiert werden). Es ist also ein Irrtum, dass maschinelle Systeme objektiver entscheiden als Menschen.
Regelmäßig kommt es zu Fehlern und Diskriminierungen und es gibt mittlerweile zahlreiche internationale Beispiele, wie KI in staatlichen Anwendungen zu Menschen- und Grundrechtsverletzungen und Fehlbeurteilungen führen. In den Niederlanden hat eine schlecht funktionierende Automatisierung sogar zum Rücktritt einer ganzen Regierung geführt.
Das Wissensniveau über KI ist überall immer noch sehr niedrig und positiver Marketing-Sprech aus hippen Start-ups sowie individuelle Erfahrungen mit Sprachlern-Apps oder aktuell ChatGPT verschleiern die Grenzen und Risiken der Technologie. Es gibt zudem bislang keine ausreichenden Rechtsgrundlagen für den Einsatz von automatisierten Systemen. Die bisherigen Gesetze sind nicht ausreichend. Die KI-Verordnung befindet sich auf der europäischen Ebene noch mitten in den Verhandlungen, ein verabschiedetes Gesetz wird im Laufe des Jahres erwartet.
Werden öffentliche Aufgaben zunehmend automatisiert und diese Automatisierung nicht menschenfreundlich und rechtskonform umgesetzt, führt dies zu einer weiteren Entfremdung von Bürger*innen zum Staat. KI-basierte Bild- und Sprachmodelle können Desinformation und Hate Speech vervielfachen und diese Kombination aus Entfremdung und Desinformation birgt ein nicht zu unterschätzendes Risiko für den Zustand der Demokratie.
Wir werden die Bundesregierung im weiteren Verhandlungsprozess zur KI-Verordnung kontrollieren. Unsere Kleine Anfrage zu Einsatz und Forschungsschwerpunkten werden wir in Kürze erneut stellen und weitere Forderungen formulieren, welche Positionen wir von der Bundesregierung bei den Verhandlungen der KI-Verordnung erwarten. Im Mittelpunkt stehen dabei für uns der Schutz von Bürgerrechten, des Klimas sowie die Sektoren Forschung und Bildung und nicht zuletzt Sicherheit und Behörden.