Verfassungsblog: Computer Says No

Der Verfassungsblog analysiert den Entwurf des neuen KI-Migrationsverwaltungsgesetzes (KIMVG), mit dem verschiedene Behörden künftig KI-Systeme für Asyl- und Aufenthaltsverfahren entwickeln und einsetzen dürfen. Das Gesetz schafft drei konkrete Instrumente: eine Befugnis, sensible Antragsdaten zum Trainieren von KI-Modellen zu nutzen, ein automatisiertes Monitoring abgeschlossener Verfahren und den automatisierten Abgleich von Antragsdaten mit öffentlichen Internetquellen. Die Bundesregierung verspricht sich davon effizientere und einheitlichere Verfahren, während Verbände wie Pro Asyl und AlgorithmWatch massiv vor Diskriminierungsrisiken und mangelndem Rechtsschutz warnen. Der Text reiht sich damit in eine bekannte Debatte ein: ein überlasteter Staat, der auf technische Innovation hofft, und eine Zivilgesellschaft, die um rechtsstaatliche Kontrolle fürchtet.

Der Entwurf steht in einer wenig ruhmreichen Historie. Der Autor verweist auf bisherige Fehlschläge wie die umstrittene Sprachsoftware „DIAS“ des BAMF oder das gescheiterte EU-Projekt „iBorderCtrl“, das mit einem KI-gestützten „Lügendetektor“ arbeitete. Als positives Gegenbeispiel wird das Projekt „GeoMatch“ in der Schweiz, den Niederlanden und Kanada genannt, wo ein Algorithmus Geflüchtete datenbasiert so verteilt, dass sich ihre Chance auf einen Job nahezu verdoppelt hat. Diese Beispiele untermauern das Kernargument des Textes: Automatisierung ist nicht per se gut oder schlecht. Es kommt auf die konkrete Ausgestaltung und Kontrolle an – und genau hier liegt das zentrale Problem des KIMVG.

Die größte Schwäche sieht der Text im Prinzip des „Human in the Loop“, also der Letztentscheidung durch einen Menschen. Diese Konstruktion sei ein rechtliches Feigenblatt. Ein Mensch mag zwar formal beteiligt sein, werde aber durch den „Automation Bias“ – die Neigung, Maschinenempfehlungen kaum zu hinterfragen – faktisch zur Marionette der Software. Das Risiko sei, dass der Mensch zum reinen „Haftungsträger“ verkomme, einer Art Blitzableiter für Entscheidungen, die die Maschine längst determiniert hat. Der Entwurf bleibe jede Antwort schuldig, wie eine Aufsicht aussehen soll, die diesen Namen verdient. Ein zentraler Punkt ist dabei die „methodische Opazität“ lernender Systeme: Ihre nicht-linearen Entscheidungsprozesse lassen sich kaum kausal zurückverfolgen, was die Begründungspflicht enorm erschwert.

Trotz dieser gravierenden Rechtsschutzdefizite plädiert der Autor nicht für einen Rückzug von der Automatisierung. Das Argument ist pragmatisch: Ein Staat mit über 600.000 fehlenden Beschäftigten und einem enormen Produktivitätsdruck könne sich massive Effizienzgewinne kaum leisten zu ignorieren. Vor allem im Migrationsbereich bedeute Verfahrensdauer für die Betroffenen einen schädlichen Schwebezustand ohne Arbeits- und Integrationszugang. Zudem seien Diskriminierung und Intransparenz keine exklusiven Maschinenprobleme: „Die größtenteils automationsfreie Geschichte der Menschheit ist selbst eine Geschichte erheblicher Diskriminierung von Menschen gegen Menschen.“ Das menschliche Gehirn sei für die Forschung bis heute eine „Black Box“. Der entscheidende Vorteil von Algorithmen sei, dass sie sich im Vergleich zum Menschen weitaus besser testen, prognostizieren und mit erklärenden Instrumenten – erklärbaren KI-Modellen – kontrollieren lassen. Der Blick in die Maschine, so die abschließende Pointe, werde so zum Spiegel für unser eigenes, fehleranfälliges Urteilsvermögen.

Einordnung

Der Text stammt vom Verfassungsblog, einer Plattform, die als Stimme der kritischen, aber staatsnahen juristischen Expert:innen-Community verstanden werden muss. Die Perspektive ist tief in der Verwaltungsrechtsdogmatik verankert und argumentiert entlang von Prinzipien wie Rechtsschutz und Effizienz. Ausgeblendet wird die radikalere Perspektive von Menschenrechtsorganisationen, die bereits die Idee algorithmengestützter Entscheidungen über Lebenschancen von Geflüchteten als grundsätzlich menschenunwürdigen Akt betrachten. Die Annahme, dass technische „Erklärbarkeit“ ein adäquater Ersatz für demokratisch legitimierte, menschliche Einzelfallentscheidungen sein kann, ist die unausgesprochene normative Basis. Der Text fördert die Agenda einer technikoffenen Modernisierung des Rechtsstaats und stärkt die Position derjenigen, die in der algorithmischen Regulierung vor allem ein noch zu lösendes Gestaltungsproblem sehen – und kein Machtinstrument. Das Framing der Maschine als Spiegel für den Menschen ist rhetorisch brillant, lenkt aber elegant davon ab, dass es im Asylverfahren um reale Machtasymmetrien und nicht um philosophische Erkenntnis geht.

Die Analyse ist aufgrund ihrer differenzierten und sprachlich präzisen Abwägung für ein juristisch und politisch interessiertes Fachpublikum sehr lesenswert, gerade weil sie sich der einfachen Polarisierung verweigert. Sie zeigt klar die eklatanten Lücken im aktuellen Gesetzesvorhaben. Eine Lesewarnung gilt für alle, die eine ethische Grundsatzdebatte über den Technikeinsatz in der Migrationskontrolle erwarten: Der Text bleibt einem technokratischen Optimismus verhaftet, der die strukturellen Risiken der Digitalisierung für ohnehin entrechtete Gruppen als lediglich lösbare Kontrollprobleme verhandelt.