In der Episode mit dem Titel „Eve Bodnia on Energy-Based Models“ diskutieren Dan Shipper und Eve Bodnia die Grenzen von Large Language Models (LLMs) und die vermeintliche Überlegenheit energiebasierter Modelle (EBMs). Bodnia argumentiere, dass LLMs aufgrund ihrer autoregressiven Natur und fehlenden Überprüfbarkeit für sicherheitskritische Anwendungen untauglich seien. Als selbstverständlich gesetzt wird dabei die Annahme, dass eine umfassende Durchdringung aller Lebensbereiche mit KI eine unausweichliche nächste Evolutionsstufe sei. Die Diskussion verbleibe weitgehend im technischen und ökonomischen Rahmen, wobei die gesellschaftlichen Auswirkungen einer solchen Automatisierung nicht weiter problematisiert werden. Die ökonomische Logik der Ressourcenminimierung und versunkener Investitionen wird als treibende Kraft der Branchenentwicklung dargestellt.

Zentrale Punkte

  • Grenzen der Sprachmodelle Bodnia behaupte, dass LLMs wegen ihres ratenden, tokenbasierten Charakters und fehlender Einsicht in interne Prozesse für sicherheitsrelevante Systeme untauglich seien und unweigerlich halluzinierten.

  • Funktionsweise der EBMs EBMs funktionierten laut Bodnia nach dem Prinzip der Energieminimierung. Sie erstellten eine Landschaft wahrscheinlicher Zustände ohne Tokens und böten eine Vogelperspektive, wodurch Fehler frühzeitig erkannt und vermieden werden könnten.

  • Verständnis statt Mustererkennung Während LLMs bloß Muster erkannten, verständen EBMs laut Bodnia Daten und speicherten Regeln in latenten Variablen. Dies ermögliche eine deterministische, von Menschen streng kontrollierbare und einschränkbare Systemführung.

  • Ökonomische Pfadabhängigkeit Bodnia argumentiere, die Investitionslandschaft sei durch versunkene Kosten blockiert. LLMs erreichten ein Plateau, die Industrie halte jedoch wegen zirkulärer ökonomischer Abhängigkeiten an der alten Architektur fest.

Einordnung

Die Episode bietet eine präzise technische Kritik an LLMs und erklärt die Funktionsweise von EBMs verständlich anhand physikalischer Prinzipien. Die ökonomische Analyse der Investitionsstrukturen liefert wertvollen Kontext für die aktuelle Branchenentwicklung. Allerdings bleibt die Prämisse, dass KI unausweichlich alle Lebensbereiche durchdringen müsse, völlig unhinterfragt. Sicherheit wird rein technisch-deterministisch gerahmt, während gesellschaftliche Folgen solcher Automatisierung ausgeblendet werden. Bodnia unterstelle LLMs ein prinzipielles Unverständnis, definiere das „Verstehen“ ihrer Modelle jedoch nur über mathematische Energielandschaften, was unscharf bleibe. Der Unterschied zur Tunnelvision der LLMs werde metaphorisch gefasst: „EBM going to have the bird view all the time.“ (Übersetzung: „Ein EBM wird die ganze Zeit die Vogelperspektive haben.“)

Hörempfehlung: Für Hörer:innen, die an alternativen KI-Architekturen und der Ökonomie der KI-Industrie interessiert sind, bietet das Gespräch spannende Einblicke.

Sprecher:innen

  • Dan Shipper – Moderator und CEO von Every
  • Eve Bodnia – Gründerin und CEO von Logical Intelligence