Trained to Imagine
Rendering
Creative Intelligence
AI Research / Breakthroughs

Definition und Roadmap für World Models

Quelle: arXiv ·

Ein Versuch, zu definieren, was ein World Model tatsächlich ist und was als Fortschritt gelten würde — zu einem Zeitpunkt, an dem verschiedene Labore den Begriff auf sehr unterschiedliche Systeme anwenden.

TTI-Takeaway

Nützlich gerade weil „World Model“ zum Marketingbegriff geworden ist. Wer eines verkauft bekommt, hat hier das Vokabular für die richtigen Fragen: Persistenz, Steuerbarkeit — und ob das Ganze zusammenhält, wenn man die Kamera bewegt.

Analyse

Der Begriff World Model bezeichnet inzwischen gleichzeitig einen Videogenerator, eine begehbare 3D-Szene und einen Robotik-Planer, und dieses Paper versucht, diese Unschärfe zu beenden. Verfasst als Perspektivbeitrag vom Physical Intelligence Team des Shanghai AI Laboratory, liefert es eine formale Definition, eine Taxonomie und eine Roadmap in Stufen. Für die Produktion liegt der Nutzen weniger im Formalismus als in den Unterscheidungen, die er erzwingt, denn sie entsprechen ziemlich genau dem, was kaputtgeht, wenn man eine generierte Umgebung vor die Kamera stellt.

Die Definition ist bewusst nüchtern: Ein World Model ist eine komprimierte Modellierung der Zustandsübergänge der physischen Welt, gebaut unter begrenzter Rechenleistung. Daraus leiten die Autor:innen drei Eigenschaften ab: Verarbeitung aller Wahrnehmungsmodalitäten, Umgang mit Signalen unterschiedlicher Abtastraten und eine lokale, nur teilweise beobachtbare Perspektive. Praktisch nützlicher ist die funktionale Aufteilung, die sie von Fei-Fei Li übernehmen. Ein Renderer erzeugt plausible Bilder oder Videos; ein Simulator schreibt Zustände unter Eingriffen fort und erhält Geometrie, Objektpermanenz und physikalische Randbedingungen; ein Planer wählt Handlungen mit Blick auf ein Ziel. Sora und Seedance ordnet das Paper den Renderern zu, Genie 3 beschreibt es als bildbasiert mit Ansätzen in Richtung 3D, und Marble von World Labs verortet es bei den strukturierten 3D-Repräsentationen, mit dem ausdrücklichen Hinweis, dass Kollisionsmeshes noch kein gelerntes Physikmodell sind.

Genau diese Linie zwischen Renderer und Simulator sollte ein Previs- oder Virtual-Production-Team bei jedem Werkzeug prüfen, das als World Model verkauft wird. Ein Renderer liefert einen überzeugenden Shot; erst ein Simulator erlaubt, dass sich die Kamera bewegt, ein Requisit verschoben wird oder ein zweites Setup an denselben Ort zurückkehrt und ihn unverändert vorfindet. Das Paper benennt den Fehlermodus direkt: Kleine Fehler in einem autoregressiven Rollout summieren sich, bis die Welt wegdriftet. Dasselbe Problem steht hinter der Arbeit zu adressierbarem Gedächtnis aus dem August und hinter Runways eigenen Angaben zu GWM Worlds 2, wonach Details bei schnellen Kameraschwenks nachlassen und das Langzeitgedächtnis unvollkommen ist. Das Zwei-Minuten-Konsistenzfenster von Genie 4 aus dem Oktober ist Fortschritt auf genau dieser Achse.

Auch die Roadmap wird VFX-Leuten bekannt vorkommen. Die Autor:innen stellen fest, dass die meisten Systeme drei getrennte Beschreibungen der Welt führen: Erscheinungsprimitive wie Gaussian Splats fürs Rendering, Meshes oder Partikel für die Simulation, Raster oder Objekt-Slots für die Planung, und dass die Übersetzung zwischen ihnen verlustbehaftet und improvisiert ist. Ihr Vorschlag lautet: ein physikalischer Zustand, viele Decoder. Pipelines zahlen diese Übersetzungssteuer heute jedes Mal, wenn ein gescanntes Set für die Simulation neu aufgebaut oder für eine neue Plate neu beleuchtet wird. Deshalb ist Forschung wie LightBridge mit seinem Relighting von Splats in einem Durchgang mehr als eine Laborübung.

Die Einschränkungen sind erheblich. Der Schwerpunkt des Papers liegt auf Robotik und Physical AI, nicht auf Film, und seine Definition ist strenger als die der meisten Anbieter; nach diesem Maßstab sind viele als World Model vermarktete Produkte schlicht Renderer. Zudem räumt es ein, dass die Evaluation zersplittert ist: Benchmarks wie PhyWorldBench stehen neben Metriken für Bildqualität, und keine aktuelle Kennzahl erfasst physikalische Korrektheit gut. Seit AMD im September die Übernahme von World Labs für 8,2 Milliarden US-Dollar vereinbart hat, bewegt sich das Geld schneller als die Begriffe. Einen Anbieter zu fragen, welche der drei Rollen sein System tatsächlich erfüllt, ist ein günstiger Weg herauszufinden, was man eigentlich kauft.