Phantom: physikgestützte Videogenerierung
Ein Verfahren, das während der Generierung visuelle Erscheinung und latente physikalische Dynamik gemeinsam modelliert — statt physikalische Plausibilität als zufälliges Nebenprodukt großer Trainingsmengen zu behandeln.
Physik ist der Punkt, an dem generiertes Material sich noch verrät — Stoff, Wasser, Haare und alles mit Gewicht. Ansätze, die Dynamik explizit modellieren statt auf sie zu hoffen, sind die relevanten: Genau dieser Fehlermodus zwingt einen Shot zurück ins Comp.
Phantom ist weniger wegen seiner Spitzenwerte ein nützliches Paper als wegen der These, warum Videomodelle Physik falsch darstellen. Die Autor:innen argumentieren, dass das übliche Trainingsziel – den nächsten Frame vorherzusagen – Modelle für plausibles Aussehen belohnt, ohne dass sie die Kräfte und Materialien verfolgen müssen, die Bewegung erzeugen. Mehr Daten und größere Modelle lösten das nicht. Ihre Antwort: Das Modell soll neben den Pixeln auch eine Repräsentation der Physik vorhersagen.
Die Methode ist konkret. Phantom baut auf Wan2.2-TI2V-5B auf, einem bestehenden offenen Video-Diffusionsmodell, dessen visuelle Gewichte vollständig eingefroren bleiben. Daneben trainieren die Autor:innen von Grund auf einen separaten Physik-Zweig, der im Einbettungsraum von V-JEPA2 arbeitet – einem vortrainierten Vision-Encoder, der nachweislich intuitive physikalische Eigenschaften erfasst. Beide Zweige tauschen während der Generierung über bidirektionale Cross-Attention Informationen aus, sodass die Physikvorhersage die Frames beeinflussen kann und umgekehrt, ohne externen Simulator und ohne explizite Liste physikalischer Parameter. Trainiert wurde auf OpenVidHD-0.4M, rund 400.000 hochaufgelösten Video-Text-Paaren, die nicht nach physikalischen Inhalten ausgewählt wurden. Gegenüber dem unveränderten Basismodell berichten die Autor:innen Verbesserungen von 50,4 Prozent beim Physical-Commonsense-Wert von VideoPhy, 2,6 Prozent bei VideoPhy-2 und 33,9 Prozent bei Physics-IQ. Die Beispiele zeigen Seifenblasen, die sich dehnen und wabern, statt wie starre Kugeln zu treiben, und eine zähe Flüssigkeit, die sich in Schichten faltet, statt in einem Nichts zu verschwinden.
Für VFX und Post ist die Architektur so wichtig wie die Werte. Weil das visuelle Rückgrat eingefroren bleibt und nur ein schlanker Zweig trainiert wird, ließe sich der Ansatz grundsätzlich mit überschaubarem Aufwand an andere Modelle anbauen, statt ein neues Foundation Model zu verlangen. Zudem arbeitet Phantom Video-zu-Video: Es wird auf beobachtete Frames konditioniert und sagt vorher, was als Nächstes passiert. Das liegt nah an Aufgaben, die Produktionen ohnehin beschäftigen – eine Plate verlängern, einen Effekt über das Ende eines Takes hinaus fortführen oder den nächsten Moment eines Shots erzeugen, in dem Flüssigkeit, Stoff oder Trümmer sich weiter so verhalten müssen, wie die Kamera es aufgenommen hat.
Die Grenzen nennt das Paper selbst. Das Modell arbeitet mit 480 × 832 Pixeln und bis zu 121 Frames, weit unter der Auflösung für Broadcast oder Kino. Die Verbesserung bei VideoPhy-2 ist im Vergleich zu den anderen beiden Benchmarks gering, was auf ungleichmäßige Fortschritte je nach physikalischem Szenario hindeutet. Und plausible Physik ist nicht steuerbare Physik: Beschrieben wird keine Möglichkeit, eine Flüssigkeit auf Regieanweisung zäher oder einen Stoff schwerer zu machen – genau das leistet eine Simulation in Houdini.
Das Paper passt in eine Forschungslinie, die der Feed seit PhyWorldBench im Februar verfolgt, einem Benchmark, der physikalischen Realismus statt allgemeiner Bildqualität misst. Und es knüpft an das World-Model-Argument an, das Runways Cristóbal Valenzuela im April vortrug, bei dem konsistente Physik das erklärte Ziel ist. Aus unserer Sicht werden solche Methoden zuerst als Mittel in die Produktion kommen, um die Zahl der Shots zu senken, die an Gewicht und Bewegung scheitern – nicht als Ersatz für Simulation. Als Nächstes gilt es zu beobachten, ob der Ansatz auf größeren Modellen und bei höheren Auflösungen trägt.