Trained to Imagine
Rendering
Creative Intelligence
AI Research / Breakthroughs

PhyWorldBench: Benchmark für physikalischen Realismus in Text-zu-Video

Quelle: arXiv ·

Ein Benchmark, der prüft, wie gut Text-zu-Video-Modelle physikalischen Gesetzen folgen — über ein breites Szenarienspektrum statt nur allgemeine Bildqualität zu bewerten.

TTI-Takeaway

Benchmarks bestimmen, was optimiert wird. Solange Modelle danach bewertet werden, wie gut ein Einzelbild aussieht, verbessert sich genau das. Physikalischen Realismus direkt zu messen, ist der Weg, das zu beheben, was in der Produktion wirklich Zeit kostet.

Analyse

Die meisten Ranglisten für Videomodelle belohnen, was in einem Einzelbild oder kurzen Clip gut aussieht. PhyWorldBench stellt eine engere und nützlichere Frage: Gehorcht die Bewegung der Physik? Wer erlebt hat, wie ein generierter Shot zerfällt, sobald ein Glas abgestellt wird oder ein Körper sein Gewicht verlagert, weiß, dass genau diese Frage über die Abnahme entscheidet. Und sie kam in den Evaluationen, die Labore bei ihren Launches zitieren, bisher erstaunlich kurz.

Das Paper, unter anderem von Ming-Yu Liu und Xin Eric Wang, ordnet physikalische Phänomene in Ebenen. Grundlegend sind Objektbewegung und Energieerhaltung, darüber liegen komplexere Fälle wie Starrkörper-Interaktionen und die Bewegung von Menschen oder Tieren. Die Autor:innen bewerten 12 Text-zu-Video-Modelle anhand von 1.050 kuratierten Prompts aus grundlegenden, zusammengesetzten und sogenannten Anti-Physik-Szenarien. Neben einer groß angelegten menschlichen Bewertung nutzen sie eine Zero-Shot-Methode, bei der multimodale Sprachmodelle den physikalischen Realismus beurteilen. Die Arbeit erschien erstmals im Juli 2025 und wurde im Mai 2026 überarbeitet – sie wird offenbar gepflegt, statt einmal veröffentlicht und liegen gelassen.

Die Anti-Physik-Kategorie ist für die Produktion die interessanteste Entscheidung. Diese Prompts verlangen bewusst Dinge, die der realen Physik widersprechen, und prüfen, ob ein Modell der Anweisung folgt und das Ergebnis dabei in sich stimmig bleibt. Das ist ein Werbebriefing, kein Sonderfall. Ein schwebendes Produkt, Flüssigkeit, die nach oben fließt, eine Tänzerin, die einen Moment zu lang in der Luft hängt: Werbung und Musikvideos verlangen regelmäßig kontrollierte Unmöglichkeit. Ein Modell, das nur plausible Physik reproduziert, ist ebenso begrenzt wie eines, das sie gar nicht beherrscht. Beides zu messen, ist der richtige Ansatz.

In der Pipeline sind Physikfehler teuer, weil sie spät auffallen. Ein Frame kann das Lookdev bestehen und in der Bewegung trotzdem scheitern. Die Korrektur ist dann meist Comp, Cleanup oder eine Schleife aus Neugenerieren und Hoffen, die den Zeitplan auffrisst. Ein Benchmark, der Fehlertypen trennt, gibt Supervisor:innen ein Vokabular für dieses Gespräch: Ob ein Modell an Kollisionen, an der Gewichtsverlagerung menschlicher Bewegung oder an Erhaltung über die Zeit scheitert, zeigt, welche Shots man ihm besser nicht gibt. Die Autor:innen leiten außerdem Prompt-Empfehlungen für physikalische Treue ab. Das ist praktisch, aber wir würden Prompt-Tuning als kurzfristige Umgehung sehen, nicht als Lösung.

Die Grenzen sollte man benennen. Der Benchmark prüft Text-zu-Video, während viel professionelle Arbeit auf Referenzbildern, Plates oder vorherigen Shots aufsetzt. Die Werte lassen sich also nicht direkt auf Bild-zu-Video oder referenzbasierte Workflows übertragen. Multimodale Modelle als Prüfer skalieren die Bewertung, erben aber ihre eigenen blinden Flecken bei subtiler Physik, vermutlich bleibt deshalb die menschliche Bewertung zentral. Und jeder Benchmark wird zum Ziel, sobald er zählt.

Dieser letzte Punkt ist zugleich der optimistische. Wird physikalischer Realismus zu einer Zahl, um die Labore konkurrieren, verbessern sich die Modelle darin – das ist das Argument der Einordnung oben. Zusammen mit dem Phantom-Paper zu physikbasierter Generierung im April und der Arbeit zu adressierbarem Gedächtnis in World Models zeigt sich eine klare Richtung: Die Bewertung wandert davon, wie ein Frame aussieht, hin zu der Frage, ob sich eine Szene richtig verhält. Das kommt dem näher, wie Regie oder VFX-Supervision Material tatsächlich beurteilen.