Mise-en-Video: Multi-Shot-Videogenerierung in 3D inszenieren
Ein Multi-Shot-Text-zu-Video-Framework, in dem jeder Shot zuerst mit ausgerichteten 3D-Boxen für die Figuren inszeniert und dann mit einer Attention generiert wird, die die Geschichte über Shots hinweg konsistent hält. Die Autor:innen bauten einen Datensatz aus 160.000 Videos mit Multi-Shot-Skripten und 3D-Annotationen und berichten Verbesserungen bei Konsistenz und Figurenkontrolle.
Der Name sagt es: erst blocken, dann generieren. Die Forschung landet bei dem, was Previs schon immer gemacht hat — zuerst festlegen, wo etwas im Raum steht, dann das Bild erzeugen. In der Produktion setzen sich die Tools durch, die eine inszenierte Szene als Input akzeptieren, nicht nur einen Absatz Text.
Das Paper leiht sich seinen Namen nicht zufällig von der Bühne. Mise-en-scène meint die Anordnung von allem, was im Bild ist, und die Autor:innen argumentieren, dass Multi-Shot-Videogenerierung inzwischen gut darin ist, über Shots hinweg konsistent zu bleiben, Kreativen aber kaum Einfluss auf genau diese Anordnung lässt. Mise-en-Video, kurz MeV, setzt deshalb vor den Generator einen expliziten 3D-Inszenierungsschritt: Erst entscheidet die Kreative, wo etwas steht, dann entscheidet das Modell, wie es aussieht.
Der vollständige Titel lautet „Mise-en-Video: Fine-Grained 3D Control for Multi-Shot Video Generation“; zum Team gehören unter anderem Yingshuang Zou, Xiaoyu Shi, Xintao Wang, Pengfei Wan, Kun Gai und Yuan Liu. Laut Abstract besteht das Framework aus zwei Teilen: einem hierarchischen Attention-Mechanismus, der die Erzählung auf mehreren Ebenen zugleich konsistent halten soll, und einer 3D-bewussten Layout-Steuerung, die über ausgerichtete 3D-Bounding-Boxes räumliche Kontrolle pro Shot gibt. Für Training und Evaluation bauten die Autor:innen standardisierte Annotations-Pipelines und einen Datensatz mit 160.000 Videos, hierarchischen Multi-Shot-Beschreibungen und ausgerichteten Boxen. MeV übertreffe starke Baselines durchgehend bei Videoqualität, Konsistenz zwischen Shots und Kontrolle über einzelne Figuren. Zahlen nennt das Abstract nicht.
Die Ausrichtung der Boxen ist das Detail, auf das es für alle ankommt, die schon einmal eine Szene geschnitten haben. Eine Box, die weiß, in welche Richtung sie zeigt, kodiert nicht nur, wo eine Figur steht, sondern auch Blickrichtung, Eyelines und auf welcher Seite der Achse die Kamera steht. Genau diese Eigenschaften lassen eine Folge von Einstellungen als einen Raum lesen — und genau sie drücken Text-Prompts schlecht aus; „die Frau links, nach rechts blickend“ löst sich meist spätestens im dritten Shot auf. Eine ausgerichtete Box ist das Vokabular eines Blocking-Plans oder eines Previs-Layouts. Akzeptieren Generatoren solchen Input, wird die Übergabe von der Previs an generierte Shots zu einer Übertragung von Daten, die Layout-Artists ohnehin erzeugen, statt einer Nacherzählung in Prosa. Previs wird dadurch zentraler, nicht überflüssiger.
Das fügt sich in ein Muster, das der Feed verfolgt. TARS im Juli ging es darum, vorhandenes Material aus einem neuen Kamerawinkel neu zu drehen, MSEditor im August wandte eine Änderung konsistent auf mehrere Shots an, und die Arbeit zu adressierbarem Gedächtnis befasste sich mit der Rückkehr zu früheren Szenen. Zusammengenommen baut die Forschung Coverage, Kontinuität und Blocking — klassische Filmgrammatik — Stück für Stück in generative Systeme ein.
Die Grenzen sind die üblichen eines Forschungspapers, plus einige, die diesem Ansatz eigen sind. Das Abstract nennt keine Metriken, keine Fehlerfälle und keine Rechenkosten, und der Datensatz stammt von den Autor:innen selbst — unabhängige Replikation wird also wichtig. Eine Bounding Box trägt Position und Ausrichtung, aber nichts über Pose, Gestik oder Spiel, also dort, wo die meisten Regieanweisungen landen. Eine Veröffentlichung von Code oder Gewichten wird nicht erwähnt. Spannender als das Paper selbst ist für uns, ob kommerzielle Videotools 3D-Layouts als Steuerung akzeptieren werden — und ob sie dafür Formate lesen, die Previs- und Layout-Abteilungen schon nutzen, statt ein neues zu erfinden.