Kleines Studio, großes Kino

Smart Virtual Production mit Unreal 5 für eine bessere Actor Experience

Größe spielt keine Rolle (mehr)

Als kleines Filmstudio sind die räumlichen Gegebenheiten und die finanziellen Mittel begrenzt. Virtual Production mildert das Problem, aber das Studio ist immer noch durch die Größe seiner Räumlichkeiten eingeschränkt, wenn es darum geht, Szenen zu drehen, bei denen die Schauspieler lange Wege zurücklegen müssen.

Filmstudio Basel

Das Filmstudio Basel bietet smarte Filmproduktionen, die von Unternehmensvideos über Event-Dokumentationen bis hin zu Kino-/TV-Produktionen reichen. Mit Virtual Production können sie jeden beliebigen Drehort ins Studio holen – das reduziert sowohl die Kosten als auch den ökologischen Fußabdruck.

UX Design

Prototyping

Software Engineering

Was ist Virtual Production?

Virtual Production ist eine Technologie, bei der LED-Panele oder Rückprojektionen als Kulisse für ein Filmset verwendet werden, auf denen Video- oder computergenerierte Bilder in Echtzeit angezeigt werden.

Auf diese Weise können die Studios eine Szene in jeder beliebigen Umgebung drehen, ohne dass die gesamte Crew vor Ort sein muss. Dies macht die Filmproduktion wesentlich kostengünstiger und nachhaltiger.

Ein stromloses Laufband

Wir haben bereits in anderen Projekten erfolgreich mit Walkolution zusammengearbeitet. Das Unternehmen stellt motorlose Laufbänder her, die die perfekte Grundlage dafür sind, dass die Schauspieler*innen natürlich gehen können, ohne ihren Standort zu verändern. Das Hauptmerkmal des Laufbandes ist, dass es rein muskelbetrieben ist und auf diese Weise ein großes Problem löst, das wir schon früh erkannten: Ein herkömmliches elektronisches Laufband würde den Schauspieler*innen ihre Selbstbestimmung beim Bewegen rauben, da es mit einer festen Geschwindigkeit angetrieben wird.

Mit dem Walkolution-Laufband können die Schauspieler*innen entscheiden, wann sie beginnen und aufhören zu laufen, oder sich sogar in verschiedenen Geschwindigkeiten fortbewegen, was das schauspielerische Erlebnis, sprich die Actor Experience, enorm verbessert.

Die Herausforderung: Das Laufband digitalisieren

Natürlich würde ein muskelbetriebenes Laufband nicht ausreichen. Die von Unreal 5 gerenderte virtuelle Szene musste sich perfekt synchron mit dem Schauspieler bewegen. Zunächst bauten wir einen Sensor, um die Gehgeschwindigkeit der Schauspielenden zu messen. Dazu verwendeten wir ein klassisches Lego-Rad, das mit einem Rotationssensor verbunden war, der vom Walkolution angetrieben wurde.

Damit Unreal 5 mit dem Laufband kommunizieren kann, braucht es allerdings Eingabeparameter, die es auch versteht. Das Walkolution ist ab Werk zunächst nicht digitalisiert, aber wir brauchten trotzdem digitale Eingabedaten für die Game-Engine. Zu diesem Zweck haben wir den Sensor an einen Arduino-Leonardo-Mikrocontroller angeschlossen.

Ein Laufband als Gamecontroller

Die Unreal-Engine muss die Ausgabe des Rotationssensors als Bewegungseingabe interpretieren, um die virtuelle Kamera neu zu positionieren. Um dies zu lösen, emuliert der Mikrocontroller ein Xbox-Gamepad für Unreal 5. Die Geschwindigkeitsinformationen des Laufbandes werden auf die Analogsticks des Gamepads abgebildet.

Langsames Gehen auf dem Laufband entspricht so dem leichten Drücken des Analogsticks nach vorne, während schnelles Gehen dem vollständigen Drücken des Sticks entspricht. Mit ein wenig Optimierungsarbeit ist es uns gelungen, die Bewegung des Laufbands in Echtzeit mit der Kamera der Unreal Engine zu verbinden.

Synchronisation von realen und virtuellen Kameras mit nDisplay

Eine der Schlüsselkomponenten für dieses Projekt war die nDisplay-Technologie von Unreal. Ihre Unterstützung für Virtual-Reality-Komponenten ermöglicht es uns, die physischen Kameras am Set mit den virtuellen Kameras in der Engine zu synchronisieren.

Mithilfe von Motion-Tracking-Geräten wie der HTC Vive können wir die Bewegung und Ausrichtung der realen Kameras verfolgen und diese Bewegung in der virtuellen Umgebung nachbilden. Das Ergebnis ist eine nahtlose Integration von realem und virtuellem Filmmaterial, was zu einem immersiveren und glaubwürdigeren Endprodukt führt.

Ausblick: Verbesserung der Erfahrung von Schauspieler*innen

Die Befreiung von den Beschränkungen der Studiogröße ist an sich schon etwas, worüber sich kleine Studios freuen werden. Aber die Vorteile und zukünftigen Möglichkeiten dieses Projekts gehen noch weiter. In der traditionellen Welt müsste jeder visuelle Effekt, der mit der Aktion eines Schauspielers einhergehen soll, in einem Nachbearbeitungsschritt manuell synchronisiert werden. Das kann fehleranfällig und schnell teuer werden. Um den Nachbearbeitungsaufwand so gering wie möglich zu halten, müssen die Schauspieler*innen selbst entscheiden können, wann welcher visuelle Effekt eingesetzt werden soll, da sie das beste Gefühl für das Timing ihrer Aktionen haben.

Was wäre, wenn Schauspielende mit ihren Füßen Ereignisse in der Szene auslösen könnten? Beispielsweise eine Explosion? Die Technologie, die wir in diesem Projekt mit dem Filmstudio Basel entwickelt haben, ist ein Schritt in diese Richtung.

Virtual Production in der Praxis

Technologien

Mehr dazu

Es war eine große Freude, wieder mit Centigrade zusammenzuarbeiten. Es war spannend unser Produkt einer so kreativen und experimentellen Umgebung zuzusetzen, und es gibt unserem Unternehmen die Möglichkeit, den Einsatzbereich des Walkolution weiter auszubauen.

Dr. Eric Söhngen Gründer/GeschäftsführerWalkolution GmbH

Die Arbeit in einem kleinen Studio schränkt zwar die technischen Möglichkeiten ein, hält einen aber nicht davon ab, großartige Ideen zu entwickeln. Mit dem kreativen Ansatz von Centigrade waren wir in der Lage, eine Lösung für unsere räumlichen Beschränkungen zu entwickeln und das Erlebnis für unsere Schauspieler*innen zu verbessern. Das alles in nur zwei Tagen, während wir eine Menge Spaß hatten – Hackathon Style.