Von Fotos zu realistischen Videospielen – in nur einem Augenblick

Mit der in CR-PLAY (Capture-Reconstruct-Play – An innovative mixed pipeline for videogames development) entwickelten Technologie können Entwickler Gebäude, Bäume, Fahrzeuge und jedes beliebige andere real vorhandene Objekt als realistische 3D-Grafik rekonstruieren – und das auf Grundlage einfacherer Fotos und Videos. Jede in der Realität existente Umgebung kann digitalisiert werden, was den Entwicklungsprozess erheblich verkürzt und so zu Kosteneinsparungen führt.

Bei der Entwicklung dieses Verfahrens wendeten die Konsortiumsmitglieder zwei bereits vorhandenen Techniken an: bildbasiertes Modelling und Rendering (image-based modeling and rendering; IBMR) sowie videobasiertes Modelling und Rendering (video-based modeling and rendering; VBMR). Die Projektpartner entwickelten benutzerfreundliche Geräte zur Bilderfassung und lösten Probleme mit den IBMR- und VBMR-Algorithmen, die darin bestanden, dass weit entfernte Objekten nur mit niedriger Qualität erfasst werden konnten, Lichtverhältnisse verfälscht wurden und bewegliche Elemente wie vom Wind bewegte Objekte oder Flammen nicht verarbeitet werden konnten.
Anschließend bereiteten die Projektmitglieder ihre Technologie auf die Anwendung durch europäische Videospielentwickler vor.

Der Projektkoordinator Dr. Ivan Oriveto spricht über die Ergebnisse des Projekts und seine Hoffnungen, dass die CR-PLAY-Technologie innerhalb der kommenden eineinhalb Jahre bei Entwicklern in ganz Europa Anklang finden wird.

Welchen Anteil haben die Spiel-Engines, in die immer höhere Ansprüche gestellt werden, an den steigenden Produktionskosten von Videospielen?

Die steigenden Kosten der Spielentwicklung sind durch verschiedene Faktoren bedingt und belasten die europäische Spieleindustrie stark. Dafür zu sorgen, dass ein Spiel rundum realistisch wirkt, ist heute mit enormem Arbeitsaufwand verbunden. Insbesondere die Entwicklung von komplexen Komponenten – sogenannten „Assets“ – wie beispielsweise Gebäuden, Fahrzeugen, Wäldern usw. Ist sehr kostenintensiv, doch auch die Entwicklung von Engines zur Umsetzung von physikalischen Kräften, Wettereffekten, Gruppensimulationen und künstlicher Intelligenz etc. ist äußerst aufwändig.

Wie trägt Ihr Projekt in diesem Zusammenhang zu Kosteneinsparungen bei, und um was für eine Technologie handelt es sich bei CR-PLAY?

CR-PLAY ist eine innovative Technologie, die die Art und Weise, auf die Umgebungen und Assets für Videospiele erstellt werden, radikal verändern soll.

Um Hintergründe und Objekte zu erstellen, müssen lediglich einige Fotos oder kurze Videos eines Gebäudes oder eines Gebiets aufgenommen werden. Dieses Bildmaterial wird anschließend mittels einer semi-automatischen Software verarbeitet, um in der Spiel-Engine Unity3D grafisch hochwertige Umgebungen zu erzeugen. Die resultierenden photorealistischen Assets können mit den herkömmlichen Texturen und Polygonen kombiniert werden, mit denen Videospielentwickler üblicherweise arbeiten.

Das Rückgrat dieses neuen Ansatzes bilden die innovativen Technologien des bildbasierten Rendering (IBR) und videobasierten Rendering (VBR).

Welche Marktakteure und Spieleplattformen möchten sie erreichen?

Die CR-PLAY-Technologie ist derzeit in die Unity3D-Engine integriert, sodass Entwickler ihre Spiele für Mobilgeräte und Windows-PCs bereitstellen können. Die CR-PLAY-Technologie ist aber auch mit anderen Engines wie der Unreal Engine kombinierbar, sollten die Entwickler diese bevorzugen.

Können mit dieser Technologie auch früher existente oder fiktive Umgebungen konstruiert werden?

Die CR-PLAY-Technologie eignet sich auch für Projekte, in denen ein Vergleich zwischen Gegenwart und Vergangenheit gezogen werden soll, da die 3D-Künstler auch herkömmliche Assets einfügen können. Um die unkomplizierte, auf Kosteneffizienz ausgelegte Kerntechnologie optimal nutzen zu können, empfehlen wir jedoch, in der Realität bestehende und mit CR-PLAY rekonstruierte Umgebungen und Objekte für Spiele zu nutzen.

Wann werden die ersten Spiele auf den Markt kommen, bei denen Ihre Technologie Anwendung findet?

Da es sich bei CR-PLAY um ein Projekt aus dem Bereich „Forschung, Technologie und Entwicklung“ (FTE) handelt, sind die zunächst entwickelten Spiele nur als Experimente anzusehen. Doch in Anbetracht der vielversprechenden Ergebnisse, die bis heute erzielt werden konnten, dürfte die kommerzielle Anwendung unserer Technologie nicht mehr allzu weit in der Zukunft liegen.

Die weiteren Entwicklungsarbeiten werden sich im Wesentlichen darum drehen, den auf Geräten benötigten Speicherplatz sowie die Leistung zu optimieren. Derzeit rechnen wir damit, dass die Technologie Spieleentwicklern weitere 18 Monate nach Abschluss des Projekts zur Verfügung stehen wird.

Welche Rolle wird die Technologie Ihrer Einschätzung nach in einigen Jahren in der Videospielindustrie spielen?

Das ist schwer zu sagen, da diese Branche sehr schnelllebig ist.

CR-PLAY ist vor allem als kosteneffektive Technologie gedacht, mit der kleine Entwicklerstudios hochwertige Assets erstellen und die finanziellen Schwierigkeiten überwinden können, mit denen sie tagtäglich konfrontiert sind. Sobald sie fertiggestellt ist, könnte die CR-PLAY-Technologie nicht nur in der Spieleproduktion zum Einsatz kommen, sondern wann immer photorealistische Umgebungen mit einem überschaubaren Budget erstellt werden sollen, etwa in der Immobilienbranche oder im Kontext von Tourismus und Kulturerbe.

CR-PLAY
Gefördert unter FP7-ICT
Projektwebsite