3D-Reproduktion von Live-Veranstaltungen mit Videos aus Mobiltelefonen

Chen und Nizan Sagiv kam die Idee vor fünf Jahren bei einem Depeche Mode-Konzert in Tel Aviv. "Während ich mir die Show ansah, beobachtete Nizan die Menschenmenge", erklärte Chen, Projektkoordinator von SCENENET. "Ihm fielen die vielen schwach leuchtenden Bildschirme der Mobiltelefone auf. Die Leute nahmen die Show per Video auf. Nizan dachte, es wäre eine interessante Idee, all die von den einzelnen Personen aufgenommenen Videos zu einem synergetischen, verbesserten Video, möglicherweise auch noch in 3D, zusammenzufügen. Wir diskutierten mehrere Monate über das Konzept, aber es erschien uns zu futuristisch, riskant und kompliziert."

Zusammenarbeit zwischen Israel und Europa

Sie holten sich Rat bei ISERD, der Abteilung für FuE-Zusammenarbeit zwischen Israel und Europa , und kontaktierten Prof. Peter Maass, der Universität Bremen in Deutschland, und Prof. Pierre Vandergheynst, der Ecole Polytechnique Fédérale (EPFL) in Lausanne, Schweiz, mit denen Chen bereits an, UNLOCX , einem früheren Projekt des 7. Rahmenprogramms, zusammengearbeitet hat.

Das Ergebnis ist das SCENENET-Projekt, das von der Europäischen Kommission 1,33 Mio. EUR erhielt und von SagivTech, Chens und Nizans auf Computervision und Parallel-Computing spezialisiertem Unternehmen in Ra’anana, koordiniert wird.

SCENENET wird genauso wie UNILOCX vom Programm Neue und künftige Technologien (FET) finanziert und läuft bis Januar 2016. An diesem Projekt sind vier europäische Partner beteiligt: die Universität Bremen, Steinbeis Innovation, die European Research Services GmbH, alle aus Deutschland, und die EPFL aus der Schweiz.

Im ersten Projektjahr entwickelte das Team die mobile Infrastruktur für die Video-Feeds, einen Mechanismus, um sie zu taggen und sie auf einen Cloud-Server zu übertragen. Außerdem entwickelten sie die Basistools für eine Mensch-Computer-Schnittstelle, über die es den Benutzern möglich sein wird, das 3D-Video aus jedem Blickwinkel im Stadion zu betrachten und den Film selbst zu bearbeiten. Dadurch wird dem Team zufolge der Aufbau von Online-Communities unterstützt, um Inhalte auszutauschen und das Konzert noch einmal gemeinsam zu erleben. Zu diesem Zweck werden die Partner in den nächsten zwei Projektjahren Fragen hinsichtlich Datenschutz und Rechten am geistigen Eigentum untersuchen.

"Ende des ersten Jahres, also früher als erwartet, haben wir bereits das gesamte SCENENET-System aus modernsten Komponenten aufgebaut", sagte Chen. Die beschleunigten Computervision-Algorithmen, die sie für Mobiltelefone entwickeln, stellen weltweit eine Pionierleistung dar und führende Chipset-Hersteller verfolgen das Projekt sehr aufmerksam.

SCENENET bringt technologische Herausforderungen mit sich: geräteinterne Vorverarbeitung, die eine enorme Computerleistung erfordert, effiziente Übertragung der Video-Streams, Entwicklung genauer und schneller Verfahren für die Registrierung zwischen Video-Streams und die 3D-Rekonstruktion. Alle diese Aufgaben müssen nahezu in Echtzeit-Geschwindigkeit ausgeführt werden.

"Wir sind überzeugt, dass die verschiedenen Komponenten, aus denen SCENENET besteht, d. h. die Registrierung von Bildern und die 3D-Rekonstruktion, großes Potenzial für mobiles und Cloud-Computing besitzt. Daher stellt SCENENET einen enormen technologischen Durchbruch dar – als Ganzes und auch durch seine einzelnen Komponenten", fügte sie hinzu.

Mehr als Konzerte

Im Projektverlauf ergeben sich unzählige möglich Anwendungen für SCENENET. Insoweit es Datenschutz und die Rechte des geistigen Eigentums erlauben, könnten mit dieser Technologie auch andere Veranstaltungen in 3D reproduziert werden, wie z. B. Eilmeldungen, Sportveranstaltungen. Auch eine Anwendung im Tourismus oder im Überwachungssektor wäre möglich. Die Partner untersuchen auch die Aufnahme statischer und aktiver Objekte aus verschiedenen Winkeln, um Anweisungen zu erstellen, die dann an 3D-Drucker gesendet werden können. Das mobile Cloud-Server-Modell könnte darüber hinaus für viele andere Anwendungen verwendet werden, sagen die Forscher. Augenblicklich konzentrieren sie sich jedoch auf Musikfans.

"SCENENET basiert auf mobilen Kameras und 3D-Vision. Der Vormarsch mobiler Kameras und ihre ständig verbesserte Qualität haben dazu geführt, dass wir mit Bildern überflutet werden, die wir aufwerten und präsentieren wollen. Es werden zahlreiche Geräte entwickelt, die visuelle Informationen "verstehen" – zu. B. die Google-Brille – wobei der größte Teil dieser Arbeit auf der Bildverarbeitung und Computervision beruht. 3D-Vision ist einerseits für die bessere Visualisierung und andererseits für eine einfachere Analyse der Welt immer wichtiger", erklärt die Projektkoordinatorin.

SCENENET ist ein gutes Beispiel für die Forschungszusammenarbeit zwischen der EU und Israel. Etwa 1600 israelische Wissenschaftler haben in 800 von der Europäischen Kommission mit insgesamt 634 Mio. EUR finanzierten Projekten auf den Gebieten von Spitzenforschung und IKT über Nanotechnologie bis hin zu Energie und Gesundheit vom 7. Rahmenprogramm profitiert.

"Es ist eine tolle Gelegenheit, Teil der erfolgreichen europäischen wissenschaftlichen und industriellen Kreise zu sein und mit führenden Universitäten und Unternehmen in Europa zusammenzuarbeiten", fasst sie zusammen.

SCENENET erhielt Forschungsmittel aus dem Siebten Rahmenprogramm der Europäischen Union (RP7).

Link zum Projekt auf CORDIS:

- RP7 auf CORDIS

Link zur Projektwebsite:

- Website: SCENENET

Weitere Links:

- Website der Europäischen Kommission zur Digitalen Agenda

- «Uncertainty principles versus localization properties»

- HORIZON 2020 - Future and Emerging Technologies