Internet wordt gebruikt voor communicatie via videoconferenties, audiogesprekken, chatten, het delen van foto’s, online gaming en virtual reality. Deze technologie heeft ons dagelijks leven en de manier waarop we met elkaar communiceren veranderd. Buitengewoon realistische 3D beelden die echte en kunstmatige content met elkaar verbinden in een virtuele wereld, zullen in steeds hogere mate deel uit gaan maken van deze online interactie. De huidige Internet infrastructuur is echter niet berekend op deze manier van communicatie.
Dit komt voornamelijk door het volume van gereconstrueerde 3D beelden. End-to-end internetverbindingen hebben een beperkte bandbreedte en ondersteunen momenteel geen realtime overdracht van ongecomprimeerde 3D puntenwolk of mesh model. Dit vraagt om de ontwikkeling van efficiënte methodes voor compressie en transmissie. Daarbij moet rekening gehouden worden met verschillende soorten software en apparaten zoals browsers, desktop, mobiele en server applicaties.
CWI promovendus Rufael Mekuria heeft nieuwe strategieën ontwikkeld voor de compressie en transmissie van gereconstrueerde 3D beelden via het Internet. Zijn onderzoek is gericht op netwerkproblemen met betrekking tot 3D media content en dan vooral realtime 3D interactieve tele-content. In het onderzoek wordt beschreven hoe eindgebruikers verschillende 3D opnameapparaten kunnen gebruiken om 3D weergaves van zichzelf op te nemen en realtime door te sturen.
Meshes en puntenwolken gereconstueerd op basis van meerlaagse afbeeldingen en audio afkomstig van microfoon opstellingen maken deel uit van de 3D representaties. Dit soort beelden worden momenteel niet ondersteund door bestaande media codecs. De nieuw ontwikkelde codecs en transmissie methodes zullen nieuwe 3D virtual reality en tele-porting toepassingen mogelijk maken.
De nieuwe strategieën voor transmissie en compressie bestaan uit drie methodes voor de compressie van 3D meshes en een codec voor time varying 3D puntenwolken. De nieuw ontwikkelde strategieën ondersteunen real-time transmissie en synchronisatie van 3D beelden via het Internet. Ze zijn bruikbaar in interactieve en virtuele 3D omgevingen. Ze maken het mogelijk om 3D virtuele content makkelijker te mixen met realistische content. Een deel van de implementatie is ‘open source’ en de resultaten hebben geleid tot de ontwikkeling van een MPEG standaard op het gebied van punten wolk compressie.
Paper: Design, Implementation and Evaluation of a Point Cloud codec for Tele-Immersive Video
