Streaming - przyszłością gier mobilnych!

[Marcin-prv 1]

Technologia rozwija się w zawrotnym tempie i ciężko za nią nadążyć, ale ja lubię być pierwszy i tym razem przy pomocy dostępnych narzędzi postanowiłem zbudować własną wersję Oculus Rift (mój jest bezprzewodowy) - czyli gogli do rzeczywistości wirtualnej.

 

Jeżeli nie jesteście w temacie to przypomnę, że pod koniec tego roku do sprzedaży trafi Oculus Rift (marka już została wykupiona przez Facebooka). Owe gogle umożliwią nam przeniesienie się do cyfrowego świata. Okazuje się, że konkurencja nie śpi i bardzo podobny sprzęt można zbudować wykorzystując smartphona z wyższej półki.

 

Pojawia się pytanie - czy produkt działający na androidzie ma szansę rywalizować z wersją pod PC?

Według mnie tak, bo już dzisiaj udało mi się zagrać na Nexusie 5 w PC-tową wersję gry Project CARS w rozdzielczości FullHD przy około 30 klatkach na sekundę... z resztą sami zobaczcie jak to działa!

 

http://www.youtube.com/watch?v=Q1GW-nIctWI

 

Do pełni szczęścia brakuje mi gogli Dive (jest to swego rodzaju goglo-obudowa na smartphona), który zamówiłem w dniu premiery oraz specjalnego trybu 3D w grze Project CARS, dzielącego ekran na dwie części (dla prawego i lewego oka). Skontaktuje się z twórcami gry i może dodadzą tą funkcję jeszcze przed premierą...

[thebigzumzum 0]

A wytlumacz prosze o co chodzi z zastepowaniem okularow VR smartphonem? Bo nie kumam. A co do streamowania gier FullHD to zastanawiam sie jakie tam sa lagi (latency). I jakielacze jest potrzebne aby miec stala predkosc pobierania - tu nie ma mowy o bufferingu.

[Marcin-prv 1]

A wytlumacz prosze o co chodzi z zastepowaniem okularow VR smartphonem? Bo nie kumam. A co do streamowania gier FullHD to zastanawiam sie jakie tam sa lagi (latency). I jakielacze jest potrzebne aby miec stala predkosc pobierania - tu nie ma mowy o bufferingu.

 

Telefony oraz okulary VR typu Oculus Rift mają:

• 
   
  
• ekran o podobnej wielkości (ok. 5 cali)
  
• rozdzielczości (FullHD)
  
• sensory w postaci żyroskopu i akceleremetru
  
• wg. specyfikacji Oculus Rift DK2 ma opóźnienie na poziomie 2-3ms (ale jakoś w to nie wierzę)
  

 

Więc po co płacić dwa razy, jeżeli wystarczy obudowa z soczewkami (w tym przypadku Dive VR).

 

Ok pozostaje kwestia zawartości, czyli co potrafi PC, a co Android.

Moc telefonu zawsze przegra w konfrontacji z PC, dlatego z pomocą przychodzi streaming materiału FullHD z PC przez WiFi na ekran Androida. Zmierzyłem, że maksymalna przepustowość w dynamicznych scenach wynosi 8.5Mbps (średnio 8Mbps). Opóźnienie pomimo sieci WiFi wynosi około 50ms, jakość streamowanego materiału to około 80-90% oryginału przy ok. 30FPS.

 

Jeżeli mamy zamiar streamować obraz to możemy skorzystać z kontrolerów podłączonych pod PC, ale skomplikuje to trochę używanie sensorów w telefonie (wówczas można je zastąpić przez śledzenie przy pomocy kamerki, ale z dużym lagiem wynoszącym około 800ms). Jeżeli mi się uda zmusić do poprawnego działania sensory przez sieć WiFi (to już działa, ale nie można dobrze zsynchronizować) wówczas problem byłby rozwiązany, ponieważ takie przesyłanie odczytów ma opóźnienie ok 50ms.

 

Reasumując...

Takie rozwiązanie z pewnością dorówna Oculusowi pod względem oglądania filmów (zawsze można umieścić film FullHD bezpośrednio w telefonie i odtwarzać bez straty jakości z powodu streamowania). Można też korzystać z wielu ciekawych dem technologicznych na Androida, które w obecnym momencie nie ustępują grafiką tym pod Oculus Rift.

 

Oculus wygra z pewnością jeżeli zechcemy zagrać w jakąś PC-tową grę obsługującą technologię VR - ale wtedy możemy skorzystać z streamowania... i w 80% zobaczmy to samo (z niższym framerate i wyższym lagiem).

[Marcin-prv 1]

UPDATE 1:

Właśnie walczę z uruchomieniem akcelerometra pod UDP (jest ich wiele w sklepie Google), ale żaden nie działa poprawinie z FaceTrackNoIR UDP. Jeżeli uda mi się to zrobić to będę miał wszystkie funkcje Oculus Rift.

Okazało się, że sprzętowy akcelerometr może działać z odświeżaniem 15/50/200Hz, czyli tylko 5ms opóźnienia!

 

UPDATE 2:

Można używać większości aplikacji od Oculusa - np. wirtualne kino!

 

 

Moje prywatne kino

 

http://www.youtube.com/watch?v=ZT0WyIUWdks

 

Update 3:

 

WSZYSTKO DZIAŁA!

 

Teraz pozostało mi zastąpienie śledzenia głowy przez kamerkę, danymi z akcelerometru telefonu (WiFi). Zmniejszy to opóźnienie w trackingu z 800ms do około 50ms