Viewport in 360 Videos und Panorama-Videos in VR-Headsets

Question

Ich versuche zu lernen, wie 360-Grad-Videos derzeit in VR-Headsets wie Oculus oder Samsung Gear VR arbeiten. Offenbar verwenden sie den Begriff der Panorama-Videos (360-Grad-Video). Ich machte einige Tests und bemerkte, dass das rohe Video eine größere Auflösung hat, und in VR wird zunächst eine spezielle Region (die den Augen zugewandt ist) angezeigt, die sich innerhalb des Ansichtsfensters befindet. Benutzer kann die Ansicht auch wie gewünscht ändern. Hier

ist eine Probe des rohen 360 Panorama-Video:

Und hier wie in einem VR-Headset wie Zahnrad VR es zu sehen ist (die Hauptansichtsfenster):

Nun meine Frage ist das, wenn es Möglichkeiten gibt zu erkennen, welcher Teil des Rohvideos gerade im Darstellungsbereich ist? Ich meine, können wir (fast) erkennen, welcher Teil eines 360-Grad-Videos gerade gesehen wird? Gibt es eine API, die VR-Headsets wie Gear VR, Oculus, Unity3D oder ein anderes VR-bezogenes Tool bereitstellen, um das zu wissen, vielleicht mithilfe einiger Sensoren oder anderer Informationen?

Ich habe begrenzte Informationen, so dass jede Art von Informationen in dieser Hinsicht nützlich für mich ist.

Answer 1

Wenn Sie meinen, der Spieler kann erkennen, welcher Teil der Kugel in der Sichtlinienansicht des Benutzers ist, dann ist die Antwort ja, da der Spieler die Transformation des Rohvideos durchführen muss, um die Ansicht des Benutzers zu erstellen in diesem Moment tatsächlich zu sehen.

Dazu werden die Sensoren des Geräts oder das Tastenfeld, wenn es z. B. in einem Browser angezeigt wird, ausgewählt und daraus bestimmt, wo sich der Benutzer gerade befindet.

Basierend auf diesem wird der Spieler Transformationen auf das rohe Video anwenden, um auf dem Bildschirm nur den Teil des Videos anzuzeigen, der in der Sichtlinie des Benutzers liegen sollte.

Wenn Sie fragen, ob der Server, der das Video "bedient", weiß, wo sich die Sichtlinie eines Benutzers befindet, dann ist die Antwort nein, da es einfach das volle 360 ​​Raw Video bedient (für die meisten Implementierungen bei diesmal sowieso).

Es wäre möglich, dass der Player Analysen an den Server zurückmeldet, die anzeigen, dass die Benutzer Änderungen anzeigen und melden, dies hängt jedoch von jedem einzelnen Player ab. Es gibt definitiv Unternehmen, die bereits die Fähigkeit zur Bereitstellung von 360-Grad-Videoanalysen in Partnerschaft oder auf bestimmten Playern hervorheben.