Der beste Ansatz für die 2D-Gestenerkennung in VR?

Question

Ich bin der Entwickler eines Spiels, das Gestenerkennung mit dem HTC Vive Roomscale VR-Headset verwendet, und ich versuche, die Genauigkeit unserer Gestenerkennung zu verbessern.

(Das Spiel, für Kontext:. http://store.steampowered.com//app/488760 Es ist ein Spiel, wo man Zauber durch Symbole in der Luft zu ziehen.)

Derzeit bin ich mit dem 1-Dollar-Algorithmus für 2D-Gestenerkennung und unter Verwendung eines orthographischen Die Kamera ist an die horizontale Drehung des Spielers gebunden, um die Geste zu verringern, die der Spieler im Raum zieht.

Ich bin mir aber sicher, dass es bessere Ansätze für das Problem geben muss!

muss ich die Gesten in 2D in Anweisungen darstellen, so ideal würde Ich mag an:

Finden der optimalen Vektor, auf dem die Geste zu glätten. Glätten Sie es in 2D-Raum. Verwenden Sie den besten Gestenerkennungsalgorithmus, um zu erkennen, um welche Geste es sich handelt.

Es wäre wirklich gut, unter allen Umständen eine Genauigkeit von nahezu 100% zu erreichen. Derzeit wird das Spiel zum Beispiel verwirrt, wenn Spieler versuchen, einen Kreis in der Hitze des Kampfes zu ziehen, und es nimmt an, dass sie stattdessen eine Z-Form zeichnen.

Alle Vorschläge willkommen. Danke im Voraus.

Answer 1

ich scheint diese Plugin Gestenerkenner 3.0 genannt könnten Sie einen guten Einblick auf welcher Stufe Sie

Gesture Recognizer 3.0

auch nehmen sollen, fand ich diese Javascript-Gestenerkennung lib in Github

Jester

Ich hoffe, es hilft.

Answer 2

Glauben Sie mir oder nicht, aber ich fand diesen Artikel vor zwei Monaten und entschloss mich, meine VR/KI-Fähigkeiten zu testen, indem ich ein Unity-Paket zur Erkennung magischer Gesten in VR vorbereitete. Nun, ich bin wieder mit einer kompletten VR-Demo: https://ravingbots.itch.io/vr-magic-gestures-ai

Das Erkennungssystem eine Geste Vektor verfolgt und dann projiziert es auf ein 2D-Gitter. Sie können auch sehr einfach ein 3D-Raster einrichten, wenn das System mit 3D-Formen arbeiten soll. Vergessen Sie aber nicht, ein geeignetes Trainingspaket bereitzustellen, das eine große Anzahl von Formvariationen erfasst.

Natürlich ist das Paket universal, und Sie können auch sie für eine nicht-magische Anwendung verwenden. Der Code ist gut dokumentiert. Online-Dokumentation, die in ein PDF gerendert wird, hat mehr als 1000 Seiten: https://files.ravingbots.com/docs/vr-magic-gestures-ai/

Das Paket wurde mit HTC Vive getestet. Unterstützung für Gear VR und andere VR-Geräte wird schrittweise hinzugefügt.

Answer 3

Persönlich empfehle ich AirSig Es umfasst mehr Funktionen wie Authentifizierung mit Controllern. Die Vive-Version und die Oculus-Version sind kostenlos. "Es wäre wirklich gut, unter allen Umständen eine 100% ige Genauigkeit zu erreichen." Meine Erfahrung ist die eingebaute Gesten ist über 90% Genauigkeit, Unterschrift Teil ist über 96%. Hoffe es passt zu Ihrer Anforderung.