Wie wird eine neue Kameraansicht mit einem Stereopaar synthetisiert?

Question

Ich möchte eine virtuelle Ansicht aus einem beliebigen Blickwinkel synthetisieren, indem ich ein Stereo-Paar von Kameras verwende, die ich bereits habe. Ich habe meine Stereoanlage kalibriert, so dass ich sowohl die Eigen- als auch die Extrinsik der beiden Kameras in Bezug zueinander kenne. Mein Ansatz zum Synthetisieren der neuen Ansicht basiert auf der 3 × 4-Kameramatrixberechnung basierend auf [X, Y, Z] Punkten, die unter Verwendung der aus dem Stereopaar erhaltenen Tiefenkarte berechnet wurden. Dann verwende ich mehrere Punktkorrespondenzen aus der neuen Ansicht (x, y) und verwende die Gleichung [x y 1]' = C * [X Y Z 1]', um die Kameramatrix C herauszufinden. Meine Fragen:

1. Ist das der richtige Ansatz zum Generieren einer beliebigen Ansicht?
2. Wie viele Punktkorrespondenzen werden in welchen Ebenen für die Berechnung der Kameramatrix empfohlen? Da ich mit 6-8 Punkten kein gutes Ergebnis bekomme. Ich kann SIFT/SURF nicht verwenden, da die Bilder keine Konturen aufweisen und ich die Punkte manuell markieren muss.
3. Auch wenn ich die Kameramatrix bekomme, wie funktioniert man vorwärts, da die Kameramatrix nicht invertierbar ist.

Bitte kommentieren, wenn Sie weitere Informationen benötigen.

Danke!

Answer 1

Kurze Antwort:

1. Nein, da Sie bereits eine Tiefenkarte haben und Ihre Anlage kalibriert.
2. Irrelevant
3. Irrelevant

Alles, was Sie tun müssen, ist ein 3D-Netz zu bauen (eigentlich ein Gitterrost) aus Karte Ihrer Tiefe. Dies hat definitionsgemäß keine Okklusionen in jeder Kamera des Stereopaares. Sie können dann das Netz mit der Ansicht von jeder Stereokamera (oder beiden) texturieren, wobei eine anspruchsvollere Texturauswahl verwendet wird, die beispielsweise auf Algo basiert, wobei diese Ansicht zu jeder Facette paralleler ist, um das Strecken zu minimieren. Sie können das Netz dann in eine beliebige andere Ansicht rendern.