Opencv Transforming Image

Question

Ich bin neu in Open Cv, ich möchte die beiden Bilder src und dst Bild zu transformieren. Ich verwende cv::estimateRigidTransform(), um die Transformationsmatrix zu berechnen, und danach cv::warpAffine(), um von dst in src zu transformieren. Wenn ich das neue transformierte Bild mit dem src-Bild vergleiche, ist es fast gleich (transformiert), aber wenn ich die ABS-Differenz des neuen transformierten Bildes und des src-Bildes erhalte, gibt es viele Unterschiede. Was soll ich tun? Mein DST-Bild hat auch einen Rotations- und Translationsfaktor. hier ist mein Code

cv::Mat transformMat = cv::estimateRigidTransform(src, dst, true); 
cv::Mat output; 
cv::Size dsize = leftImageMat.size(); //This specifies the output image size--change needed 
cv::warpAffine(src, output, transformMat, dsize); 

Src Bild

Zielbild

Ausgabebild

absolute Differenz Bild

Dank

Answer 1

Sie haben einige falsche Vorstellungen über den Prozess. Die Methode cv :: estimateRigidTransform nimmt als Eingabe zwei Sätze von entsprechenden Punkten. Und dann löst man einen Satz von Gleichungen, um die Transformationsmatrix zu finden. Die Ausgabe der Transformation vergleicht src Punkte mit dst Punkten (genau oder genau, wenn eine exakte Übereinstimmung nicht möglich ist - zum Beispiel float Koordinaten).

Wenn Sie bei zwei Bildern scheduleRigidTransform anwenden, sucht OpenCV zuerst nach passenden Paaren von Punkten mit einer internen Methode (siehe opencv docs).

cv :: warpAffine wandelt dann das src-Bild entsprechend der gegebenen Transformationsmatrix in dst um. Aber jede (fast jede) Transformation ist Verlustoperation. Der Algorithmus muss einige Daten schätzen, da sie nicht verfügbar sind. Dieser Vorgang wird als Interpolation bezeichnet. Anhand bekannter Informationen berechnen Sie den unbekannten Wert. Einige Informationen zur Bildskalierung finden Sie unter wiki. Die gleichen Regeln gelten für andere Transformationen - Rotation, Skew, Perspektive ... Dies gilt offensichtlich nicht für die Übersetzung.

Angesichts Ihrer Testbilder würde ich vermuten, dass OpenCV den Lampenschirm als Referenz nimmt. Aus dem Unterschied ist klar, dass der Lampenschirm am besten transformiert ist. Standardmäßig verwendet OpenCV lineare Interpolation für das Warping als schnellste Methode. Aber Sie können mehr Fortschritte Methode für bessere Ergebnisse setzen - wieder konsultieren opencv docs.

Fazit: Das Ergebnis, das Sie erhalten, ist ziemlich gut, wenn Sie daran denken, es ist das Ergebnis des automatisierten Prozesses. Wenn Sie bessere Ergebnisse erzielen möchten, müssen Sie eine andere Methode zum Auswählen der entsprechenden Punkte finden. Oder verwenden Sie eine bessere Interpolationsmethode. Wie auch immer, nach der Transformation wird das Diff nicht 0 sein. Es ist praktisch unmöglich, dies zu erreichen, da die Bitmap ein diskretes Raster von Pixeln ist, so dass es immer einige Lücken geben wird, die geschätzt werden müssen.