OpenCV/SURF Wie erstelle ich einen Bild-Hash/Fingerabdruck/Signatur aus den Deskriptoren?

Question

Es gibt einige Themen, die hilfreich sind, um ähnliche Bilder zu finden.

Was ich tun möchte, ist einen Fingerabdruck eines Bildes zu bekommen und das gleiche Bild auf verschiedenen Fotos von einer Digitalkamera zu finden. Der SURF-Algorithmus scheint der beste Weg zu sein, unabhängig von Skalierung, Winkel und anderen Verzerrungen zu sein.

Ich verwende OpenCV mit dem SURF-Algorithmus, um Merkmale auf dem Beispielbild zu extrahieren. Jetzt frage ich mich, wie man all diese Feature-Daten (Position, Laplace, Größe, Ausrichtung, Hessian) in einen Fingerabdruck oder Hash konvertieren kann.

Dieser Fingerabdruck wird in einer Datenbank gespeichert und eine Suchanfrage muss in der Lage sein, diesen Fingerabdruck mit einem Fingerabdruck eines Fotos mit fast den gleichen Merkmalen zu vergleichen.

Update:

Es scheint, dass es keine Möglichkeit, alle Descriptor Vektoren in eine einfache Hash zu konvertieren ist. Was wäre also der beste Weg, um die Bilddeskriptoren für schnelle Abfragen in der Datenbank zu speichern?

Würden Wortschatzbäume eine Option sein?

Ich wäre sehr dankbar für jede Hilfe.

Answer 1

Die Feature-Daten, die Sie erwähnen (Position, Laplace, Größe, Ausrichtung, Hessian), sind für Ihren Zweck nicht ausreichend (dies sind die weniger relevanten Teile des Deskriptors, wenn Sie einen Abgleich durchführen möchten). Die Daten, die Sie wollen, zu betrachten sind die „Deskriptoren“ (das vierte Argument):

void cvExtractSURF(const CvArr* image, const CvArr* mask, CvSeq** keypoints, CvSeq** descriptors, CvMemStorage* storage, CvSURFParams params)

Dies sind 128 oder 64 (je nach params) Vektoren, die die „Fingerabdrücke“ der spezifischen Funktion enthalten (jeweils Bild wird eine variable Menge solcher Vektoren enthalten). Wenn Sie die neueste Version von OpenCV bekommen sie eine Probe namens find_obj.cpp haben, die Ihnen zeigt, wie es für passend

Update verwendet wird:

könnten Sie this Diskussion hilfreich

Answer 2

A trivial finden Weg, um einen Hash zu berechnen, wäre das folgende. Holen Sie alle Deskriptoren aus dem Bild (sagen wir, N von ihnen). Jeder Deskriptor ist ein Vektor mit 128 Zahlen (Sie können sie in ganze Zahlen zwischen 0 und 255 umwandeln). Sie haben also eine Menge von N * 128 ganzen Zahlen. Schreiben Sie sie nacheinander in eine Zeichenfolge und verwenden Sie diese als Hashwert. Wenn Sie möchten, dass die Hash-Werte klein sind, glaube ich, dass es Möglichkeiten gibt, Hash-Funktionen von Strings zu berechnen, also konvertieren Sie Deskriptoren in Strings und verwenden Sie dann den Hash-Wert dieses Strings.

Das könnte funktionieren, wenn Sie genaue Duplikate finden möchten. Aber es scheint (da Sie über Skalierung, Rotation usw. sprechen) möchten Sie nur "ähnliche" Bilder finden. In diesem Fall ist es wahrscheinlich keine gute Methode, einen Hash zu verwenden. Sie verwenden wahrscheinlich einen interessierenden Punktdetektor, um Punkte zu finden, an denen SURF-Deskriptoren berechnet werden können. Stellen Sie sich vor, dass es die gleiche Menge von Punkten zurückgibt, aber in anderer Reihenfolge. Plötzlich wird Ihr Hash-Wert sehr unterschiedlich sein, selbst wenn die Bilder und Deskriptoren identisch sind.

Also, wenn ich ähnliche Bilder zuverlässig finden müsste, würde ich einen anderen Ansatz verwenden.Zum Beispiel könnte ich die SURF-Deskriptoren vektorquantisieren, Histogramme von vektorquantisierten Werten erstellen und eine Histogramm-Kreuzung für die Übereinstimmung verwenden. Müssen Sie wirklich Hash-Funktionen verwenden (vielleicht aus Effizienzgründen), oder wollen Sie einfach nur das verwenden, um ähnliche Bilder zu finden?

Answer 3

Es scheint, als ob GIST eine geeignetere Sache zu verwenden wäre.

http://people.csail.mit.edu/torralba/code/spatialenvelope/ hat MATLAB-Code.

Answer 4

Min-Hash oder min-Hashing ist eine Technik, die Ihnen helfen könnte. Es kodiert das gesamte Bild in einer Darstellung mit einstellbarer Größe, die dann in Hash-Tabellen gespeichert wird. Mehrere Varianten wie Geometrisch min-Hashing, Partition min-Hash und Bundle min-Hashing existieren. Der resultierende Speicher-Footprint ist nicht einer der kleinsten, aber diese Techniken funktionieren für eine Vielzahl von Szenarien, wie nahezu doppelte Abholung und sogar kleine Objekt-Retrieval - ein Szenario, wo andere kurze Signaturen oft nicht sehr gut funktionieren.

Es gibt mehrere Artikel zu diesem Thema. Eintrag Literatur wäre: nahes Duplikat Bilderkennung: min-Hash und tf-idf Gewichtung Ondrej Chum, James Philbin, Andrew Zisserman, BMVC 2008PDF