Wie CaffeDB Trainingsdaten für siamesische Netzwerke aus Bildverzeichnis erstellen

Question

Ich brauche etwas Hilfe, um eine CaffeDB für siamesische CNN aus einem einfachen Verzeichnis mit Bildern und Label-Text-Datei zu erstellen. Am besten wäre eine Python-Methode.
Das Problem besteht darin, nicht durch das Verzeichnis zu gehen und Bilderpaare zu erstellen. Mein Problem besteht eher darin, aus diesen Paaren eine CaffeDB zu machen.
Bisher habe ich nur convert_imageset verwendet, um eine CaffeDB aus einem Bildverzeichnis zu erstellen.
Danke für Hilfe!

Answer 1

Warum machen Sie nicht einfach zwei Datensätze mit guten alten convert_imagest?

layer { 
    name: "data_a" 
    top: "data_a" 
    top: "label_a" 
    type: "Data" 
    data_param { source: "/path/to/first/data_lmdb" } 
    ... 
} 
layer { 
    name: "data_b" 
    top: "data_b" 
    top: "label_b" 
    type: "Data" 
    data_param { source: "/path/to/second/data_lmdb" } 
    ... 
} 

Wie für den Verlust, da jedes Beispiel hat man eine Klasse Label benötigen label_a und label_b in eine same_not_same_label zu konvertieren. Ich schlage vor, Sie tun dies "on-the-fly" mit einer Python-Schicht. Im prototxt den Anruf zu Python Ebene hinzuzufügen:

layer { 
    name: "a_b_to_same_not_same_label" 
    type: "Python" 
    bottom: "label_a" 
    bottom: "label_b" 
    top: "same_not_same_label" 
    python_param { 
    # the module name -- usually the filename -- that needs to be in $PYTHONPATH 
    module: "siamese" 
    # the layer name -- the class name in the module 
    layer: "SiameseLabels" 
    } 
    propagate_down: false 
} 

erstellen siamese.py (stellen Sie sicher, dass es in Ihrem $PYTHONPATH ist). In siamese.py sollten Sie die Schichtklasse haben:

import sys, os 
sys.path.insert(0,os.environ['CAFFE_ROOT'] + '/python') 
import caffe 
class SiameseLabels(caffe.Layer): 
    def setup(self, bottom, top): 
    if len(bottom) != 2: 
     raise Exception('must have exactly two inputs') 
    if len(top) != 1: 
     raise Exception('must have exactly one output') 
    def reshape(self,bottom,top): 
    top[0].reshape(*bottom[0].shape) 
    def forward(self,bottom,top): 
    top[0].data[...] = (bottom[0].data == bottom[1].data).astype('f4') 
    def backward(self,top,propagate_down,bottom): 
     # no back prop 
     pass 

Stellen Sie sicher, dass die Beispiele in den beiden Sätzen in einer anderen Art und Weise mischen, so dass Sie nicht-triviale Paare bekommen. Außerdem, wenn Sie den ersten und zweiten Datensätze mit verschiedenen Anzahl von Beispielen konstruieren, dann werden Sie verschiedene Paare in jeder Epoche sehen;)

---

Achten Sie darauf, das Netzwerk aufzubauen, um die Gewichte des duplizierten zu teilen Schichten, siehe this tutorial für weitere Informationen.