Deep Learning - Feineinstellung auf Conv-Netzmodell

Question

Ich bin auf der Oberseite des Netzmodells mit Alexnet-Architektur Feinabstimmung. Mein Datensatz ist ziemlich klein (7 Bilder pro Klasse ohne Augmentation). Ich muss letzte FC Schicht ("FC8") Gewichte fallen lassen, aber was ist mit anderen voll verbundenen Schichten. Für "FC6" und "FC7" sollte ich Gewichte von Image-Net-Modell oder initialisieren von Random? Lernrate für alle drei FC-Schichten ist 5.

Answer 1

mit so wenigen Trainingsbeispielen würde ich empfehlen, wights aller Schichten (conv, fc6 und fc7) zu fixieren und lineare SVM zu verwenden, um die letzte Schicht zu trainieren. Die meisten SVM-Trainingspakete und -Algorithmen verwenden eine globale konvexe Optimierung und können in diesen Einstellungen bessere Ergebnisse als SGD erzielen.