TensorFlow Faltungs Nueral Netzwerk Tutorial

Question

Ich werde durch den 'Expert MINST' tf Tutorial (https://www.tensorflow.org/versions/r0.8/tutorials/mnist/pros/index.html) und ich bin auf diesem Teil stecken:

Densely Connected Schicht

Nun, da die Bildgröße wurde auf 7x7 reduziert, wir fügen eine vollständig verbundene Schicht mit 1024 Neuronen hinzu, um die Verarbeitung auf dem gesamten Bild zu ermöglichen. Wir formen den Tensor von der Pooling-Schicht in eine Charge von Vektoren um, multiplizieren mit einer Gewichtsmatrix, fügen eine Vorspannung hinzu und wenden eine ReLU an.

Warum die Nummer 1024? Woher kommt das?

Mein Verständnis mit der Fully Connected Layer ist, dass es irgendwie zur ursprünglichen Bildgröße zurückkommen muss (und dann fangen wir an, Sachen in unsere softmax Gleichung zu verstopfen). In diesem Fall ist die ursprüngliche Bildgröße Höhe x Breite x Kanäle = 28 * 28 * 1 = 784 ... nicht 1024.

Was fehlt mir hier?

Answer 1

1024 ist nur eine beliebige Anzahl von versteckten Einheiten. An diesem Punkt wird die Eingabe in das Netzwerk auf 64 Ebenen mit einer Größe von 7x7 Pixeln reduziert. Sie versuchen nicht, "zur ursprünglichen Bildgröße zurück zu kommen", sie behaupten einfach, dass sie eine Schicht wollen, die globale Eigenschaften extrahieren kann, folglich wünschen sie, dass es dicht mit jedem einzelnen Neuron von der letzten zusammenarbeitenden Schicht verbunden wird (die stellt Ihren Eingabebereich dar), während vorherige Operationen (Faltungen und Poolings) lokale Features waren.

Um damit in MLP-Manier arbeiten zu können, benötigen Sie 7 * 7 * 64 = 3136 Neuronen. Sie fügen eine weitere Ebene von 1024 auf, so dass, wenn Sie Ihr Netzwerk ziehen, wäre es etwas unter den Linien von

INPUT - CONV - POOL - .... - CONV - POOL - HIDDEN - OUTPUT 

28 x 28-    ....   7*7*64 1024  10 
            =3136 

Die Zahl so ziemlich willkürliche ist sein, sie einfach empirisch getestet, dass es funktioniert, aber man konnte verwenden eine beliebige Anzahl von Einheiten hier oder eine beliebige Anzahl von Ebenen.