Wie viele Synapsen pro Knoten brauche ich?

Question

Ich möchte ein Perceptron-Netzwerk implementieren und ich habe ein kleines Problem. Die erste Implementierung wird sehr einfach sein. Nur drei Ebenen, Eingabe, eine ausgeblendete und die Ausgabeschicht. Mein Problem ist, dass wie viele Synapsen für einen versteckten Knoten optimal sind, sowohl für die Eingabe als auch für die versteckte Ebene. Ich halte es nicht für ökonomisch, wenn jeder Knoten mit jedem Eingangsknoten verbunden ist.

Danke für die Kommentare.

Answer 1

In sehr allgemeiner Einstellung schließen Sie jeden einzelnen Knoten einer gegebenen Schicht mit jedem Knoten in der nächsten ein. Dies wird als "vollständig verbundene Schicht" bezeichnet. Offensichtlich ist dies nicht die einzige Option, und mit fortgeschritteneren Ansätzen finden Sie viel spärlichere Verbindungsformen, wie rezeptive Felder, konvolutionelle Schichten usw. Für einfache Experimente ist es vorzuziehen, mit vollständig verbundenen Schichten zu beginnen, da andere Verbindungsstrategien normalerweise davon ausgehen Ihre Daten (wie die räumlich-zeitlichen Beziehungen der Inputs), während die vollständig verbundene Ebene der agnostische, generische Ansatz ist.