Hybrid SOM (mit MLP)

Question

Könnte jemand bitte einige Informationen geben, wie man eine selbstorganisierende Karte mit einem mehrschichtigen Perzeptron richtig kombiniert?

Ich habe vor kurzem einige Artikel über diese Technik im Vergleich zu normalen MLPs gelesen, und sie hat bei Vorhersageaufgaben viel besser abgeschnitten. Daher möchte ich das SOM als Front-End für die Dimensionsreduktion verwenden, indem ich die Eingabedaten gruppieren und die Ergebnisse an ein MLP-Back-End weiterleiten.

Meine derzeitige Idee der Implementierung ist es, die SOM mit ein paar Trainingssätzen zu trainieren und die Cluster zu bestimmen. Danach initialisiere ich den MLP mit so vielen Eingabeeinheiten wie SOM-Cluster. Der nächste Schritt wäre, den MLP unter Verwendung der SOM-Ausgabe (welcher Wert? ... Gewichte der BMU?) Wie in der Eingabe für das Netzwerk (SOMs Ausgabe für die Cluster-übereinstimmende Eingabeeinheit und Nullen für irgendwelche anderen Eingabeeinheiten?) Zu trainieren.

Answer 1

Es gibt keine einzige Möglichkeit, das zu tun. Lassen Sie mich einige Möglichkeiten auflisten:

• Die Sie beschreiben. Aber dann muss Ihr MLP K * D Eingänge haben, wobei K die Anzahl der Cluster und D die Eingangsdimension ist. Es gibt keine Dimensionsreduktion.
• Ähnlich wie bei Ihrer Idee, aber anstatt die Gewichte zu verwenden, senden Sie einfach 1 für die BMU und 0 für die restlichen Cluster. Dann benötigt Ihr MLP K Eingänge.
• Wie oben, aber statt 1 oder 0, senden Sie den Abstand vom Eingangsvektor zu jedem Cluster.
• Wie oben, aber anstelle der Entfernung, berechnen Sie eine Gaußsche Aktivierung für jeden Cluster.
• Da das SOM die Topologie erhält, senden Sie nur die 2D-Koordinaten des BMU (möglicherweise zwischen 0 und 1 normalisiert). Dann wird Ihr MLP nur 2 Eingänge benötigen und Sie erreichen eine echte extreme Dimensionsreduktion.

Sie können über diese Ideen und einige mehr hier lesen: Principal temporal extensions of SOM: Overview. Es geht nicht darum, die Ausgabe einer SOM einem MLP zuzuführen, sondern eine SOM für sich. Aber Sie werden in der Lage sein, die verschiedenen Möglichkeiten zu verstehen, wenn Sie versuchen, eine Ausgabe von einem SOM zu erzeugen.