Theano LSTM - was initial versteckte Zustand

Question

Ich habe Probleme diese Zeile ich gefunden habe, in einem Stück Code zu verstehen, mit:

def has_hidden(layer): 
    """ 
    Whether a layer has a trainable 
    initial hidden state. 
    """ 
    return hasattr(layer, 'initial_hidden_state') 

Meine Frage ist, was ist das Ausgangszustand versteckt? Was nützt es? Oder was ist ein Zustand der Schicht? Ich kenne mich mit versteckten Layern, RNNs, LSTMs aus Papieren und Videos aus, aber ich kann nichts über dieses Ding finden. Danke für die Hilfe.

Answer 1

Der Zustand einer Neuronenschicht ist die Menge aller Gewichte (ihrer Verbindungen), die sie zu diesem Zeitpunkt beschreiben.

Um gute Trainingsleistung zu bekommen, ist es notwendig, dass Sie nicht mit 0 für alle Gewichte für eine Neuronenschicht beginnen. Die häufigste Lösung für dieses Problem besteht darin, alle Gewichtungen auf kleine, aber keine Nullwerte zu initialisieren. Dies würde den Anfangszustand des neuronalen Netzwerks beschreiben.