Backpropagation durch die Zeit, einfache Erklärung für einen Anfänger

Question

Ich bin ein völlig neues zu maschinelles Lernen, und ich verstehe das Konzept der Backpropagation und wiederkehrende neuronale Netze, aber ich kann nicht scheinen, die Backpropagation durch die Zeit zu erfassen. In Wikipedia Pseudo-Code,

Back_Propagation_Through_Time(a, y) // a[t] is the input at time t. y[t] is the output 
Unfold the network to contain k instances of f 
do until stopping criteria is met: 
    x = the zero-magnitude vector;// x is the current context 
    for t from 0 to n - 1   // t is time. n is the length of the training sequence 
     Set the network inputs to x, a[t], a[t+1], ..., a[t+k-1] 
     p = forward-propagate the inputs over the whole unfolded network 
     e = y[t+k] - p;   // error = target - prediction 
     Back-propagate the error, e, back across the whole unfolded network 
     Update all the weights in the network 
     Average the weights in each instance of f together, so that each f is identical 
     x = f(x);     // compute the context for the next time-step 

So wie ich es verstehe, haben wir die gewünschte Ausgabe an dem aktuellen Schritt geben wir uns darauf, die Schritte vor, um den Fehler zwischen den vorherigen Schritt-Ausgängen und dem Stromausgang berechnen.

Wie aktualisieren wir die Gewichte?

Average the weights in each instance of f together, so that each f is identical 

Was bedeutet das?

Kann jemand beschreiben, was BPTT ist in einfachen Begriffen eine einfache Referenz für einen Anfänger geben?

Answer 1

Sie entfalten die RNN f für n Zeitschritte in einem einfachen DNN, wo n die Länge der Trainings Feature-Label-Sequenz ist, und der DNN enthält n Instanzen f. Dann könnten Sie die n-Schritt-Feature-Label-Sequenz verwenden, um diese DNN mit Standard-BP zu trainieren. In der DNN enthält jede Instanz von f eine Kopie der Gewichtungen W. Jeder wird zu einem anderen neuen W_1 zu W_n aktualisiert werden. Dann ist der Durchschnitt von W_1 bis W_n die neuen Gewichte der ursprünglichen RNN f nach der n -step-Sequenz trainiert. Der gesamte Vorgang des Trainings der RNN f ist BPTT.