Ableitung einer softmax Funktion Erklärung

Question

Ich versuche, die Ableitung der Aktivierungsfunktion für Softmax zu berechnen. Ich fand das: https://math.stackexchange.com/questions/945871/derivative-of-softmax-loss-function niemand scheint die richtige Ableitung dafür zu geben, wie wir die Antworten für i = j und i erhalten würden! = J. Könnte jemand bitte das erklären! Ich bin verwirrt mit den Ableitungen, wenn eine Summation wie im Nenner für die Softmax-Aktivierungsfunktion beteiligt ist.

Answer 1

Die Ableitung einer Summe ist die Summe der Derivate, das heißt:

d_i(p_j) = d_i(exp(o_j)/Sum_k(exp(o_k))) 

ich beschlossen:

d(f1 + f2 + f3 + f4)/dx = df1/dx + df2/dx + df3/dx + df4/dx 

Um die Derivate von p_j in Bezug auf o_i wir beginnen mit herleiten d_i für das Derivat in Bezug auf o_i, um dies leichter zu lesen. die Produktregel verwenden, erhalten wir:

 d_i(exp(o_j))/Sum_k(exp(o_k)) + exp(o_j) * d_i(1/Sum_k(exp(o_k))) 

in dem ersten Ausdruck der Suche, wird das Derivat 0 wenn i != j sein, kann dies mit einem delta function dargestellt werden, die ich D_ij nennen. Dies gibt (zum ersten Term):

= D_ij * exp(o_j)/Sum_k(exp(o_k)) 

, die gerade unsere ursprüngliche Funktion von D_ij

= D_ij * p_j 

Für den zweiten Term multipliziert wird, wenn wir jedes Element der Summe einzeln ableiten, die einzige nicht -Nullsignal Begriff sein wird, wenn , dies gibt uns (nicht die Macht der Regel vergessen, weil die Summe im Nenner)

= -exp(o_j) * Sum_k(d_i(exp(o_k))/Sum_k(exp(o_k))^2 
    = -exp(o_j) * exp(o_i)/Sum_k(exp(o_k))^2 
    = -(exp(o_j)/Sum_k(exp(o_k))) * (exp(o_j)/Sum_k(exp(o_k))) 
    = -p_j * p_i 

Inbetriebnahme der beiden t emeinsam wir die überraschend einfache Formel erhalten:

D_ij * p_j - p_j * p_i 

Wenn Sie wirklich wollen, können wir es in i = j und i != j Fälle aufgeteilt:

i = j: D_ii * p_i - p_i * p_i = p_i - p_i * p_i = p_i * (1 - p_i) 

    i != j: D_ij * p_i - p_i * p_j = -p_i * p_j 

Welche ist unsere Antwort.

Answer 2

Für was es wert ist, hier ist meine Ableitung basierend auf SirGuy Antwort: (Fühlen Sie sich frei, Fehler zu zeigen, wenn Sie irgendwelche finden).