Berechnen Sie die Steigung der SVM Verlustfunktion

Question

Ich versuche, die SVM Verlustfunktion und ihre Steigung zu implementieren. Ich fand einige Beispielprojekte, die diese beiden implementieren, aber ich konnte nicht herausfinden, wie sie die Verlustfunktion verwenden können, wenn sie den Gradienten berechnen. Hier

ist die Formel der Verlustfunktion:

Was kann ich nicht verstehen, ist, dass, wie kann ich das Ergebnis der Verlustfunktion während Gradienten Berechnung?

Das Beispiel Projekt berechnet den Gradienten wie folgt:

for i in xrange(num_train): 
    scores = X[i].dot(W) 
    correct_class_score = scores[y[i]] 
    for j in xrange(num_classes): 
     if j == y[i]: 
     continue 
     margin = scores[j] - correct_class_score + 1 # note delta = 1 
     if margin > 0: 
     loss += margin 
     dW[:,j] += X[i] 
     dW[:,y[i]] -= X[i] 

dW für gradient Ergebnis. Und X ist das Array von Trainingsdaten. Aber ich habe nicht verstanden, wie die Ableitung der Verlustfunktion in diesem Code resultiert.

Answer 1

Wenn die Substraktion kleiner als Null ist der Verlust Null ist, so dass die Steigung der W ebenfalls Null. Wenn die Unterordnung größer als Null ist, dann ist der Gradient von W die partielle Ableitung des Verlustes.

Answer 2

Verfahren Gradienten in diesem Fall zu berechnen, ist Calculus (analytisch, numerisch nicht!). So unterscheiden wir Verlustfunktion in Bezug auf W (yi) wie folgt aus:

und in Bezug auf W (j), wenn j = yi ist:

Die 1 nur Anzeige ist Funktion, so dass wir die mittlere Form ignorieren können, wenn die Bedingung wahr ist. Und wenn Sie in Code schreiben, ist das Beispiel, das Sie zur Verfügung gestellt haben, die Antwort.

Da Sie cs231n Beispiel verwenden, sollten Sie auf jeden Fall note und Videos überprüfen, wenn nötig.

Hoffe, das hilft!