Derive SVM Dual-Formular Gleichung

Question

Für die oben Lagrangefunktion für SVM, kann ich die partiellen Ableitungen als unten:

Allerdings kann ich nicht verstehen, wie ich sie zu den Steckern Lagrangian, um die Doppelform abzuleiten? W kann ersetzt werden, aber wohin geht b?

Kann jemand bitte erklären und die detaillierten Schritte geben?

Answer 1

Ihre lagrangian ist von Form

L(w, b, a) = 1/2 ||w||^2 + SUM_i a_i (1 - y_i(<w, x_i> + b)) 

und Sie lösen, dass, um extremum zu erreichen, müssen Sie haben:

w = SUM_i a_i y_i x_i 
SUM_i a_i y_i = 0 

wir in erster Stecker w

L(w, b, a) = 1/2 <SUM_i a_i y_i x_i, SUM_j a_i y_i x_i> 
       + SUM_i a_i (1 - y_i(<SUM_j a_j y_j x_j , x_i> + b)) 
      = 1/2 SUM_i,j a_i a_j y_i y_j <x_i, x_j> 
       + SUM_i a_i 
       - SUM_i (a_i y_i(SUM_j a_j y_j <x_j, x_i> + b)) 
      = 1/2 SUM_i,j a_i a_j y_i y_j <x_i, x_j> 
       + SUM_i a_i 
       - SUM_i (a_i y_i SUM_j (a_j y_j <x_j, x_i>) + a_i y_i b) 
      = 1/2 SUM_i,j a_i a_j y_i y_j <x_i, x_j> 
       + SUM_i a_i 
       - SUM_i a_i y_i SUM_j (a_j y_j <x_j, x_i>) 
       - SUM_i a_i y_i b 
      = 1/2 SUM_i,j a_i a_j y_i y_j <x_i, x_j> 
       + SUM_i a_i 
       - SUM_i a_i a_j y_i y_j <x_j, x_i> 
       - SUM_i a_i y_i b 
      = + SUM_i a_i 
      -1/2 SUM_i a_i a_j y_i y_j <x_j, x_i> 
       - b (SUM_i a_i y_i) 

Und jetzt schließen wir SUM_i a_i y_i = 0 an, was uns

gibt

L(w, b, a) = SUM_i a_i - 1/2 SUM_i a_i a_j y_i y_j <x_j, x_i> 

Folglich von Programmierern Perspektive Sie nicht über b während Optimierungsprozess kümmern, wie Sie ohne optimale a zu wissen, es finden können! Sobald Sie Code, der Optimierung für a hat, können Sie jetzt wiederherstellen b mit Original-Gleichungen usw.