ist logistische Regression Large Margin Classifier?

Question

Wie ich großen Spielraum Wirkung in SVM verstehen:

Zum Beispiel lassen Sie uns auf diesem Bild sehen:

In SVM Optimierungsziel von Regularisierungsterm wir eine Reihe von Parametern zu finden versuchen, wo die Norm von (Parameter Vektor) Theta ist klein. Also müssen wir Vektor Theta, der klein ist, und Projektionen von positiven Beispielen (p) auf diesem Vektor groß finden (um kleinen Theta Vektor für inneres Produkt zu kompensieren). In der gleichen Zeit gibt uns großes p großen Rand. In diesem Bild finden wir ideale Theta und große p mit ihm (und großem Abstand):

Meine Frage:

Warum logistische Regression ist nicht groß Marge Klassifikator? In LR minimieren wir den Theta-Vektor in Regularisierung auf die gleiche Weise. Vielleicht habe ich etwas nicht verstanden, wenn ja - korrigieren Sie mich.

Ich habe Bilder und Theorie von Coursera ml-Klasse verwendet.

Answer 1

Logistische Regression ist ein großer Margenverlust. Lecun erwähnt dies in einer oder mehreren seiner Arbeiten zum energiebasierten Lernen.

Um zu sehen, dass LR eine Marge induziert, ist es einfacher, den Softmax-Verlust (der LR entspricht) zu sehen.

Es gibt zwei Begriffe im softmax Verlust: L(z)=z_{true} - log(\sum_i \exp(z_i))

was bedeutet, dass der Abstand eines Beispiels aus seiner wahren Entscheidungsgrenze muss die Log-Summe der Abstände von all den Entscheidungsgrenzen schlagen.

Da die Softmax-Funktion eine Wahrscheinlichkeitsverteilung ist, ist LogSoftmax am größten 0, so dass das LogSoftMax einen negativen Wert (dh eine Strafe) zurückgibt, der sich 0 als Wahrscheinlichkeit der wahren Klasse unter der Softmax-Funktion nähert Ansätze 1.