Warum funktionieren neuronale Netzwerke so gut?

Question

Ich verstehe alle Rechenschritte des Trainings ein neuronales Netzwerk mit Gradientenabstieg mit Forwardprop und Backprop, aber ich versuche zu verstehen, warum sie so viel besser arbeiten als logistische Regression.

Denn jetzt alles, was ich denken kann ist:

A) das neuronale Netz eigene Parameter lernen, es ist

B) gibt es so viele mehr Gewichte als einfache logistische Regression unter Berücksichtigung komplexer Hypothesen

Kann jemand erklären, warum ein neuronales Netzwerk im Allgemeinen so gut funktioniert? Ich bin ein relativer Anfänger.

Answer 1

Neuronale Netzwerke können eine große Anzahl von freien Parametern haben (die Gewichte und Verzerrungen zwischen verbundenen Einheiten) und dies gibt ihnen die Flexibilität, hochkomplexe Daten (wenn sie richtig trainiert werden) anzupassen, dass andere Modelle zu einfach sind. Diese Modellkomplexität bringt die Probleme mit sich, ein derart komplexes Netzwerk zu trainieren und sicherzustellen, dass das resultierende Modell auf die Beispiele verallgemeinert wird (typischerweise erfordern neuronale Netzwerke große Mengen an Trainingsdaten, die andere Modelle nicht haben).

Klassisch logistische Regression wurde auf binäre Klassifikation mit einem linearen Klassifikator beschränkt (obwohl eine Mehrklassenklassifikation leicht mit Eins-gegen-Alle, Eins-gegen-Eins-Herangehensweisen usw. erreicht werden kann und es kernalisierte Varianten der logistischen Regression gibt die nichtlineare Klassifizierungsaufgaben erlauben). Im Allgemeinen wird logistische Regression daher typischerweise auf einfachere, linear separierbare Klassifikationsaufgaben angewendet, bei denen kleine Mengen von Trainingsdaten verfügbar sind.

Modelle wie logistische Regression und lineare Regression können als einfache mehrschichtige Perceptrons gedacht werden (siehe this site für eine Erklärung wie).

Zusammenfassend ist es die Modellkomplexität, die es neuronalen Netzen erlaubt, komplexere Klassifizierungsaufgaben zu lösen und eine breitere Anwendung zu haben (besonders bei Rohdaten wie Bildpixelintensitäten usw.), aber ihre Komplexität bedeutet, dass sie groß ist Volumen von Trainingsdaten sind erforderlich und ihre Ausbildung kann eine schwierige Aufgabe sein.

Answer 2

"So gut arbeiten" hängt vom konkreten Szenario ab. Beide machen im Wesentlichen dasselbe: Voraussagen.

Der Hauptunterschied hier ist neuronales Netzwerk kann versteckte Knoten für Konzepte, wenn es richtig eingerichtet (nicht einfach), mit diesen Eingaben, um die endgültige Entscheidung zu treffen.

Während lineare Regression auf offensichtlicheren Fakten und nicht auf Nebenwirkungen basiert. Ein neuronales Netzwerk sollte genauere Vorhersagen treffen können als die lineare Regression.

Answer 3

Neuronale Netzwerke ermöglichen es der Person, die sie trainiert, Funktionen algorithmisch zu entdecken, wie Sie darauf hingewiesen haben. Sie ermöglichen jedoch auch eine sehr allgemeine Nichtlinearität. Wenn Sie möchten, können Sie Polynomausdrücke in der logistischen Regression verwenden, um ein gewisses Maß an Nichtlinearität zu erreichen. Sie müssen jedoch entscheiden, welche Begriffe Sie verwenden möchten. Das müssen Sie a priori entscheiden, welches Modell funktioniert. Neuronale Netze können das nichtlineare Modell, das benötigt wird, entdecken.