Hohe Verzerrung oder Varianz? - SVM und verwilderte Lernkurven

Question

Ich habe noch nie solche Lernkurven gesehen. Habe ich Recht, dass eine riesige Überanpassung stattfindet? Das Modell passt besser und besser zu den Trainingsdaten, während es sich für die Testdaten schlechter verallgemeinert.

Normalerweise, wenn es eine hohe Varianz gibt, wie hier, sollten weitere Beispiele helfen. In diesem Fall werden sie nicht, ich vermute. Warum das? Warum solch ein Beispiel von Lernkurven in Literatur/Tutorials nicht leicht gefunden werden kann?

Learning curves. SVM, param1 is C, param2 is gamma

Answer 1

Sie müssen bedenken, dass SVM nicht parametrisches Modell ist, so dass mehr Proben nicht über Varianz zu verringern. Varianzreduktion kann mehr oder weniger für parametrisches Modell (wie neuronales Netz) garantiert werden, aber SVM ist nicht einer von ihnen - mehr Proben bedeuten nicht nur bessere Trainingsdaten, sondern auch komplexeren Modell. Ihre Lernkurven sind ein typisches Beispiel für SVM-Überanpassung, was bei RBF-Kernel häufig vorkommt.