Unterschied zwischen Trainings- und Testphase in Caffe

Question

Das mag wie eine dumme Frage erscheinen, aber ich versuche zu verstehen, in welchem ​​Ausmaß die Testphase in Caffe wichtig für gute Ergebnisse ist. Natürlich ist die Trainingsphase wichtig, aber ist die Testphase einfach, um zu testen, wie viel Verlust in einem Set, das nicht trainiert ist, periodisch erreicht wird? Wenn das der Fall ist, spielt die Größe meines Testsets wirklich eine Rolle? Ist Testen überhaupt von Bedeutung? Ich frage, weil ich momentan einige ernsthafte Überarbeitungen habe. Wenn ich einen großen Datensatz (> 50 000 Bilder) habe, wie soll ich sie dann zwischen Test und Zug aufteilen?

Answer 1

Caffe nie das Ergebnis der Testsätze während des Trainings verwenden und einige Parameter ändern, um einige Probleme wie Überanpassen zu beheben. Die Verwendung eines Validierungssatzes (Testsatz während des Trainings) dient der Visualisierung, ob das Modell die Daten überlagert, indem es die Genauigkeits- oder Verlustwerte betrachtet, sie plottet oder die Ausgaben betrachtet.

Wenn beispielsweise der Verlust des Trainingssatzes bei jeder Iteration abnimmt und der Verlust des Testsets weiter zunimmt, ist dies ein solider Fall, in dem das Modell den Trainingssatz überkompensiert. Um solche Schlüsse zu ziehen, sollten die für den Testsatz ausgewählten Bilder nicht mit denen des Trainingssatzes übereinstimmen. Es ist ideal, um ein Verhältnis von 1:10 für die Anzahl der Testzugbilder einzuhalten. Wenn der Testsatz eine Teilmenge des Zugverbandes verwendet, wäre der Verlust des Testsatzes verringert worden, und wir könnten das Überanpassungsverhalten des Modells nicht erkennen.