Wie Sie Hyper-Parameter mit Validierungsdaten abstimmen

Question

Ich trainiere ein Lernmodell für neuronale Netzwerke und bin ein wenig verwirrt darüber, wie man Hyperparameter einstellen kann.

Ich sehe den Trainingsprozess wie folgt:

• build neuronales Netz mit einigen hyper-Parameter (zB Anzahl der Neuronen in verborgenen Schicht)
• Update-Parameter unter Verwendung von Trainingsdaten
• Datennutzung Validierung zu bewerten wenn das Modell nicht über~~POS=TRUNC und ist die Verbesserung der
• Verwendung von Testdaten Leistung beurteilen

Mir wurde gesagt, dass Validierungsdaten auch verwendet werden, um Hyperparameter einzustellen. Ich verstehe nicht, wie dies zu tun ist, da Sie die Validierungsdaten verwenden nach Sie haben das Modell gebaut und trainiert. Ich kann einen Hyperparameter nicht ändern, weil das Modell bereits erstellt wurde.

Angenommen, ich habe 4 Hyper-Parameter, die die Architektur eines neuronalen Netzes angeben. Soll ich den gesamten Trainings- und Validierungsprozess für jede Hyperparameter-Kombination durchlaufen (4^4 Kombinationen)?

Danke

Answer 1

Grundsätzlich ja, Sie durch den gesamten Prozess gehen. Die Kreuzvalidierung und die Modell-/Parameterauswahl erfolgt auf diese Weise, Sie trainieren mehrere Male (unterschiedliche Parameter), bewerten die resultierenden Modelle (über Kosten, Verlust, Genauigkeit oder die entsprechende Metrik) und wählen die Parameter aus, die zu Ihren besten Ergebnissen geführt haben. Wenn Sie zum Beispiel ein Regressionsmodell trainieren, können Sie 10 verschiedene Polynommodelle trainieren und Validierungsdaten verwenden, um die bessere auszuwählen. Dies gilt in Ihrem Fall, aber Sie spielen mit unterschiedlichen Netzwerkarchitekturen.