Balancing zwischen maximaler Tiefe und Anzahl der Schätzer oder Anzahl der Runden

Question

Dies ist eine theoretische Frage für xgb und Gradientenverstärkung im Allgemeinen. Wie kann ich herausfinden, was das beste Verhältnis von max_depth und num_rounds oder n_estimators ist? Offensichtlich erstellt max_depth komplexe Modelle, was beim Boosten nicht empfohlen wird, aber Hunderte von Boost-Runden können auch dazu führen, dass die Trainingsdaten übermäßig angepasst werden. Angenommen CV gibt mir den gleichen Mittelwert/Std für max_depth 5 und num_rounds 1000 vs max_depth 15 und num_rounds 100 - welche sollte ich verwenden, wenn ich das Modell für unbekannte Daten freigebe?

Answer 1

In der Theorie könnte man für diese Modelle Generalisierungsgrenzen vorsehen, aber das Problem ist - sie sind extrem locker. Daher garantiert eine kleinere obere Grenze nicht wirklich bessere Ergebnisse. In der Praxis besteht der beste Ansatz darin, Ihre Verallgemeinerungsschätzung zuverlässiger zu machen - Sie verwenden 10-CV? Benutze 10x10 CV (zehn zufällige Shuffle von 10CV), wenn es immer noch keine Antwort gibt, verwende 100. Irgendwann wirst du einen Gewinner bekommen. Wenn Sie das Modell tatsächlich an die Öffentlichkeit weitergeben, ist der erwartete Wert möglicherweise nicht die beste Metrik? Der Lebenslauf zeigt normalerweise den Mittelwert (erwarteter Wert) an - also, anstatt nur auf diesen Wert zu schauen - sehen Sie sich das gesamte Spektrum der erzielten Ergebnisse an. Zwei Werte mit demselben Mittelwert und unterschiedlichen Standardwerten zeigen deutlich, was zu wählen ist. Wenn sowohl die Mittelwerte als auch die Stds gleich sind, können Sie sich min des Ergebnisses ansehen (was "Worst Case" -Szenario erfasst), etc.

Zusammenfassend: Werfen Sie einen Blick auf die Punkte, nicht nur Mittelwerte - und Wiederholen Sie die Auswertung mehrmals, um dies zuverlässig zu machen.