2015-07-09 7 views
5

Ich bin neu in Vowpal Wabbit so einige Fragen dazu haben.Wie macht man Vowpal Wabbit verwenden mehr Beobachtungen

Ich habe ein Dataset an den VW übergeben und passen ein Modell und bekam In-Sample-Vorhersagen, speicherte das Modell mit -f. So weit, ist es gut. Ich weiß, wie man das Modell benutzt und Vorhersagen über verschiedene Datensätze macht. Aber ich möchte wissen, wie man dem Modell mehr Beobachtungen hinzufügen und es aktualisieren kann.

Hauptziel: Verwenden Sie einen Teil der Daten, um zuerst vw zu machen, um es online zu lernen, dann verwenden Sie dieses Modell, um einige Daten vorherzusagen. Verwenden Sie dann die neuen Daten, um das Modell zu aktualisieren. Verwenden Sie dann aktualisierte Daten, um eine weitere neue Beobachtung vorherzusagen, und dieser Prozess sollte fortgesetzt werden.

Als ich sagte, ich bin ein Neuling, versuchen so freundlich die Trivialität der Frage

Antwort

6
vw -i existing.model -f new.model more_observations.dat 

Mnemotechnik zu entschuldigen:

  • -i Anfangs
  • -f final

Sie können sogar denselben Modelldateinamen inverwendenund -f zu aktualisieren "in-place" da es nicht wirklich ist in-place. Das Modell Ersatz geschieht am Ende des Laufes in Atom-Mode (Umbenennen einer temporären Datei auf die endgültige Datei), wie in der folgenden strace Ausgabe zu sehen (mit Kommentaren ergänzt):

$ strace -e open,close,rename vw --quiet -i zz.model -f zz.model f20-315.tt.gz 
# loading the initial (-i zz.model) model into memory 
open("zz.model", O_RDONLY)    = 3 
# done loading, so we can close it 
close(3)        = 0 
# Now reading the data-set and learning in memory 
open("f20-315.tt.gz", O_RDONLY)   = 3 
# data read complete. write the updated model into a temporary file 
open("zz.model.writing", O_WRONLY|O_CREAT|O_TRUNC, 0666) = 4 
close(4)        = 0 
# and rename atomically to the final (-f zz.model) model file 
rename("zz.model.writing", "zz.model") = 0 
... 
close(4)        = 0 
close(3)        = 0 
+++ exited with 0 +++ 
+0

diese „more_observation geben. dat "und geben" -d more_observation.dat "sind unterschiedlich oder gleich? – DarkHorse

+0

Sollte sich das gleiche mit oder ohne '-d' – arielf

+1

verhalten, würde ich hinzufügen, dass es für solche Anwendungsfälle besser ist, Modelldateien mit' --save_resume' zu ​​speichern/zu laden. Ohne es zu erwarten, erwartet vw nicht, dass das Modell für etwas außer der Vorhersage verwendet wird und enthält keine zusätzlichen lernalgorithmusspezifischen Parameter im Modell, die später für das Modelltraining verwendet werden können. Ohne "--save_resume" ist das aufeinanderfolgende Training etwas weniger effektiv. – truf