Verschiedene Modelle mit Gensim Word2Vec auf Python

Question

Ich versuche, das Word2vec-Modell in der Bibliothek Gensim in Python implementiert anzuwenden. Ich habe eine Liste von Sätzen (jeder Satz ist eine Liste von Wörtern).

Zum Beispiel lassen Sie uns:

sentences=[['first','second','third','fourth']]*n 

und ich zwei identische Modelle implementieren:

model = gensim.models.Word2Vec(sententes, min_count=1,size=2) 
model2=gensim.models.Word2Vec(sentences, min_count=1,size=2) 

Ich stelle fest, dass die Modelle manchmal die gleichen sind, und manchmal unterschiedlich sind, je nach dem Wert von n.

Zum Beispiel, wenn n = 100 I erhalten

print(model['first']==model2['first']) 
True 

während für n = 1000:

print(model['first']==model2['first']) 
False 

Wie es möglich ist?

Vielen Dank!

Answer 1

am gensim Suche documentation, gibt es einige Randomisierung, wenn Sie Word2Vec laufen:

seed = für den Zufallszahlengenerator. Anfangsvektoren für jedes Wort werden mit einem Hash der Verkettung von Wort + Str (Seed) versehen. Beachten Sie, dass Sie für einen vollständig deterministisch reproduzierbaren Lauf auch das Modell auf einen einzelnen Worker-Thread beschränken müssen, um den Jitter der Bestellung aus der OS-Thread-Planung zu eliminieren.

Wenn Sie also reproduzierbare Ergebnisse haben wollen, müssen Sie die Samen setzen:

In [1]: import gensim 

In [2]: sentences=[['first','second','third','fourth']]*1000 

In [3]: model1 = gensim.models.Word2Vec(sentences, min_count = 1, size = 2) 

In [4]: model2 = gensim.models.Word2Vec(sentences, min_count = 1, size = 2) 

In [5]: print(all(model1['first']==model2['first'])) 
False 

In [6]: model3 = gensim.models.Word2Vec(sentences, min_count = 1, size = 2, seed = 1234) 

In [7]: model4 = gensim.models.Word2Vec(sentences, min_count = 1, size = 2, seed = 1234) 

In [11]: print(all(model3['first']==model4['first'])) 
True