Konstruieren von Skip-Gram-Eingabevektor

Question

Ich folge dem Tutorial here für die Implementierung von Word2vec, und ich bin mir nicht sicher, ob ich verstehe, wie der Eingabevektor Skip-Gramm konstruiert wird.

Dies ist der Teil ich bin verwirrt. Ich dachte, wir würden in Word2vec keine One-Hot-Codierung machen.

Zum Beispiel, wenn wir zwei Sätze "Hunde wie Katzen", "Katzen wie Hunde" oder einige informativere Sätze hätten, wie würde der Eingabevektor aussehen? Vielen Dank.

Answer 1

Was Skip-gram zu tun versucht, ist im Wesentlichen ein Modell zu trainieren, das seine Kontextwörter anhand des zentralen Wortes vorhersagt.

Nehmen Sie "Hunde wie Katzen" als Beispiel, vorausgesetzt, dass Fenstergröße drei ist, was bedeutet, dass wir das mittlere Wort ("like") verwenden, um ein Wort vor "wie" und ein Wort nach "wie" vorherzusagen Antworten hier sind "Hunde" und "Katzen"). Also wird der Eingabevektor für diesen Satz ein einziger heißer Vektor sein, wobei das k-te Element eins ist (angenommen, "wie" ist das k-te Wort in Ihrem Wörterbuch).