Cosine Ähnlichkeit

Question

Ich berechnete tf/idf Werte von zwei Dokumenten. Im Folgenden sind die tf/idf Werte:

1.txt 
0.0 
0.5 
2.txt 
0.0 
0.5 

Die Dokumente sind wie:

1.txt = > dog cat 
2.txt = > cat elephant 

Wie kann ich diese Werte verwenden Kosinusähnlichkeit zu berechnen?

Ich weiß, dass ich das Skalarprodukt berechnen sollte, dann finden Sie die Entfernung und dividieren Sie Punktprodukt damit. Wie kann ich dies mit meinen Werten berechnen?

Noch eine Frage: Ist es wichtig, dass beide Dokumente die gleiche Anzahl von Wörtern haben?

Answer 1

  a * b 
sim(a,b) =-------- 
      |a|*|b| 

a * b ist Skalarprodukt

einige Details:

def dot(a,b): 
    n = length(a) 
    sum = 0 
    for i in xrange(n): 
    sum += a[i] * b[i]; 
    return sum 

def norm(a): 
    n = length(a) 
    for i in xrange(n): 
    sum += a[i] * a[i] 
    return math.sqrt(sum) 

def cossim(a,b): 
    return dot(a,b)/(norm(a) * norm(b)) 

ja. bis zu einem gewissen Grad müssen a und b die gleiche Länge haben. aber a und b haben normalerweise eine spärliche Darstellung, Sie müssen nur Nicht-Null-Einträge speichern, und Sie können Norm und Punkt schneller berechnen.

Answer 2

einfache Java-Code-Implementierung:

static double cosine_similarity(Map<String, Double> v1, Map<String, Double> v2) { 
      Set<String> both = Sets.newHashSet(v1.keySet()); 
      both.retainAll(v2.keySet()); 
      double sclar = 0, norm1 = 0, norm2 = 0; 
      for (String k : both) sclar += v1.get(k) * v2.get(k); 
      for (String k : v1.keySet()) norm1 += v1.get(k) * v1.get(k); 
      for (String k : v2.keySet()) norm2 += v2.get(k) * v2.get(k); 
      return sclar/Math.sqrt(norm1 * norm2); 
    } 

Answer 3

1) Berechnen tf-idf (im Allgemeinen besser als allein tf aber hängt ganz von Ihrem Datensatz und Anforderung)

Von wiki (in Bezug auf idf)

Ein inverser Dokument-Häufigkeitsfaktor ist enthalten, der das Gewicht von Begriffen verringert, die sehr häufig im Dokumentensatz vorkommen und erhöht das Gewicht von Begriffen, die selten auftreten.

2) Nein, es ist nicht wichtig, dass beide Dokumente die gleiche Anzahl von Wörtern haben.

3) Sie können tf-idf oder cosine-similarity in einer beliebigen Sprache jetzt Tage finden, indem Sie einige Machine Learning Library-Funktion aufrufen. Ich ziehe es Python

Python-Code tf-idf und cosine-similarity (mit scikit-learn 0.18.2)

from sklearn.feature_extraction.text import TfidfVectorizer 
from sklearn.metrics.pairwise import cosine_similarity 
# example dataset 
from sklearn.datasets import fetch_20newsgroups 

# replace with your method to get data 
example_data = fetch_20newsgroups(subset='all').data 

max_features_for_tfidf = 10000 
is_idf = True 

vectorizer = TfidfVectorizer(max_df=0.5, max_features=max_features_for_tf_idf, 
          min_df=2, stop_words='english', 
          use_idf=is_idf) 


X_Mat = vectorizer.fit_transform(example_data) 

# calculate cosine similarity between samples in X with samples in Y 
cosine_sim = cosine_similarity(X=X_Mat, Y=X_Mat) 

4) Sie könnten daran interessiert sein für http://mathoverflow.net truncated Singular Value Decomposition (SVD)