Bewertung der Vorhersagegenauigkeit des NB-Modells

Question

Was mache ich falsch mit scikit-learn von nltk, um die Genauigkeit des naiven Bayes Classifier zu überprüfen?

...readFile definition not needed 
#divide the data into training and testing sets 
data = readFile('Data_test/') 
training_set = list_nltk[:2000000] 
testing_set = list_nltk[2000000:] 

#applied Bag of words as a way to select and extract feature 
count_vect = CountVectorizer() 
X_train_counts = count_vect.fit_transform(training_set.split('\n')) 

#apply tfd 
tf_transformer = TfidfTransformer(use_idf=False).fit(X_train_counts) 
X_train_tf = tf_transformer.transform(X_train_counts) 

#Train the data 
clf = MultinomialNB().fit(X_train_tf, training_set.split('\n')) 

#now test the accuracy of the naive bayes classifier 
test_data_features = count_vect.transform(testing_set) 
X_new_tfidf = tf_transformer.transform(test_data_features) 

predicted = clf.predict(X_new_tfidf) 
print "%.3f" % nltk.classify.accuracy(clf, predicted) 

Das Problem ist, wenn ich die nltk.classify.accuracy drucken, es dauert ewig, und ich bin zu ahnen, ist dies, weil ich etwas falsch gemacht habe, aber da ich keinen Fehler, ich kann, was es nicht herausfinden, ist das falsch.

Answer 1

Verwenden Sie stattdessen die accuracy_score der sklearn metrics.

>>> from sklearn.metrics import accuracy_score 
>>> y_pred = [0, 2, 1, 3] 
>>> y_true = [0, 1, 2, 3] 
>>> accuracy_score(y_true, y_pred) 
0.5 

Ich denke, Sie mischen einige Dinge über Supervised Learning.
Sehen Sie diese answer und versuchen Sie, die top of this page zu verstehen.

Ihre Daten sollten in dieser Form sein (vor der Vektorisierung tun):

X = [["The cat is sleeping"], ..., ["The man is dead"]] 
Y = [1, ..., 0] 

Answer 2

Sie einen Fehler zumindest in dieser Linie haben

CLF = MultinomialNB() passen (X_train_tf, training_set.. split ('\ n')

Sie müssen Ihre Trainingsbeschriftungen und vektorisierten Daten darin haben, aber Sie haben die ursprünglichen und vektorisierten Daten.

Es sollte wie folgt aussehen:.

CLF = MultinomialNB() passen (X_train_tf, y_train)

Aber Sie haben nicht einmal die Daten überall in Ihrem Code y_train Label haben, wie weit kann ich sagen, .