Zusammenfassen von CountVectorizer in Scikit-Lernen Merkmalsextraktion

Question

Ich bin neu bei scikit-learn und brauchte etwas Hilfe bei etwas, an dem ich gearbeitet habe.

Ich versuche, zwei Arten von Dokumenten (sagen wir, Typ A und Typ B) mit Multinomial Naive Bayes Klassifizierung zu klassifizieren. Um die Anzahl der Ausdrücke für diese Dokumente zu erhalten, verwende ich die Klasse CountVectorizer in sklearn.feature_extraction.text.

Das Problem besteht darin, dass die beiden Dokumenttypen unterschiedliche reguläre Ausdrücke zum Extrahieren von Tokens benötigen (token_pattern-Parameter für CountVectorization). Ich kann nicht scheinen, einen Weg zu finden, um zuerst die Schulungsunterlagen vom Typ A geladen wird und dann vom Typ B. Ist es möglich, wie etwas zu tun:

vecA = CountVectorizer(token_pattern="[a-zA-Z]+", ...) 
vecA.fit(list_of_type_A_document_content) 
... 
vecB = CountVectorizer(token_pattern="[a-zA-Z0-9]+", ...) 
vecB.fit(list_of_type_B_document_content) 
... 
# Somehow merge the two vectorizers results and get the final sparse matrix 

Answer 1

Sie können versuchen:

vecA = CountVectorizer(token_pattern="[a-zA-Z]+", ...) 
vecA.fit_transform(list_of_type_A_document_content) 
vecB = CountVectorizer(token_pattern="[a-zA-Z0-9]+", ...) 
vecB.fit_transform(list_of_type_B_document_content) 
combined_features = FeatureUnion([('CountVectorizer', vectA),('CountVect', vectB)]) 
combined_features.transform(test_data) 

Sie können mehr über FeatureUnion von http://scikit-learn.org/stable/modules/generated/sklearn.pipeline.FeatureUnion.html

lesen, die von Version verfügbar ist 0.13.1