2013-10-21 8 views
5

Ich habe verschiedene Versionen von TFIDF in Scikit verwendet lernen, einige Textdaten zu modellieren.Verwenden Sie Ssikit-Lernen TfIdf mit Gensim LDA

vectorizer = TfidfVectorizer(min_df=1,stop_words='english') 

Die resultierenden Daten X ist in diesem Format:

<rowsxcolumns sparse matrix of type '<type 'numpy.float64'>' 
    with xyz stored elements in Compressed Sparse Row format> 

ich mit LDA als eine Möglichkeit, experimentieren wollte Dimensionalität meiner Sparse Matrix zu tun zu reduzieren. Gibt es eine einfache Möglichkeit, die NumPy-Sparse-Matrix X in ein Gensim-LDA-Modell einzugeben?

lda = models.ldamodel.LdaModel(corpus=corpus, id2word=dictionary, num_topics=100) 

Ich kann scikit ignorieren und gehen den Weg der GENSIM Tutorial beschreibt, aber Ich mag die Einfachheit der scikit vectorizers und alle seine Parameter.

Danke,

G

Antwort

7

http://radimrehurek.com/gensim/matutils.html

class gensim.matutils.Sparse2Corpus(sparse, documents_columns=True) 

     Convert a matrix in scipy.sparse format into a streaming gensim corpus. 
+0

Awesome, thanks! Hat genau das gemacht, was ich brauchte! – ADJ