Wie visualisiere ich einen großen Dokumentensatz?

Question

Ich habe 100 GB Dokumente. Ich möchte es charakterisieren und einen Überblick darüber bekommen, welche Themen vorherrschen.

Die Dokumente sind Klartext.

Ich habe überlegt, ein Tool wie Google Desktop zu verwenden, aber es ist zu groß, um wirklich zu erraten, wonach gesucht werden soll und zu zeitaufwendig, um genügend Suchen durchzuführen, um den gesamten Satz abzudecken.

Gibt es frei verfügbare Werkzeuge, die einen großen Datensatz von Dokumenten zusammenfassen?

Gibt es solche Tools, die solche Cluster visualisieren können?

Answer 1

Für einen grundlegenden NLP-Ansatz könnten Sie jedes Dokument als einen Vektor basierend auf Worthäufigkeiten darstellen und dann die Dokumentvektoren mit Bayes'schen oder anderen Methoden (SVM, k-means usw.) clustern.

Ähnliche Antworten finden Sie unter somewhat similar SO question.

Answer 2

Sie müssen in Tools suchen, die natürliche Sprachverarbeitung durchführen. Grundsätzlich können Sie (mittels statistischer Werkzeuge) die Sprache eines Dokuments (siehe http://en.wikipedia.org/wiki/N-gram) und die Domäne des Diskurses (siehe http://en.wikipedia.org/wiki/Support_vector_machine) sehr zuverlässig bestimmen. Einige Tools sollten verfügbar sein, wenn Sie von Wikipedia aus starten.