bigdata

270Hitze

1Antwort

Was sind die Unterschiede zwischen Apache Spark und Apache Storm? Was sind geeignete Anwendungsfälle für jeden einzelnen?

5Hitze

1Antwort

R Data.table für die Berechnung von zusammenfassenden Statistiken über mehrere Spalten hinweg

Ich habe eine ähnliche Frage an: R: data.table : searching on multiple columns AND setting data type, aber diese Frage wurde nicht vollständig beantwortet. Ich habe eine paarweise Tabelle, die konzept

5Hitze

1Antwort

r - viterbi RHmm Fehlerschutz Stapelüberlauf

Ich suchte nach einer HMM-Implementierung in R, um Zustände in einer Zeichenfolge zu analysieren, und die HMM-Bibliothek scheint langsam zu laufen, dann verwende ich die RHmm-Bibliothek. Meine Daten i

6Hitze

4Antwort

Wie Umbenennen einer großen Menge von Dateien in Hadoop/Spark?

Ich habe einen Eingabeordner, der +100.000 Dateien enthält. Ich möchte eine Batch-Operation für sie durchführen, d. H. Alle auf eine bestimmte Weise umbenennen oder sie auf einen neuen Pfad basierend

6Hitze

1Antwort

Verwenden Sie die Corpus-Funktion von tm mit großen Daten in R

Ich versuche Text-Mining auf große Daten in R mit tm zu tun. ich in den Speicher Probleme laufen häufig (wie can not allocation vector of size....) und verwenden Sie die etablierten Methoden der diese

5Hitze

2Antwort

E-Mail-Deduplizierung

Ist es wahr, dass E-Mails dedupliziert werden können, indem nur einige ihrer Header verwendet werden, da ihre Nachrichten-ID laut RFC eindeutig sein sollte? Gibt es eine Möglichkeit, die Wahrscheinlic

6Hitze

1Antwort

Speicherabbilddatei in MATLAB?

Ich habe mich entschieden, memmapfile zu verwenden, da meine Daten (normalerweise 30 GB bis 60 GB) zu groß sind, um in den Speicher eines Computers zu passen. Meine Datendateien bestehen aus zwei Date

8Hitze

1Antwort

Elasticsearch vs hbase/Hadoop für Echtzeit-Statistiken

ich Millionen von kleinen Block Dokumenten wöchentlich loggin zu tun: Ad-hoc-Abfragen für Data-Mining- Beitritt zu vergleichen, Filtern und Berechnen von Werten viel viel Volltextsuche mit python ausf

5Hitze

1Antwort

Graphendatenbanken mit Lokalität

DAG = gerichteter azyklischer Graph; roots = Vertices ohne eingehende Kanten. Ich habe eine DAG größer als verfügbaren RAM, so dass ich eine Festplatte-basierte Graph-Datenbank benötigt, um damit zu a

5Hitze

2Antwort

Wie mahout mit ambari Server zu installieren

Ich habe einen Hadoop Cluster mit 3 Sklaven und 1 Master mit Ambari Server (Hortonworks) erstellt. Ich muss Mahout 0.9 in der Master-Maschine installieren, um Mahout-Jobs im Cluster auszuführen. Wie m