apache-spark

6Hitze

2Antwort

Cassandra + Solr/Hadoop/Spark - Auswahl der richtigen Werkzeuge

Ich untersuche gerade, wie man angereicherte zeitbasierte Daten mit bis zu 1000 Spalten pro Zeile speichert und analysiert. Im Moment scheint Cassandra zusammen mit Solr, Hadoop oder Spark von Datasta

7Hitze

3Antwort

Wie viele Dateien in S3 mit Spark

bündeln Ich habe 20 Millionen Dateien in S3 überspannt etwa 8000 Tage. Die Dateien sind nach UTC in Zeitstempeln organisiert, so: s3://mybucket/path/txt/YYYY/MM/DD/filename.txt.gz. Jede Datei ist UTF-

6Hitze

2Antwort

Spark 0.9.0: Arbeiter stirbt im Standalone-Modus, wenn Job fehlschlägt

Ich bin neu zu funken. Ich führe Spark im Standalone-Modus auf meinem Mac. Ich bringe den Meister und den Arbeiter auf und sie kommen alle gut voran. Die Log-Datei des Masters wie folgt aussieht: ...

5Hitze

1Antwort

InvalidRequestException (Warum: Empid kann nicht durch mehr als eine Beziehung eingeschränkt werden, wenn es eine Equal enthält)

Dies ist in Bezug auf ein Problem, das ich bei der Abfrage von Cassandra von Apache Spark konfrontiert. Die normale Abfrage von Spark funktioniert ohne Probleme, aber wenn ich mit einer Bedingung abfr

8Hitze

1Antwort

Verbindung verweigert, wenn SparkPi lokal ausgeführt wird

Ich versuche, eine einfache Ausführung des SparkPi-Beispiels auszuführen. Ich begann den Meister und ein Arbeiter, ausgeführt dann den Job auf meinem lokalen „Cluster“, aber am Ende immer eine Folge v

5Hitze

1Antwort

wie jni in funken zu verwenden?

Ich möchte Jni verwenden, um meine C++ - Bibliothek in Spark aufzurufen. Wenn ich mein Programm starte, zeigt es, dass java.lang.UnsatisfiedLinkError: kein hq_Image_Process in java.library.path, so of

139Hitze

5Antwort

Spark java.lang.OutOfMemoryError: Java-Heap-Speicher

Mein Cluster: 1 Master, 11 Slaves, jeder Knoten hat 6 GB Speicher. Meine Einstellungen: spark.executor.memory=4g, Dspark.akka.frameSize=512 Hier ist das Problem: Erste ich einige Daten lesen (2,19 G

6Hitze

2Antwort

Wie ein Funke-Java-Programm von der Kommandozeile

Ich bin mit dem Java-Programm in wordcount Funken laufen. Wie führe ich es von der Kommandozeile aus?

10Hitze

2Antwort

Funken läuft Speicher aus, wenn sie durch Schlüssel

Gruppierung Ich versuche, eine einfache Transformation von gemeinsamen Crawl-Daten unter Verwendung von Spark-Host auf einem EC2 mit this guide, mein Code sieht wie folgt aus auszuführen: package ccmi

11Hitze

1Antwort

Wie man einfache Spark-App von Eclipse/Intellij IDE ausführen?

Um die Entwicklung meiner Karte zu erleichtern Aufgaben reduzieren, die auf Hadoop läuft tatsächlich vor, um die Aufgaben zu Hadoop bereitstellen I-Test eine einfache Karte Minderer schrieb ich: objec