apache-spark

13Hitze

2Antwort

Vergleichen von Cassandra CQL vs Spark/Shark Abfragen vs Hive/Hadoop (DSE-Version)

Ich würde gerne Ihre Gedanken und Erfahrungen über die Verwendung von CQL und In-Memory-Abfrage-Engine Spark/Shark hören. Soweit ich weiß, läuft der CQL-Prozessor in Cassandra JVM auf jedem Knoten. De

33Hitze

1Antwort

gzip Unterstützung in Spark

Für ein Big Data-Projekt, ich plane, spark, die einige nette Funktionen wie In-Memory-Berechnungen für wiederholte Arbeitslasten hat. Es kann auf lokalen Dateien oder auf HDFS ausgeführt werden. In de

22Hitze

3Antwort

Standalone-Modus Funken: Wie Funken Ausgabe

Bezug zu meiner anderen Frage zu HDFS geschrieben komprimieren, aber deutlich: someMap.saveAsTextFile("hdfs://HOST:PORT/out") Wenn ich eine RDD zu HDFS speichern, wie ich Funken kann sagen, die Ausg

41Hitze

2Antwort

Schnelle Hadoop-Analyse (Cloudera Impala vs Spark/Shark vs Apache Drill)

Ich möchte einige "fast Echtzeit" Datenanalyse (OLAP-like) auf die Daten in einem HDFS. Meine Forschung zeigte, dass die drei erwähnten Frameworks signifikante Leistungssteigerungen im Vergleich zu Ap

8Hitze

2Antwort

Funken streaming filestream

Ich programmiere mit Spark-Streaming, habe aber einige Probleme mit Scala. Ich versuche, die Funktion StreamingContext.fileStream ist Die Definition dieser Funktion zu verwenden, wie folgt aus: def fi

10Hitze

1Antwort

Vergleichen In-Memory-Cluster-Computer-Systeme

Ich arbeite an Spark (Berkeley) Cluster Computing System. Bei meiner Recherche erfuhr ich etwas über andere In-Memory-Systeme wie Redis, Memcachedb usw. Es wäre großartig, wenn mir jemand einen Vergle

45Hitze

2Antwort

Spark: Was ist die beste Strategie für den Beitritt einer 2-Tuple-Key-RDD mit Single-Key-RDD?

Ich habe zwei RDD, dass ich und sie so aussehen anschließen möchten: val rdd1:RDD[(T,U)] val rdd2:RDD[((T,W), V)] Es ist der Fall zu sein, kommt vor, dass die Schlüsselwerte von rdd1 einzigartig si

11Hitze

2Antwort

Spark-Cluster schlägt auf größeren Eingang, funktioniert gut für kleine

Ich spiele mit Spark. Es ist die voreingestellte, vordefinierte Distribution (0.7.0) von der Website, mit Standardkonfiguration, Cluster-Modus, einem Arbeiter (mein localhost). Ich habe die Dokumentat