apache-spark

8Hitze

1Antwort

Ich bin sehr neu in Apache Spark. Ich möchte mich eigentlich auf die grundlegende Spark-API-Spezifikation konzentrieren und einige Programme mit Spark-API verstehen und schreiben. Ich habe ein Java-Pr

8Hitze

3Antwort

Performance-Probleme für Funken auf YARN

Wir versuchen, unseren Funken Cluster auf Garn zu betreiben. Vor allem im Vergleich zum Standalone-Modus treten Performance-Probleme auf. Wir haben einen Cluster von 5 Knoten mit jeweils 16 GB RAM und

21Hitze

2Antwort

FEHLER Utils: Uncaught Ausnahme im Thread SparkListenerBus

Ich versuche, einfaches Projekt mit Apache Spark auszuführen. Dies ist mein Code SimpleApp.scala /* SimpleApp.scala */ import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ im

15Hitze

1Antwort

Führt ein Join von gemeinsam partitionierten RDDs zu einem Shuffle in Apache Spark?

Wird rdd1.join(rdd2) dazu führen, dass ein Shuffle auftritt, wenn rdd1 und den gleichen Partitionierer haben?

8Hitze

2Antwort

Wie verbinde ich Master und Slaves in Apache-Spark? (Standalone-Modus)

Ich verwende Spark Standalone Mode Tutorial-Seite, um Spark im Standalone-Modus zu installieren. ./sbin/start-master.sh 2- Ich habe begonnen, einen Arbeiter durch: ./bin/spark-class org.apache.spark

5Hitze

1Antwort

Drools In Spark für Streaming-Datei

Wir konnten erfolgreich Drools mit Funken integrieren, Wenn wir versuchen, Regeln von Drools anwenden wir konnten für Batch-Datei, die in HDFS vorhanden ist, aber wir haben versucht, Drools für Stream

7Hitze

1Antwort

Verwenden von PartitionBy zum Teilen und effiziente Berechnung RDD-Gruppen mit Schlüssel

Ich habe eine Lösung für die Gruppe RDD[K, V] per Schlüssel implementiert und Daten entsprechend jeder Gruppe (K, RDD[V]), mit partitionBy und Partitioner zu berechnen. Trotzdem bin ich mir nicht sich

5Hitze

3Antwort

zu lesen und von hive Tabellen mit Funken nach der Aggregation Schreiben

Wir haben hive Lager und wollten Funken für verschiedene Aufgaben verwendet wird (vor allem Klassifikation). Schreiben Sie die Ergebnisse manchmal als Strukturtabelle zurück. Zum Beispiel haben wir di

12Hitze

2Antwort

Graf Anzahl der Zeilen in einem RDD

Ich benutze Funken mit Java, und ich habe eine RDD von 5 Millionen Zeilen. Gibt es eine Lösung, die es mir erlaubt, die Anzahl der Zeilen meiner RDD zu berechnen. Ich habe versucht RDD.count(), aber e

9Hitze

1Antwort

Ändern Hadoop-Version mit Spark-ec2

Ich möchte wissen, ist es möglich, die Hadoop-Version zu ändern, wenn der Cluster von Spark-ec2 erstellt wird? versuchte ich spark-ec2 -k spark -i ~/.ssh/spark.pem -s 1 launch my-spark-cluster dann