apache-spark

22Hitze

3Antwort

Ändern des Executor-Speichers (und anderer Konfigurationen) für Spark Shell

Wie wird der Executor-Speicher (und andere Konfigurationen) für Apache Spark Shell geändert? Insbesondere würde ich gerne flats-shell, wie -Dspark-cores-max = 12 beim Start geben, damit meine Jobs in

29Hitze

4Antwort

Wo sind Sparks auf YARN?

Ich bin neu zu funken. Jetzt kann ich Funke 0.9.1 auf Garn (2.0.0-cdh4.2.1) laufen lassen. Aber es gibt kein Protokoll nach der Ausführung. Der folgende Befehl wird zum Ausführen eines Funkenbeispiels

21Hitze

2Antwort

Wie man eine Sammlung mit Spark/Scala glätten?

In Scala kann ich eine Sammlung abflachen mit: val array = Array(List("1,2,3").iterator,List("1,4,5").iterator) //> array : Array[Iterator[String]] = Array(non-empty iterator, non-emp

7Hitze

4Antwort

Entspricht der linken äußeren Verbindung in SPARK

Gibt es in SPARK SCALA eine linke äußere Verbindung? Ich verstehe, dass es eine Join-Operation gibt, die dem Datenbank-Inner-Join entspricht.

6Hitze

1Antwort

Zugriff auf Hdfs von Spark gibt TokenCache-Fehler Kann Master Kerberos Principal nicht zur Verwendung als Erneuerer erhalten

Ich versuche, ein Spark-Skript zu testen, um Spark mit hadoop zu verbinden. Das Skript ist folgende from pyspark import SparkContext sc = SparkContext("local", "Simple App") file = sc.textFile("hdf

10Hitze

3Antwort

läuft pyspark Skript auf EMR

Ich automatisiere derzeit meine Apache Spark Pyspark-Skripte mit Clustern von EC2s mit Sparks vorkonfigurierten ./ec2-Verzeichnis. Für die Automatisierung und Terminplanung möchte ich das Boto EMR-Mod

11Hitze

2Antwort

Verwenden Sie Spark, um alle Dateien in einem Hadoop HDFS-Verzeichnis aufzulisten?

Ich möchte alle Textdateien in einem Hadoop-Verzeichnis durchlaufen und alle Vorkommen des Worts "error" zählen. Gibt es eine Möglichkeit, eine hadoop fs -ls /users/ubuntu/ zu tun, um alle Dateien in

5Hitze

3Antwort

Probleme bei der Installation von Pyspark

Ich möchte Spark auf einem lokalen Computer mit Pyspark ausführen. Von here verwende ich die Befehle: sbt/sbt assembly $ ./bin/pyspark Der Abschluss der Installation, aber pyspark ist nicht in der

13Hitze

4Antwort

Abrufen von App-ID für einen Spark-Job

Ich möchte, wo ich einen Spark-Job ausführen, um die eindeutige ID dieses Jobs zu erhalten. Über die Spark-Master-Knoten-Website kann ich diese ID sehen. Es ist so etwas wie: ID: app-20140429125304-04

12Hitze

1Antwort

Ändern der Sammlung in einem Spark RDD foreach

Ich versuche, Elemente zu einer Map hinzuzufügen, während ich die Elemente einer RDD wiederhole. Ich bekomme keine Fehler, aber die Änderungen werden nicht ausgeführt. Alles funktioniert gut Zugabe di