apache-spark-1.4

6Hitze

3Antwort

Ich benutze Spark 1.4.1. Ich kann spark-submit ohne Probleme verwenden. Aber wenn ich ~/spark/bin/spark-shell lief habe ich den Fehler unter Ich habe SPARK_HOME und JAVA_HOME konfiguriert. jedoch Es w

6Hitze

1Antwort

In Apache Spark-SQL, Wie Metastore Verbindung von HiveContext

Mein Projekt hat Unit-Tests für verschiedene HiveContext Konfigurationen (manchmal sind sie in einer Datei, wie sie von Funktionen gruppiert sind.) Nach dem Upgrade 1.4 Spark I begegnen schließen eine

25Hitze

4Antwort

Wie ändere ich eine Dataframe-Spalte von String-Typ zu Double-Typ in pyspark

Ich habe ein Datenframe mit Spalte als String. Ich wollte den Spaltentyp auf Double in pyspark ändern. Es folgt die Art und Weise, ich habe, - toDoublefunc = UserDefinedFunction(lambda x: x,DoubleType

0Hitze

1Antwort

Python-Versionen in Worker-Knoten und Master-Knoten variieren

Funke 1.4.1 auf CentOS 6.7. Habe Python 2.7 und Python 3.5.1 mit Anaconda installiert. sorgte dafür, dass PYSPARK_PYTHON env var python3.5 gesetzt ist, aber wenn ich pyspark Schale öffnen und eine ein

6Hitze

2Antwort

Wie behandelt man Null Einträge in SparkR

Ich habe einen SparkSQL DataFrame. Einige Einträge in diesen Daten sind leer, aber sie verhalten sich nicht wie NULL oder NA. Wie könnte ich sie entfernen? Irgendwelche Ideen? In R kann ich sie leicht

11Hitze

2Antwort

Erstellen von Apache Spark mit SBT: Ungültige oder beschädigte JAR-Datei

Ich versuche, Spark auf meinem lokalen Rechner zu installieren. Ich habe this geführt. Ich habe JDK-7 installiert (habe auch JDK-8) und Scala 2.11.7. Ein Problem tritt auf, wenn ich versuche, zu verwe

25Hitze

1Antwort

Wie shuffle spill in Apache Spark-Anwendung zu optimieren

Ich führe eine Spark-Streaming-Anwendung mit 2 Arbeitern. Die Anwendung verfügt über einen Join und einen Union-Vorgang. Alle Batches werden erfolgreich abgeschlossen, haben jedoch festgestellt, dass