apache-spark

6Hitze

1Antwort

Ich habe eine sehr lange Spark Job, von dem eine kleine Anzahl von Aufgaben derzeit blockiert sind. Gibt es eine Möglichkeit, diese blockierten Aufgaben vom Treiberknoten zu töten? Aus Gründen der Ber

2Hitze

1Antwort

Wie startet man einen Spark-Executor neu, nachdem er abgestürzt ist (im YARN-Client-Modus)?

Ist es möglich, einen Spark Executor nach einem Absturz neu zu starten? Ich verstehe, dass die fehlgeschlagenen Aufgaben in den vorhandenen funktionierenden Spark-Executoren erneut ausgeführt werden,

0Hitze

1Antwort

Fortschrittsbericht für spark.ml.gradientboosting?

Ich verwende spark.ml Gradient Boosting. Es dauert fast einen Tag, um Ergebnisse zu erzielen. Gibt es eine Möglichkeit, den Fortschritt anzuzeigen? (z. B. wie viele Bäume bisher generiert wurden)

0Hitze

1Antwort

Clojure: Konnte nicht funkeln

Ich versuche, die Sparkling library zu verwenden, um Spark von Clojure zu verwenden. Doch auch ein einfacher Code wie folgt aus: (ns sql-spark.core (:gen-class) (:require [yesql.core :refer

4Hitze

1Antwort

Jackson Version ist zu alt

Ich habe folgende build.sbt Datei: name := "myProject" version := "1.0" scalaVersion := "2.11.8" javaOptions ++= Seq("-Xms512M", "-Xmx2048M", "-XX:MaxPermSize=2048M", "-XX:+CMSClassUnloadingEnab

5Hitze

1Antwort

Funken Datenrahmen fallen Duplikate und halten Sie zuerst

Frage: in Pandas beim Löschen von Duplikaten können Sie angeben, welche Spalten zu halten. Gibt es eine Entsprechung in Spark Datarefames? Pandas: df.sort_values('actual_datetime', ascending=False).dr

2Hitze

1Antwort

Datei kann nicht aus HDFS in Spark geladen werden Dataframe

Ich habe eine CSV-Datei in lokalen Fenstern HDFS (hdfs: // localhost: 54310), unter Pfad/tmp/home/gespeichert. Ich möchte diese Datei von HDFS laden, um Dataframe zu zünden. Also habe ich versuchte th

1Hitze

1Antwort

PySpark bedingte Inkrement

Ich bin neu in PySpark und ich versuche, einige Python-Code zu konvertieren, der eine neue Variable "COUNT_IDX" ableitet. Die neue Variable hat einen Anfangswert von 1, wird jedoch um 1 erhöht, wenn e

0Hitze

1Antwort

Öffnen von Dateien in Funken mit bestimmten Zeitstempeln

ich newAPIHadoopFile in meiner scala-Klasse verwenden, um Text-Dateien von HDFS wie unten val conf = new SparkConf val sc = new SparkContext(conf) val hc = new Configuration(sc.hadoopConfiguration)

0Hitze

3Antwort

Erste erste n verschiedene Schlüssel Tupeln in Scala Spark-

Ich habe eine RDD mit Tuple wie folgt (a, 1), (a, 2), (b,1) Wie kann ich die ersten beiden Tupeln mit verschiedene Schlüssel bekommen können. Wenn ich einen Take (2) mache, bekomme ich (a, 1) und (a