apache-spark

1Hitze

2Antwort

Garn Job geht nicht vorbei "Zustand: AKZEPTIERT"

Vielen Dank im Voraus für eine etwaige Hilfe. Ich führe einen Garn Job mit bereitgestellten Hadoop Beispiel. Der Job wird nie abgeschlossen und bleibt im Status "ACCEPTED". Wenn man sich ansieht, was

1Hitze

2Antwort

, wie man richtig Funken Jobs auf einem eigenständigen Cluster

ich gerade gebaut ein Funke 2.0 Stand-alone-Single Node-Cluster auf Ubuntu 14. Der Versuch, einen pyspark Job submit: ~/spark/spark-2.0.0$ bin/spark-submit --driver-memory 1024m --executor-memory 1024

0Hitze

1Antwort

Wie kann ich deeplearning4j Word2vec mit Spark verwenden?

Bei der Verwendung von Funken einreichen, ich brauche die Abhängigkeiten mit --packages zu senden. Welches Paket soll ich verwenden? Ich habe versucht, ein uber Glas machen, die die Abhängigkeiten ent

0Hitze

1Antwort

die nächste Zeit zwischen zwei Tabellen in Funken finden

ich pyspark verwende und ich habe zwei Datenrahmen wie folgt aus: user time bus A 2016/07/18 12:00:00 1 B 2016/07/19 12:00:00 2 C 2016/07/20 12:00:00 3 bus time stop 1 2016/07/18 11:59:4

2Hitze

2Antwort

Spark: nicht genügend Speicher beim Senden von Objekten

Ich habe versucht, eine nicht so große Karte (~ 70 MB, wenn in HDFS als Textdatei gespeichert) zu senden, und ich bekam keine Speicherfehler. Ich habe versucht, den Treiberspeicher auf 11G und Executo

-5Hitze

1Antwort

Python Equivalence des Scala-Code in Spark-

Ich habe dieses Stück Code in Scala val file = sc.textFile(filelocation) //Inital edge list that is to be passed to Iterate function var edges : RDD[(Int, Int)] = file.flatMap{ s => v

0Hitze

1Antwort

Erste Top N Artikel pro Gruppe in pySpark

ich verwende Spark-1.6.2, ich habe die folgende Datenstruktur: sample = sqlContext.createDataFrame([ (1,['potato','orange','orange']), (1,['potato','orange','yogurt']), (2,[

-1Hitze

2Antwort

Daten speichern als Textdatei von Funken zu hdfs

I-Daten verarbeitet mit pySpark und sqlContext die folgende Abfrage verwenden: (sqlContext.sql("select LastUpdate,Count(1) as Count" from temp_t) .rdd.coalesce(1).saveAsTextFile("/apps/hive/war

1Hitze

2Antwort

Wie erhöhe ich mit Scala Scheitern

In Spark-Versuche kann ich Ausnahmen auf diese Weise handhaben: val myRDD = sc.textFile(path) .map(line => Try { // do something dangerous // if(condition) // raise isFailure; }).f

-1Hitze

1Antwort

Ändern Sie den Datentyp einer Spalte in einer Funke-RDD auf das Datum und fragen Sie danach

Standardmäßig wird beim Laden der Daten jede Spalte als String-Typ betrachtet. Die Daten wie folgt aussehen: firstName,lastName,age,doj dileep,gog,21,2016-01-01 avishek,ganguly,21,2016-01-02 shreya