rdd

0Hitze

1Antwort

Funken - Unable S3-Datei zugreifen, wenn Master-Parametersatz

Ich habe Probleme, eine Datei auf AWS S3 sitzt Zugriff, wenn ich den Job Angabe --master Parameter starten - entweder als Parameter im Terminal spark-submit --master spark://myIP:port oder in den ei

python apache-spark pyspark rdd 2016-08-01

---

-2Hitze

1Antwort

piplinedRDD kann nicht in Dataframe konvertieren mit toDF

Ich habe einen Pyspark Datenrahmen enthält Reihen von Daten getrennt durch Komma. Ich möchte jede Zeile aufteilen und die LabeledPoints-Methode darauf anwenden. Dann covern es zum Datenrahmen. Hier is

dictionary pyspark rdd 2016-08-01

---

2Hitze

1Antwort

Spark Cartesian verursacht keine Shuffle?

Also habe ich versucht, auf Spark-Operationen zu testen, die Shuffling basierend auf diesem Stack-Overflow-Post verursachen: LINK. Es macht jedoch keinen Sinn für mich, wenn die Operation cartesian ke

apache-spark pyspark rdd concept 2016-08-01

---

0Hitze

1Antwort

Funken Finden Sie doppelten Datensätze für ein Feld in RDD

Ich habe Datensatz wie 10, "Name", 2016, "Country" 11, "Name1", 2016, "country1" 10, "Name", 2016, "Country" 10, "Name", 2016, "Country" 12, "Name2", 2017, "country2" Mein Problem Aussage ist, ich hab

apache-spark duplicates rdd 2016-08-02

---

2Hitze

1Antwort

Wie zwei JavaPairRDDs mit benutzerdefinierter Logik zu kombinieren

Ich habe zwei JavaPairRDDs. JavaPairRDD<List<String>, CustomObject> originalData = ...; JavaPairRDD<String, CustomField> newData = ...; In diesem Fall ist CustomField ein Feld in CustomObject. Mein

java scala apache-spark rdd 2016-08-02

---

0Hitze

1Antwort

RDD von LabeledPoint in DataFrame konvertieren toDF() Fehler

Ich habe ein Dataframe df, das 13 durch Komma getrennte Werte enthält. Ich möchte in df2 einen Datenrahmen bekommen, der labeledPoint enthält. Erster Wert ist Label, zwölf weitere sind Features. Ich b

python apache-spark pyspark rdd spark-dataframe 2016-08-03

---

0Hitze

1Antwort

zu Mongo mit Replik Anschluss Set und Mongo-Hadoop-Anschluss für Spark

ich einen Spark-Prozess haben, der zur Zeit der Mongo-hadoop Brücke wird mit (von https://github.com/mongodb/mongo-hadoop/blob/master/spark/src/main/python/README.rst) die Mongo Datenbank zuzugreifen:

mongodb apache-spark pymongo rdd replicaset 2016-08-04

---

1Hitze

1Antwort

Wie produzieren RDD [Ergebnis] für Unit-Tests

für Unit-Tests Zweck ich mein eigenes HBase Ergebnis Objekt am Bau als val row = Bytes.toBytes("row01") val cf = Bytes.toBytes("cf") val cell1 = new KeyValue(row, cf, "v1".getBytes(), Bytes.toBytes(

serialization apache-spark hbase rdd 2016-08-06

---

-1Hitze

1Antwort

PySpark PicklingError

Ich sehe eine Beiz Fehler: Could not pickle object as excessively deep recursion required. Unten ist die Spur zurück: Traceback (most recent call last): File "/usr/hdp/current/spark/python/lib/py

apache-kafka pyspark pickle rdd 2016-08-06

---

3Hitze

1Antwort

In Apache Spark wie kann ich alle Zeilen einer RDD durch zwei gemeinsame Werte gruppieren?

Ich habe eine RDD eines Objekts kundenspezifischen Fall die {userId:"h245hv45uh", title: "The-BFG", seen: 1, timestamp: 2016-08-06 13:19:53.051000+0000} der Form ist Gibt es eine Möglichkeit kann ic

scala apache-spark cassandra rdd 2016-08-07

---