rdd

4Hitze

1Antwort

Leistung Auswirkungen von RDD auf JavaRDD Konvertierung

Ich habe einen Code so etwas und ich wan, um gegen JavaRDD statt RDD arbeiten Also mache ich hier Umwandlung. Ich würde gerne die Auswirkungen dieser Transformation auf die Leistung wissen, wenn ich m

java scala apache-spark rdd 2016-05-28

---

2Hitze

2Antwort

Wie werden Standardabweichungs- und Mittelwertoperationen auf einer Java Spark RDD ausgeführt?

Ich habe eine JavaRDD die wie folgt aussieht., [ [A,8] [B,3] [C,5] [A,2] [B,8] ... ... ] Ich möchte mein Ergebnis Mittlere [ [A,5] [B,5.5] [C,5] ] Wie kann ich tun, um diese mit Hilfe

java apache-spark rdd bigdata 2016-05-29

---

2Hitze

1Antwort

Keine Java-Klasse entsprechend Produkt mit Serializable mit Base gefunden

Ich habe two case class geschrieben, die Base abstract class erweitert. Ich habe zwei Listen jeder Klasse (listA und listB). Wenn ich diese beiden Listen zusammenführen möchte, kann ich die endgültige

java scala apache-spark rdd apache-spark-dataset 2016-05-29

---

0Hitze

1Antwort

Aufbau eine RDD LabeledPoint von einem Spark RDD Objekt auf scala

ich ein RDD[LabeledPoint] von einem RDD Objekt bauen will, ist das RDD Objekt folgenden: +-------------------+---------+--------------+--------+-------+ | date_time|site_name|posa_continent|year |l

scala apache-spark rdd spark-dataframe 2016-05-31

---

1Hitze

1Antwort

Suchen Sie einen Datenrahmen mit einem anderen Datenrahmen oder RDD

Ich habe 2 Datenfelder in Apache Funke. df 1 hat die Show an und Beschreibungen ... die Daten sieht aus wie show_no | Beschreibung ein | das ist mikey b | Hier kommt Donald c | mary und george gehen n

scala apache-spark dataframe rdd 2016-05-31

---

0Hitze

1Antwort

Spark Coalesce Weitere Partitionen

Ich habe einen Funkenauftrag, der eine große Menge von Daten verarbeitet und die Ergebnisse in S3 schreibt. Während der Verarbeitung kann ich mehr als 5000 Partitionen haben. Bevor ich in S3 schreibe,

apache-spark rdd coalesce 2016-06-02

---

0Hitze

1Antwort

Wie führe ich die Liste der RDDs an groupWith in Pyspark

Ich versuche, eine Liste von RDDs an GroupWith übergeben, anstatt sie manuell per Index anzugeben. Hier ist die Beispieldaten w = sc.parallelize([("1", 5), ("3", 6)]) x = sc.parallelize([("1", 1), ("

python apache-spark pyspark rdd 2016-06-03

---

0Hitze

1Antwort

Pyspark: Bilder auf HDFS speichern

Ich verwende Bildanalysealgorithmen auf Apache-Spark mit Python. Mit Matplotlib muss die endgültige Ausgabe, die Bilder (numply 2D-Array) und Plots (mit Subplot) enthält, in allgemeinen Bilddateien wi

matplotlib pyspark rdd 2016-06-03

---

2Hitze

1Antwort

Ist es möglich, von der C/C++ - Anwendung aus auf Apache IgnitieRDD zuzugreifen?

Ich möchte Daten zwischen Spark Executor und C++ - Prozess freigeben. Abgesehen von der Speicherung der Daten als Datei im speicherinternen FS wie Tachyon/IgniteFS gibt es noch eine andere effiziente

apache-spark rdd ignite 2016-06-06

---

0Hitze

1Antwort

Wie ändere ich nur ein Teil von rdd

Ich möchte nur die ersten 100 Frames eines tif-Bilds ändern, das über Funken und Donner geladen wird. Ich möchte den ersten 100 Frames den Perzentil_image zuweisen. data = td.images.fromtif(path,'tif'

apache-spark tiff rdd 2016-06-06

---