rdd

0Hitze

1Antwort

In Apache Spark, wie überprüft man, ob eine RDD vollständig im Speicher berechnet und gespeichert wurde?

RDD (nämlich seine Partitionen) in Apache Spark sind faul berechnet, aber manchmal möchte ich das Ergebnis einer RDD wiederverwenden, wenn alle seine Partitionen bereits berechnet und die Ergebnisse i

1Hitze

2Antwort

Wie erstelle ich einen Spark-Datenframe von Integer RDD

Wie kann ich ein DataFrame aus einem JavaRDD enthält Ganzzahlen erstellen. Ich habe etwas wie unten getan, aber nicht funktioniert. List<Integer> input = Arrays.asList(101, 103, 105); JavaRDD<Integer

0Hitze

1Antwort

zählen Sie die Zeilen in RDD abhängig von den Linien Kontext, pyspark

Ich versuche zu verstehen, derzeit, wie RDD funktioniert. Zum Beispiel möchte ich die Zeilen basierend auf dem Kontext in einem RDD-Objekt zählen. Ich habe einige experince mit Datenrahmen und meinen

0Hitze

1Antwort

Wie in Funken JavaRDD

Differenz zwischen aktuellen und vorherigen Zeile berechnen I analysiert .log Datei JavaRDD nach sortiert diese JavaRDD und jetzt habe ich zum Beispiel oldJavaRDD: 2016-03-28 | 11:00 | X | object1 | r

0Hitze

1Antwort

Funken RDD Persistenz und Partitionen

Wenn eine bestimmte RDD in Funken zum Beispiel erstellt: lines = sc.textFile("README.md") Und dann wird eine Transformation auf dieser RDD genannt: pythonLines = lines.filter(lambda line: "Python" i

0Hitze

1Antwort

Wie verwendet man FlatMap() auf einer Pipeline-RDD?

Ich habe einen SQL-Datenrahmen namens 'all_tweets', der nur einen Spaltentext hat. Jetzt konvertiere ich diesen Datenrahmen in eine RDD, um einige Transformationen und Maßnahmen daran durchzuführen. J

0Hitze

1Antwort

Spark RDD Lineage und Speicherung

inputRDD = sc.textFile("log.txt") errorsRDD = inputRDD.filter(lambda x: "error" in x) warningsRDD = inputRDD.filter(lambda x: "warning" in x) badLinesRDD = errorsRDD.union(warningsRDD) badLinesCou

4Hitze

1Antwort

Effizienz von flatMap vs Karte gefolgt von reduzieren in Spark

Ich habe eine Textdatei sherlock.txt mit mehreren Zeilen Text. Ich lade es in Spark-Shell mit: val textFile = sc.textFile("sherlock.txt") Mein Zweck ist es, die Anzahl der Wörter in der Datei zu zäh

0Hitze

1Antwort

Spark RDD Probleme

Ich fange mit Funken an und habe nie mit Hadoop gearbeitet. Ich habe 10 iMacs, auf denen ich Spark 1.6.1 mit Hadoop 2.6 installiert habe. Ich habe die vorkompilierte Version heruntergeladen und den ex

0Hitze

1Antwort

Beim Filtern einer linken Join JavaRDD, kann Abwesend (oder Present) nicht in Optionale Ausnahme

Ich versuche im Wesentlichen zu "subtrahieren" stattdessen mit einem linken äußeren Join. JavaPairRDD<Integer, Integer> allCustomers = ... (customerID, 1) JavaPairRDD<Integer, Integer> excludedCustom