rdd

7Hitze

2Antwort

Lets mit einer einfachen Funktion starten, die immer eine zufällige ganze Zahl zurückgibt: import numpy as np def f(x): return np.random.randint(1000) und RDD mit Nullen gefüllt und f kartier

5Hitze

1Antwort

Spark-RDD-Checkpoint auf beharrte/gecached RDDs werden Durchführung der DAG zweimal

Wenn ich Code ausführen wie die folgenden: val newRDD = prevRDD.map(a => (a._1, 1L)).distinct.persist(StorageLevel.MEMORY_AND_DISK_SER) newRDD.checkpoint print(newRDD.count()) und beobachten Sie d

11Hitze

2Antwort

Apache Spark: Was ist die entsprechende Implementierung von RDD.groupByKey() mit RDD.aggregateByKey()?

Die Apache Spark pyspark.RDD API-Dokumentation erwähnt, dass groupByKey() ineffizient ist. Stattdessen wird empfohlen, stattdessen reduceByKey(), aggregateByKey(), combineByKey() oder foldByKey() zu v

30Hitze

6Antwort

Spark gibt mehrere Spaltenbedingungen für den Dataframe-Join an

Wie gibt man mehr Spaltenbedingungen vor, wenn zwei Datenrahmen verbunden werden. Zum Beispiel möchte ich Folgendes ausführen: val Lead_all = Leads.join(Utm_Master, Leaddetails.columns("LeadSourc

6Hitze

1Antwort

Beziehung zwischen RDD, Partitionen und Knoten

Ich habe gelesen über RDDs und wie verschiedene Transformationen von Partitionen betroffen sind, und wie einige Transformationen die Partitionen selbst beeinflussen. Während ich das verstehe, kann ich

8Hitze

1Antwort

Wie kann ich eine große rdd effizient mit einer sehr großen rdd in funken verbinden?

Ich habe zwei RDDs. Ein RDD ist zwischen 5-10 Millionen Einträge und der andere RDD ist zwischen 500 Millionen - 750 Millionen Einträge. Irgendwann muss ich diese beiden rdds mit einem gemeinsamen Sch

5Hitze

1Antwort

Eine Liste als Schlüssel für PySpark des reduceByKey

Ich versuche, die reduceByKey Funktion von pyspark auf Daten des Formats (([a,b,c], 1), ([a,b,c], 1), ([a,d,b,e], 1), ... Es scheint pyspark in normalen Schlüsseln ein Array als Schlüssel akzeptiert n

12Hitze

2Antwort

In Spark API, Was ist der Unterschied zwischen makeRDD Funktionen und Parallelisierungsfunktion?

Ich habe eine Frage, während make spark app. In Spark API, Was ist der Unterschied zwischen makeRDD Funktionen und parallelize Funktion?

5Hitze

1Antwort

Nicht in der Lage String Speicher

Ich versuche, zu definieren, einen Akkumulator Variable vom Typ String in Scala Shell (Fahrer), aber ich erhalte den folgenden Fehler zu erklären: - scala> val myacc = sc.accumulator("Test") <console

5Hitze

1Antwort

RDD to LabeledPoint Konvertierung

Wenn ich eine RDD mit etwa 500 Spalten und 200 Millionen Zeilen habe, und RDD.columns.indexOf("target", 0) zeigt Int = 77, die mir sagt, dass meine gezielte abhängige Variable Spalte 77 ist. Aber ich