apache-spark

2Hitze

2Antwort

Was ist eine effiziente Möglichkeit, nach Spalten zu partitionieren, aber eine feste Anzahl von Partitionen beizubehalten?

Was ist der beste Weg, um die Daten durch ein Feld in eine vordefinierte Anzahl von Partitionen zu partitionieren? Ich partitioniere derzeit die Daten durch Angabe der partionCount = 600. Es wurde her

0Hitze

1Antwort

Spark benutzerdefinierte Hadoop-Eingabe-Format Java-Generika Fehler

In dem Versuch, Spark zu bewerten, um unsere bestehenden benutzerdefinierten Eingabeformate aus der mapreduce-Ära wieder zu verwenden, bin ich auf ein Java-Generika-Problem gestoßen. import com.google

1Hitze

1Antwort

pyspark saveAsSequenceFile mit pyspark.ml.linalg.Vectors

Ich versuche, eine (riesige) Liste von Sparse-Vektoren als Sequenzdatei zu speichern, und ich bekomme Fehler. Nachfolgend finden Sie einen Dummy-Code: #used on pyspark shell from pyspark.ml.linalg im

0Hitze

2Antwort

Bedingte Zuordnung von Zeilen in einer CSV-Datei in Scala/Spark, um eine weitere CSV-Datei zu erzeugen

Ich bin ziemlich neu in Scala/Spark und ich wurde in das tiefe Ende geworfen. Ich habe mich seit einigen Wochen bemüht, eine Lösung für ein scheinbar einfaches Problem auf Scala 2.11.8 zu finden, konn

3Hitze

4Antwort

Spark SQL auf ORC-Dateien gibt nicht korrekt Schema (Spaltennamen)

Ich habe ein Verzeichnis mit ORC-Dateien. Ich schaffe einen Datenrahmen den Code unten mit var data = sqlContext.sql("SELECT * FROM orc.`/directory/containing/orc/files`"); Es Datenrahmen mit diesem

0Hitze

2Antwort

Führt Master-Knoten tatsächliche Aufgaben in Spark aus?

Meine Frage klingt vielleicht albern, aber es stört mich für eine lange Zeit. das Bild die Komponenten eines verteilten Anwendungsfunken oben gezeigt. Ich denke, dieses Bild zeigt an, dass der Master-

0Hitze

1Antwort

kartesisches Produkt Optimierung Schlüssel in Funken

Um zu vermeiden, die Berechnung aller möglichen Kombinationen verwenden, ich versuche zu einem bestimmten Schlüssel zur Gruppenwerte nach, und dann das kartesische Produkt der Werte für jeden Schlüsse

0Hitze

1Antwort

Warum werden Akkus direkt an den Fahrer gesendet?

Mit Spark, wenn ich meine Akkumulatoren bereits als assoziativ und reduzierbar definiert habe, warum sendet dann jeder Arbeiter diese direkt an den Fahrer, anstatt sie inkrementell zusammen mit meiner

0Hitze

1Antwort

PySpark Karte nicht

Arbeits Ich bin neu in Apache Funken und eine einfache Map-Funktion implementiert, wie from pyspark import SparkContext sc = SparkContext('local', 'pyspark') f = open("Tweets_tokenised.txt") token

2Hitze

1Antwort

Wie werden Daten in Blöcken von einem Pandas Datenrahmen zu einem Funken Datenrahmen laden

Ich habe Daten in Blöcken über einen Pyodbc Verbindung mit so etwas wie dies lesen: import pandas as pd import pyodbc conn = pyodbc.connect("Some connection Details") sql = "SELECT * from TABLES;"