pyspark

1Hitze

1Antwort

Funken-UDF, die unbekannte Anzahl von Spalten einnimmt

Ich habe eine Liste von Spark-Datenrahmen mit verschiedenen Schemas. Beispiel: list_df = [df1, df2, df3, df4] # df1.columns = ['a', 'b'] # df2.columns = ['a', 'b', 'c'] # df3.columns = ['a', 'b', '

-1Hitze

1Antwort

PySpark PicklingError

Ich sehe eine Beiz Fehler: Could not pickle object as excessively deep recursion required. Unten ist die Spur zurück: Traceback (most recent call last): File "/usr/hdp/current/spark/python/lib/py

1Hitze

1Antwort

Wie explodiert man alle Spalten eines Datenrahmens in pyspark?

Ich habe ein Datenrahmen wie diese bekommen: +--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+-------

5Hitze

2Antwort

pyspark 2.0 werfen AlreadyExistsException (Nachricht: Datenbank Standard existiert bereits), wenn mit Bienenstock

Ich habe gerade zu spark 2.0.0 von 1.3.1 aktualisiert, schrieb ich einen einfachen Code, um mit Hive (1.2.1) verwendet Funken zu interagieren sql, ich habe die hive-site.xml in das Verzeichnis config

3Hitze

1Antwort

Berechnung gewichteten Mittelwert in PySpark

Ich versuche, gewichtetes Mittel in pyspark zu berechnen, aber nicht viele Fortschritte # Example data df = sc.parallelize([ ("a", 7, 1), ("a", 5, 2), ("a", 4, 3), ("b", 2, 2), ("b", 5, 4),

5Hitze

1Antwort

PySpark Distributing Modul Importe

In den letzten Tagen habe ich versucht zu verstehen, wie Spark-Executoren wissen, wie ein Modul mit einem bestimmten Namen beim Import zu verwenden. Ich arbeite an AWS EMR. Situation: ich initialisier

4Hitze

1Antwort

Wie kombiniere ich N-Gramm zu einem Vokabular in Spark?

Fragen Sie sich, ob es eine eingebaute Spark-Funktion gibt, um 1-, 2-, n-Gramm-Funktionen in einem einzigen Vokabular zu kombinieren. Einstellung n=2 in NGram gefolgt von Aufruf von CountVectorizer er

1Hitze

5Antwort

So führen Sie Update-Abfragen auf Spark-SQL

Ich bin ein Neuling in Spark.Ist es sowieso, dass ich Update-Befehl in Spark-SQL ausführen könnte. Ich habe bereits eine Hive-Tabelle erstellt, in der ich einige SQL-Syntax-Abfragen wie Einfügen, Ausw

2Hitze

1Antwort

Wie erstellt Spark Datenrahmen mit gefilterten Datensätzen aus MongoDB?

Meine Anwendung wurde mit MongoDB als Plattform erstellt. Eine Sammlung in DB hat ein riesiges Datenvolumen und hat sich für apache spark entschieden, um analytische Daten durch Berechnung zu erhalten

1Hitze

1Antwort

Py4JJavaError java.lang.NullPointerException org.apache.spark.sql.DataFrameWriter.jdbc

Ich habe diesen Fehler, wenn ich versuchte, ein Spark-Datenframe zu Postgres DB zu schreiben. Ich bin mit einem lokalen Cluster und der Code ist wie folgt: from pyspark import SparkContext from pyspa