apache-spark-sql

11Hitze

3Antwort

Ersetzen leere Strings durch keine/Null-Werte in DataFrame

Ich habe eine Spark 1.5.0 DataFrame mit einer Mischung aus null und leere Strings in der gleichen Spalte. Ich möchte alle leeren Zeichenfolgen in allen Spalten zu null (None, in Python) konvertieren.

8Hitze

2Antwort

Anzahl Aufgaben reduzieren Spark

Welche Formel verwendet Spark, um die Anzahl reduzierter Aufgaben zu berechnen? Ich führe ein paar Spark-SQL-Abfragen und die Anzahl der reduzieren Aufgaben ist immer 200. Die Anzahl der Map-Aufgaben

13Hitze

1Antwort

Ist Spark SQL UDAF (benutzerdefinierte Aggregatfunktion) in der Python-API verfügbar? 1.5.0

Wie Spark scheint es möglich, eigene UDAF die für benutzerdefinierte Aggregationen auf Datenrahmen zu schreiben: Spark 1.5 DataFrame API Highlights: Date/Time/String Handling, Time Intervals, and UDAF

8Hitze

2Antwort

Apache Spark löst NullPointerException bei fehlendem Feature

Ich habe ein bizarres Problem mit PySpark beim Indexing Spalte von Zeichenfolgen in Features. Hier ist meine tmp.csv Datei: x0,x1,x2,x3 asd2s,1e1e,1.1,0 asd2s,1e1e,0.1,0 ,1e3e,1.2,0 bd34t,1e1e,5.1

5Hitze

2Antwort

Sie müssen Spark erstellen, bevor Sie diesen Programmfehler ausführen, wenn Sie bin/pyspark starten

Ich beginne mit Spark. Ich bekomme ein Problem beim Starten von Funken. ich von Funken offiziellen Website heruntergeladen, ich versuche, von diesem https://spark.apache.org/docs/0.9.0/quick-start.htm

6Hitze

2Antwort

Gibt es eine Möglichkeit, ein Feld zu filtern, das in einem Spark-Dataframe mit scala nicht enthalten ist?

Hoffentlich bin ich dumm und das wird einfach sein. Ich habe ein Datenframe mit den Spalten 'URL' und 'Referrer'. Ich möchte alle Referrer extrahieren, die die Top-Level-Domain 'www.mydomain.com' und

9Hitze

1Antwort

Index-String-Korrespondenz beibehalten Spark-String-Indexer

Sparks StringIndexer ist ziemlich nützlich, aber es ist üblich, die Übereinstimmungen zwischen den generierten Indexwerten und den ursprünglichen Strings abrufen zu müssen, und es scheint, dass es ein

5Hitze

2Antwort

Wie für zwei Datenrahmen mit unterschiedlicher Struktur in Apache Spark NICHT IN implementieren

Ich verwende Apache Spark in meiner Java-Anwendung. Ich habe zwei DataFrame s: df1 und df2. Die df1 enthält s mit email, firstName und lastName. df2 enthält s mit email. Ich möchte ein DataFrame erste

37Hitze

3Antwort

Was ist der Unterschied zwischen Apache Spark SQLContext und HiveContext?

Was sind die Unterschiede zwischen Apache Spark SQLContext und HiveContext? Einige Quellen sagen, dass, da der HiveContext eine Obermenge von SQLContext ist, Entwickler immer HiveContext verwenden sol

53Hitze

6Antwort

Wie füge ich einem Spark DataFrame (mit PySpark) eine neue Spalte hinzu?

Ich habe einen Spark DataFrame (mit PySpark 1.5.1) und möchte eine neue Spalte hinzufügen. Ich habe versucht, die folgenden ohne Erfolg: type(randomed_hours) # => list # Create in Python and transfo