Wie eine Struktur in einem Funkendatenrahmen zu glätten?

Question

Ich habe einen Datenrahmen mit der folgenden Struktur:

|-- data: struct (nullable = true) 
| |-- id: long (nullable = true) 
| |-- keyNote: struct (nullable = true) 
| | |-- key: string (nullable = true) 
| | |-- note: string (nullable = true) 
| |-- details: map (nullable = true) 
| | |-- key: string 
| | |-- value: string (valueContainsNull = true) 

Wie es möglich ist, die Struktur zu glätten und einen neuen Datenrahmen erstellen:

 |-- id: long (nullable = true) 
    |-- keyNote: struct (nullable = true) 
    | |-- key: string (nullable = true) 
    | |-- note: string (nullable = true) 
    |-- details: map (nullable = true) 
    | |-- key: string 
    | |-- value: string (valueContainsNull = true) 

Gibt es so etwas wie explodieren, aber für structs?

Answer 1

Das Spark 1.6 funktionieren sollte oder später:

df.select(df.col("data.*")) 

oder

df.select(df.col("data.id"), df.col("data.keyNote"), df.col("data.details")) 

Answer 2

Eine einfache Möglichkeit ist SQL zu verwenden, können Sie eine SQL-Query-String alias verschachtelt Spalte als flach bauen .

1. Abrufen von Daten-Frame-Schema (df.schema())
2. Transform Schema SQL (für (Feld. Schema() Felder()) ....
3. Query „val newDF = sqlContext.sql ("SELECT" + sqlGenerated + "von der Quelle")

Ein Beispiel in Java:

https://gist.github.com/ebuildy/3de0e2855498e5358e4eed1a4f72ea48

(ich ziehe SQL Art und Weise, so dass Sie es leicht auf Spark-Schale testen und es ist Cross-Sprache).