Partitionierung von mehreren Spalten in Spark-SQL

Question

Mit Spark-SQL die Fensterfunktionen, muss ich nach mehreren Spalten partitionieren, um meine Daten Abfragen ausführen, wie folgt:

val w = Window.partitionBy($"a").partitionBy($"b").rangeBetween(-100, 0)

ich derzeit nicht über eine Testumgebung (Arbeiten an Einstellungen dieser), aber als eine kurze Frage, wird dies derzeit als Teil der Spark SQL Fensterfunktionen unterstützt, oder wird das nicht funktionieren?

Answer 1

Dies wird nicht funktionieren. Die zweite partitionBy überschreibt die erste. Beide Partitionsspalten müssen in demselben Aufruf angegeben werden:

val w = Window.partitionBy($"a", $"b").rangeBetween(-100, 0)