Zugriff auf die Zählungsspalte in PySpark

Question

code: 

mydf = testDF.groupBy(testDF.word).count() 
mydf.show() 

output: 

+-----------+-----+ 
|  word|count| 
+-----------+-----+ 
|  she| 2208| 
| mothers| 93| 
|  poet| 59| 
|  moving| 18| 
|  active| 6| 
|  foot| 169| 

Ich wollte diesen Datenrahmen basierend auf der Anzahl der Wörter in absteigender Reihenfolge bestellen.

code: 

countDF = mydf.orderBy(mydf.count.desc()) 
countDF.show() 

Error: 

AttributeError: 'function' object has no attribute 'desc' 

Bitte lassen Sie mich wissen, wo ich falsch liege.

Answer 1

Nun, Punktnotation ist nicht die beste Methode, um auf Spalten zuzugreifen. Während bietet DataFrame Spalte bewusst __getattr__ können Sie Konflikte wie diese Begegnung, wo Namen (hier DataFrame.count) so anstatt es besser ist, Klammer-Notation zu verwenden, um ein Verfahren lösen wird:

mydf.orderBy(mydf["count"].desc()) 

oder col Funktion:

from pyspark.sql.functions import col 

mydf.orderBy(col("count").desc()) 

zu Referenzspalten.