'wo' in Apache Funken

Question

df: 

-----------+ 
|  word| 
+-----------+ 
|  1609| 
|   | 
|  the| 
| sonnets| 
|   | 
|   by| 
| william| 
|shakespeare| 
|   | 
|   fg| 

Dies ist mein Datenrahmen. So entfernen Sie die leeren Zeilen (um die Zeilen zu entfernen, die '' enthalten) mithilfe der Where-Klausel.

code: 

df.where(trim(df.word) == "").show() 

output: 

----+ 
|word| 
+----+ 
| | 
| | 
| | 
| | 
| | 
| | 
| | 
| | 
| | 

Jede Hilfe wird geschätzt.

Answer 1

können Sie trimmen und prüfen, ob Ergebnis leer ist:

>>> from pyspark.sql.functions import trim 
>>> df.where(trim(df.word) != "")