pyspark finden datum mit der höchsten amt.

Question

Ich habe folgende df:

Zeit loc amt
2012-07-20 01.00.00 A 3300
2012-01-04 17.29.00 B 300
2012-07 -20 01.00.00 A 200
2012-01-04 17.29.00 B 500
2012-01-04 17.29.00 C 333

ich möchte das Datum Ausgangs das hatte die höchste amt.

Ausgabe: 2012-07-20

Wie kann ich dies mit pyspark tun?

Answer 1

Wie wäre es, nur den Maximalwert zuerst zu sammeln und dann zu filtern?

max_amt = df.select(max(df.amt)).collect()[0][0] 
df.filter(df.amt == lit(max_amt)).select(to_date('time')).show() 
+------------+ 
|todate(time)| 
+------------+ 
| 2012-07-20| 
+------------+