Wie wird die Scheibe eines Arrays in Spark SQL (Dataframes) gezogen?

Question

Ich habe eine Spalte voller Arrays mit Split-HTTP-Anfragen. Ich habe sie auf eine von zwei Möglichkeiten durchgesickert:

|[, courses, 27381...| 
|[, courses, 27547...| 
|[, api, v1, cours...| 
|[, api, v1, cours...| 
|[, api, v1, cours...| 
|[, api, v1, cours...| 
|[, api, v1, cours...| 
|[, api, v1, cours...| 
|[, api, v1, cours...| 
|[, api, v1, cours...| 
|[, courses, 33287...| 
|[, courses, 24024...| 

In beiden Array-Typen, von ‚Kurse‘ weiter die gleichen Daten und die Struktur ist.

Ich möchte die Scheibe des Arrays mit einer case Anweisung, wo, wenn das erste Element des Arrays ist "API", dann nehmen Sie Elemente 3 -> Ende des Arrays. Ich habe versucht, mit Python Slice-Syntax [3:] und normalen PostgreSQL Syntax [3, n], wobei n ist die Länge des Arrays. Wenn es nicht "api" ist, dann nimm einfach den gegebenen Wert.

Mein ideales Endergebnis wäre ein Array, in dem jede Zeile die gleiche Struktur hat, mit Kursen im ersten Index für einfacheres Parsen von diesem Punkt an.

Answer 1

Es ist sehr einfach, definieren Sie einfach , Sie haben eine very similar question previously gemacht, so dass ich nicht die genaue Antwort posten werde, damit Sie denken und lernen (zu Ihrem Besten).

df = sc.parallelize([(["ab", "bs", "xd"],), (["bc", "cd", ":x"],)]).toDF() 

getUDF = udf(lambda x, y: x[1:] if x[y] == "ab" else x) 

df.select(getUDF(col("_1"), lit(0))).show() 

+------------------------+ 
|PythonUDF#<lambda>(_1,0)| 
+------------------------+ 
|    [bs, xd]| 
|   [bc, cd, :x]| 
+------------------------+