Ich muss org.apache.spark.rdd.RDD konvertieren [Array [Byte]] zu Array [Byte] in Spark Streaming

Question

Ich versuche, JSON-Datei in Spark-Streaming durch Kafka zu analysieren.

Ich schrieb eine Funktion, die Array[Byte] erfordert.

stream.foreachRDD(rdd=> 
    parseAVROToString(rdd) 
) 

ssc.start 

parseAVROToString nutzen zu können, ich Array[Byte] benötigen. ich die folgende Fehlermeldung erhalten:

found : org.apache.spark.rdd.RDD[Array[Byte]] required: Array[Byte] parseAVROToString(rdd) 

Answer 1

können Sie dies versuchen:

stream.foreachRDD(rdd => { 
    rdd.foreach(record = > parseAVROToString(record)) 
}) 

Aber foreachRDD eine Ausgabeoperation ist die RDDs auf externe Dateien oder Datenbanken verwendet zu speichern unterstreichen. Ich denke, stream.transform könnte in Ihrem Fall nützlich sein.