Funken: eine RDD von einem REST-Service Erstellen

Question

Gibt es ein out-of-the-Box-Funktionalität in Funken verfügbar eine RDD an einen REST-Dienst zu binden? Das heißt, einen Webdienst aufrufen und eine RDD erhalten.

Oder ist der einfachste Ansatz, den Rest Service von mir anrufen und das Ergebnis Sammlung in einem RDD-Format konvertieren?

Danke.

Answer 1

Sie können auf den Link verweisen Spark-Jobserver

Einige der Features von Funkenjobserver, die ich glaube, Sie suchen sind:

• „Funken as a Service“: Einfache REST-Schnittstelle für alle Aspekte der Arbeit, Kontextmanagement
• Start- und Job-Kontexte für RDD-Sharing und geringe Latenz Arbeitsplätze stoppen; Ressourcen beim Neustart ändern
• Asynchrone und synchrone Job-API. Die synchrone API eignet sich hervorragend für Jobs mit geringer Latenz!
• Benannte RDDs zum Zwischenspeichern und Abrufen von RDDs nach Namen. Dadurch wird die gemeinsame Nutzung von RDD und die Wiederverwendung zwischen Jobs verbessert.

Hoffnung, das hilft.

Answer 2

I verwendet Jersey-Client, lesen Sie eine Zeichenfolge (ein comple json Dokument pro Zeile), und mit dieser Zeichenfolge tat dies:

val stringResponse = request.request().get(classOf[String]) 
val jsonDataset = session.createDataset[String](Seq(stringResponse)) 
// try with case class 
val parsedResponse = session.read.json(jsonDataset) 

..., die in einem Datenrahmen führt, die Sie auf Material auswählen können.