Spark-Streaming-Schema

Question

einen Strom von SparkFlumeEvents Given (oder sagen, jede DSTREAM) Wie funktioniert eine Karte zu einem geeigneten Schema, so dass der Strom mit

zu Cassandra gespeichert werden können

stream.saveToCassandra(keyspace,table) 

ein naiver Versuch, beschwert sich über fehlende Spalten .

Ist der beste Ansatz zu stream.map() zu einem gegebenen Objekt (was schwerfällig erscheint)?

OR ...

ein anderer Ansatz scheint stream.foreachRDD zu verwenden und irgendwie an einen Datenrahmen zuordnen. Das erscheint auch umständlich, da die Stream-Methode das direkte Speichern von cassandra unterstützt.

Also, was ist der richtige Weg?

Answer 1

Streams werden in Cassandra mithilfe des Spark-Cassandra-Connectors gespeichert, indem Schlüsselbereich, Tabellenname und einzufügende Spalten angegeben werden. Der andere Ansatz besteht darin, Daten zu UDTs zuzuordnen und diese in die Datenbank einzufügen. Ich bevorzuge die Angabe von Spalten als den schnellsten Weg, wenn Sie nur Daten einfügen müssen. Beispiel aus Dokumentation macht genau die gleiche, aber Sie irgendeine Variante davon verwenden können:

val wc = stream.flatMap(_.split("\\s+")) 
    .map(x => (x, 1)) 
    .reduceByKey(_ + _) 
    .saveToCassandra("streaming_test", "words", SomeColumns("word", "count"))