Funken- und cassandra, Bereichsabfrage auf Gruppierungsschlüssel

Question

Ich haben cassandra Tabelle mit folgenden Struktur:

CREATE TABLE-Tabelle ( Schlüssel int, Zeit Zeitstempel, Maß float, Primärschlüssel (Schlüssel, Zeit) );

Ich brauche einen Funkenjob zu erstellen, die Daten aus früheren Tabelle, innerhalb bestimmter Start- und End-Zeitstempel lesen einige Verarbeitung tun, und bündig Ergebnisse zurück an Cassandra.

Also mein Spark-Cassandra-Connector wird eine Bereichsabfrage auf Clustering Cassandra-Tabellenspalte tun müssen.

Gibt es Performance-Unterschiede, wenn ich tun:

sc.cassandraTable(keyspace,table). 
as(caseClassObject). 
filter(a => a.time.before(startTime) && a.time.after(endTime)..... 

so, was ich tue alle Daten in Spark Laden und

Filterung anwenden oder wenn ich dies tun:

sc.cassandraTable(keyspace, table). 
where(s"time>$startTime and time<$endTime)...... 

, die alle Daten in Cassandra filtert und dann eine kleinere Teilmenge nach Spark lädt.

Die Selektivität einer Bereichsabfrage liegt bei etwa 1% Es ist nicht möglich, den Partitionsschlüssel in die Abfrage einzubeziehen.

Welche dieser beiden Lösungen wird bevorzugt?

Answer 1

sc.cassandraTable(keyspace, table).where(s"time>$startTime and time<$endTime) 

Wird viel schneller sein. Sie tun grundsätzlich einen Prozentsatz (wenn Sie nur 5% der Daten 5% der Gesamtarbeit ziehen) des vollständigen Grabs im ersten Befehl, um die gleichen Daten zu erhalten.

Im ersten Fall sind Sie

1. alle Daten von Cassandra Lesen.
2. Serialisieren jedes Objekt und dann Verschieben nach Spark.
3. Dann schließlich alles filtern.

Im zweiten Fall sind Sie

1. nur die Daten lesen wollen Sie eigentlich von C *
2. nur diese kleine Teilmenge Serialisierung
3. Es gibt keinen Schritt 3

Als zusätzlichen Kommentar können Sie Ihre Fallklassenart auch direkt in den Aufruf

setzen

sc.cassandraTable[CaseClassObject](keyspace, table)