Cassandra .csv Importfehler: Batch zu groß

Question

Ich versuche, Daten aus einer CSV-Datei nach Cassandra 3.2.1 über den Befehl copy.In der Datei sind nur 299 Zeilen mit 14 Spalten zu importieren. Ich bekomme die Fehler:

fehlgeschlagen 299 Zeilen importieren: INVALIDREQUEST - code = 2200 [Invalid query] message = "Batch zu groß"

ich die folgende Kopie comand verwendet und tryied die Chargengröße zu erhöhen :

copy table (Col1,Col2,...)from 'file.csv' with delimiter =';' and header = true and MAXBATCHSIZE = 5000;

glaube ich 299 Zeilen sind nicht zu viel cassandra zu importieren oder ich bin nicht in Ordnung?

Answer 1

Der Fehler, auf den Sie stoßen, ist eine serverseitige Fehlermeldung, die besagt, dass die Größe (in Byteanzahl) Ihrer Stapeleinfügung zu groß ist.

Diese Batchgröße wird in der cassandra.yaml-Datei definiert:

# Log WARN on any batch size exceeding this value. 5kb per batch by default. 
# Caution should be taken on increasing the size of this threshold as it can lead to node instability. 
batch_size_warn_threshold_in_kb: 5 

# Fail any batch exceeding this value. 50kb (10x warn threshold) by default. 
batch_size_fail_threshold_in_kb: 50 

Wenn Sie viele große Spalten (groß) legen Sie schnell diese Schwelle erreichen kann. Versuchen Sie MAXBATCHSIZE bis 200.

Mehr Informationen zu COPY Optionen, um die Zeilen in der CSV-Schritt here