überspringen schlechte Bilanz in Rotverschiebung Datenlast

Question

I

folgenden Befehl versuchen Daten in AWS Rotverschiebung zu laden

copy venue from 's3://mybucket/venue' 
credentials 'aws_access_key_id=<access-key-id>;aws_secret_access_key=<secret-access-key>' 
delimiter '\t'; 

aber Datenlast versagt, wenn ich Abschnitt Abfrage für die jeweilige Last überprüfte ich es versäumt bemerkt, weil die "Fehlerhafte UTF8-Hexadezimalsequenz: a4 (Fehler 3)"

Gibt es eine Möglichkeit, fehlerhafte Datensätze beim Laden der Daten in Rotverschiebung zu überspringen?

Answer 1

Ja, Sie können den Parameter maxerror verwenden. In diesem Beispiel wird bis zu 250 schlechten Aufzeichnungen erlaubt zu Auszulassendes (die Fehler zu stl_load_errors geschrieben):

copy venue from 's3://mybucket/venue' credentials 'aws_access_key_id=;aws_secret_access_key=' delimiter '\t' maxerror as 250;