"resourcesExceeded" -Fehler beim Erstellen einer Tabelle aus einer AVR-Datei in BigQuery

Question

Ich habe eine AVR-Datei auf Google Cloud Storage hochgeladen, die etwa 100 MB ist. Es wird aus einer 800 MB .csv-Datei konvertiert.

Wenn eine Tabelle aus dieser Datei in dem BigQuery Web-Interface zu erstellen versuchen, erhalte ich die folgende Fehlermeldung nach einigen Sekunden:

script: Resources exceeded during query execution: UDF out of memory. (error code: resourcesExceeded) 
Job ID audiboxes:bquijob_4462680b_15607de51b9 

ich die BigQuery Quota Policy geprüft und ich denke, dass meine Datei nicht überschreiten.

Gibt es eine Problemumgehung oder muss ich meine ursprüngliche .csv teilen, um mehrere, kleinere .avro-Dateien zu erhalten?

Vielen Dank im Voraus!

Answer 1

Dieser Fehler bedeutet, dass der Parser mehr Speicher als zulässig verwendet. Wir arbeiten daran, dieses Problem zu beheben. In der Zwischenzeit, wenn Sie die Komprimierung in den Avro-Dateien verwendet haben, versuchen Sie es zu entfernen. Die Verwendung einer kleineren Datenblockgröße wird ebenfalls hilfreich sein.

Und ja hilft auch das Aufteilen in kleinere Avro-Dateien wie 10MB oder weniger, aber die beiden obigen Ansätze sind einfacher, wenn sie für Sie arbeiten.