Prozess RAR-Datei mit awk

Question

Ich habe eine 1,5 TB Datenbank-Extrakt aus einer einzigen Tabelle. Es wurde in 7 Dateien aufgeteilt und mit RAR komprimiert.

Ich wollte eine Teilmenge der Felder in eine andere Datei für die Verarbeitung extrahieren.

Die Beispiele, die ich gefunden habe, verarbeiten bzip oder gzip-Dateien. Ist das, wonach ich frage, möglich? Wenn nicht direkt, wie man die Akten in ein Format umwandelt, das mit awk funktioniert?

Ich habe ~ 146GB Arbeitsraum auf Centos6.

Answer 1

Sie können versuchen, unrar zu verwenden und dann das Ergebnis an awk zu leiten.

Zum Beispiel: nehmen wir an, dass Sie das letzte Feld benötigen:

unrar p *.rar | awk '{print $NF}' 

oder effizienter:

find . -name *.rar | xargs -n 1 -P 4 unrar p | awk '{print $NF}' 

Die Option p bedeutet "Druckdatei auf stdout".

Ich hoffe, das kann Ihnen helfen.