Summe Spalten einer großen. TXT oder. CSV Linux

Question

Ich habe eine sehr große .txt. Ich muss die Daten manipulieren, um herauszufinden, wie viele Informationen gespeichert sind. Ich muss im Wesentlichen alle einzelnen Datenpunkte zusammenfassen. Das Problem ist, dass alle Daten in Spalten gespeichert sind und ich bin mir nicht sicher, wie man Linux-Befehle ausführt, um alles richtig zu summieren.

Ein Teil der Datei:

header:                 
    seq: 0                 
    stamp:                 
    secs: 1467830307                 
    nsecs: 890825036                 
    frame_id: map                
info:                
    map_load_time:                 
    secs: 0                
    nsecs:   0                 
    resolution: 0.0500000007451                
    width: 7200                
    height: 7200                
    origin:                
    position:                
     x: -180.0                
     y: -180.0                
     z: 0.0                 
    orientation:                 
     x: 0.0                 
     y: 0.0                 
     z: 0.0                 
     w: 1.0                 
data: [0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 
    0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ] 

Die eigentliche Datei ist eine sehr viel größer als das, aber im Wesentlichen muss ich innerhalb dieser ‚Daten‘ Set alle Zahlen addieren (alles andere gelöscht werden kann) . Vielen Dank im Voraus.

Answer 1

Dateien Angenommen wird data.txt genannt, würde ich awk wie folgt verwenden:

awk ' 
    /^data:/ {f=1} 
    f==1  {gsub(/[a-zA-Z:\[\]]/,""); for(i=1;i<=NF;i++)t+=$i} 
    END  {print t} 
' data.txt 

, dass Ihre Datei zu einem Zeitpunkt data.txt eine Zeile liest. Wenn es das Wort data: am Anfang einer Zeile findet, setzt es ein Flag f, so dass es "weiß" es hat hinter all die Sachen am Anfang der Datei und es muss beginnen, die Summe der Zahlen.

Der nächste Teil betrachtet nur Zeilen nach dem Wort data:, da ihm die Bedingung f==1 vorangestellt ist. Das entfernt alle Buchstaben, Doppelpunkte und eckige Klammern aus der Zeile mit gsub(). Dann durchläuft es alle Felder der Zeile (NF ist die Anzahl der Felder) und summiert die Elemente in einer Variablen namens t auf.

Am Ende der Datei wird der Abschnitt gestartet, der mit END beginnt und die Summe ausgibt.

Sie können alles auf eine Zeile wie diese schreiben, wenn Sie bevorzugen:

awk '/^data:/{f=1} f==1{gsub(/[a-zA-Z:\[\]]/,"");for(i=1;i<=NF;i++)t+=$i} END{print t}' data.txt