gawk/awk: Piping-Datum zu getline * manchmal * wird nicht funktionieren

Question

Ich versuche, Daten von einem Format in ein anderes zu konvertieren: Von z.B. "29. Oktober 2005" bis 2005-10-29. Ich habe eine Liste von 625 Daten. Ich benutze Awk.

Die Umwandlung funktioniert - die meiste Zeit. Hovewer, manchmal wird die Konvertierung überhaupt nicht passieren, und die Variable, die das (konvertierte) Datum enthalten soll, bleibt undefined.

Dies geschieht immer mit den exakt gleichen Zeilen. Running `date' explizit (aus der Bash-Shell) an den Daten dieser seltsamen Zeilen funktioniert gut (die Daten werden ordnungsgemäß konvertiert). - Es kommt nicht auf den Textinhalt dieser Zeilen an.

Warum dieses Verhalten, und wie kann ich mein Skript reparieren?
Her ist:

awk 'BEGIN { FS = "unused" } { 
    x = "undefined"; 
    "date \"+%Y-%m-%d\" -d " $1 | getline x ; 
    print $1 " = " x 
}' uBXr0r15.txt \ 
> bug-out-3.txt 

Wenn Sie das Problem reproduzieren wollen:

1. Diese Datei herunterladen: uBXr0r15.txt.
2. Führen Sie das Awk-Skript aus.
3. Suche nach "undefined" in Bug-out-3.txt.
   ("undefiniert" gefunden 122 mal, auf meinem Computer.)

Dann wieder das Skript Sie laufen konnte, und (auf meinem Computer) bug-out-3.txt unverändert bleibt - genau das Die gleichen Daten sind nicht definiert.

(Gawk Version 3.1.6, Ubuntu 9.10.)

Mit freundlichen Grüßen Magnus

Answer 1

Jedes Mal, wenn Sie ein Rohr oder eine Datei zum Lesen öffnen oder in awk schreibt, wird diese zunächst prüfen (eine interne Hash verwenden) , ob es bereits ein Rohr hat oder mit dem gleichen Namen Datei (immer noch offen; Wenn ja, wird der vorhandene Dateideskriptor wiederverwendet, anstatt die Pipe oder Datei erneut zu öffnen.

In Ihrem Fall sind alle Einträge, die als undefined enden, tatsächlich Duplikate; beim ersten Auftreten (d. h. wenn der entsprechende Befehl date "..." -d "..." zum ersten Mal ausgegeben wird) wird das richtige Ergebnis in x eingelesen. Bei nachfolgenden Vorkommen desselben Datums versucht getline, eine zweite, dritte usw. Zeile aus der ursprünglichen date-Pipe zu lesen, obwohl die Pipe durch date geschlossen wurde, was dazu führt, dass x nicht mehr zugewiesen wird.

Von gawk Mann-Seite:

HINWEIS: Wenn ein Rohr mit Co-Prozess oder Buchse getline oder von Druck oder printf innerhalb einer Schleife, Sie müssen in der Nähe nutzen() um neue Instanzen des Befehls oder Sockets zu erstellen. AWK schließt nicht automatisch Pipes, Sockets oder Co-Prozesse , wenn sie EOF zurückgeben.

Sie sollten explizit close das Rohr jedes Mal, nachdem Sie x lesen:

close("date \"+%Y-%m-%d\" -d " $1) 

Im Übrigen wäre es zu sort und uniquBXr0r15.txt vor kochend in awk in Ordnung sein, oder benötigen Sie die ursprüngliche Reihenfolge /Vervielfältigung?

Answer 2

Obwohl ich liebe awk es nicht notwendig, diese ist.

tr -d '"' < uBXr0r15.txt | date +%Y-%m-%d -f -

Answer 3

gawk 'BEGIN{ 
     m=split("January|February|March|April|May|June|July|August|September|October|November|December",d,"|") 
     for(o=1;o<=m;o++){ 
      months[d[o]]=sprintf("%02d",o) 
     } 
     FS="[, ]" 
    } 
    { 
     gsub(/["]/,"",$1) 
     gsub(/["]/,"",$4) 
     t=mktime($4" "months[$1]" "$2" 0 0 0") 
     print strftime("%Y-%m-%d",t) 
    }' uBXr0r15.txt 

tun alles in gawk wird schneller sein als externe Befehle aufrufen.