bash - Wählen Sie Dateien aus dem Ordner, Prozess, löschen

Question

In einer Linux-Shell möchte ich einen Ordner wie eine Tüte mit Dateien behandeln. Es gibt einige Prozesse, die Dateien in diese Tasche legen. Es gibt genau einen Prozess, der in entweder einer der beiden folgenden Zustände:

1. Prozess ein Dokument, dann
2. Wait Löschen für ein beliebiges Dokument in dem Ordner existieren, dann verarbeiten

Es spielt keine Rolle, in welcher Reihenfolge die Dokumente verarbeitet werden oder wie sie heißen.

Was würde der einzigartige Prozess, Dateien aus dem Ordner zu nehmen, in bash aussehen? Verarbeitung bedeutet, ein anderes Programm mit dem Dateinamen als Argument aufzurufen.

Beachten Sie, dass dieser eindeutige Prozess erst manuell beendet wird.

Answer 1

Wie wäre es damit:

while true; do 
    files=($(ls)); 
    if [[ ${#files[@]} -eq 0 || (`lsof -c write_process -- ${files[0]}`)]]; then 
     sleep 5; 
    else 
     process ${files[0]}; 
     rm ${files[0]}; 
    fi; 
done 

... oder diese (möglicherweise ungesund sein):

while true; do 
    files=($(ls)); 
    if [ ${#files[@]} -ne 0 && ! (`lsof -c write_process -- ${files[0]}`)]; then 
     process ${files[0]}; 
     rm ${files[0]}; 
    fi; 
done 

Wo, wie wurde darauf hingewiesen, ich habe, um sicherzustellen, dass die Datei vollständig in den Ordner geschrieben. Ich tue dies, indem ich lsof nach dem Prozess suche, der Dateien schreibt. aber ich bin mir noch nicht sicher, wie mehrere Ausführungen desselben Programms als ein Prozess zu adressieren sind ...

Answer 2

Der einfachste Weg, um nur Schleife über die Dateien sein könnte „ruft“ das Verarbeitungsprogramm und entfernen Sie die Dateien:

for f in /path/to/folder/*; do 
    program_that_processes_file $f 
    rm $f 
done 

Es gibt ein kleines Problem mit diesem aber: Wenn das Programm, das die Dateien erstellt macht es nicht atomar, Sie könnten Dateien verarbeiten und vielleicht sogar entfernen, die noch nicht vollständig geschrieben sind. Die einfachste Lösung besteht darin, den Writer in ein temporäres Verzeichnis schreiben zu lassen, und wenn die Datei fertig ist, verschieben Sie sie in das endgültige Zielverzeichnis.

Answer 3

inotify-tools wäre das ideale Werkzeug, um sofortige Benachrichtigungen für Änderungen im Verzeichnis zu erhalten. Sobald Sie eine Benachrichtigung über die Erstellung der neuen Datei erhalten, können Sie sie verarbeiten und löschen.

Answer 4

Sie können incrond verwenden, was für "inotify cron daemon" steht. Es ist ein Daemon, der im Hintergrund ausgeführt wird und Verzeichnisse überwacht, die in einer Tabelle angegeben sind. Eine gültige Konfiguration kann mit

incrontab -e 

erstellt werden

Dies wird mit einem Editor öffnen und Sie können das Verzeichnis und Aktionen, die Sie möchten, geben Sie sehen, zum Beispiel

/path/to/observed/directory IN_CREATE,IN_MOVED_TO <command> $@/$# 

<command> ist der Befehl oder das Skript die Sie ausführen möchten, wenn eines der Ereignisse (IN_CREATE,IN_MOVED_TO) ausgelöst wird. $@/$# ist der Pfad zu der Datei, die erstellt oder in den überwachten Ordner verschoben wurde und an <command> übergeben wird. Das ist im Grunde alles, was Sie tun müssen, um den Ordner anzuschauen.

Sie müssen incrond einmal initialisieren, indem Sie ihm mitteilen, welche Benutzer den Dienst nutzen dürfen. Sie können Benutzern erlauben, indem Sie sie zu incrond.allow verwenden incrond, zum Beispiel

echo 'root' >> /etc/incrond.allow 
echo '<username>' >> /etc/incrond.allow 

Hinweis, dass root muss auch in incrond.allow sein. Jetzt können Sie den Daemon starten, indem Sie einfach

incrond 

Weitere Informationen über incrond Aufruf:

• incrond
• incrontab