Wiederaufnahme von rsync teilweise (-P/- teilweise) auf einer unterbrochenen Übertragung

Question

Ich versuche, meinen Dateiserver auf einen Remove-Dateiserver mit Rsync zu sichern. Rsync wird nicht erfolgreich fortgesetzt, wenn eine Übertragung unterbrochen wird. Ich habe die partielle Option verwendet, aber rsync findet die Datei, die sie bereits gestartet hat, nicht, weil sie sie in eine temporäre Datei umbenennt, und wenn sie fortgesetzt wird, erstellt sie eine neue Datei und beginnt von vorne.

Hier ist mein Befehl:

rsync -avztP -e "ssh -p 2222" /volume1/ myaccont@backup-server-1:/home/myaccount/backup/ --exclude "@spool" --exclude "@tmp"

Wenn dieser Befehl ausgeführt ist, eine Sicherungsdatei OldDisk.dmg von meiner lokalen Maschine mit dem Namen auf dem entfernten Rechner als so etwas wie .OldDisk erstellt bekommen. dmg.SjDndj23.

Nun, wenn die Internetverbindung unterbrochen wird, und ich habe die Übertragung fortzusetzen, muss ich finden, wo rsync, indem du die temporäre Datei wie .OldDisk.dmg.SjDndj23 aus links und benennen Sie sie in OldDisk.dmg Damit es dort bereits existiert gibt es eine Datei, die es wieder aufnehmen kann.

Wie kann ich das beheben, damit ich nicht jedes Mal manuell eingreifen muss?

Answer 1

TL; DR: Verwendung --timeout=X (X in Sekunden), die Standard-Timeout rsync Server zu ändern, nicht --inplace.

Das Problem ist die Rsync-Server-Prozesse (von denen gibt es zwei, siehe rsync --server ... in ps Ausgabe auf dem Empfänger) weiter ausgeführt, um auf den Rsync-Client Daten senden zu warten.

Wenn die Rsync-Server-Prozesse Daten für eine ausreichende Zeit nicht erhalten, werden sie in der Tat Timeout, Selbst-beenden und Bereinigung durch Verschieben der temporären Datei auf seinen "richtigen" Namen (z. B. kein temporäres Suffix). Sie können dann fortfahren.

Wenn Sie nicht auf das lange Standard-Zeitlimit warten möchten, damit der rsync-Server sich selbst beendet, melden Sie sich bei Ihrer Internetverbindung beim Server an und bereinigen Sie die rsync-Serverprozesse manuell. Sie haben jedoch must politely terminate rsync - andernfalls wird die Teildatei nicht an Ort und Stelle verschoben; sondern löschen Sie es (und somit gibt es keine Datei zum Fortsetzen). Um rsync höflich zu bitten, zu beenden, tun Sie nicht SIGKILL (z. B.), aber SIGTERM (z. B. pkill -TERM -x rsync - nur ein Beispiel, sollten Sie darauf achten, nur die Rsync-Prozesse mit Ihrem Client entsprechen).

Zum Glück gibt es einen einfacheren Weg: Verwenden Sie die Option --timeout=X (X in Sekunden); Es wird auch an die rsync-Serverprozesse übergeben.

Wenn Sie beispielsweise rsync ... --timeout=15 ... angeben, werden die Client- und Server-rsync-Prozesse sauber beendet, wenn sie innerhalb von 15 Sekunden keine Daten senden/empfangen. Auf dem Server bedeutet dies das Verschieben der temporären Datei in die Position, bereit zum Fortsetzen.

Ich bin mir nicht sicher, der Standard-Timeout-Wert der verschiedenen rsync-Prozesse versuchen, Daten zu senden/empfangen, bevor sie sterben (es kann mit Betriebssystem variieren). In meinen Tests laufen die Server-rsync-Prozesse länger als der lokale Client. Bei einer "toten" Netzwerkverbindung endet der Client nach etwa 30 Sekunden mit einer unterbrochenen Pipe (z. B. kein Netzwerk-Socket); Sie könnten experimentieren oder den Quellcode überprüfen. Das heißt, Sie könnten versuchen, die schlechte Internetverbindung für 15-20 Sekunden "herauszufahren".

Wenn Sie die rsync-Prozesse des Servers nicht bereinigen (oder warten, bis sie absterben), aber stattdessen sofort einen anderen rsync-Clientprozess starten, werden zwei weitere Serverprozesse gestartet (für das andere Ende Ihres neuen Clientprozesses). Insbesondere wird der neue rsync-Client nicht wiederverwendet/erneut mit den vorhandenen rsync-Serverprozessen verbinden. Daher haben Sie zwei temporäre Dateien (und vier rsync-Serverprozesse) - allerdings werden nur die neueren, zweiten temporären Dateien mit neuen Daten geschrieben (die Sie von Ihrem neuen rsync-Client-Prozess erhalten haben).

Interessanterweise, wenn Sie dann alle Rsync-Server-Prozesse bereinigen (zum Beispiel stoppen Sie Ihren Client, der die neuen rsync-Server stoppen wird, dann SIGTERM die älteren rsync-Server scheint es alle Teildateien in zusammenzufügen Also stelle dir eine lang laufende Teilkopie vor, die stirbt (und du denkst, du hättest alle kopierten Daten "verloren"), und ein kurzes, erneut gestartetes rsync (oops!) .. du kannst die Sekunde anhalten Client, SIGTERM die ersten Server, werden die Daten zusammenführen, und Sie können wieder

schließlich ein paar kurze Bemerkungen:.

• Verwenden Sie nicht --inplace, um dies zu umgehen. Sie werden zweifellos andere Probleme als Ergebnis haben, man rsync für die Details.
• Es ist trivial, aber -t in Ihren rsync-Optionen ist redundant, es wird durch -a angedeutet.
• Ein bereits komprimiertes Disketten-Image, das über rsync ohne Komprimierung gesendet wird, kann zu einer kürzeren Übertragungszeit führen (durch Vermeidung doppelter Komprimierung). Allerdings bin ich mir in beiden Fällen nicht sicher über die Kompressionstechniken. Ich würde es testen.
• Soweit ich das verstehe --checksum/-c, wird es Ihnen in diesem Fall nicht helfen. Es beeinflusst, wie rsync entscheidet, ob eine Datei übertragen soll. Nach einem ersten rsync können Sie jedoch eine Sekunde rsync mit -c ausführen, um auf Prüfsummen bestehen, um den seltsamen Fall zu verhindern, dass Dateigröße und Modtime auf beiden Seiten gleich sind, aber schlechte Daten geschrieben wurden.

Answer 2

Ich fand, dass das Hinzufügen --inplace es behebt. Ich bin mir nicht sicher, wie - partial ohne es funktionieren soll, aber es hat meine Übertragungen wieder aufgenommen. Meine Dateien sind jedoch immer noch ziemlich groß und ich frage mich, ob ich am Ende beschädigte Dateien bekomme, wenn eine Übertragung beginnt und Stunden später eine andere Übertragung beginnt, aber eine unvollständige Datei sieht und nicht weiß, dass sie gerade hochgeladen wird es. Weiß jemand? Vielleicht etwas Bash-Scripting, um die aktuelle Prozess-ID zu protokollieren und keine weitere Übertragung zu starten?

Answer 3

Wenn Sie nach einem Lebenslauf Angst vor beschädigten Dateien haben, könnten Sie --checksum hinzufügen, um es zu zwingen, die gesamte Datei jedes Mal zu überprüfen. In der Tat wird es einige Disk-IO- und CPU-Zyklen kosten, aber nur einen geringen Netzwerk-Overhead.

Answer 4

Sorry aber die anderen Antworten hier sind zu kompliziert: -7. Eine einfachere Antwort für mich arbeiten: (mit rsync über -e ssh)

# optionally move rsync temp file, then resume using rsync 
dst$ mv .<filename>.6FuChr <filename> 
src$ rsync -avhzP --bwlimit=1000 -e ssh <fromfiles> <user@somewhere>:<destdir>/ 

funktioniert auch, wenn von einem scp wieder aufzunehmen, die unterbrochen wurde.

Rsync erstellt eine temporäre Datei ... Die temporäre Datei wächst schnell auf die Größe der teilweise übertragenen Datei. Die Übertragung wird fortgesetzt.

Scp schreibt in die tatsächliche Endzieldatei. Wenn die Übertragung unterbrochen wird, handelt es sich um eine abgeschnittene Datei.

Explaination von argumente:

-avhz .. h = humanoid, v = verbose, a = Archiv, z = Kompression .. Archiv weist es time_t Werte also, selbst wenn die Uhren sind aus rsync weiß das zu halten Echtheitsdatum jeder Datei

-P steht für --partial --progress. --partial teilweise rsync zu halten erzählt übertragene Dateien (und auf Lebenslauf wird verwenden rsync teilweise Dateien immer übertragen, nachdem sicher Prüfsummen)

Von Manpages: http://ss64.com/bash/rsync_options.html

--partial 
By default, rsync will delete any partially transferred file if the transfer 
is interrupted. In some circumstances it is more desirable to keep partially 
transferred files. Using the --partial option tells rsync to keep the partial 
file which should make a subsequent transfer of the rest of the file much faster. 

--progress 
This option tells rsync to print information showing the progress of the transfer. 
This gives a bored user something to watch. 
This option is normally combined with -v. Using this option without the -v option 
will produce weird results on your display. 

-P 
The -P option is equivalent to --partial --progress. 
I found myself typing that combination quite often so I created an option to make 
it easier. 

HINWEIS: für eine Verbindung, die ist mehrfach unterbrochen: Wenn Sie nach rsync (nach dem Abbruch der Verbindung) fortsetzen müssen, ist es am besten, die temporäre Datei am Ziel umzubenennen. scp erstellt eine Datei mit dem gleichen Namen wie die endgültige Datei. Wenn scp unterbrochen wird, ist diese Datei eine abgeschnittene Version der Datei. Ein rsync (-avzhP) wird von dieser Datei fortgesetzt, beginnt jedoch mit dem Schreiben in einen temporären Dateinamen wie YYG7AL.

Vorgehen bei der mit scp Start:

scp; *interrupt*; rsync; [REPEAT_as_needed: *interrupt*; mv .destfile.tmpzhX destfile; rsync;]. 

Vorgehen bei der mit rsync Start:

rsync; [REPEAT_as_needed: *interrupt*; mv .destfile.tmpzhX destfile; rsync;].