Dateireplikationslösungen

Question

Denken Sie an einen von Windows gehosteten Buildprozess, bei dem regelmäßig Dateien auf die Festplatte kopiert werden, um sie auf mehreren anderen Windows-Servern im selben Datencenter zu replizieren. Die anderen Computer würden IIS ausführen und diese Dateien für die Massen bereitstellen.

Die gesamte Korpusgröße wäre Millionen von Dateien, 100 GB Daten. Es müsste mit möglichen Konflikten auf den Zielservern umgehen, latente Links, z.B. über ein WAN, Kaltstart sauber Servers

Lösungen ich bisher gedacht habe:

• queue'd System und Dämonen entweder wake regelmäßig kopieren oder als Dienst ausgeführt werden.
• SAN - teuer, komplex, teurer
• ROBOCOPY, auf einem zeitlich abgestimmten Job - einfach aber effektiv. Viele interne/unbestimmte Zustände, z.B. wo es bei Kopieren ist, Fehler
• von der Stange repl. Software - weniger teuer als SAN, aber immer noch teuer
• UNC freigegebene Ordner und keine Repl. Höhere Latenzzeiten, geringere Kosten - benötigen immer noch eine Clustering-Lösung.
• DFS-Replikation.

Was haben noch andere Leute benutzt?

Answer 1

Ich habe Rsync-Skripte mit gutem Erfolg für diese Art von Arbeit verwendet, 1000 von Maschinen in unserem Fall. Ich glaube, es gibt einen rsync-Server für Windows, aber ich habe ihn nicht auf etwas anderem als Linux verwendet.

Answer 2

Wir verwenden ROBOCOPY in meiner Organisation, um Dateien herumzugeben. Es läuft sehr nahtlos und ich empfinde es als eine Empfehlung wert.

Außerdem machst du nichts zu verrückt. Wenn Sie auch mit Perl vertraut sind, bin ich sicher, dass Sie ein schnelles Skript schreiben könnten, das Ihre Bedürfnisse erfüllt.

Answer 3

Obwohl wir diese Millionen Giga an Daten nicht verwalten müssen, senden und sammeln wir über Nacht viele Dateien zwischen unserem Hauptunternehmen und seinen Vertretungen im Ausland. Wir verwenden allwaysync seit einiger Zeit. Es erlaubt Ordner/FTP-Synchronisation. Es hat eine nette Schnittstelle, die Ordner und Dateien Analyse und Vergleiche erlaubt, und es kann natürlich geplant werden.

Answer 4

UNC freigegebene Ordner und keine Replikation hat viele Nachteile, insbesondere wenn IIS UNC-Pfade als Home-Verzeichnisse für Websites verwenden wird. Unter Belastung werden Sie in http://support.microsoft.com/default.aspx/kb/810886 aufgrund der Anzahl der gleichzeitigen Sitzungen gegen den Server, der den Ordner freigegeben wird. Außerdem werden Sie langsame IIS-Site-Startups erleben, da IIS den UNC-Ordner scannen/indexieren/cachen (abhängig von IIS-Version und ASP-Einstellungen) wollen wird.

Ich habe Tests mit DFS gesehen, die sehr vielversprechend sind, zeigen keine der oben genannten Einschränkungen.