Verwenden gängige Betriebssystem-Dateisysteme Hashwerte, um zu vermeiden, dass dieselben Inhaltsdaten mehr als einmal gespeichert werden?

Question

Viele Dateispeichersysteme verwenden Hashes, um eine Duplizierung derselben Dateiinhaltsdaten zu vermeiden (neben anderen Gründen), z. B. verwenden Git und Dropbox beide SHA256. Die Dateinamen und Daten können unterschiedlich sein, aber solange der Inhalt den gleichen erzeugten Hash erhält, wird er nie mehr als einmal gespeichert.

Es scheint, dass dies in einem Betriebssystem-Dateisystem sinnvoll wäre, um Platz zu sparen. Gibt es irgendwelche Dateisysteme für Windows oder * nix, die das tun, oder gibt es einen guten Grund, warum keiner von ihnen das tut?

Dies würde die Notwendigkeit für doppelte Dateifinder-Dienstprogramme größtenteils eliminieren, da zu diesem Zeitpunkt der einzige Speicherplatz, den Sie speichern würden, für den Dateieintrag im Dateisystem wäre, was für die meisten Benutzer nicht ausreicht bedeuten.

Edit: Wahrscheinlich könnte dies auf ServerFault gehen, aber ich denke, Entwickler sind eher zu verstehen, die Probleme und Kompromisse beteiligt.

Answer 1

ZFS unterstützt Deduplizierung seit dem letzten Monat: http://blogs.oracle.com/bonwick/en_US/entry/zfs_dedup

Obwohl ich dies ein „gemeinsames“ Dateisystem nicht nennen würde (afaik wird derzeit nur von * BSD unterstützt), es ist auf jeden Fall ein sich sehen.

Answer 2

Es würde Platz sparen, aber die Zeitkosten sind unerschwinglich. Die Produkte, die Sie erwähnen, sind bereits gebunden, so dass die Berechnungskosten von Hashing kein Flaschenhals sind. Wenn Sie auf Dateisystemebene hashen, werden alle io-Operationen, die bereits langsam sind, schlechter.

Answer 3

Es würde eine Menge Arbeit erfordern, um dies in einem Dateisystem zu erledigen. Erstens erstellt ein Benutzer möglicherweise eine Kopie einer Datei und plant, eine Kopie zu bearbeiten, während die andere intakt bleibt. Wenn Sie also die Duplizierung eliminieren, müsste die von Ihnen erstellte feste Verknüpfung eine COW-Semantik ergeben.

Zweitens basieren die Berechtigungen für eine Datei oft auf dem Verzeichnis, in dem der Name dieser Datei platziert wird. Sie müssen sicherstellen, dass beim Erstellen Ihrer versteckten festen Verknüpfung die Berechtigungen basierend auf dem Link und nicht nur auf dem Speicherort des tatsächlichen Inhalts korrekt angewendet wurden.

Drittens sind Benutzer wahrscheinlich verärgert, wenn sie (sagen wir) drei Kopien einer Datei auf physisch getrennten Medien machen, um Datenverlust durch Hardwarefehler zu verhindern, dann herauszufinden, dass es wirklich nur eine Kopie der Wenn diese Hardware fehlschlug, verschwanden alle drei Kopien.

Das erscheint mir ein bisschen wie ein Zweitsystem-Effekt - eine Lösung für ein Problem, lange nachdem das Problem aufgehört hat zu existieren (oder zumindest von Bedeutung). Mit Festplatten, die aktuell weniger als 100 US $/Terabyte verbrauchen, ist es schwer zu glauben, dass dies den meisten Menschen einen ganzen Festplattenplatz sparen würde. An diesem Punkt ist es schwer vorstellbar, dass sich die meisten Menschen viel kümmern.

Answer 4

NTFS hat single instance storage.

Answer 5

NetApp hat deduplication unterstützt (das ist, was sein in der Storage-Branche genannt) im WAFL Dateisystem (ja, nicht Ihr gemeinsames Dateisystem) für ein few years jetzt. Dies ist eine der wichtigsten Funktionen, die heute in den Enterprise-Dateisystemen zu finden sind (und NetApp unterscheidet sich dadurch, dass sie dies auf ihrem primary storage auch im Vergleich zu anderen ähnlichen Produkten unterstützen, die es nur auf ihrem Backup- oder Sekundärspeicher unterstützen; sie sind zu langsam für primäre Lager).

Die Menge der Daten, die in einem großen Unternehmen mit Tausenden von Benutzern doppelt vorhanden ist, ist atemberaubend. Viele dieser Benutzer speichern die gleichen Dokumente, den Quellcode usw. in ihren Home-Verzeichnissen. Reports of 50-70% data deduplicated wurden oft gesehen, Speichern lots of space und tons of money for large enterprises.

All dies bedeutet, dass Sie, wenn Sie ein gemeinsames Dateisystem auf einer von einem NetApp Filer exportierten LUN erstellen, Deduplizierung kostenlos erhalten, unabhängig davon, welches Dateisystem in dieser LUN erstellt wurde. Prost. Finden Sie heraus, wie es funktioniert here und here.

Answer 6

btrfs unterstützt Online-Deduplizierung von Daten auf Blockebene. Ich würde duperemove empfehlen, da ein externes Werkzeug benötigt wird.