Windows Azure Cloud Storage - Auswirkungen der großen Anzahl von Dateien im Stammverzeichnis

Question

Entschuldigung, wenn ich etwas von der Terminologie hier falsch verstehe, aber hoffentlich bekommen Sie, was ich meine.

Ich verwende Windows Azure Cloud Storage, um eine große Menge an kleinen Dateien (Bilder, jeweils 20Kb) zu speichern.

Momentan sind diese Dateien alle im Stammverzeichnis gespeichert. Ich verstehe, dass es kein normales Dateisystem ist, also ist Root vielleicht nicht der richtige Begriff.

Ich habe versucht, Informationen über die langfristigen Auswirkungen dieses Plans zu finden, aber ohne Glück, also wenn jemand mir einige Informationen geben kann, wäre ich dankbar.

Im Grunde werde ich auf Probleme stoßen, wenn die Anzahl der in dieser Wurzel gespeicherten Dateien in den Hunderttausenden/Millionen endet?

Danke,

Steven

Answer 1

Ich war in einer ähnlichen Situation, wo wir ~ 10M kleine Dateien in einem Blob-Container gespeichert haben. Der Zugriff auf einzelne Dateien über Code war in Ordnung, und es gab keine Leistungsprobleme.

Wo wir Probleme hatten, war mit der Verwaltung, dass viele Dateien außerhalb des Codes. Wenn Sie einen Speicher-Explorer verwenden (entweder den, der mit VS2010 oder einem der anderen ausgeliefert wird), unterstützen die, die ich gefunden habe, die Rückgabedateien nicht mit der Präfix-API, sondern nur die ersten 5K und dann die nächsten 5K und so weiter. Sie können sehen, wie dies ein Problem sein könnte, wenn Sie die 125.000. Datei in dem Container anzeigen möchten. Das andere Problem ist, dass es keine einfache Möglichkeit gibt, herauszufinden, wie viele Dateien sich in Ihrem Container befinden (was wichtig sein kann, um genau zu wissen, wie viel der gesamte Blobspeicher Sie kostet), ohne etwas zu schreiben, das einfach über iteriert alle Blobs und zählt sie.

Dies war ein einfaches Problem für uns zu lösen, da unsere Blobs sequentielle numerische Namen hatten, also haben wir sie einfach in Ordner mit je 1k Elementen aufgeteilt. Abhängig davon, wie viele Gegenstände Sie haben, können Sie 1K dieser Ordner in Unterordner gruppieren.

Answer 2

http://social.msdn.microsoft.com/Forums/en-US/windowsazure/thread/d569a5bb-c4d4-4495-9e77-00bd100beaef

Kurze Antwort: Nein

Medium Antwort: kindof?

Lange Antwort: Nein, aber wenn Sie nach einer Dateiliste suchen, wird nur 5000 zurückgegeben. Sie müssen alle 5k erneut abfragen, um eine vollständige Auflistung gemäß dieser MSDN-Seite zu erhalten.

Bearbeiten: Root funktioniert gut für die Beschreibung. 99,99% der Leute werden genau wissen, was Sie sagen wollen.