Wie große Objekte in .NET serialisieren? (OutOfMemory Exceptions)

Question

Ich verwende Serialisierung für "Speichern" -Feature in meiner Anwendung. Aber wenn die Daten zu groß sind (15+ MB), fange ich an, OutOfMemory-Ausnahmen zu bekommen.

Ich habe so viele Objekte und sie sind mit anderen kleinen Objekten verbunden, ich denke, das verursacht zu viel Rechenleistung und Daten im Speicher.

Mein Code wird auf dieser Basis, fast gleich:

http://www.codeproject.com/KB/vb/TreeViewDataAccess.aspx

Edit:

1. ich benutzerdefinierte Serialisierung nicht verwenden, es ist alles getan, indem [Serialisierung] Attribute . Einige Felder ausschließen.

2. Ich serialisieren so viele Objekte und benutzerdefinierte Klassen. Enthält Wörterbuch, Strukturen und eine Menge anderer Sachen.

3. Ich serialisieren es in eine Datei.

4. Ich verwende XmlSerializer

P. S. Ich habe 4 GB physischen Speicher.

Lösung

Dank Antworten wurde mein Problem mit XmlSerializer sein gefunden und ich habe loswerden es. Binäre Serialisierung funktioniert gut mit den Daten, die ich habe.

Answer 1

15MB sollte Ihnen kein OOM geben.

Wenn die Daten baumartig sind (statt einer vollständigen Grafik), könnten Sie einen Serializer wie protobuf-net; Es nutzt nicht nur das sehr effiziente binäre "Protokollpuffer" -Format von Google (sowohl Geschwindigkeit als auch Arbeitsspeicher), es benötigt auch kein Referenz-Tracking (wird für Grafiken benötigt) - das bedeutet, dass es sich nur einmal um Daten kümmern muss (zweimal wenn dies der Fall ist) gepuffert werden).

Dies erfordert jedoch unterschiedliche Markup für Ihre Klassen (oder zumindest ein "Opt-in") - und es wird nicht vollständige Grafiken behandeln. Aber es ist da und frei ...

Answer 2

Sie könnten Ihre eigenen Serialisierungsroutinen schreiben und sehen, ob Sie durch die manuelle Anpassung Ihres Serialisierungsprozesses Leistungsvorteile erzielen können. Weitere Details finden Sie unter MSDN page on Custom Serialization.

Answer 3

Vielleicht können Sie uns ein bisschen mehr Details darüber geben, wie die Serialisierung gemacht wird. Verwenden Sie eine benutzerdefinierte Serialisierung? Oder verwenden Sie einfach das integrierte Attribut [Serialisierung]?

Ich denke, dass ein guter Weg für Sie, dies zu tun ist zu versuchen, Ihre benutzerdefinierte Serialisierungslogik zu tun und nur nur was Sie brauchen serialisieren, es kann nicht auf 4GB gehen, es hängt auch davon ab, wie viel Memeory Ihre Anwendung hat zugewiesen.

Answer 4

Eigentlich ignoriert XmlSerializer die SerializableAttribute-Attribute. Sie werden nur von den Formatierungsklassen (BinaryFormatter, SoapFormatter) verwendet.

Ich würde nicht mit dem XmlSerializer serialisieren, und vor allem keine Kombination von XmlSerializer und BinaryFormatter.

Ich würde einfach versuchen, alles mit dem BinaryFormatter zu serialisieren.

Answer 5

Mit all den Ansätzen, die hier erwähnt werden, geht die Leichtigkeit des Dumpings großer Objekte auf die Festplatte und Wiederherstellung verloren. Außerdem unterstützen diese nur Dump-Datentypen. Daher können Referenztypen nicht so einfach wie mit BinaryFormatter ausgegeben werden.

Auch die Komprimierung mit gzip oder 7-Zip vor der binären Formatierung von großen Objekten tatsächlich bewegen die Größe über 16 MB zu etwas wie 32 MB.

Answer 6

Ich hatte genau das gleiche Problem. Der Grund ist, dass .NET Serialisierung nicht skaliert.

löste ich das Problem von Simon Hewitt ausgezeichnete offene -Source-Bibliothek verwenden, Optimizing Serialization in .NET - part 2 sehen.

Neben der drastischen Reduzierung der Speicherauslastung ist es auch viel schneller . Ähnlich wie beim Artikel habe ich eine Beschleunigung von 20 Mal bekommen.

Answer 7

Sie könnten herunterladen JSON.NET Bibliothek, die in meinem Projekt mehr als 100 MB Daten Serialisierung und Deserialisierung funktioniert.

für die Serialisierung können Sie wie

arbeiten Wenn Sie Object Verwendung Textwriter

using (TextWriter textWriter = File.CreateText("LocalJsonFile.json")) 
{ 
    var serializer = new JsonSerializer(); 
    serializer.Serialize(textWriter , yourObject); 
} 

haben Wenn Sie Zeichenfolge Verwendung String

StringBuilder sb = new StringBuilder(); 
    StringWriter sw = new StringWriter(sb); 

    using(JsonWriter textWriter = new JsonTextWriter(sw)) 
    { 
    var serializer = new JsonSerializer(); 
    serializer.Serialize(textWriter, yourObject); 
    } 

Dies kann für Sie arbeiten.