Ich möchte etwas GPU-Computing mit einer NVIDIA-Karte machen und bin dabei, zwischen einer GTX 960 mit 2 GB oder 4 GB RAM zu entscheiden. Welchen sollte ich nehmen? Welchen Unterschied würden diese in Bezug auf die Chargengröße machen, die ich für den Mini-Batch-Gradienten-Abstieg verwenden kann? Wäre dieser Unterschied signifikant?GPU-Computing: Wie viel VRAM benötige ich für den Mini-Batch-Gradienten-Abstieg?
Vielen Dank für die Antworten.
Einer der teuersten Vorgänge ist die Verarbeitung von Daten zum/vom GPU-Gerät. Wenn Sie also mit Datensätzen> 2GB arbeiten, ist das größere Mem von großem Vorteil. Sie können entweder große Datenblöcke (einige Mehrfache der Minibatch-Größe) gleichzeitig speichern und/oder möglicherweise den gesamten gespeicherten Datensatz speichern, wenn eine häufige Auswertung erforderlich ist. Natürlich könnten Sie immer Async-Kopie zu/von GPU verwenden (wenn Gerät unterstützt) oder andere optimizations und sicherlich gut mit dem kleineren Mem; Dies führt jedoch zu zusätzlicher Komplexität, und alle Toolkits, die Sie verwenden (falls zutreffend), können diese Funktion möglicherweise nicht nutzen.