Wie beschleunigt man das Laden von Bildern in Caffe?

Question

Während ein CNN mit caffe Training, zwischen jeder Iteration ausgedruckt, ich zwischen 3 und 5 Wiederholungen der Warnung:

blocking_queue.cpp:50] Waiting for data 

ich die Standardeinstellungen caffe, dass verwende ich eine LMDB Datenbank unter Verwendung das bereitgestellte Skript. Die Bilder sind 200x200px Tifs, etwa 30-50kB vor dem Laden in die lmdb.

Wie soll ich diagnostizieren, wo die Verlangsamung ist? I.e. welcher Teil der Hardwarekette muss aktualisiert werden, oder was kann ich mit Software tun, um die Verarbeitung zu beschleunigen. Ich benutze GeForce GTX 980 GPUs mit CUDA Version 7.5.18.

Answer 1

Dies ist wahrscheinlich ein Problem mit Ihrer I/O-Kette. Verfügen Sie über eine Anwendung, um die E/A-Fähigkeit des Geräts zu überwachen? Gibt es eine langsame Antwort zur gleichen Zeit wie "Warten auf Daten"? Eine mögliche Problemumgehung besteht darin, die Stapelgröße zu erhöhen: Wenn Sie mehrere Daten gleichzeitig einlesen, bleibt Ihr Modell länger beschäftigt und die I/O-Routinen haben mehr Zeit, den nächsten Datenblock abzurufen.