Große Matrix-Multiplikation auf GPU

Question

Ich muss eine Matrix-Multiplikation auf GPU mit CUDA für große Matrizen implementieren. Die Größe jeder einzelnen Matrix ist größer als der GPU-Speicher. Also ich denke, ich brauche einen Algorithmus, um das effizient zu machen. Ich ging im Internet herum, konnte aber keine finden. Kann jemand mir den Namen oder die Verbindung solcher Algorithmen geben.

Danke

Answer 1

Es ist nicht wirklich ein formaler Algorithmus dafür ist; Im Allgemeinen werden diese Arten von Operationen der linearen Algebra, bei denen das gesamte Problem nicht gleichzeitig im Speicher gespeichert wird, als "out of core" -Operationen bezeichnet.

Um es zu lösen, brauchen Sie keinen besonders aufwendigen Algorithmus, nur die CUBLAS-Bibliothek und einen Stift und Papier. Zum Beispiel können Sie die Matrix Produkt wie dieses zersetzen:

, die Sie vier unabhängige Untermatrixmultiplikation Operationen gibt. Diese können mit vier Aufrufen von CUBLAS gemm unter Verwendung eines sehr einfachen Host-Codes berechnet werden. Sie können die Idee auf so viele Submatrizen erweitern, wie Sie benötigen, um die Problemgröße und die GPU-Kapazität zu erreichen. Das gleiche Prinzip kann auch verwendet werden, um Matrixmultiplikationsprobleme auf mehreren GPUs zu implementieren (siehe this question als Beispiel).

Als Alternative können Sie eine funktionierende Umsetzung dieser genauen Vorstellung in dem Harvard entwickelte SciGPU-GEMM Code-Basis und in dem HPL-CUDA linpack Implementierung finden (Disclaimer: Ich mit dieser Code-Basis angeschlossen bin).