Die de-facto-Algorithmus für die Ausbildung tief neuronalen Netze ist die Back-Propagation Algorithmus. Es beinhaltet die Berechnung von Jacobi-Matrizen auf verschiedenen Ebenen des Netzwerks und die Multiplikation dieser Matrizen. Die Matrixmultiplikation Schritt ist, wo GPUs CPUs überstrahlen, da die beteiligten Operationen strukturiert sind und die komplexe Maschinerie (wie Verzweigungsvorhersage, Out-of-Order-Planung) in CPUs nicht benötigen. Als Nebeneffekt könnte man argumentieren, dass CPUs bei der Matrixmultiplikation viel besser geworden sind, indem Techniken wie Cache-Blockierung, Prefetching und handcodierte Assemblierung verwendet wurden.
Neben dem Training nutzt der Inferenzteil für die neuronalen Netze auch eine effiziente Matrixmultiplikation aus. Dies liegt daran, dass die Eingaben für verschiedene Schichten und die Gewichtungs- (Parameter-) Vektoren üblicherweise in Tensorform gespeichert sind.
Ein weiterer Vorteil der Verwendung von Grafikprozessoren ist die bessere Speicherbandbreite. GDDR5x erreicht fast 500 GB/s, verglichen mit ~ 80-100 GB/s, die DDR4 auf dem neuesten Stand der Technik bietet. Sie erhalten also einen ca. 5-fachen Faktor der Bandbreitenverbesserung, den die speicherintensiven Neuralnetz-Berechnungen nutzen können.
Deep Learning (und AI) beruhen stark auf Matrizen und Matrixoperationen (d. H. Lineare Algebra). Matrix-Ops können stark parallelisiert werden und können Hunderte von Threads nutzen (man denke beispielsweise an die Multiplikation von zwei Matrizen) - und das ist es, wo GPUs sehr gut sind (denke auch, Memory-Bandwidth mit GPU) – rbm