Nvidia plant, ihrer neuen titan card- und zielorientierten Deep-Learning-Community Hardware-Unterstützung für Int8-Operationen hinzuzufügen. Ich versuche zu verstehen, wie nützlich es ist und welche Arten von Netzwerken davon profitieren und welche Phase (Training/Inferenz etc.).Wie Int8 (Byte) Operationen für Deep Learning nützlich sein können?
Ich weiß, dass FP16 anstelle von FP32 ist, was für DL nützlich sein sollte, aber nicht sicher, wie int8 könnte. Es gibt einige Forschungen, die Sie mit voller FP32-Genauigkeit trainieren und dann auf ein Byte runden können - aber das beschleunigt oder reduziert den Speicherbedarf für das Training nicht.
Sie haben wahrscheinlich diese Entscheidung (um Hardware-Beschleunigung von Int8 zu implementieren) basierend auf einigen Papieren oder Forschung. Was ist das?
das Pixel der meisten Eingangsbild 'int8' – kangshiyin