Warum Spektrogramme in neueren neuronalen Netzwerk-Spracherkennungssystemen verwenden?

Question

Warum Spektrogramme in neueren neuronalen Netzwerk-Spracherkennungssystemen (https://github.com/SeanNaren/CTCSpeechRecognition) verwenden, anstatt die Spektrogrammtransformation mit einer neuronalen Netzwerkschicht zu lernen?

Answer 1

Wenn Sie etwas über Funktionen wissen, ist es oft nützlich, diese Informationen zu verwenden, anstatt sich auf das Lernen zu verlassen.

Zum Beispiel ist bekannt, dass nur die Signalenergie für die Spracherkennung wichtig ist und die Signalphase nicht wichtig ist. Aus diesem Grund wird die Verwendung von Spektrogramm im Vergleich zu einfachem Signal bevorzugt, Sie verwenden nur wichtige Informationen und lassen sie nicht wichtig erscheinen. Die Energieberechnung erfordert ein Quadrat und es ist nicht einfach, mit einer einzelnen Ebene zu lernen, Sie benötigen entweder mehrere Ebenen oder Sie benötigen eine spezielle Nichtlinearität.

Es ist sogar noch besser, weiter zu gehen und log-filterbank zu verwenden, es produziert noch kompaktere Funktionen mit gleicher Vorhersagequalität.

Es gibt Fälle, in denen Phase wichtig ist, eine davon ist die Erkennung von gemischten Quellen, wo Sie Quellen basierend auf Phaseninformationen trennen können, etwas wie DIET-Algorithmus tut. Aber bis solche Probleme für die Spracherkennung in Betracht gezogen werden, wird das Spektrogramm verwendet.