Warum ist es möglich, in einem konvolutionellen neuronalen Netzwerk einen geringen Verlust, aber auch eine sehr geringe Genauigkeit zu erreichen?

Question

Ich bin neu im maschinellen Lernen und versuche derzeit, ein Faltungsneuronetz mit 3 Faltungsschichten und 1 vollständig verbundenen Schicht zu trainieren. Ich verwende eine Abbruchwahrscheinlichkeit von 25% und eine Lernrate von 0,0001. Ich habe 6000 150x200 Trainingsbilder und 13 Ausgabeklassen. Ich benutze Tensorflow. Ich bemerke einen Trend, bei dem mein Verlust stetig abnimmt, aber meine Genauigkeit steigt nur geringfügig und fällt dann wieder ab. Meine Trainingsbilder sind die blauen Linien und meine Validierungsbilder sind die orangefarbenen Linien. Die x-Achse ist Schritte.

Ich frage mich, ob es etwas gibt, was ich nicht verstehe oder was könnte mögliche Ursachen für dieses Phänomen sein? Aus dem Material, das ich gelesen habe, nahm ich an, dass ein geringer Verlust eine hohe Genauigkeit bedeutet. Hier ist meine Verlustfunktion.

cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(pred, y)) 

Answer 1

, dass, weil Verlust ist und Genauigkeit sind zwei völlig verschiedene Dinge (und zumindest logisch)!

Betrachten wir ein Beispiel, wo Sie loss wie definiert haben:

loss = (1-accuracy) 

In diesem Fall, wenn Sie versuchen, automatisch loss, accuracy steigt zu minimieren.

nun ein weiteres Beispiel überlegen, wo Sie loss wie definieren:

loss = average(prediction_probabilities) 

Obwohl es keinen Sinn macht, ist es technisch noch eine gültige Verlustfunktion und Ihre weights werden noch abgestimmt, um auf solche zu minimieren loss.

Aber wie Sie sehen können, gibt es in diesem Fall keine Beziehung zwischen loss und accuracy, so dass Sie nicht erwarten können, beide gleichzeitig zu erhöhen/zu verringern.

Hinweis: Loss wird immer minimiert (daher sinkt Ihre loss nach jeder Iteration)!

PS: Bitte aktualisieren Sie Ihre Frage mit der loss Funktion, die Sie versuchen zu minimieren.

Answer 2

softmax_cross_entropy_with_logits() und die Genauigkeit sind zwei verschiedene Konzepte mit verschiedenen Formeldefinitionen. Unter normalen Umständen könnten wir höhere Genauigkeit erwarten, wenn wir die Softmax-Kreuzentropie minimieren, aber sie werden auf unterschiedliche Weise berechnet, sodass wir nicht erwarten konnten, dass sie immer synchron erhöht oder verringert werden.

Wir verwenden die Softmax-Cross-Entropie in CNN, weil sie für das Training neuraler Netzwerke effektiv ist. Wenn wir die Loss = (1-Genauigkeit) als Loss-Funktion verwenden, ist es sehr schwierig, durch die Anpassung der Gewichte für unser CNN-Neuralnetz mit unseren aktuellen ausgereiften Backprognation-Trainingslösungen ein besseres Ergebnis zu erzielen, das habe ich wirklich getan und diese Schlussfolgerung bestätigt Probieren Sie es selbst aus. Vielleicht ist es durch unsere aktuelle schlechte Backprognation Training Lösung verursacht, vielleicht ist es durch die Definition unserer Neuronen verursacht (wir müssen es auf einige andere Arten Neuron ändern?), Aber sowieso, derzeit, die Genauigkeit in der Verlust-Funktion ist kein effektiver Weg für Neuronennetzwerktraining, also benutze einfach softmax_cross_entropy_with_logits(), wie uns diese KI-Wissenschaftler gesagt haben, sie haben bereits bestätigt, dass dieser Weg effektiv ist, für andere Wege kennen wir sie noch nicht.