Feedback oder Verstärkung beim maschinellen Lernen verwenden?

Question

Ich versuche ein Klassifikationsproblem zu lösen. Es scheint, dass viele klassische Ansätze einem ähnlichen Paradigma folgen. Trainieren Sie also ein Modell mit einem Trainingssatz, und verwenden Sie es, um die Klassenbezeichnungen für neue Instanzen vorherzusagen.

Ich frage mich, ob es möglich ist, einen Feedback-Mechanismus in das Paradigma einzuführen. In der Steuerungstheorie ist die Einführung einer Rückkopplungsschleife ein effektiver Weg, um die Systemleistung zu verbessern.

Momentan ist mir klar, dass wir zuerst mit einer Reihe von Instanzen beginnen und ein Modell mit ihnen trainieren. Jedes Mal, wenn das Modell eine falsche Vorhersage trifft, fügen wir die falsche Instanz in den Trainingssatz ein. Das ist anders als das Trainings-Set blind zu vergrößern, weil es mehr Targeting ist. Dies kann als eine Art negatives Feedback in der Sprache der Kontrolltheorie angesehen werden.

Gibt es Forschungsergebnisse zum Feedback-Ansatz? Könnte jemand etwas Licht werfen?

Answer 1

Ich habe eine solche Rückmeldung für jede Maschine-Learning-Projekt, an dem ich arbeitete. Es ermöglicht, mit weniger Daten zu trainieren (daher ist das Training schneller) als durch zufällige Auswahl von Daten. Die Modellgenauigkeit wird ebenfalls schneller verbessert als bei Verwendung von zufällig ausgewählten Trainingsdaten. Ich arbeite an Bildverarbeitungsdaten (Computer Vision), so dass eine andere Art von Auswahl, die ich mache, das Hinzufügen falscher (falscher) Clusterdaten ist, anstatt jede einzelne falsche Daten hinzuzufügen. Das liegt daran, dass ich davon ausgehe, dass ich immer einige Fehler haben werde. Meine Definition für positive Daten ist also, wenn sie im selben Bereich des Bildes gruppiert sind.

Answer 2

Es gibt zwei Bereiche der Forschung, die in den Sinn kommen.

Die erste ist Reinforcement Learning. Dies ist ein Online-Lernparadigma, mit dem Sie Feedback erhalten und Ihre Richtlinie (in diesem Fall Ihren Klassifikator) aktualisieren können, während Sie die Ergebnisse beobachten.

Die zweite ist active learning, wo der Klassifikator Beispiele aus einem Pool von nicht klassifizierten Beispielen auswählen kann, um beschriftet zu werden. Der Schlüssel ist, dass der Klassifikator die Beispiele für die Markierung wählt, die am besten seine Genauigkeit verbessern, indem er schwierige Beispiele unter der aktuellen Klassifikatorhypothese auswählt.

Answer 3

Ich sah this paper vor einiger Zeit, die zu sein scheint, was Sie suchen.

Sie sind im Grunde Modellierung Modellierungsprobleme wie Markov decision processes und Lösen mit der ACLA algorithm. Das Papier ist viel detaillierter als das, was ich hier schreiben könnte, aber letztendlich bekommen sie Ergebnisse, die die multilayer perceptron übertreffen, also sieht das wie eine ziemlich effiziente Methode aus.