Kreuzvalidierung in Weka

Question

ich immer von gedacht habe, was ich gelesen, dass Kreuzvalidierung wie folgt durchgeführt:

In k-fache Kreuzvalidierung, ist die ursprüngliche Probe zufällig in k Teilproben aufgeteilt. Von den k Teilproben wird eine einzige Teilstichprobe als Validierungsdaten zum Testen des Modells beibehalten, und die verbleibenden k - 1 Teilproben werden als Trainingsdaten verwendet. Der Kreuzvalidierungsprozess wird dann k mal wiederholt (die Falten), wobei jede der k Teilproben genau einmal als Validierungsdaten verwendet wird. Die k ergibt sich aus den Faltungen können dann gemittelt werden (oder anderweitig kombinierte)

eine einzige Schätzung

So k Modelle gebaut werden und die letzte ist die durchschnittliche derer herzustellen. In Weka wird geschrieben, dass jedes Modell immer mit ALLEN Datensätzen erstellt wird. Wie funktioniert die Kreuzvalidierung in Weka? Wird das Modell aus allen Daten erstellt und bedeutet die "Kreuzvalidierung", dass k falte erstellt wird, dann wird jede Falte auf ihr ausgewertet und das endgültige Ausgabeergebnis ist einfach das gemittelte Ergebnis aus Falten?

Answer 1

So, hier ist das Szenario noch einmal: Sie 100 markierten Daten

verwenden Trainingssatz

• weka nehmen 100 markierten Daten
• es einen Algorithmus anwenden wird einen Klassifikator bauen aus diesen 100 Daten
• gilt es, dass Klassifikator wieder auf diese 100 Daten
• es gilt bietet Ihnen die Leistung des Sichter (auf die gleichen 100-Daten angewendet, von dem es war entwickelt)

Verwendung 10-fach CV

• Weka nimmt 100 markierten Daten

• es produziert 10 gleich große Sätze. Jeder Satz ist in zwei Gruppen unterteilt: 90 markierte Daten werden für das Training verwendet und 10 markierte Daten werden zum Testen verwendet.

• Es erzeugt einen Klassifikator mit einem Algorithmus aus 90 beschrifteten Daten und wendet diesen auf die 10 Testdaten für Gruppe 1 an.

• Es tut dasselbe für Set 2 bis 10 und produziert 9 weitere Klassifikatoren

• es mittelt die Leistung der 10 Klassifizierer 10 gleich große (90 Ausbildung und 10 Tests) hergestellt setzt

Lassen Sie mich wissen, ob das Ihre Frage beantwortet.

Answer 2

Weka folgt der konventionellen k-fachen Kreuzvalidierung, die Sie hier erwähnt haben. Sie haben den vollständigen Datensatz und teilen ihn dann in k nos mit gleichen Mengen (k1, k2, ..., k10 zum Beispiel für den 10-fachen CV) ohne Überlappungen. Dann nimm beim ersten Lauf k1 bis k9 als Trainingssatz und entwickle ein Modell. Verwenden Sie dieses Modell auf K10, um die Leistung zu erhalten. Als nächstes kommen k1 bis k8 und k10 als Trainingssatz. Entwickeln Sie ein Modell von ihnen und wenden Sie es auf k9 an, um die Leistung zu erhalten. Verwenden Sie auf diese Weise alle Falten, bei denen jede Faltung höchstens einmal als Testmenge verwendet wird.

Dann Weka mittelt die Leistungen und präsentiert das auf dem Ausgabefenster.

Answer 3

Ich denke, ich habe es herausgefunden. Nehmen Sie zum Beispiel weka.classifiers.rules.OneR -x 10 -d outmodel.xxx. Dies macht zwei Dinge:

1. Es erstellt ein Modell auf der Grundlage der vollständigen Datenmenge. Dies ist das Modell, das in outmodel.xxx geschrieben wird. Dieses Modell ist nicht im Rahmen der Kreuzvalidierung verwendet.
2. Dann wird Kreuzvalidierung ausgeführt. Bei der Kreuzvalidierung werden (in diesem Fall) 10 neue Modelle mit dem Training und dem Testen von Segmenten der Daten, wie beschrieben, erstellt. Der Schlüssel ist, dass die in der Kreuzvalidierung verwendeten Modelle nur temporär sind und nur zur Erstellung von Statistiken verwendet werden. Sie sind nicht äquivalent zu oder werden für das Modell verwendet, das dem Benutzer gegeben wird.

Answer 4

ich in einem Kommentar geantwortet hätte, aber mein Ruf erlaubt mir noch nicht zu:

Neben akzeptierte Antwort des Rushdi, möchte ich, dass die Modelle betonen, die für die Kreuzvalidierung geschaffen Faltungssätze werden alle verworfen, nachdem die Leistungsmessungen durchgeführt und gemittelt wurden.

Das resultierende Modell ist immer basierend auf dem vollständigen Trainingssatz, unabhängig von Ihren Testoptionen. Da M-T-A nach einer Aktualisierung des zitierten Links gefragt hat, ist es hier: http://list.waikato.ac.nz/pipermail/wekalist/2009-December/046633.html. Es ist eine Antwort von einem der WEKA-Betreuer, die genau darauf hinweisen, was ich geschrieben habe.