Feature-Auswahl in Wrapper-Methode und Informationsfilterung?

Question

Ich sehe ein Beispiel in der alten Mitte Prüfung von bekannten Person Tom Mitchell wie folgt:

Betrachten mit 1000 verfügt über insgesamt eine klassi fi er in einer Situation zu lernen. 50 von ihnen sind wirklich informativ über Klasse. Weitere 50 Features sind direkte Kopien der ersten 50 Features. Die letzten 900 Features sind nicht informativ. Angenommen, es gibt genügend Daten, um verlässlich zu beurteilen, wie nützlich die Merkmale sind, und die Merkmalsauswahlmethoden verwenden gute Schwellenwerte von .

How many features will be selected by mutual information filtering? 

Lösung: 100

How many features will be selected by a wrapper method? 

Lösung: 50

Meine Herausforderung besteht darin, wie diese Lösung erreicht wird? Ich versuche es sehr, kann aber die dahinter stehende Idee nicht verstehen.

Answer 1

How many features will be selected by mutual information filtering? 

Mutual Information Merkmalsselektion wertet die Kandidatur jeden Merkmal unabhängig. Da es im Wesentlichen 100 Funktionen gibt, die wirklich informativ sind, werden wir mit 100 Funktionen durch gegenseitige Informationsfilterung enden.

How many features will be selected by a wrapper method? 

Ein Wrapper Verfahren wertet eine Teilmenge von Merkmalen, damit es die Wechselwirkungen zwischen Eigenschaften berücksichtigt. Da 50 Funktionen sind direkte Kopien der anderen 50 Funktionen, die Wrapper-Methode ist in der Lage, herauszufinden, dass konditioniert auf die ersten 50 Funktionen, der zweite Satz von 50 Funktionen keine zusätzliche Informationen überhaupt hinzugefügt. Wir haben nach Filterung 50 Funktionen erhalten. Angenommen, der erste Satz von 50 Merkmalen ist A1, A2, ..., A50 und die Kopie der 50 Merkmale sind C1, C2, ..., C50. Das Endergebnis von ausgewählten Merkmalen könnte wie folgt aussehen:

A1, C2, A3, A4, C5, C6, ..., A48, A49, C50. 

So hat jede einzigartige Funktion ist nur ein Vorkommen (entweder aus dem Feature-Set von A oder aus dem Feature-Set von C) haben sollte.

Answer 2

Wie viele Funktionen werden durch gegenseitige Informationsfilterung ausgewählt?

Wenn wir nach der Frage Beschreibung gehen, sollten wir nur 50 Funktionen ausgewählt haben. Diese Filterung basiert jedoch auf der Korrelation mit der zu prognostizierenden Variablen. Und auch die Hauptnachteile der gegenseitigen Informationsfilterung ist sie neigen dazu, redundante Variablen zu wählen, weil sie die Beziehungen zwischen Variablen nicht berücksichtigt.

Wie viele Features werden von einer Wrapper-Methode ausgewählt?

Betrachten Sie es als Heuristische Suche Ansatz des Raumes aller möglichen Feature-Untergruppen. Per Definition "Eine Wrapper-Methode wertet eine Teilmenge von Features aus, sodass die Interaktionen zwischen Features berücksichtigt werden."

Beispiel: Hill Climbing, also halten Merkmale einer nach dem anderen hinzufügen, bis keine weitere Verbesserung erreicht werden kann

Da haben wir 50-Funktion, die die meisten Informationen haben, andere 50 eine Kopie der. Former und 900 Feature sind oder nicht verwendet, daher erhalten wir nur 50 Features.