Erstellen eines Entscheidungsbaums

Question

Beim Erstellen eines Entscheidungsbaums wählen wir an jedem Knoten das beste Merkmal und dann die beste Teilungsposition für dieses Merkmal aus. Wenn jedoch alle Werte für das beste Feature für Samples im aktuellen Knoten/Satz 0 sind, was kann ich tun? Alle Samples werden weiterhin auf einer Seite gruppiert (der < = 0-Zweig), und eine Endlosschleife tritt auf. Zum Beispiel:

#left: 1500, #right: 0 

dann,

#left: 1500, #right: 0 

und so weiter ...

Nur als Referenz, verfolge ich den folgenden Pseudo-Code.

GrowTree(S) 
if (y_i = C for all i in S and some class C) then { 
return new leaf(C)        
} else { 
choose best splitting feature j and splitting point beta (*) 
I choose the one that gives me the max entropy drop 
S_l = {i : X_ij < beta}       
S_r = {i : X_ij >= beta} 
return new node(j, beta, GrowTree(S_l), GrowTree(S_r)) 

}

Answer 1

Das ist einfach unmöglich. Sie sollten die Schwelle wählen, die zum größten Anreiz der Modellsicherheit führt. Die Verwendung des Schwellenwerts, der jede einzelne Instanz in den gleichen Zweig versetzt, erhöht die Modellgewissheit um 0, daher ist dies nicht die beste Aufteilung. Dies sollte genau dann passieren, wenn die Unreinheit/Entropie in diesem Merkmal bereits 0 ist, aber dann ist es ein Stoppkriterium für das Erstellen von Blättern im Entscheidungsbaum.