Wie wird die Qualität von xgboost berechnet?

Question

Könnte jemand erklären, wie die Spalte Quality im xgboost R-Paket in der xgb.model.dt.tree-Funktion berechnet wird?

In der Dokumentation heißt es, dass Quality "ist die Verstärkung in Bezug auf die Aufteilung in diesem spezifischen Knoten".

Wenn Sie den folgenden Code ausführen, für diese Funktion in der xgboost Dokumentation gegeben, Quality für Knoten 0 von Baum 0 4000,53, aber ich berechnen die Gain als 2002,848

data(agaricus.train, package='xgboost') 

    train <- agarics.train 

    X = train$data 
    y = train$label 

    bst <- xgboost(data = train$data, label = train$label, max.depth = 2, 
        eta = 1, nthread = 2, nround = 2,objective = "binary:logistic") 

    xgb.model.dt.tree(agaricus.train$data@Dimnames[[2]], model = bst) 

    p = rep(0.5,nrow(X)) 

    L = which(X[,'odor=none']==0) 
    R = which(X[,'odor=none']==1) 

    pL = p[L] 
    pR = p[R] 

    yL = y[L] 
    yR = y[R] 

    GL = sum(pL-yL) 
    GR = sum(pR-yR) 
    G = sum(p-y) 

    HL = sum(pL*(1-pL)) 
    HR = sum(pR*(1-pR)) 
    H = sum(p*(1-p)) 

    gain = 0.5 * (GL^2/HL+GR^2/HR-G^2/H) 

    gain 

Ich verstehe, dass Gain gegeben durch die folgende Formel:

Da wir log Verlust verwenden, G ist die Summe aus p-y und H ist die Summe von p(1-p) - Gamma und Lambda in diesem Fall sind beide Null.

Kann jemand identifizieren, wo ich falsch liege?

Dank

Answer 1

OK, ich glaube, ich gearbeitet habe aus. Der Wert für reg_lambda nicht standardmäßig 0 ist, wie in der Dokumentation gegeben, aber tatsächlich 1 (von param.h)

Auch scheint es, dass der Faktor von einem halben nicht angewandt wird, wenn die Berechnung gewinnen, also ist die Spalte Qualität doppelt so hoch wie erwartet. Schließlich ich glaube nicht, dass gamma auch (auch min_split_loss genannt) wird auf diese Berechnung angewandt entweder (von update_hitmaker-inl.hpp)

Stattdessen wird Gamma verwendet, um zu bestimmen, ob Beschneidung berufen, aber wird nicht in der Gewinnberechnung selbst reflektiert, wie die Dokumentation vorschlägt.

Wenn Sie diese Änderungen zu übernehmen, erhalten Sie in der Tat 4.000,53 als Quality für Knoten 0 von 0 Baum, wie in der ursprünglichen Frage. Ich werde das als Problem an die xgboost-Leute richten, damit die Dokumentation entsprechend geändert werden kann.