Model Compression warum funktioniert es sehr gut? Erklärung bitte

Question

Modellkompression: Lassen Sie mich das in einfachen Worten erklären.

Lets X_train (Features), Y_train (Ziel) die Trainingsdaten sein. Jetzt

X_train, Y_train ------> M1 (Example: decision tree) 

X_train --------> M1 ----> Y_pred (predicted Y for X_train) 

Case 1: 
    X_train, Y_pred -----------> M2 (Example: any model that is NOT decision tree) 

    X_train ---------------> M2 ----------> Y_pred1 

Case 2: 
    X_train, Y_train -----------> M2 (Example: any model that is NOT decision tree) 

    X_train ---------------> M2 ----------> Y_pred2 

Jetzt berechnen ich AUC-Score für M2.

Case 1: 
AUC (Y_pred, Y_pred1) 
Case 2: 
    AUC (Y_train, Y_pred2) 

Die AUC von Fall 1 ist höher als die AUC von Fall 2. Fall 1 heißt Modellkompression. Ich mag es, die Intuition dahinter zu bekommen. Natürlich wird AUC mit Wahrscheinlichkeiten berechnet.

Answer 1

Die Intuition hinter dem Ergebnis ist, dass die bedingte Entropie von Y_pred gegeben X_train ist Null. So kann M2 X_train-> Y_pred einfacher lernen als im zweiten Fall.