Bereich der möglichen Werte für Alpha, Gamma und Eta Parameter HLDA Mallet Implementierung

Question

Ich versuche, die Hlda Algorytmm ausführen und erstellen eine beschreibende Hierarchie der Eingabedokumente. Das Problem ist, dass ich verschiedene Parameterkonfigurationen durchführe und versuche zu verstehen, wie es auf "empirische Weise" funktioniert, weil ich nicht mit denen übereinstimmen kann, die in den Originalarbeiten verwendet werden (ich verstehe, dass es ein anderes Team ist). Z.B. Alpha in Mallet scheint Eta in der Zeitung zu sein, aber ich bin mir nicht sicher. Außerdem kann ich nicht die Grenzen für jeden von ihnen kennen. Ich meine, der Bereich möglicher Werte für jeden Parameter.

Im Quellcode, gibt es einige Hilfe:

double alpha; // smoothing on topic distributions 
double gamma; // "imaginary" customers at the next 
double eta; // smoothing on word distributions. 

Zuerst habe ich die Standardwerte verwendet: alpha = 10,0; gamma = 1,0; eta = 0,1;

Dann habe ich versucht, den Algorithmus zu laufen, indem ich die Werte ändere und die Ergebnisse interpretiere, aber ich kann ihre Bedeutung nicht verstehen. Z.B. Ich denke, das Ändern von Gamma (in Mallet) hat Auswirkungen auf die Kundenentscheidung: einen neuen Knoten im Baum zu beginnen oder ihn in einen bestehenden zu setzen. Also, wenn ich Gamma = 0,5 einstelle, sollten weniger Knoten erzeugt werden, weil 0,5 die Hälfte der Wahrscheinlichkeit des Standard-Wertes ist, richtig? Aber die Ergebnisse mit Gamma = 1 geben mir 87 Knoten, und mit Gamma = 0.5 gibt es 98 zurück! Und dann frage ich mich etwas Neues: Ist das eine Wahrscheinlichkeit? Ich habe versucht, den Bereich der möglichen Werte in diesen beiden Papiere zu finden, aber ich habe sie nicht gefunden:

1. Hierarchical Topic Models andthe Nested Chinese Restaurant Process
2. The Nested Chinese Restaurant Process and BayesianNonparametric Inference of Topic Hierarchies

Ich weiß, ich könnte etwas fehlen, weil ich Ich habe hier keinen guten Hintergrund, aber darum frage ich hier, vielleicht hatte schon jemand dieses Problem und kann mir helfen, diese Grenzen zu verstehen.

Vielen Dank im Voraus!

Answer 1

Es kann hilfreich sein, mehrere Male mit jeder Hyperparametereinstellung auszuführen. Ich vermute, dass Gamma keinen großen Einfluss auf die endgültige Anzahl von Themen hat und dass das, was Sie sehen, nur eine typische Variabilität im Stichprobenprozess sein könnte.

Nach meiner Erfahrung ist der Parameter, der bei weitem den stärksten Einfluss auf die Anzahl der Themen hat, tatsächlich eta, das Thema Wortglättung.