Geschätzte Gaußsche (Gemisch) Dichte aus einer Reihe von gewichteten Stichproben

Question

Angenommen, ich habe eine Reihe von gewichteten Stichproben, wobei jede Stichprobe ein entsprechendes Gewicht zwischen 0 und 1 hat. Ich möchte die Parameter einer Verteilung der Gauß'schen Verteilung schätzen ist auf die Proben mit höherem Gewicht ausgerichtet. Bei der üblichen nicht-gewichteten Fall-Gauß-Mischung wird die Schätzung über den EM-Algorithmus durchgeführt. Kennt jemand eine Implementierung (jede Sprache ist in Ordnung), die erlaubt, Gewichte zu übergeben? Wenn nicht, weiß jemand, wie man den Algorithmus ändert, um die Gewichte zu berücksichtigen? Wenn nicht, kann mir jemand einen Hinweis geben, wie man die Gewichte in die Anfangsformel der Maximum-Log-Likelihood-Formulierung des Problems einbaut?

Danke!

Answer 1

Nur ein Vorschlag, da keine anderen Antworten gesendet werden.

Sie könnten die normale EM mit GMM verwenden (OpenCV für ex. Hat viele Wrapper für viele Sprachen) und einige Punkte zweimal in den Cluster, den Sie "mehr Gewicht" haben wollen. Auf diese Weise würden die EM diese Punkte für wichtiger halten. Sie können die zusätzlichen Punkte später entfernen, wenn es darauf ankommt.

Ansonsten denke ich, das geht ziemlich extreme Mathematik, es sei denn, Sie haben einen starken Hintergrund in der erweiterten Statistik.

Answer 2

Sie können eine gewichtete logarithmische Likelihood-Funktion berechnen; multipliziere einfach jeden Punkt mit seinem Gewicht. Beachten Sie, dass Sie dafür die Funktion log-Likelihood verwenden müssen.

So reduziert sich Ihr Problem auf die Minimierung von $ - \ ln L = \ sum_i w_i \ ln f (x_i | q) $ (für das Originalformular siehe the Wikipedia article).

Answer 3

Ich hatte gerade das gleiche Problem. Obwohl der Beitrag älter ist, könnte er für jemand anderen interessant sein. Die Antwort von honk ist im Prinzip richtig, es ist einfach nicht sofort zu sehen, wie sich dies auf die Implementierung des Algorithmus auswirkt. Aus dem Wikipedia-Artikel für Expectation Maximization und einem sehr schönen Tutorial können die Änderungen leicht abgeleitet werden.

Wenn $ v_i $ das Gewicht des i-ten Samples ist, ändert sich der Algorithmus aus dem Tutorial (siehe Ende von Abschnitt 6.2.), So dass $ gamma_ {ij} $ mit diesem Gewichtungsfaktor multipliziert wird. Für die Berechnung der neuen Gewichte $ w_j $ muss $ n_j $ durch die Summe der Gewichte $ \ sum_ {i = 1}^{n} v_i $ statt nur n geteilt werden. Das ist es ...

Answer 4

Ich war auf der Suche nach einer ähnlichen Lösung in Bezug auf Gaussian Kernel Schätzung (anstelle einer Gaußschen Mischung) der Verteilung.

Der Standard gaussian_kde erlaubt es nicht, dass aber ich fand hier eine Python-Implementierung einer modifizierten Version http://mail.scipy.org/pipermail/scipy-user/2013-May/034580.html