Gibt es eine Ranking-Metrik basierend auf Prozentsätzen, die größere Größen bevorzugt?

Question

Ich habe zwei Gruppen, "in" und "out", und Item-Kategorien, die auf die Gruppen aufgeteilt werden können. Zum Beispiel kann ich Artikelkategorie A mit 99% "in" und 1% "out" und Artikel B mit 98% "in" und 2% "out" haben.

Für jedes dieser Elemente habe ich tatsächlich die Anzahl, die in/out sind. Zum Beispiel könnte A 99 Artikel in und 1 Artikel heraus haben, und B könnte 196 Artikel haben, die drin sind und 4, die aus sind.

Ich möchte diese Elemente auf der Grundlage des Prozentsatzes, der "in" ist, einstufen, möchte aber auch Elementen mit größeren Gesamtpopulationen Priorität einräumen. Dies liegt daran, dass ich mich auf Artikel konzentrieren möchte, die für die "in" -Gruppe sehr relevant sind, aber immer noch eine große Anzahl von Artikeln in der "out" -Gruppe haben, die ich verfolgen könnte.

Gibt es eine Art von Score, die das tun könnte?

Answer 1

Ich landete schließlich bayesian Lungs mit bis, die in this post. Die Technik empfohlen wurde, ist in this wikipedia article und beschrieben gründlich in this post by Evan miller und this post by Paul Masurel kurz beschrieben.

Bei der bayesischen Mittelung werden "vorherige Werte" verwendet, um den Zähler und den Nenner in Richtung der erwarteten Werte zu beeinflussen. Im Wesentlichen werden der erwartete Zähler und der erwartete Nenner zu dem tatsächlichen Zähler und Nenner addiert. In dem Fall, in dem der Zähler und der Nenner klein sind, haben die früheren Werte eine größere Auswirkung, weil sie einen größeren Anteil des neuen Zählers/Nenners repräsentieren. Wenn die Zähler und Nenner an Stärke zunehmen, nähert sich der bayesische Durchschnitt aufgrund des erhöhten Vertrauens dem tatsächlichen Durchschnitt.

In meinem Fall war der vorherige Wert für den Durchschnitt ziemlich niedrig, was einen Durchschnittswert mit kleinen Nennern nach unten brachte.

Answer 2

Ich wäre versucht, einen probabilistischen Rang — die Wahrscheinlichkeit, dass ein Artikel Kategorie aus der Gruppe mit den tatsächlichen Nummern für diese Kategorie ist. Dies erfordert, dass einige Annahmen über den Datensatz getroffen werden, einschließlich der Frage, warum eine Kategorie möglicherweise Einträge außerhalb der Gruppe enthält. Vielleicht werfen Sie einen Blick auf die binomial test oder die Mann-Whitney U test. Sie können sich auch andere Arten von nonparametric statistics ansehen.