A/B-Tests auf einer Nachrichten-Website zur Verbesserung der Relevanz

Question

Wenn Sie eine Nachrichtenwebsite betreiben, die eine Liste von 10 Top-Nachrichten erstellt, und Sie wollten Ihren Algorithmus optimieren und sehen, ob den Leuten der neue Topstory-Mix gefallen hat besser, wie würdest du das angehen?

Simple Klicken Sie auf die DB in Verbindung mit dem Posteintrag einloggen?

A/B-Tests, bei denen Sie eine Version des Algorithmus für Gruppe A und eine andere für Gruppe B anzeigen und die Klicks messen würden?

Auf welche Merkmale würden Sie Ihre Entscheidung stützen, ob die Änderungen besser waren?

Answer 1

A/B-Test scheint ein guter Anfang, und randomize die Teilnehmer. Sie müssen sich an sie erinnern, damit sie nie beide sehen.

Man könnte es wie ein Experiment Verhaltenspsychologie behandeln, machen einen T-Test-etc ...

Answer 2

Neben der Überwachung der Anzahl der Klicks, könnte es auch hilfreich sein, zu beobachten, wie lange sie auf die Geschichte schauen sie angeklickt. Es ist komplizierter Daten, bietet aber eine andere Ebene von Informationen. Sie würden dann nicht nur sehen, ob die Geschichten, die Sie ausgewählt haben, die Aufmerksamkeit des Benutzers auf sich ziehen, sondern auch, dass die Geschichten es behalten können.

Sie könnten statistische Analysen durchführen (d. H. T-Test wie Tim vorgeschlagen), aber Sie werden wahrscheinlich nicht niedrig genug von einer Standardabweichung in beiden Maßen zu Signifikanz zu beweisen. Obwohl es nicht wirklich wichtig ist: Alles, was Sie brauchen, ist, dass einer der Algorithmen eine höhere durchschnittliche Anzahl an Klicks und/oder Zeitaufwand aufweist. Keine Notwendigkeit, hoffentlich mit Hypothesentests herumzualbern.

Natürlich gibt es immer die Möglichkeit, den Benutzer einfach zu fragen, ob die Empfehlungen relevant sind, aber das ist für Ihre Situation möglicherweise nicht machbar.