Wie man doppelte Empfehlungen in einem Online-Experiment für das Empfehlungssystem verarbeitet

Question

Ich bin dabei, ein Online-Benutzer-Experiment zu starten, um verschiedene Strategien des Empfehlungssystems zu vergleichen. Ich werde 18 Strategien vergleichen und jede Strategie ergibt fünf Empfehlungen, daher muss ich die Probanden bitten, insgesamt 90 Empfehlungen zu bewerten. Die Strategien machen jedoch doppelte Empfehlungen (d. H. Einige Empfehlungen erscheinen in verschiedenen Strategien).

(i) Im aktuellen Design enthält jede Seite fünf Empfehlungen, die von einer Strategie erstellt wurden. Nachdem ein Benutzer Bewertungen für alle eingegeben hat, wird eine weitere Seite angezeigt, auf der fünf Empfehlungen einer anderen Strategie angegeben sind. So sieht ein Benutzer manchmal Empfehlungen, die er bereits ausgewertet hat. Ich denke, dass dieses Design in früheren Arbeiten weit verbreitet ist, obwohl nicht ausführlich diskutiert wurde, wie doppelte Empfehlungen gehandhabt werden.

(ii) Oder ist es sinnvoll, zuerst alle eindeutigen Empfehlungen zu extrahieren, sie in verschiedene Seiten aufzuteilen und in zufälliger Reihenfolge anzuzeigen? Ich denke, dass dieses Design das Experiment kürzer macht. Aber dieses Design wurde nach meinem besten Wissen nicht benutzt.

Wenn Sie einen Vorschlag haben oder ein Papier dazu wissen, bitte geben Sie es mir.

Answer 1

Wenn diese Algorithmen unterschiedlich sind und sie die Empfehlungen auf andere Weise generieren, sollten Sie diese Empfehlungen, auch wenn sie ähnliche Empfehlungen generieren, unbedingt so beibehalten, als ob Sie sie nicht beibehalten würden. Dann haben Sie die Empfehlungsergebnisse für einige geändert Algorithmen und daher wird Ihr Experiment seine Solidität verlieren. Wenn sie ähnliche Empfehlungen generieren, bedeutet dies, dass einige Elemente für einige Benutzer so günstig sind, dass Sie sie nicht davon abhalten können, empfohlen zu werden, egal welchen Algorithmus Sie verwenden. Also solltest du sie behalten. Du solltest irgendwie erklären, warum dies passiert (etwas wie das, was ich hier erklärt habe) für Benutzer, die diese Empfehlungen bewerten, so dass es ihnen nichts ausmacht, sie immer wieder zu sehen.