Vergleichen von Kappa-Koeffizienten (Intercoder-Vereinbarungen) über kategoriale Daten

Question

Ich habe eine Liste von 282 Items, die von 6 unabhängigen Codierern in 20 Kategorien klassifiziert wurden.

Die 20 Kategorien sind durch Wörter definiert (Beispiel "Wahrnehmung", "Bewertung" usw.).

Die 6 Programmierer haben einen unterschiedlichen Status: 3 von ihnen sind Experten, 3 sind Novizen.

Ich berechnete alle Kappas (und Alphas) ​​zwischen jedem Codiererpaar und die gesamten Kappas unter den 6 Codierern und die Kappas zwischen den 3 Experten und zwischen den 3 Novizen.

Nun möchte ich prüfen, ob es einen signifikanten Unterschied zwischen den Interrater-Vereinbarungen der Experten und denen der Novizen (deren Kappa tatsächlich niedriger ist) gibt.

Wie würden Sie diese Frage angehen und die Ergebnisse melden?

danke!

Answer 1

Sie können zumindest erhalten die Cohens Kappa und seine SD in R (< - bei weitem die beste Option meiner Meinung nach).

Das Paket PresenceAbsence hat eine Kappa-Funktion (siehe? Kappa).

Sie können das Paket mit dem regulären install.packages("PresenceAbsence") bekommen, passieren dann eine Konfusionsmatrix, d.h .:

# we load the package 
library(PresenceAbsence) 
# a dummy confusion matrix 
cm <- matrix(round(runif(16, 0, 10)), nrow=4) 
Kappa(cm) 

Sie die Kappa und seine sd erhalten. Soweit ich weiß, gibt es Einschränkungen beim Testen mit der Kappa-Metrik (siehe zB https://en.wikipedia.org/wiki/Cohen 's_kappa # Signifikanz_und_Magnitude).

hoffe, das hilft