Es scheint mir, dass Sie etwas falsch verstehen, was eine ROC-Kurve ist.
Eine ROC-Kurve Plots TPR vs FPR als Schwellenwert variiert. Als Ergebnis sind ROC-Kurven tatsächlich 3-dimensionale Graphen, die die Beziehung zwischen 3 Variablen aufzeichnen: FPR, TPR und Threshold. Jeder Punkt in der Grafik gibt an, was der tatsächliche TPR und der FPR für einen bestimmten Schwellenwert sind. Die untere linke Ecke des Diagramms spiegelt immer einen Schwellenwert von 1 wider, während die obere rechte Ecke einen Schwellenwert von 0 widerspiegelt.
ROC-Kurven haben zwei übliche Verwendungszwecke: zwei verschiedene Modelle unabhängig vom Schwellenwert zu vergleichen und zu helfen Wählen Sie den richtigen Schwellenwert aus. Der "richtige Schwellenwert" für eine Predictive Analytics-Anwendung variiert je nach dem spezifischen Problem, das Sie angreifen, ziemlich groß. Im Allgemeinen können Sie jedoch eine ROC-Kurve verwenden, um einen Schwellenwert mit einem akzeptablen TPR/FPR-Kompromiss für Ihre spezifische Anwendung auszuwählen . Es ist selten der Fall, dass die einfache Auswahl des Grenzwerts für den Punkt, der der oberen linken Ecke am nächsten ist, das ideale Ergebnis ergibt.
Sobald Sie einen Schwellenwert ausgewählt haben, der aus der ROC-Kurve ideal erscheint, können Sie die Konfusionsmatrix und andere Bewertungsmetriken (Präzision, Abruf, Genauigkeit, F1 usw.) untersuchen, um den Schwellenwert weiter zu bestimmen.
Um Ihre direkte Frage zu beantworten, sind Sie richtig, dass ROC-Kurven nicht direkt die FNR zeigen. In diesem Fall möchten Sie vielleicht ein Empfindlichkeits-/Spezifitätsdiagramm verwenden, das TPR gegenüber TNR ähnlich wie die ROC-Kurve darstellt. Es gibt keine Standard-Bewertungsmethode, von der ich weiß, dass sie FNR direkt betrachtet. Stattdessen wechsle ich normalerweise einfach die "positiven" und "negativen" Bezeichnungen in meine Daten und zeichne die ROC-Kurve neu. Dies ergibt (effektiv) TNR gegen FNR.
ROC-Kurven auswähle keine Schwelle, sie nur vs FPR ihre TPR anzuzeigen. Es gibt keine integrierte Schwellenwertauswahl. – Calimo
Der Schwellenwert in der oberen linken Ecke minimiert nicht die FPR gegenüber der FNR. Es ist nur ein Punkt mit einer guten Balance von TP und FP: Wenn Sie * no * FP haben wollten, könnten Sie Ihren Schwellwert auf 0 setzen, aber dann hätten Sie auch kein TP (und viele FN, und sowieso ein ziemlich nutzloser Klassifikator)).Wenn Sie möchten, dass Ihr FN mehr Gewicht als Ihr FP hat, d. H. Dass Sie mehr bestrafen, verwenden Sie einfach eine Verlustmatrix, wenn Sie Ihren Klassifikator anpassen. Nicht viele Bibliotheken akzeptieren es jedoch. Welche Art von Modell verwenden Sie? – lrnzcig
Vielen Dank für Ihre Kommentare. Es war nur eine Frage, die ich unabhängig vom Modell hatte. Einige Anwendungen haben ein höheres Gewicht bei den falschen Negativen. Ich werde mich mit der Anwendung einer Verlustmatrix befassen. Aber von Ihrem Kommentar würde der ROC-Plan nicht helfen, FNs auszugleichen. Vielleicht, wenn ich TN und FN zeichne und diese AUC erreiche und die beiden AUCs zusammen gewichte? – SriK