Set Ähnlichkeitsmaß mit bekannten Item Ähnlichkeiten und Häufigkeiten

Question

Ich suche nach einem Ähnlichkeitsmaß (wie der Jaccard Index), aber ich möchte bekannte Ähnlichkeiten zwischen Objekten innerhalb des Satzes verwenden und die Verbindungen durch die Elementhäufigkeiten abwägen. Diese bekannten Ähnlichkeiten sind Werte zwischen 0 und 1, wobei 1 eine exakte Übereinstimmung anzeigt.

Betrachten wir zum Beispiel zwei Sätze:
SET1 {A, B, C} und SET2 {A 'B', C '}

Ich weiß, dass
{A, A'}, { B, B '}, {C, C'} haben jeweils eine Itemähnlichkeit von 0,9. Daher würde ich erwarten, dass die Ähnlichkeit von SET1 und SET2 relativ hoch ist.

wäre Ein weiteres Beispiel: betrachten zwei Sätze SET1 { A, B, C} und {SET2 A, B 'C', D, E, F, ....., Z}. Obwohl die Übereinstimmungen zwischen den ersten drei Elementen höher sind als im ersten Beispiel, sollte diese Punktzahl wahrscheinlich aufgrund des Größenunterschieds niedriger sein (wie in Jaccard).

Ein weiteres Problem hier ist, wie man Abundanzen als Gewichte verwenden, aber ich habe keine Ahnung, wie man das löst.

Im Allgemeinen brauche ich ein normalisiertes Set Ähnlichkeitsmaß, das diese Artikel Ähnlichkeit und Häufigkeit berücksichtigt.

Answer 1

Korrigieren Sie mich, wenn ich falsch liege, aber ich denke, Sie brauchen Clusterfehler als Ähnlichkeitsmaß. Es ist der Anteil der Punkte, die nach einer optimalen Anpassung der Cluster in A 'und A unterschiedlich geclustert sind. Mit anderen Worten, es ist die skalierte Summe der nicht diagonalen Elemente der Konfusionsmatrix, minimiert über alle möglichen Permutationen von Zeilen und Spalten. Es verwendet den ungarischen Algorithmus, um hohe Rechenkosten zu vermeiden, und bestraft die unterschiedliche Anzahl von Elementen in Sätzen.