Karte reduzieren - pearson Korrelation

Question

Wie implementiere ich pearson Korrelation mit der Karte reduzieren?

Ich dachte über jedes Paar abbildet (x_i, y_i), aber ich bin nicht sicher über den Teil reduzieren ..

Answer 1

Pause nach unten dem Problem in Teile

r(x, y) = (a - b)/(c * d) 

Berechnen a, b, c , & d und fügen Sie sie dann in die obige Formel ein. In einigen Fällen kann es hilfreich/effizient sein, die Formel weiter aufzuschlüsseln. Wenn Sie jeden Schritt mit map/reduce ausführen möchten, benötigen Sie mindestens 4 separate Map/Reduce-Jobs (wahrscheinlicher 6 oder 7). Nur 1, (a) benötigt beide x & y.