Was ist der Unterschied zwischen Spark ML und MLLIB Pakete

Question

Ich bemerkte, dass es zwei Sparks LinearRegressionModel Klassen gibt, eine in ML und eine andere in MLLib Paket.

Diese beiden sind ziemlich unterschiedlich implementiert - z.B. der eine von MLLib implementiert Serializable, während der andere nicht.

Übrigens ist ame wahr über RandomForestModel.

Warum gibt es zwei Klassen? Welches ist das "Richtige"? Und gibt es eine Möglichkeit, eines in ein anderes zu verwandeln?

Answer 1

o.a.s.mllib enthält alte RDD-basierte API, während o.a.s.ml enthält neue API-Build um Dataset und ML Pipelines. und mllib erreicht Eigenschaft Parität in 2.0.0 und mllib wird langsam veraltet (dies ist bereits im Falle der linearen Regression passiert) und höchstwahrscheinlich wird in der nächsten Hauptversion entfernt werden.

Wenn Ihr Ziel also keine Abwärtskompatibilität ist, dann ist die "richtige Wahl" o.a.s.ml.