Spark ml und PMML export

Question

Ich weiß, dass es möglich ist, Modelle wie PMML mit Spark-MLlib zu exportieren, aber was ist mit Spark-ML?

Ist es möglich, LinearRegressionModel von org.apache.spark.ml.regression zu einem LinearRegressionModel von org.apache.spark.mllib.regression umwandeln zu können, die toPMML() Methode aufzurufen?

Answer 1

Sie können Spark-ML-Pipelines zu PMML mit der JPMML-SparkML Bibliothek konvertieren:

StructType schema = dataFrame.schema() 
PipelineModel pipelineModel = pipeline.fit(dataFrame); 
org.dmg.pmml.PMML pmml = org.jpmml.sparkml.ConverterUtil.toPMML(schema, pipelineModel); 
JAXBUtil.marshalPMML(pmml, new StreamResult(System.out));