Exportieren eines Scikit Learn Random Forest für die Verwendung auf Hadoop Platform

Question

Ich habe einen Spam-Klassifikator mit Pandas und Scikit entwickelt, um es in unser hadoop-basiertes System integrieren zu können. Zu diesem Zweck muss ich meinen Klassifikator in ein gebräuchlicheres Format als das Beizen exportieren.

Die Predictive Model Markup Language (PMML) ist mein bevorzugtes Exportformat. Es spielt hervorragend mit Cascading, das wir bereits verwenden. Ich finde jedoch überraschenderweise keine Python-Bibliotheken, die Scikit-Lern-Modelle in PMML exportieren.

Hat jemand Erfahrung mit diesem Anwendungsfall? Gibt es eine Alternative zu PMML, die Interoperabilität zwischen scikit-learn und hadoop ermöglichen würde? Was ist mit einer soliden PMML-Exportbibliothek?

Answer 1

Sie könnten Py2PMML verwenden, um das Modell in PMML zu exportieren und es anschließend in Hadoop mit JPMML-Cascading zu bewerten. JPMML ist Open Source, aber Py2PMML von Zementis scheint ein kommerzielles Produkt zu sein. Neben dieser Alternative gibt es keine anderen Tools, um Scikit-Modelle als PMML auf Java/Hadoop zu exportieren. Das Core-Scikit-Team ist planning, um jedoch einen PMML-Exporteur zu implementieren. Aber wenn Sie wollen keine kommerziellen Lösungen oder für ein solches Werkzeug warten Sie noch einige Optionen implementiert werden, aber sie erfordern einige Codierung:

• anpassen Projekt, so dass es Java/MapReduce-Code generiert statt C.
• Mit der export_graphviz Funktion erhalten Sie die DOT-Repräsentation jedes Entscheidungsbaumes und schreiben einen kleinen Java-Interpreter.
• Vergessen Sie Java und Hadoop, verwenden Sie Apache Spark und bewerten Sie jeden der Entscheidungsbäume parallel mit Python, Scikit und PySpark.

Hoffe es hilft!