So automatisieren Sie das Pyspark-Skript in Microsoft Azure

Question

Ich hoffe, es geht Ihnen gut.

Ich bin neu bei Spark sowie Microsoft Azure. Gemäß unserer Projektanforderung haben wir ein Pyspark-Skript entwickelt, obwohl das Jupyter-Notebook in unserem HDInsight-Cluster installiert ist. Bis heute haben wir den Code vom Jupyter selbst ausgeführt, aber jetzt müssen wir das Skript automatisieren. Ich habe versucht, Azure Datafactory zu verwenden, konnte aber von dort aus keine Möglichkeit finden, das Pyspark-Skript auszuführen. Auch versucht, oozie zu verwenden, aber konnte nicht herausfinden, wie man es benutzt.

Mögen Sie mir bitte helfen, wie ich ein Pyspark-Skript in azurblau automatisieren/planen kann.

Danke, Shamik.

Answer 1

Azure Data Factory bietet heute keine erstklassige Unterstützung für Spark. Wir arbeiten daran, diese Integration in Zukunft hinzuzufügen. Bis zu diesem Zeitpunkt haben wir ein Beispiel auf Github veröffentlicht, das ADF Map Reduce Activity verwendet, um ein Jar einzureichen, das Spark Submit aufruft.

Bitte schauen Sie hier: https://github.com/Azure/Azure-DataFactory/tree/master/Samples/Spark