google-cloud-dataproc

8Hitze

2Antwort

Wo ist die Spark UI auf Google Dataproc?

Welchen Port sollte ich verwenden, um auf die Spark-Benutzeroberfläche von Google Dataproc zuzugreifen? habe ich versucht, Port 4040 und 7077 sowie eine Reihe von anderen Ports I netstat -pln Firewall

9Hitze

1Antwort

BigQuery Connector für pyspark über Hadoop Input Format Beispiel

Ich habe eine große Datenmenge in einer BigQuery-Tabelle gespeichert und möchte es in eine pypark RDD für ETL-Datenverarbeitung laden. I erkennen, dass die BigQuery Hadoop Input/Output-Format https://

2Hitze

1Antwort

Was ist die eleganteste und robusteste Art, LogPegel für Spark anzupassen?

Wie in früheren Antworten erläutert, ändert sich die Ausführlichkeit eines Spark-Clusters am besten durch eine Änderung der corresponding log4j.properties. Doch auf Dataproc Funken auf Garn läuft, des

5Hitze

2Antwort

Verwenden Sie eine externe Bibliothek in pyspark Job in einem Spark-Cluster von google-dataproc

Ich habe einen Funken-Cluster, den ich über Google Dataproc erstellt. Ich möchte in der Lage sein, die CSV-Bibliothek von Databricks zu verwenden (siehe https://github.com/databricks/spark-csv). Also

6Hitze

1Antwort

Wie installiere ich Python-Bibliotheken automatisch beim Start des Dataproc-Clusters?

Wie kann ich automatisch Python-Bibliotheken in meinem Dataproc-Cluster installieren, wenn der Cluster startet? Dies würde mir die Mühe ersparen, mich manuell bei den Master- und/oder Arbeiterknoten a