google-cloud-dataproc

0Hitze

1Antwort

Suche nach einzelnen Dateinamen, wenn mehrere Dateien in Apache Spark

Laden Ich habe einen Apache Spark-Job, der mehrere Dateien für die Bearbeitung mit val inputFile = sc.textFile(inputPath) Dies funktioniert gut lädt. Für Überwachungszwecke wäre es jedoch nützlich z

4Hitze

2Antwort

Google Cloud Dataproc von Google Datalab

Kann Code in Google Cloud Datalab auf Dataproc-Clustern ausgeführt werden? Die Idee ist, die große Interaktivität und Schnittstelle von Datalab zu verwenden, um Apache Spark Code auszuführen.

0Hitze

1Antwort

Dataproc Client: googleapiclient: Methode, um eine Liste aller Jobs (runnng, stopped usw.) in einem Cluster zu erhalten

Wir verwenden Google Cloud Dataproc, um sparkJobs auszuführen. Wir haben eine Anforderung, um eine Liste aller Jobs und deren Status zu erhalten, die einem Cluster entsprechen. Ich kann den Status ein

1Hitze

1Antwort

lesen numy Array von GCS in Spark

Ich habe 100 npz-Dateien mit numpy Arrays in Google-Speicher. Ich habe dataproc mit jupyter eingerichtet und ich versuche, alle numpy Arrays in Funke RDD zu lesen. Was ist der beste Weg, um die numpig

0Hitze

1Antwort

Wie führen Sie hadoop fs -getmerge auf dataproc von Google-Speicher

Wie verwenden Sie getmerge auf Dataproc für Teildateien, die in den Google Storage Bucket ausgegeben werden. Wenn ich das versuchen hadoop fs -getmerge gs://my-bucket/temp/part-* gs://my-bucket/temp_m

0Hitze

1Antwort

Dataproc Pyspark Job läuft nur auf einem Knoten

Mein Problem ist, dass mein pyspark Job ist nicht läuft parallel. -Code und Datenformat: Mein PySpark sieht ungefähr so aus (vereinfacht, natürlich): class TheThing: def __init__(self, dInputDa

0Hitze

1Antwort

Dataproc Cluster mit Spark 1.6.X mit scala 2.11.X

Ich bin auf der Suche nach einer Möglichkeit, Spark auf Dataproc mit Scala 2.11 gebaut zu verwenden. Ich möchte 2.11 verwenden, da meine Jobs ~ 10 BigQuery-Tabellen enthalten und ich die neuen Reflekt

0Hitze

1Antwort

Datei hinzufügen, um Treiber Classpath-Datei auf Dataproc

hinzufügen Ich muss eine Konfigurationsdatei zum Treiber Spark Classpath auf Google Dataproc hinzufügen. Ich habe versucht, --files Option von gcloud dataproc jobs submit spark zu verwenden, aber das

0Hitze

1Antwort

Dataproc: Senden eines Spark-Jobs über die REST-API

Wir verwenden GoogleCloudPlatform für Big-Data-Analysen. Zur Verarbeitung verwenden wir derzeit das google cloud dataproc & spark-streaming. Ich möchte einen Spark-Auftrag mit der REST-API senden, abe

1Hitze

1Antwort

kann nicht nach dem Löschen Standarddienstkonto

Cluster auf Dataproc erstellen hatte ich versehentlich ein default „Dienstkonto“ für mein Projekt gelöscht - {project_id} - [email protected] Nun, wenn ich versuche, einen Cluster zu erstellen auf den