google-cloud-dataproc

2Hitze

1Antwort

Abrufen von Protokollausgaben von Spark-Mitarbeitern in Google Cloud

Ich führe einen Spark-Job in einem Google-Cluster aus und versuche, während eines RDD-Map-Prozesses einige Protokollierungsinformationen zu erfassen. Schnell Beispiel: object LoggerWrapper extends Ser

0Hitze

1Antwort

Gibt es Vorteile bei der Verwendung von BigQuery als Datenquelle von ndarrays für Dataproc bei der Berechnung von Kmeans Clustering mit Python

Ich verstehe aus der Dokumentation für Dataproc seine Daten aus BigQuery mit PysPark lesen, aber es ist ein Vorteil, wenn Kmeans Clustering auf ndarrays mit einer Form (xxxxxxx,) über sagen liest eine

3Hitze

2Antwort

Durchsatz für Kafka, Spark, Elasticsearch Stack unter GCP/Dataproc

Ich arbeite an einem Forschungsprojekt, bei dem ich eine komplette Datenanalyse-Pipeline auf der Google Cloud Platform installiert habe. Wir schätzen eindeutige Besucher pro URL in Echtzeit mithilfe v

1Hitze

2Antwort

Verwalten Sie Google Dataproc preemptible-Arbeiter persistente Festplatte Größe

Ich benutze Jupyter auf einem Cluster mit Google Dataproc erstellt und es funktioniert sehr gut. Ich habe versucht, Cluster "Größe" (Maschinentyp, Bootdiskettengröße, Anzahl der Arbeiter, ...) zu mein

2Hitze

1Antwort

KeyError: 'SPARK_HOME' in pyspark auf Jupyter auf Google-Cloud-DataProc

Wenn ich versuche, eine SparkDF (Test) zu zeigen, bekomme ich einen KeyError, wie unten gezeigt. Wahrscheinlich passiert etwas in der Funktion, die ich vor Test.show(3) verwendet habe. Der KeyError sa

0Hitze

1Antwort

Verwenden eines nicht standardmäßigen Dienstkontos in Google Cloud dataproc

Ich möchte einen Dataproc-Cluster erstellen, der unter einem nicht standardmäßigen Dienstkonto ausgeführt wird. Die folgenden Arbeiten für eine Serverinstanz: gcloud compute instances create instance-

1Hitze

2Antwort

Spark 2.0 und Scala 2.11 auf Dataproc?

Spark 2.0 final wurde letzte Woche veröffentlicht - wann können wir es auf Dataproc erwarten? Spark 2.0 verwendet Scala 2.11 als Standard - bedeutet das, dass Dataproc Scala 2.11 verwendet? Scala 2.11

1Hitze

1Antwort

Wie aktualisiere ich den Clusterstatus in dataproc

Ich habe mein Initialisierungsskript geändert, nachdem ich einen Cluster mit 2 Arbeiterknoten für spark erstellt habe. Dann änderte ich das Skript ein wenig und versuchte, den Cluster mit 2 weiteren A

1Hitze

1Antwort

DataProc Avro Version verursacht Fehler auf Image v1.0.0

Wir führen ein paar dataproc Aufträge mit dataproc image 1.0 und spark-redshift. Wir zwei Cluster haben, sind hier einige Details: Ein Cluster -> Läuft PySpark Streaming Job, erstellt letzte 2016. Jul

0Hitze

1Antwort

Möglichkeit, ein Dataproc Kill-Signal auf einem Funken Streaming-Auftrag zu fangen

Ich bin auf der Suche nach einer Möglichkeit, ein Dataproc Job Kill-Signal in einem Python Funken Streaming-Job zu fangen: Ich habe einen bestimmten Job auf Dataproc, die mehrere Verbindungen zu einem