google-cloud-dataflow

2Hitze

2Antwort

Verwenden Sie Apache Beam als Abhängigkeit

Ich versuche, Apache Beam entweder als Maven oder Gradle Abhängigkeit zu verwenden. Wie ich weiß, ist das Projekt als eine weiterentwickelte Version von Google Dataflow SDK geplant. Also könnte ich ei

3Hitze

2Antwort

Gibt es eine Begrenzung für die Anzahl der PubSub-Themen, die abonniert werden können?

Ich habe einen Datenfluss mit ~ 30 Pipelines erstellt, die alle ihre eigenen Themen auf PubSub abonnieren. Wenn ich versuche, zu starten, schlägt eine zufällige Subskription immer fehl. Wenn ich meine

0Hitze

1Antwort

Cloud Dataflow - TextIO.Read: Gibt eine bestimmte Datei-URL mit einem Übereinstimmungsmuster zurück

Angesichts eines Match-Patterns zu einem TextIO.Read (zum Beispiel gs: //my_bucket/file-*.txt), möchte ich das volle zurückgeben URL jeder übereinstimmenden Datei Wie kann ich diesen Parameter abrufen

0Hitze

1Antwort

So steuern Sie den Standort der parallelen/GroupBy-Phase in Google Cloud Dataflow

Ich erstelle eine ElasticSearch-Ausgabe für Google Cloud Dataflow, die skalierbar ist und den ES-Cluster nicht belastet (Batch-Datenfluss). Meine Idee ist, dass die Knoten der Dataflow-Pipeline dem ES

0Hitze

1Antwort

Probenahme pcollection mit dynamischer Probenzählung

Ich möchte eine statische Datenquelle mit Datenfluss probieren. Ich weiß, dass es eine Sample Transformation gibt, die Ihnen eine feste Anzahl von Datentupeln erlaubt, aber was in meinem Anwendungsfal

1Hitze

1Antwort

Warum sagen VMs, die von meinen Dataflow-Jobs verwendet werden, "in use by"?

Der Dataflow-Dienst verwendet nun Managed Instance Groups von GCE, um die compute resources exercised by your Dataflow jobs zu organisieren.

0Hitze

1Antwort

Dataflow Python SDK Avro Quelle/Sync

Ich möchte Avro-Dateien in GCS mit dem Python SDK aufnehmen und schreiben. Ist das derzeit möglich, wenn Avro das Python SDK nutzt? Wenn ja, wie würde ich das tun? Ich sehe TODO Kommentare in der Quel

3Hitze

1Antwort

Wie kann ich die Datenträgerauslastung für das Speicher-Volume in einer Google Cloud-Datenfluss-Streaming-Worker-Instanz anzeigen?

Wie kann ich die Datenträgerauslastung für das Speicher-Volume in einer Streaming-Worker-Instanz anzeigen? angemeldet ich per ssh in, und die Datenscheibe in lsblk als sdb $ sudo lsblk NAME MAJ:MIN R

0Hitze

1Antwort

So erstellen Sie ein personalisiertes WindowFn in Google Datenfluss

Ich möchte eine andere WindowFn in einer solchen Weise erstellen, um Windows zu einem meiner Eingabeelemente basierend auf einem anderen Feld statt basierend auf dem Zeitstempel meines Eingabeeintrags

0Hitze

1Antwort

Kann man benutzerdefinierten C++ - Code ausführen und auf Festplatte schreiben?

Es gibt einige C++ - Programmdateien (und manchmal Quellcode, die ich in eine ausführbare Datei kompilieren muss), die ich für meinen Java-Datenflusscode aufrufen möchte. Ist das möglich? Wenn ja, wie