MySQL zu Google Big Query

Question

Ich habe mehrere Django (Python) -basierte Back-End-Web-Anwendungen, die ich beginnen möchte, Daten automatisch in Google Big Query zu leiten. Die relationale Datenbank im Backend ist MySQL, diese Anwendungen sind nicht öffentlich und nicht in Google App Engine.

Wir haben Google Apps for Business bereits mit einem Google Big Data-Projekt eingerichtet. Ich kann Tabellen manuell in CSV speichern und in Big Query importieren, aber gibt es einige Best Practices für die Automatisierung dieser Art der Datenlieferung in Google? Ich habe die Dokumentation überflutet und sehe in diesem Fall keine endgültige Aussage.

Jeder Rat würde geschätzt werden.

Vielen Dank für das Lesen

Answer 1

Kürzlich begann WePay eine Reihe von Artikeln, wie sie BigQuery nutzen, um ihre Analysen auszuführen. Ihr zweiter Artikel zeigt, wie sie Apache AirFlow verwenden, um Daten aus MySQL zu BigQuery zu bewegen.

• https://wecode.wepay.com/posts/airflow-wepay

Als sie erwähnen: „Wir haben nur eine einzige Konfigurations-driven ETL DAG-Datei Es generiert dynamisch über 200 DAGs "und" Der wichtigste Teil ist der Select-Block. Dies definiert, welche Spalten wir aus MySQL ziehen und in BigQuery laden. "

Siehe den Artikel für weitere Details.