Ich verwende Hadoop mit HDFS 2.7.1.2.4 und Pig 0.15.0.2.4 (Hortonworks HDP 2.4) und versuche Google Cloud Storage Connector for Spark and Hadoop (bigdata-interop auf GitHub) zu verwenden . Es funktion
Ich habe eine große Datenmenge in einer BigQuery-Tabelle gespeichert und möchte es in eine pypark RDD für ETL-Datenverarbeitung laden. I erkennen, dass die BigQuery Hadoop Input/Output-Format https://