In Apache Spark 2.0.0, ist es möglich, eine Abfrage von einer externen Datenbank abzurufen (anstatt die gesamte Tabelle zu greifen)?

Question

Mit pyspark:

from pyspark.sql import SparkSession 

spark = SparkSession\ 
    .builder\ 
    .appName("spark play")\ 
    .getOrCreate()  

df = spark.read\ 
    .format("jdbc")\ 
    .option("url", "jdbc:mysql://localhost:port")\ 
    .option("dbtable", "schema.tablename")\ 
    .option("user", "username")\ 
    .option("password", "password")\ 
    .load() 

Anstatt holen „schema.tabellenname“, würde ich es vorziehen, die Ergebnismenge einer Abfrage zu greifen.

Answer 1

Gleiche wie in 1.x können Sie gültige Unterabfrage als dbtable Argument zum Beispiel passieren:

... 
.option("dbtable", "(SELECT foo, bar FROM schema.tablename) AS tmp") 
...