PySpark Hive-Abfragen zeigen keine Ausgabe

Question

Ich bin in der Lage, Tabellen mit pyspark und hivecontext zu erstellen, zu löschen, zu ändern. Ich lade eine Liste mit Befehlen I, in String-Format gesendet werden sollen, und in diese Funktion übergeben:

def hiveCommands(commands, database): 
    conf = SparkConf().setAppName(database + 'project').setMaster('local') 
    sc = SparkContext(conf=conf) 
    df = HiveContext(sc) 
    f = df.sql('use ' + database) 
    for command in commands: 
     f = df.sql(command) 
     f.collect() 

Es funktioniert für die Wartung gut, aber ich versuche, meine Zehen in Analyse zu tauchen, und ich don Wenn ich versuche, einen Befehl wie "Tabelle beschreiben" zu senden, sehe ich keine Ausgabe.

Ich nur, dass es den Befehl übernimmt und führt es ohne Fehler aus, aber ich sehe nicht, was die tatsächliche Ausgabe der Abfrage ist. Ich muss mich vielleicht mit meinem .profile oder .bashrc herumschlagen, nicht wirklich sicher. Etwas von einem Linux-Neuling. Jede Hilfe wäre willkommen.

Answer 1

Aufruf show Methode, um zu sehen Ergebnisse:

for command in commands: 
    df.sql(command).show()