Wie kann ich Daten von hadoop zu datastax graphen mit graphLoader laden? (Wie kann ich Dateien direkt von hadoop lesen mit graphLoader)

Question

Muss ich die Datei von Hadoop lokalen Directoy zu kopieren:

hadoop fs -get [hadoop src] [local dst]

Um zu Verwendung:

https://docs.datastax.com/en/datastax_enterprise/5.0/datastax_enterprise/graph/dgl/dglCSV.html

Answer 1

Nein, Sie nicht die Daten an ein lokales System zu kopieren. Sie können eine Datei direkt auf HDFS referenzieren und von dort einlesen.

def source = File.csv(dfs_uri + "person.csv.gz").gzip().delimiter("|") 
    load(source).asVertices { 
     label vertexLabel 
     key "id" 
    } 

Dies ist ein Beispiel für ein Mapping-Skript, bei dem eine komprimierte CSV-Datei aus HDFS gelesen wird. 'dfs_uri' ist ein Befehlszeilenparameter, der den URI für das HDFS-Verzeichnis angibt, in dem die Datei gespeichert ist.