Get JSON Elemente aus einem Web mit Apache Flink

Question

Nach dem Lesen mehrerer Dokumentation Seiten Apache Flink (official documentation, dataartisans) sowie die Beispiele in der official repository, sehe ich Beispiele, wo sie als Datenquelle für das Streaming einer Datei verwenden bereits heruntergeladen, immer mit dem localhost verbinden.

Ich versuche Apache Flink zu verwenden, um JSON-Dateien herunterzuladen, die dynamische Daten enthalten. Meine Absicht ist es zu versuchen, die URL zu etablieren, wo ich auf die JSON-Datei als Eingangsquelle von Apache Flink zugreifen kann, anstatt sie mit einem anderen System herunterzuladen und die heruntergeladene Datei mit Apache Flink zu verarbeiten.

Ist es möglich, diese Netzwerkverbindung mit Apache Flink zu stabilisieren?

Answer 1

Sie können die URLs, die Sie herunterladen möchten, als Ihre Eingabe DataStream definieren und dann die Dokumente aus einer MapFunction herunterladen. Der folgende Code demonstriert das:

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); 

DataStream<String> inputURLs = env.fromElements("http://www.json.org/index.html"); 

inputURLs.map(new MapFunction<String, String>() { 
    @Override 
    public String map(String s) throws Exception { 
     URL url = new URL(s); 
     InputStream is = url.openStream(); 

     BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(is)); 

     StringBuilder builder = new StringBuilder(); 
     String line; 

     try { 
      while ((line = bufferedReader.readLine()) != null) { 
       builder.append(line + "\n"); 
      } 
     } catch (IOException ioe) { 
      ioe.printStackTrace(); 
     } 

     try { 
      bufferedReader.close(); 
     } catch (IOException ioe) { 
      ioe.printStackTrace(); 
     } 

     return builder.toString(); 
    } 
}).print(); 

env.execute("URL download job");