Analyse mit twitter Daten

Question

Gerinne-twitter.conf

flume-twitter.conf

Wenn ich von mehreren Website-Log-Dateien erhalten möchten, die unter einem Unternehmen zusammengeführt werden und alle haben ihre eigenen Websites, Wie werde ich hinzufügen, die 4 wichtige Schlüssel (consumerkey, Verbrauchergeheimnis, Zugangstoken, Zugangsgeheimnis usw.) in die rume-twitter.conf, so dass ich meine Analyse mit verschiedenen Schlüsselwörtern mit allen fusionierten Firmenwebseiten mache. Hilfe geschätzt.

Answer 1

Stattdessen könnten Sie 4 Flume Agenten F1, F2, F3 und F4 jeweils mit einem Schlüssel starten. Dann senden alle 4 von ihnen Daten zum 5. Kanalagenten, der auf avro hört. und du machst deine Analyselogik im 5. Agenten. https://flume.apache.org/FlumeUserGuide.html#consolidation