2016-05-06 19 views
0
bin/flume-ng agent -n TwitterAgent --conf ./conf/ -f conf/flume-twitter.conf -Dflume.root.logger=DEBUG,console 

zum Download Wenn ich den obigen Befehl ausführen es die folgenden Fehler erzeugen:keine Daten von Twitter durch Gerinne

2016-05-06 13:33:31,357 (Twitter Stream consumer-1[Establishing connection]) [INFO - twitter4j.internal.logging.SLF4JLogger.info(SLF4JLogger.java:83)] 404:The URI requested is invalid or the resource requested, such as a user, does not exist. Unknown URL. See Twitter Streaming API documentation at http://dev.twitter.com/pages/streaming_api 

Das ist mein Gerinne-twitter.conf Datei in Gerinne/conf Ordner:

TwitterAgent.sources= Twitter TwitterAgent.channels= MemChannel TwitterAgent.sinks=HDFS TwitterAgent.sources.Twitter.type = com.cloudera.flume.source.TwitterSource TwitterAgent.sources.Twitter.channels=MemChannel TwitterAgent.sources.Twitter.consumerKey=jtlmThaz307pCCQtlw9lvrrOq TwitterAgent.sources.Twitter.consumerSecret=oaGCt6OaUas13Ji5NTnPN6TFjdSKtsAUQdq4ZhAq0BFn9jgHPU TwitterAgent.sources.Twitter.accessToken=921523328-xxY9nrWijDSVC77iK40eRNVmRIopvLXovpoxBnDs TwitterAgent.sources.Twitter.accessTokenSecret=fbtuDENfBNxTooPD0EEgEo15Pg51cxNQa1CochI56gqSO TwitterAgent.sources.Twitter.keywords= WT20,hadoop,election,sports, cricket,Big data,IPL2016,Panamaleaks,Pollingday TwitterAgent.sinks.HDFS.channel=MemChannel TwitterAgent.sinks.HDFS.type=hdfs TwitterAgent.sinks.HDFS.hdfs.path=hdfs://HadoopMaster:9000/user/flume/tweets TwitterAgent.sinks.HDFS.hdfs.fileType=DataStream TwitterAgent.sinks.HDFS.hdfs.writeformat=Text TwitterAgent.sinks.HDFS.hdfs.batchSize=1000 TwitterAgent.sinks.HDFS.hdfs.rollSize=0 TwitterAgent.sinks.HDFS.hdfs.rollCount=10000 TwitterAgent.sinks.HDFS.hdfs.rollInterval=600 TwitterAgent.channels.MemChannel.type=memory TwitterAgent.channels.MemChannel.capacity=10000 TwitterAgent.channels.MemChannel.transactionCapacity=100* 
+0

PLZ jemand Hilfe im Voraus dicssss –

Antwort

3

Versuchen ersetzen Ihre Gerinne-Quellen-1.x-SNAPSHOT.jar mit der jAR-Datei von dieser link heruntergeladen.

Wie Twitter ihre alten APIs vor ein paar Tagen brach. Die alte JAR-Datei funktioniert nicht. Sie können das modifizierte Glas von dem Link herunterladen, den ich oben angegeben habe.

P.S. Ich erhalte Ergebnisse durch diese Methode.

+0

Ich bin mit dem gleichen Problem konfrontiert. Ich habe das Glas in den angegebenen Link heruntergeladen und es zu rune_path hinzugefügt. Aber wenn ich den Flume-Agent starte, bekomme ich den folgenden Fehler "[ERROR - org.apache.flume.node.PollingPropertiesFileConfigurationProvider $ FileWatcherRunnable.run (PollingPropertiesFileConfigurationProvider.java:149)] Unbehandelter Fehler" – MChirukuri