Flume 1.6 Kompatibilität mit Elasticsearch 2.3.1

Question

ich Gerinne zu verwenden versuche Daten in Elasticsearch dump, aber unter Fehler bekommen:

org.elasticsearch.transport.RemoteTransportException: Failed to deserialize exception response from stream 
Caused by: org.elasticsearch.transport.TransportSerializationException: Failed to deserialize exception response from stream 
     at org.elasticsearch.transport.netty.MessageChannelHandler.handlerResponseError(MessageChannelHandler.java:171) 
     at org.elasticsearch.transport.netty.MessageChannelHandler.messageReceived(MessageChannelHandler.java:125) 
     at org.elasticsearch.common.netty.channel.SimpleChannelUpstreamHandler.handleUpstream(SimpleChannelUpstreamHandler.java:70) 
     at org.elasticsearch.common.netty.channel.DefaultChannelPipeline.sendUpstream(DefaultChannelPipeline.java:560) 
     at org.elasticsearch.common.netty.channel.DefaultChannelPipeline$DefaultChannelHandlerContext.sendUpstream(DefaultChannelPipeline.java:787) 
     at org.elasticsearch.common.netty.channel.Channels.fireMessageReceived(Channels.java:296) 
     at org.elasticsearch.common.netty.handler.codec.frame.FrameDecoder.unfoldAndFireMessageReceived(FrameDecoder.java:462) 
     at org.elasticsearch.common.netty.handler.codec.frame.FrameDecoder.callDecode(FrameDecoder.java:443) 
     at org.elasticsearch.common.netty.handler.codec.frame.FrameDecoder.messageReceived(FrameDecoder.java:303) 
     at org.elasticsearch.common.netty.channel.SimpleChannelUpstreamHandler.handleUpstream(SimpleChannelUpstreamHandler.java:70) 
     at org.elasticsearch.common.netty.channel.DefaultChannelPipeline.sendUpstream(DefaultChannelPipeline.java:560) 
     at org.elasticsearch.common.netty.channel.DefaultChannelPipeline.sendUpstream(DefaultChannelPipeline.java:555) 
     at org.elasticsearch.common.netty.channel.Channels.fireMessageReceived(Channels.java:268) 
     at org.elasticsearch.common.netty.channel.Channels.fireMessageReceived(Channels.java:255) 
     at org.elasticsearch.common.netty.channel.socket.nio.NioWorker.read(NioWorker.java:88) 
     at org.elasticsearch.common.netty.channel.socket.nio.AbstractNioWorker.process(AbstractNioWorker.java:107) 
     at org.elasticsearch.common.netty.channel.socket.nio.AbstractNioSelector.run(AbstractNioSelector.java:312) 
     at org.elasticsearch.common.netty.channel.socket.nio.AbstractNioWorker.run(AbstractNioWorker.java:88) 
     at org.elasticsearch.common.netty.channel.socket.nio.NioWorker.run(NioWorker.java:178) 
     at org.elasticsearch.common.netty.util.ThreadRenamingRunnable.run(ThreadRenamingRunnable.java:108) 
     at org.elasticsearch.common.netty.util.internal.DeadLockProofWorker$1.run(DeadLockProofWorker.java:42) 
     at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) 
     at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 
     at java.lang.Thread.run(Thread.java:745) 
Caused by: java.io.StreamCorruptedException: Unsupported version: 1 
     at org.elasticsearch.common.io.ThrowableObjectInputStream.readStreamHeader(ThrowableObjectInputStream.java:46) 
     at java.io.ObjectInputStream.<init>(ObjectInputStream.java:299) 
     at org.elasticsearch.common.io.ThrowableObjectInputStream.<init>(ThrowableObjectInputStream.java:38) 
     at org.elasticsearch.transport.netty.MessageChannelHandler.handlerResponseError(MessageChannelHandler.java:168) 

Wer weiß, wenn Flume 1.6 mit Elasticsearch 2.3.1 kompatibel ist?

war ich nicht in der Lage von unten Seite zu bestätigen: https://flume.apache.org/

Answer 1

Auch Flume 1.7-SNAPSHOT (die neuesten) in Abhängigkeit von einer sehr alten Version von Elasticsearch: 0.90.1.

Werfen Sie einen Blick in ihre Git Repo here an der pom.xml Datei verwendet, um Flume zu bauen. Genauer gesagt diese Zeile:

<elasticsearch.version>0.90.1</elasticsearch.version> 

Höchstwahrscheinlich wird mit nichts in den 1.x oder 2.x-Versionen von ES arbeiten.

Answer 2

Da Änderungen an der Transportschicht auf ElasticSearch 2.x Zweig Flume ist nicht kompatibel. https://github.com/elastic/elasticsearch/issues/14187

Sie können die neueste Version von Elasticsearch kompatibel (1.7.5) verwenden: https://www.elastic.co/downloads/past-releases/elasticsearch-1-7-5

Answer 3

Offiziell Flume 1.6 nicht mit Elasticsearch 2.x funktionieren. Allerdings gibt es eine benutzerdefinierte Senke zur Integration. Siehe unten git URL für das gleiche:

https://github.com/lucidfrontier45/ElasticsearchSink2