0
Hallo an alle und vielen Dank im Voraus für das Lesen dieser Zeit :) Ich versuche, ein JSON-Objekt in meinem Hadoop-Cluster für die Verarbeitung mit Spark zu senden, dieser JSON ist etwa 15KB. Ich habe meinen Gerinne Agenten auf diese Weise:NetcatSource: Client gesendet über die maximale Länge
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 41400
a1.sources.r1.max-line-length = 512000
a1.sources.r1.eventSize = 512000
#a1.sources.deserializer.maxLineLength = 512000
# Describe the sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = /hadoop/hdfs/data
a1.sinks.k1.hdfs.filePrefix = CDR
a1.sinks.k1.hdfs.callTimeout = 15000
a1.sinks.k1.hdfs.fileType = DataStream
a1.sinks.k1.hdfs.writeFormat = Text
a1.sinks.k1.hdfs.rollSize = 0
a1.sinks.k1.hdfs.rollCount = 226
a1.sinks.k1.hdfs.rollInterval = 0
a1.sinks.k1.hdfs.batchSize = 226
# Use a channel which buffers events in memory
a1.channels.c1.type = file
a1.channels.c1.capacity = 512000
a1.channels.c1.transactionCapacity =512000
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
Außer, dass ich habe ein Skript, Perl, die das JSON-Objekt Trog eine Buchse am Hafen senden angezeigt, aber wenn ich das Gerinnen Agenten starten erhalte ich diese Meldung:
WARN source.NetcatSource: Client sent event exceeding the maximum length
Was ich nicht verstehe ist, dass ich die maximale Zeilenlänge meines Ereignisses bei 512000 Bytes, die größer als 15 KB ist, einstellen kann, kann mir jemand helfen? Danke und Entschuldigung für mein schlechtes Englisch