5
Ich verwende Impala mit Gerinne als Filestream.Impala - Datei nicht gefunden Fehler
Das Problem ist Gerinne temporäre Dateien mit der Erweiterung .tmp ist das Hinzufügen, und dann, wenn sie Impalas Abfragen gelöscht werden mit der folgenden Meldung fehlschlagen:
Backend 0: Fehler HDFS hdfs Datei zu öffnen://localhost:8020/user/hive/../FlumeData.1420040201733.tmp Fehler (2): keine solche Datei oder das Verzeichnis
Wie kann ich Impalas machen diese tmp-Dateien zu ignorieren oder Gerinne nicht schreiben sie, oder schreibe sie in ein anderes Verzeichnis?
Flume Konfiguration:
### Agent2 - Avro Source and File Channel, hdfs Sink ###
# Name the components on this agent
Agent2.sources = avro-source
Agent2.channels = file-channel
Agent2.sinks = hdfs-sink
# Describe/configure Source
Agent2.sources.avro-source.type = avro
Agent2.sources.avro-source.hostname = 0.0.0.0
Agent2.sources.avro-source.port = 11111
Agent2.sources.avro-source.bind = 0.0.0.0
# Describe the sink
Agent2.sinks.hdfs-sink.type = hdfs
Agent2.sinks.hdfs-sink.hdfs.path = hdfs://localhost:8020/user/hive/table/
Agent2.sinks.hdfs-sink.hdfs.rollInterval = 0
Agent2.sinks.hdfs-sink.hdfs.rollCount = 10000
Agent2.sinks.hdfs-sink.hdfs.fileType = DataStream
#Use a channel which buffers events in file
Agent2.channels.file-channel.type = file
Agent2.channels.file-channel.checkpointDir = /home/ubutnu/flume/checkpoint/
Agent2.channels.file-channel.dataDirs = /home/ubuntu/flume/data/
# Bind the source and sink to the channel
Agent2.sources.avro-source.channels = file-channel
Agent2.sinks.hdfs-sink.channel = file-channel
können Sie versuchen, Metadaten ungültig zu machen und erneut Abfragen zu versuchen? –
Ich mache das - aber Dateien werden zwischen beiden Abfragen aktualisiert –
Was ist Ihre Flume-Konfiguration? – kichik