avro

6Hitze

1Antwort

Konvertieren von pojos in generische Datensätze in confluent.io zum Senden über einen KafkaProducer

Ich bin komplett neu bei Kafka und avro und versuche, das konfluente Paket zu verwenden. Wir haben bestehende POJOs, die wir für JPA verwenden, und ich möchte einfach eine Instanz meiner POJOs erstell

5Hitze

1Antwort

Probleme mit der Avro-Serialisierung von JSON-Dokumenten fehlende Felder

Ich versuche Apache Avro zu verwenden, um ein Schema für Daten zu implementieren, die von Elastic Search in viele Avro-Dokumente in HDFS exportiert wurden (mit Drill abgefragt werden). Ich habe einige

6Hitze

1Antwort

Konvertieren von GenericRecord zu SpecificRecord in Avro für kompatible Schemas

Ist Avro SpecificRecord (d. H. Die generierten Java-Klassen) mit der Schema-Evolution kompatibel? I.e. Wenn ich eine Quelle von Avro-Nachrichten habe (in meinem Fall kafka) und ich diese Nachrichten z

5Hitze

1Antwort

Concat Avro Dateien Avro-Tools

Im Versuch mit Avro-Dateien in eine große Datei zu verschmelzen, das Problem ist concat Befehl nicht akzeptieren, die Wildcard hadoop jar avro-tools.jar concat /input/part* /output/bigfile.avro ich:

7Hitze

1Antwort

Logstash mit Kafka: Kann Avro nicht entschlüsseln

Ich versuche serialisierte Avro-Ereignisse aus einer Kafka-Warteschlange zu konsumieren. Die Kafka-Warteschlange wird mit einem einfachen Java-Producer gefüllt. Aus Gründen der Klarheit teilen bin ich

7Hitze

1Antwort

Avro Textdatei von Flume Twitter-Agenten erzeugt wird, nicht in Java

Nicht in der Lage, die von Streaming twitter Daten zu lesen und zu analysieren, mit twitter Agenten Flume erstellt Datei gelesen werden, weder mit Hilfe von Java noch Avro-Tool. Meine Anforderung best

1Hitze

1Antwort

java.lang.NoClassDefFoundError: com/databricks/spark/avro/paket $

Ich benutze funken 1.3.0 und spark-avro 1.0.0. meine build.sbt-Datei sieht wie aus libraryDependencies ++=Seq( "org.apache.spark" % "spark-core_2.10" % "1.3.0" % "provided", "org.apache.spark

2Hitze

1Antwort

Spark Hive Context - Avro-Tabelle mit Partitionen und Großbuchstaben Feldnamen

Für partitionierte Avro Hive-Tabellen werden Feldnamen, die im Avro-Schema Großbuchstaben enthalten, als null zurück gezogen. Ich habe mich gefragt, ob es ein Setting/Workaround gibt, das mir fehlt, o

0Hitze

1Antwort

Schreiben von Objekten, die mit Avro auf HDFS serialisiert wurden mit RollingSink in Flink [Scala]

Ich versuche, Fallklassen in AVRO nach HDFS mit RollingSink in Flink zu schreiben. Um AVRO-Dateien durch HDFS deserialisierbar zu machen, verwende ich DataFileWriter, der FSDataOutputStream umschließt

0Hitze

1Antwort

Außerhalb des Bereichs index this.buf.utf8Slice

Ich habe einen Kafka-Stream mit Avro-Nachricht mit dem confluent.io Kafka-Paket. Dies funktioniert gut für die Java-Anwendungen. Aber ich versuche jetzt, diese Nachrichten in Javascript zu lesen. Ich