avro

15Hitze

2Antwort

Kann ich eine Scala-Fallklassendefinition aus einer Avro-Schemadefinition erhalten?

Um die Arbeit mit Avro in Scala zu erleichtern, möchte ich eine Fallklasse basierend auf dem mit einer .avro-Datei gespeicherten Schema definieren. Ich könnte versuchen: Schreiben einer .scala Fallkla

6Hitze

1Antwort

Lesen einer einfachen Avro-Datei von HDFS

Ich versuche, eine einfache Avro-Datei in HDFS zu lesen. Ich fand heraus, wie man es liest, wenn es auf dem lokalen Dateisystem ist .... FileReader reader = DataFileReader.openReader(new File(filename

6Hitze

3Antwort

Können Sie Kommentare in Avro JSON-Schemadateien einfügen?

Ich schreibe mein erstes Avro-Schema, das JSON als Schemasprache verwendet. Ich weiß, dass du keine Kommentare in JSON schreiben kannst, aber ich frage mich, ob das Avro-Tool Kommentare erlaubt. Z.B.

8Hitze

2Antwort

Wie man ein Datum mit AVRO in Java serialisiert

Ich versuche tatsächlich, Objekte mit Datumsangaben mit Avro zu serialisieren, und das deserialisierte Datum stimmt nicht mit dem erwarteten Wert überein (getestet mit avro 1.7.2 und 1.7.1). Hier ist

16Hitze

2Antwort

Spark: Schreiben in Avro-Datei

Ich bin in Spark, ich habe eine RDD von einer Avro-Datei. Ich möchte nun einige Transformationen auf diesem RDD tun und es wieder als Avro-Datei speichern: val job = new Job(new Configuration()) Avro

14Hitze

2Antwort

Verwenden von Apache avro reflect

Avro-Serialisierung ist bei Hadoop-Benutzern beliebt, aber Beispiele sind so schwer zu finden. Kann mir jemand mit diesem Beispielcode helfen? Ich bin hauptsächlich daran interessiert, die Reflect-API

5Hitze

2Antwort

Wie verwende ich Apache avro GenericRecord für dynamische Daten?

Ich möchte mit Apache Avro meine Daten serialisieren, mein Client ist in C++ geschrieben und mein Server ist in Java geschrieben. Mein Server Java-Code sieht wie folgt aus: Schema scm = new Schema.Par

5Hitze

2Antwort

Wie definiere ich einen Standardwert für eine Enumeration mit avro IDL?

Ich habe nichts in der Dokumentation darüber gefunden, nur generische bla über Standardwerte. Meine Vermutung war, dass es sollte wie folgt funktionieren: enum MyEnum { UNSPECIFIED, SPECIFIE

5Hitze

3Antwort

Daten Serialisierung Framework

Ich bin neu in diesem Apache Avro (Serialisierung Framework). Ich weiß, was Serialisierung ist aber warum gibt es separate Rahmen lik avro, thrift, Protokollpuffer und Warum kann man Java Serialisieru

11Hitze

3Antwort

Avro Schemaevolution

Ich habe zwei Fragen: Ist es möglich, den gleichen Leser zu verwenden und Aufzeichnungen analysieren, die mit zwei Schemas geschrieben wurden, die kompatibel sind, z.B. Schema V2 hat nur ein zusätzlic