avro

10Hitze

2Antwort

Hive create Tabelle mit Eingängen von verschachtelten Unterverzeichnissen

Ich habe Daten im Avro-Format in HDFS in Dateipfaden wie: /data/logs/[foldername]/[filename].avro. Ich möchte eine Hive-Tabelle über alle diese Protokolldateien erstellen, d. H. Alle Dateien des Formu

9Hitze

1Antwort

Kodieren Sie ein Objekt mit Avro zu einem Byte-Array in Python

In Python 2.7, mit Avro, möchte ich ein Objekt zu einem Byte-Array zu kodieren. Alle Beispiele, die ich gefunden habe, schreiben in eine Datei. Ich habe versucht mit io.BytesIO(), aber dies gibt: Attr

9Hitze

1Antwort

Erzeugen eines AVRO-Schemas aus einem JSON-Dokument

Gibt es ein Tool, mit dem ein AVRO-Schema aus einem 'typischen' JSON-Dokument erstellt werden kann? Zum Beispiel: { "records":[{"name":"X1","age":2},{"name":"X2","age":4}] } fand ich http://jsonsc

42Hitze

7Antwort

Avro v/s Parkett

Ich plane, eines der Hadoop-Dateiformat für meine Hadoop-Projekt verwenden. I verstehen Parkett ist effizient für Spalte basierte Abfrage und AVRO für den vollständigen Scan oder wenn wir alle Spalten

6Hitze

1Antwort

Wie definiert man AVRO-Schema für ein komplexes JSON-Dokument?

Ich habe ein JSON-Dokument, das ich in Avro konvertieren möchte und ein Schema für diesen Zweck benötigt. Hier ist das JSON-Dokument, für das Ich mag würde das Avro-Schema definieren: { "uid": 291533

10Hitze

2Antwort

Serialisierung von Daten mit Avro in Knoten js

Ich möchte Daten von einem JSON-Objekt serialisieren und es über das Netzwerk mit Kafka als ein Ende senden. Jetzt habe ich eine Avro-Schema in einer Datei, welche die Felder bestimmt notwendig zu sen

12Hitze

2Antwort

Generieren Avro-Schema aus bestimmten Java-Objekt

Apache Avro bietet eine kompakte, schnelle, binäre Datenformat, reiche Datenstruktur für die Serialisierung. Es erfordert jedoch, dass der Benutzer ein Schema (in JSON) für Objekte definiert, die seri

9Hitze

2Antwort

So beheben Sie die erwartete Start-Union. Haben Sie VALUE_NUMBER_INT beim Konvertieren von JSON in Avro in der Befehlszeile erhalten?

Ich versuche, eine JSON-Datei mithilfe eines Avro-Schemas zu validieren und die entsprechende Avro-Datei zu schreiben. Zuerst habe ich folgendes Schema Avro user.avsc genannt definiert: {"namespace":

10Hitze

2Antwort

Komprimiert binäre Codierung von AVRO Daten?

In einem unserer Projekte verwenden wir Kafka mit AVRO, um Daten über Anwendungen hinweg zu übertragen. Daten werden zu einem AVRO-Objekt hinzugefügt, und das Objekt ist binär codiert, um nach Kafka z

8Hitze

1Antwort

Wie avro binäre Codierung meiner JSON-Zeichenfolge zu einem Byte-Array?

Ich habe eine tatsächliche JSON-Zeichenfolge, die ich avro binäre Codierung zu einem Byte-Array benötigen. Nachdem ich die Apache Avro specification durchgegangen bin, kam ich auf den folgenden Code.