avro

0Hitze

1Antwort

AvroMultipleInputs - Ausgabe Hinzufügen mehrerer Pfade

Hier ist der Treiber-Code-Snippet, dass ich mehrere Avro Eingangspfade mit unterschiedlichen Zuordnerklassen AvroMultipleInputs.addInputPath(jobConf, new Path(args[0]), IncrementalDataMapper.class, in

0Hitze

1Antwort

Maximale Größe der Zeilen in Spark-Jobs mit Avro/Parkett

Ich plane, Spark zu verwenden, um Daten zu verarbeiten, wobei jedes einzelne Element/Zeile in der RDD oder DataFrame gelegentlich groß sein kann (bis zu mehreren GB). Die Daten werden wahrscheinlich i

3Hitze

1Antwort

Warum kann BigQuery eine Avro-Datei, die von avro-tools akzeptiert wird, nicht analysieren?

Ich versuche, Google Cloud-Datenspeicherdaten in Avro-Dateien in Google Cloud-Speicher zu exportieren und dann diese Dateien in BigQuery zu laden. Erstens weiß ich, dass Big Query Datenspeicher-Backup

0Hitze

2Antwort

Sqoop Import als Avro Fehler

Stack: Installierte HDP-2.3.2.0-2950 mit Ambari 2.1 Ich versuche, eine SQL Server-Tabelle auf HDFS zu importieren. [[email protected] root]$ sqoop import --connect 'jdbc:sqlserver://dbserver;database=

2Hitze

1Antwort

Deserialize Avro-Nachrichten in bestimmte Daten mit KafkaAvroDecoder

Ich lese von einem Kafka-Thema, das Avro-Nachrichten enthält, die unter Verwendung der KafkaAvroEncoder (die automatisch die Schemas mit den Themen registriert). Ich benutze das maven-avro-plugin, um

2Hitze

1Antwort

Import von SQL Server, Datentypen nicht richtig

Import von SQL Server konvertiert, Datentypen nicht ordnungsgemäß konvertiert Stack: Installierte HDP-2.3.2.0-2950 Ambari mit 2,1 Ziel: Import Tabellen von SQL Server auf HDFS in Avro Format AUSSEN Hi

1Hitze

1Antwort

Avro-Schema-Auflösung mit verschiedenen Namespace

Ich bin neu bei Avro und versuchen, Schema-Auflösung/Evolution zu verstehen. Meine Frage ist: ist es möglich, den Namespace eines Schemas zu ändern, sobald es veröffentlicht wird?

0Hitze

1Antwort

speichern Avro-Datei Hbase Apache Nifi

ich Daten aus ORACLE DB bekommen, und ich will es in hbase speichern, ohne Verwendung von (convertAvroToJson und putHbaseJSON) von Oracle ich erhalte 4 Attribut wie folgt aus: a: Text b: Text c: Text

0Hitze

1Antwort

So verweisen Sie auf Java-Klasse in Avro

Ich habe ClassA In Java erstellt, die einige benutzerdefinierte Annotation hat, die ich einen Teil des AVRO-Datensatzes nicht erstellen kann. Ich möchte Protokoll RPC in avro definieren, um die benutz

1Hitze

1Antwort

Avro über den Spark Connector in BigQuery laden

Von dem, was ich in diesem Beispiel gesehen habe, ist es nur über Gson machbar. Ist es möglich, Avro-Objekte über den Spark Connector direkt in eine BigQuery-Tabelle zu laden? Die Konvertierung von Av