Apache Drill vs Spark

Question

Ich habe etwas Erfahrung mit Apache Spark und Spark-SQL. Kürzlich habe ich Apache Drill-Projekt gefunden. Können Sie mir beschreiben, was die wichtigsten Vorteile/Unterschiede zwischen ihnen sind? Ich habe bereits Fast Hadoop Analytics (Cloudera Impala vs Spark/Shark vs Apache Drill) gelesen, aber dieses Thema ist für mich immer noch unklar.

Answer 1

Hier ist ein Artikel, den ich über das kam einige der SQL-Technologien diskutiert: http://www.zdnet.com/article/sql-and-hadoop-its-complicated/

Drill bei grundsätzlich anders ist sowohl die Erfahrung des Benutzers und der Architektur. Beispiel:

• Drill ist eine schemafreie Abfrage-Engine. Sie können es beispielsweise auf ein Verzeichnis von JSON- oder Parquet-Protokolldateien (auf Ihrer lokalen Box, einer NFS-Freigabe, S3, HDFS, MapR-FS usw.) richten und eine Abfrage ausführen. Sie müssen keine Daten laden, Schemas erstellen und verwalten oder die Daten vorverarbeiten.
• Drill verwendet intern ein JSON-Dokumentmodell, mit dem Daten beliebiger Struktur abgefragt werden können. Viele moderne Daten sind komplex, was bedeutet, dass ein Datensatz verschachtelte Strukturen und Arrays enthalten kann und Feldnamen tatsächlich Werte wie Zeitstempel oder Webseiten-URLs codieren können. Mit Drill können normale BI-Tools nahtlos mit solchen Daten arbeiten, ohne dass die Daten im Voraus abgeflacht werden müssen.
• Drill funktioniert mit einer Vielzahl von nicht relationalen Datastores, einschließlich Hadoop, NoSQL-Datenbanken (MongoDB, HBase) und Cloud-Speicher. Zusätzliche Datenspeicher werden hinzugefügt.

Drill 1.0 wurde gerade veröffentlicht (19. Mai 2015). Sie können es einfach auf Ihren Laptop herunterladen und damit ohne jegliche Infrastruktur spielen (Hadoop, NoSQL, etc.).