Oh großartig, so die Frage in dem Thread, den Sie erwähnen, wurde eigentlich von mir vor langer Zeit gefragt :) Es wäre interessant zu sehen, wie Sie das in Ihrem Anwendungsfall verwenden.
Aber lassen Sie mich Ihnen sagen, Hive startet Hadoop-Jobs wann immer erforderlich abhängig von Ihrer Abfrage. Also, wenn Sie mehrere Abfragen ausführen möchten, was ich glaube, was Sie hier tun möchten, müssen Sie einen Job-Scheduler verwenden, der mehrere Jobs gleichzeitig ausführen kann. Hadoop verwendet standardmäßig First-In-First-Out- (FIFO-) Scheduler, um Jobs aus einer Arbeitswarteschlange zu ziehen. Also, würde gerne zum Fair-Scheduler oder Capacity-Scheduler wechseln.
Die Kernidee hinter dem Fair Share Scheduler war es, Ressourcen für Jobs zu verwenden, so dass jeder Job im Durchschnitt über die Zeit einen gleichen Anteil der verfügbaren Ressourcen erhält.
Der Kapazitätsplaner teilt einige der Prinzipien des Messe-Schedulers, hat aber auch deutliche Unterschiede. Zuerst wurde die Kapazitätsplanung für große Cluster definiert, die mehrere unabhängige Konsumenten und Zielanwendungen haben können. Bei der Kapazitätsplanung werden anstelle von Pools mehrere Warteschlangen mit jeweils einer konfigurierbaren Anzahl von Karten- und Reduzierungsschlitzen erstellt. Jeder Warteschlange wird auch eine garantierte Kapazität zugewiesen (wobei die Gesamtkapazität des Clusters die Summe der Kapazität jeder Warteschlange ist). Zweitens, die Fähigkeit, Jobs innerhalb einer Warteschlange zu priorisieren. Schließlich gibt es strenge Zugriffskontrollen für Warteschlangen.
Danke für die Info. Ich bin immer noch ein wenig verwirrt, wenn ich 10 JDBC-Verbindungen zu Hive bündle, bedeutet das, dass ich 10 Bienenstockjobs parallel geöffnet habe? Was passiert damit, wenn der Job erledigt ist? Diese jdbc-Verbindung wird wieder in den Pool freigegeben? Das nächste Mal wird eine neue Abfrage eine jdbc-Verbindung annehmen und einen neuen Hive-Job haben? Welchen Vorteil erziele ich dann, indem ich jbbc connection pooling hier einsetze, nur das Erstellen/Löschen der jdbc-Verbindungen? – Shengjie
Was ich bisher verstanden habe, ist, dass Sie mehrere Verbindungen zu MySql oder jedem von Hive als Metastore verwendeten DBMS öffnen können, aber das Ergebnis ist, dass beim Erstellen komplexer Abfragen die Hive wiederum MapReduce-Jobs zum Abrufen der Ergebnis von Hive Warehouse, das in Ihrem Fall in HDFS ist. –
Fortfahren ... Pooling Ich benutzte war irgendwie wie Threads. Ich habe eine 10-Threads-Verbindung reserviert, um einen Server zu strukturieren, abhängig von der Kapazität meines Clusters. Eine Abfrage sagt, 'Name von Mitarbeiter auswählen' würde einen Thread verbrauchen. Eine andere solche Abfrage würde, sagen wir mal, einen weiteren Thread belegen und so weiter. Wenn eine Abfrage beendet ist, würde ich den mit dieser Abfrage verknüpften Thread zurück zum Thread-Pool senden. –