Wie wird der HBase-Datenstandort beibehalten, nachdem der HDFS-Rebalancer ausgeführt wurde? Oder wie kann man Daten von einem bestimmten Datenknoten in einen anderen verschieben?

Question

Einer meiner Datenknoten hat 70% Speicherplatz belegt, andere nur 30%. Wie kann ich einige Daten vom 70% Festplattenknoten auf andere migrieren? Aber ich kann HDFS Rebalance nicht verwenden, da Hbase auf HDFS ausgeführt wird, kann die Datenneuverteilung dazu führen, dass Hbase Datenlokalität verliert.

Answer 1

tl; dr: Sie fragen ein Feature, das noch nicht Teil von HDFS ist.

Es gibt ein JIRA-Ticket HDFS-1312 zum Verfolgen der Entwicklungsbemühungen. Wie Ihr Problem festgestellt hat, beabsichtigt der vorgeschlagene Datanode-Balancer, das Problem zu beheben, dass Datenblöcke Festplatten nicht gleichmäßig füllen. Glücklicherweise befindet sich das Feature in aktiver Entwicklung und wir können erwarten, dass es in Monaten (nicht Jahren) wieder in Hadoop released wird.

Im JIRA Link gibt es zwei Lösungen, bevor die Funktion freigegeben wird:

1. manuell Rebalancing Blöcke in Speicherverzeichnisse
2. Außer Betrieb nehmen Knoten & sie später

readding jedoch, bitte es manuell nur mit großer Sorgfalt.

Answer 2

Ich denke, dass Ihre verwendbare Festplatte Format ist die gleiche. Wenn Sie 70% Daten migrieren möchten, dann sind Sie Partition Methode verwenden.

1. Festplattenpartition mit anderem Format erstellen.

2. dann montieren Sie die Festplatte und verwenden Sie wie gewünscht.