Does distcp in Hadoop ENCRYPT Daten beim Transport von einem Cluster zum anderen

Question

Ich würde gerne wissen, ob Distcp Option zum Verschlüsseln von Daten beim Transport von einem Cluster zum anderen hat. Ich habe erfahren, dass es die Verschlüsselung im S3-Cluster unterstützt, aber das hat etwas mit Amazon S3 zu tun. Was passiert, wenn wir eine reine Textdatei von einem Cluster in einen anderen verschieben? Wird es verschlüsselt oder wird reiner Text gesendet? Können wir eine solche Verschlüsselung aktivieren, wenn sie dies unterstützt?

Answer 1

Von HDFS documentation:

Sobald ein KMS eingerichtet wurde und die NameNode und HDFS Kunden haben richtig konfiguriert wurde, kann ein Administrator verwenden, um die hadoop Schlüssel und hdfs Crypto Kommandozeilen-Tools zu erstellen Verschlüsselungsschlüssel und richten Sie neue Verschlüsselung Zonen ein. Vorhandene Daten können verschlüsselt werden, indem sie mit Tools wie distcp in die neuen Verschlüsselungszonen kopiert werden.

Hoffe es hilft.