Distcp повторить ошибку, когда я использую AWS учетные данные

голоса
0

Я пытаюсь нажать несколько файлов журналов из HDFS в s3 ведро

Я использую distcp команду для этого, но он продолжает пытаться в течение длительного времени, Пожалуйста, помогите мне устранить ее.

sudo -u hdfs hadoop distcp -Dfs.s3a.access.key=xxxxxxxxxx -Dfs.s3a.secret.key=xxxxxxxxxxxxxx hdfs://prod1/data/exchange/inventory_snapshot/20160610 s3a://test-inventory-snapshot/test/

18/11/27 15:01:41 INFO tools.DistCp: Input Options: DistCpOptions{atomicCommit=false, syncFolder=false, deleteMissing=false, ignoreFailures=false, maxMaps=20, sslConfigurationFile='null', copyStrategy='uniformsize', sourceFileListing=null, sourcePaths=[hdfs://prod1/data/exchange/inventory_snapshot/20160610], targetPath=s3a://test-inventory-snapshot/test, targetPathExists=true, preserveRawXattrs=false}
18/11/27 15:01:41 INFO client.RMProxy: Connecting to ResourceManager at xxxx.xxxx.com/xx.xx.xx.x:8032
18/11/27 15:01:47 INFO client.RMProxy: Connecting to ResourceManager at xxxx.xxxx.com/xx.xx.xx.x:8032
18/11/27 15:01:48 INFO ipc.Client: Retrying connect to server: xxxx.xxxx.com/xx.xx.xx.x:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=50, sleepTime=1000 MILLISECONDS)
18/11/27 15:01:49 INFO ipc.Client: Retrying connect to server: xxxx.xxxx.com/xx.xx.xx.x:8032. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=50, sleepTime=1000 MILLISECONDS)
18/11/27 15:01:50 INFO ipc.Client: Retrying connect to server: xxxx.xxxx.com/xx.xx.xx.x. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=50, sleepTime=1000 MILLISECONDS)
18/11/27 15:01:51 INFO ipc.Client: Retrying connect to server: xxxx.xxxx.com/xx.xx.xx.x:8032. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=50, sleepTime=1000 MILLISECONDS)
18/11/27 15:01:52 INFO ipc.Client: Retrying connect to server: xxxx.xxxx.com/xx.xx.xx.x:8032. Already tried 4 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=50, sleepTime=1000 MILLISECONDS)

когда я пытаюсь сделать команду LS это работает, то не так с тем, как я проходя мои AWS учетные данные,

sudo -u hdfs hadoop fs -ls hdfs://prod1/data/exchange/inventory_snapshot/20160610
Found 1 items
drwxr-xr-x   - user hdfs          0 2016-06-10 12:30 hdfs://prod1/data/exchange/inventory_snapshot/20160610/.metadata

 hadoop version
Hadoop 2.7.1.2.3.2.0-2950
Subversion git@github.com:hortonworks/hadoop.git -r 5cc60e0003e33aa98205f18bccaeaf36cb193c1c
Compiled by jenkins on 2015-09-30T18:08Z
Compiled with protoc 2.5.0
From source with checksum 69a3bf8c667267c2c252a54fbbf23d
This command was run using /usr/hdp/2.3.2.0-2950/hadoop/lib/hadoop-common-2.7.1.2.3.2.0-2950.jar
Задан 27/11/2018 в 15:11
источник пользователем
На других языках...                            


1 ответов

голоса
2

Подключение к ResourceManager при xxxx.xxxx.com/xx.xx.xx.x:8032

Похоже, вы не можете связаться со своей ПРЯЖЕЙ ResourceManager от хоста, который вы пытаетесь запустить работу distcp. В «Hadoop фс -ls» работает, потому что это не связано с пряжей.

Есть несколько причин, почему это могло произойти. Проверьте, если ResourceManager действительно работает на xxxx.xxxx.com/xx.xx.xx.x:8032 узел, проверьте, если вы можете достичь этого хост / порт. Попробуйте выполнить некоторые другие MapReduce работу (например, Pi из Hadoop-примеров).

Ответил 27/11/2018 в 16:00
источник пользователем

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more