[hdfs] yarn 작업 중 s3a 연결 오류 처리: com.amazonaws.AmazonClientException: No AWS Credentials provided by BasicAWSCredentialsProvider EnvironmentVariableCredentialsProvider InstanceProfileCredentialsProvider : com.amazonaws.SdkClientException..

yarn 에 s3를 연결하여 작업을 처리할 때 모든 작업을 다 했는데도 다음과 같은 오류가 발생하면서 연결이 되지 않는 다면 리소스 매니저, 노드 매니저를 재부팅해야 할 필요가 있습니다.

 

Failing this attempt.Diagnostics: [2022-11-25 19:18:38.425]java.io.InterruptedIOException: doesBucketExist on peb-test-bucket: com.amazonaws.AmazonClientException: No AWS Credentials provided by BasicAWSCredentialsProvider EnvironmentVariableCredentialsProvider InstanceProfileCredentialsProvider : com.amazonaws.SdkClientException: Unable to load credentials from service endpoint
For more detailed output, check the application tracking page: https://uc-hadoop-master2.k9e.io:8090/cluster/app/application_1665544359703_261858 Then click on links to logs of each attempt.
. Failing the application.
22/11/25 19:18:38 DEBUG security.UserGroupInformation: PrivilegedAction as:hdfs/uc-hadoop-master1.k9e.io@K9E.IO (auth:KERBEROS) from:org.apache.hadoop.mapreduce.Job.getCounters(Job.java:817)
22/11/25 19:18:38 DEBUG ipc.Client: IPC Client (198250778) connection to uc-hadoop-master2.k9e.io/10.181.4.32:8050 from hdfs/uc-hadoop-master1.k9e.io@K9E.IO sending #657 org.apache.hadoop.yarn.api.ApplicationClientProtocolPB.getApplicationReport
22/11/25 19:18:38 DEBUG ipc.Client: IPC Client (198250778) connection to uc-hadoop-master2.k9e.io/10.181.4.32:8050 from hdfs/uc-hadoop-master1.k9e.io@K9E.IO got value #657
22/11/25 19:18:38 DEBUG ipc.ProtobufRpcEngine: Call: getApplicationReport took 0ms
22/11/25 19:18:38 INFO mapreduce.Job: Counters: 0

 

노드매니저가 s3에 연결하여 스테이징 파일등을 써야 할 필요가 있는데 기본적으로 사용하는 크레덴셜 설정으로 크레덴셜을 불러오지 못해서 오류가 발생합니다. s3a 연결할 때 다음 설정을 이용합니다.

 

여기 있는 설정을 core-site.xml 에 추가한 후 노드매니저, 리소스매니저를 재부팅하면 오류가 발생하지 않습니다.

 

 

s3a 설정

s3a 관련 설정은 다음과 같습니다.