하둡에서 파일 시스템을 변경하거나, 어떤 설정값을 변경하고자 할 때 다음과 같은 경고가 뜨는 경우가 있다. // 경고 2021-03-30 18:49:32,981 WARN [main] org.apache.hadoop.conf.Configuration: job.xml:an attempt to override final parameter: fs.defaultFS; Ignoring. // 오류 java.lang.IllegalArgumentException: Wrong FS: swift://test/tmp/hdfs/.staging, expected: hdfs://localhost 이 경우 core-site.xml 파일을 보면 fs.defaultFS 설정에 true이 들어가 있을 것이다. 이 값이 false 이면 ..
EMR에서 hadoop fs 명령을 이용할 때 다음과 같은 경고 문구가 출력되는 경우가 있습니다. 작업에는 문제가 없지만, 작업 로그가 지저분해 질 수 있습니다. 이 경고는 ~/.aws의 aws 명령어의 프로파일에 profile 문구가 추가 되어서 발생합니다. ~/.aws/config, ~/.aws/credentials 파일을 확인하여 프로파일명을 수정하면 됩니다. 20/06/12 01:40:02 WARN internal.BasicProfileConfigLoader: Your profile name includes a 'profile ' prefix. This is considered part of the profile name in the Java SDK, so you will need to inclu..
- Total
- Today
- Yesterday
- ubuntu
- SQL
- nodejs
- S3
- HDFS
- AWS
- HIVE
- Linux
- oozie
- 하둡
- 알고리즘
- error
- build
- Python
- 정올
- 백준
- 파이썬
- hbase
- bash
- java
- Hadoop
- 오류
- emr
- mysql
- SPARK
- yarn
- 다이나믹
- Tez
- 하이브
- airflow
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |