하둡에서 파일 시스템을 변경하거나, 어떤 설정값을 변경하고자 할 때 다음과 같은 경고가 뜨는 경우가 있다.
// 경고
2021-03-30 18:49:32,981 WARN [main] org.apache.hadoop.conf.Configuration: job.xml:an attempt to override final parameter: fs.defaultFS; Ignoring.
// 오류
java.lang.IllegalArgumentException: Wrong FS: swift://test/tmp/hdfs/.staging, expected: hdfs://localhost
이 경우 core-site.xml 파일을 보면 fs.defaultFS 설정에 <final>true</final>이 들어가 있을 것이다. 이 값이 false 이면 설정을 변경하지 못하여 위의 오류가 발생할 수 있다. 이럴때는 이 값을 false로 주거나 삭제하면 된다.
WARN만 출력하고 작업은 진행되기 때문에 해당 설정으로 인해서 문제가 발생하는 경우 원인을 찾기 어려운 경우가 있기 때문에 주의해야 한다.
반응형