[hadoop] 하둡 설정에서 job.xml:an attempt to override final parameter: fs.defaultFS 경고

하둡에서 파일 시스템을 변경하거나, 어떤 설정값을 변경하고자 할 때 다음과 같은 경고가 뜨는 경우가 있다.

// 경고 
2021-03-30 18:49:32,981 WARN [main] org.apache.hadoop.conf.Configuration: job.xml:an attempt to override final parameter: fs.defaultFS;  Ignoring.


// 오류 
java.lang.IllegalArgumentException: Wrong FS: swift://test/tmp/hdfs/.staging, expected: hdfs://localhost

 

 

이 경우 core-site.xml 파일을 보면 fs.defaultFS 설정에 <final>true</final>이 들어가 있을 것이다. 이 값이 false 이면 설정을 변경하지 못하여 위의 오류가 발생할 수 있다. 이럴때는 이 값을 false로 주거나 삭제하면 된다.

 

WARN만 출력하고 작업은 진행되기 때문에 해당 설정으로 인해서 문제가 발생하는 경우 원인을 찾기 어려운 경우가 있기 때문에 주의해야 한다.