[spark] __spark_libs__.zip does not exist 오류 해결 방법

스파크쉘으르 이용하여 작업을 실행하면 작업에 필요한 라이브러리를 묶어서 hdfs에 올리고, 이 라이브러리를 사용해서 워커노드에서 작업을 처리합니다. 따라서 hdfs연결 설정이 올바르지 않으면 해당 오류가 발생합니다.

java.io.FileNotFoundException: File file:/tmp/spark-126d2844-5b37-461b-98a4-3f3de5ece91b/__spark_libs__3045590511279655158.zip
does not exist
        at org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:611)

해결방법

/etc/spark/spark-env.sh에서 configuration 설정이 정확하게 연결되었는지 확인하고, mapred-site.xml설징이 정확한지 확인합니다.

# spark-env.sh의 다음 설정을 확인합니다. 

export HADOOP_HOME=${HADOOP_HOME:-/opt/hadoop}
export HADOOP_HDFS_HOME=${HADOOP_HDFS_HOME:-/opt/hadoop}
export HADOOP_MAPRED_HOME=${HADOOP_MAPRED_HOME:-/opt/hadoop}
export HADOOP_YARN_HOME=${HADOOP_YARN_HOME:-/opt/hadoop}
export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-/etc/hadoop/conf}