[hadoop] hadoop fs 명령의 OutOfMemory 오류 수정

hadoop fs 명령에서 OutOfMemory 오류가 발생하는 경우가 있습니다. 아래와 같이 디렉토리의 정보를 가져올 때 오류가 발생합니다.

$ hadoop fs -ls /app/logs
#
# java.lang.OutOfMemoryError: GC overhead limit exceeded
# -XX:OnOutOfMemoryError="kill -9 %p"
#   Executing /bin/sh c "kill -9 1234"...
KILLED

원인 및 해결방법

주로 파일 개수가 많을 때 발생합니다. 이런 경우 하둡 클라이언트의 메모리를 늘려주면 됩니다. 아래와 같이 입력하여 메모리 설정을 늘려주고 fs 명령을 입력하면 됩니다.

export HADOOP_CLIENT_OPTS="-Xmx2048m"