[hdfs] HDFS 디렉토리 최대값 설정 변경

HDFS 조회중 item limit 으로 인해 발생하는 다음의 오류는 hdfs-site.xml 에 설정된 dfs.namenode.fs-limits.max-directory-items 의 값보다 많은 수의 개체가 생성되어서 그렇습니다.

ERROR [uber-SubtaskRunner] org.apache.hadoop.hive.ql.Driver: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exception: org.apache.hadoop.ipc.RemoteException The directory item limit of /user/ is exceeded: limit=1048576 items=1048576
    at org.apache.hadoop.hdfs.server.namenode.FSDirectory.verifyMaxDirItems(FSDirectory.java:936)
    at org.apache.hadoop.hdfs.server.namenode.FSDirectory.addLastINode(FSDirectory.java:981)

이를 수정하기 위해서는 해당 값을 변경하면 됩니다.

* dfs.namenode.fs-limits.max-directory-items

  - Defines the maximum number of items that a directory may contain. A value of 0 will disable the check.