[hadoop] 세컨더리네임노드(secondary namenode)

하둡 HDFS는 동작하면서 HDFS에 파일을 생성, 삭제 하는 등의 작업에 대한 트랜잭션 로그를 기록합니다.

해당 로그는 Edits_XXX 이름으로 네임노드의 dfs.namenode.edits.dir 에 설정된 위치에 저장됩니다.

이 트랜잭션 로그는 트랜잭션이 많아질 수록 빠르게 해당 위치에 쌓이게 됩니다.

로그는 세컨더리네임노드를 이용하여 정리할 수 있습니다.

세컨더리네임노드는 다음과 같이 실행합니다.

> hdfs secondarynamenode

세컨더리 네임노드는 설정값에 따라 기본 한시간에 한번씩 Edits 로그를 확인하면서

설정값이상의 파일이나, 트랜잭션 횟수를 넘어서면 Edits 파일을 정리하여 사이즈를 줄여줍니다.

• dfs.namenode.checkpoint.period: 체크포인트 확인 시간
  
• dfs.namenode.checkpoint.txns: 체크포인트를 확인하는 트랜잭션의 횟수
  

HDFS 트랜잭션이 많다면 설정을 변경하여 더욱 자주 체크하도록 해주는 것이 좋습니다.

세컨더리 네임노드 - https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html#Secondary_NameNode

세컨더리 네임노드 커맨드 - https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HDFSCommands.html#secondarynamenode