HDFS를 운영중 네임노드가 일시적으로 중단되었을 때 데이터노드가 블록 리포트를 네임노드에 전달하고 응답을 받지 못하면 StaleStorage가 발생합니다. 이 오류는 일시적인 오류이기 때문에 일반적으로 모르고 넘어갈 수 있습니다.
데이터노드의 블록 리포트는 기본적으로 6시간(dfs.blockreport.intervalMsec)에 한번씩 생성하기 때문에 이 오류는 네임노드가 정상이 되어도 바로 사라지지 않습니다. 이럴 때는 FS 명령을 이용해서 오류를 바로 처리할 수 있습니다.
반응형
'빅데이터 > hadoop' 카테고리의 다른 글
| [hadoop] AWS 환경 밖에서 hadoop으로 s3의 데이터를 조회하는 방법 (0) | 2021.01.17 |
|---|---|
| [hadoop] 보안하둡, 일반하둡간 DistCp 처리 (0) | 2021.01.10 |
| [hadoop] hadoop fs 명령에서 로그를 출력하는 방법 (0) | 2020.11.04 |
| [hadoop] [스크랩] Line에서 하둡 클러스터를 운영하면서 발생한 장애 상황 대응 방법 (0) | 2020.06.04 |
| [hadoop] hadoop fs 명령의 OutOfMemory 오류 수정 (0) | 2019.12.17 |