[hdfs] HDFS WebHDFS REST API 사용법

HDFS는 REST API를 이용하여 파일을 조회하고, 생성, 수정, 삭제하는 기능을 제공합니다. 이 기능을 이용하여 원격지에서 HDFS의 내용에 접근하는 것이 가능합니다.

REST API 설정

REST API를 사용하기 위해서는 hdfs-site.xml에 다음의 설정이 되어 있어야 합니다.

-- webhdfs 사용여부 설정 
dfs.webhdfs.enabled=true;
-- webhdfs 포트 설정 
dfs.namenode.http-address=0.0.0.0:50070;

REST API 사용 방법

위에서 설정한 http 포트로 curl 명령을 이용하여 ls명령을 날리는 예제는 다음과 같습니다.

-- /user/hadoop 위치를 조회 
$ curl -s http://$(hostname -f):50070/webhdfs/v1/user/hadoop/?op=LISTSTATUS

 

이 외의 여러 가지 사용 가능한 목록은 하둡의 HDFS문서를 참고하면 됩니다. 

https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/WebHDFS.html

Apache Hadoop 3.2.1 – WebHDFS REST API