[hadoop] 하둡 명령어, 자주 사용하는 커맨드(hadoop command)

하둡에서 자주 사용하는 명령어는 다음과 같다.

* 폴더의 용량을 확인할 때 count 를 사용

* 파일의 내용을 확인할 때는 cat 보다는 text를 사용하면 더 좋다. 파일 타입을 알아서 판단하기 때문

hadoop fs -cat [경로]
    - 경로의 파일을 읽어서 보여줌
    - 리눅스 cat 명령과 동리함

hadoop fs -count [경로]
    - 경로상의 폴더, 파일, 파일사이즈를 보여줌

hadoop fs -cp [소스 경로] [복사 경로]
    - hdfs 상에서 파일 복사

hadoop fs -df /user/hadoop
    - 디스크 공간 확인

hadoop fs -du /user/hadoop
    - 파일별 사이즈 확인

hadoop fs -dus /user/hadoop
    - 폴더의 사이즈 확인

hadoop fs -get [소스 경로] [로컬 경로]
    - hdfs 의 파일 로컬로 다운로드

hadoop fs -ls [소스 경로]
    - 파일 목록 확인

hadoop fs -mkdir [생성 폴더 경로]
    - 폴더 생성

hadoop fs -mkdir -p [생성 폴더 경로]
    - 폴더 생성, 부모 경로까지 한번에 생성해 준다. 

hadoop fs -put [로컬 경로] [소스 경로]
    - 로컬의 파일 hdfs 상으로 복사

hadoop fs -rm [소스 경로]
    - 파일 삭제, 폴더는 삭제 안됨

hadoop fs -rmr [소스 경로]
    - 폴더 삭제

hadoop fs -setrep [값] [소스 경로]
    - hdfs 의 replication 값 수정

hadoop fs -text [소스 경로]
    - 파일의 정보를 확인하여 텍스트로 반환
    - gz, lzo 같은 형식을 확인후 반환해줌

hadoop fs -getmerge hdfs://src local_destination

- hdfs 경로상의 파일을 하나로 합쳐서 로컬로 가져온다. 

- 리듀스 결과가 여러개일 경우 하나의 파일로 만들기 위해 사용할 수 있다. 

- 주의할 점은 로컬 경로로 가져온다는 것이다. hdfs 상에는 생성 불가이다. 

하둡 명령어 참조

   - https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/FileSystemShell.html#count