[hadoop] HDFS의 유용한 명령어

2016. 7. 27. 23:24·빅데이터/hadoop

[파일 정보 확인] 

ls

- 지정한 디렉토르의 

lsr

- ls 는 현재 디렉토리만 출력하는 반면 lsr 명령어는 현재 디렉토리의 하위 디렉토리 정보까지 출력한다. 

count

- 파일 사이즈, 디렉토리 용량, 폴더 수 등을 확인합니다. 



[파일 용량 확인]

du

- 지정한 디렉토리나 파일의 사용량을 확인하는 명령어로, 바이트 단위로 결과를 출력합니다. 


dus

- du 명령어는 디렉토리와 파일별로 용량을 출력하지만, dus는 전체 합계 용량만 출력합니다. 



[파일 내용보기]

cat

- 지정한 파일의 내용을 화면에 출력합니다. 


text

- cat 명령어는 텍스트 파일만 출력할 수 있습니다. text 명령어는 압축된 파일도 확인이 가능합니다. 

- 확장자에 따라 압축방법을 선택하여 보여주기 때문에 확장자가 다르면 올바르게 출력이 되지 않을 수도 있습니다. 



[디렉토리 생성]

mkdir

- 디렉토리를 생성합니다. 

- -p 옵션을 이용하여 한번에 하위 디렉토리까지 생성이 가능합니다. 



[파일복사] 


put, copyFromLocal

- 로컬의 파일을 HDFS에 복사합니다. 


get, copyToLocal

- HDFS의 파일을 로컬에 복사합니다. 


getmerge

 - HDFS에 있는 파일을 하나의 파일로 복사합니다 




[파일 삭제]

rm

- HDFS의 파일을 삭제합니다. 

- -r 옵션을 이용하여 디렉토리를 삭제합니다. 




[권한변경]

chmod, chown, chgrp

- 파일의 권한을 변경합니다. 


touchz

- 크기가 0 바이트인 파일을 생성합니다. 


setrep

- 파일의 복제 데이터 개수를 변경합니다. 

반응형
저작자표시 비영리 (새창열림)

'빅데이터 > hadoop' 카테고리의 다른 글

[hadoop] 하둡 3.0의 신규기능과 이레이져 코딩  (0) 2016.10.12
[hdfs] Non DFS used 용량  (0) 2016.08.25
[에러] 하둡 처리중 could only be replicated to 0 nodes instead of minReplication (=1)  (0) 2016.06.29
[팁] hdfs 에 파일 업로드시 권한문제가 발생할 때 해결방법  (2) 2016.06.16
[오류] 리듀서 처리중 Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out. 오류  (0) 2016.02.15
'빅데이터/hadoop' 카테고리의 다른 글
  • [hadoop] 하둡 3.0의 신규기능과 이레이져 코딩
  • [hdfs] Non DFS used 용량
  • [에러] 하둡 처리중 could only be replicated to 0 nodes instead of minReplication (=1)
  • [팁] hdfs 에 파일 업로드시 권한문제가 발생할 때 해결방법
hs_seo
hs_seo
Hello World!
    반응형
  • hs_seo
    개발자로 살아남기
    hs_seo
  • 전체
    오늘
    어제
    • 전체 (1140)
      • 개발자 (21)
        • 개발에 유의할 점 (0)
        • 면접 (5)
      • IT 소식 (5)
        • 업계 (1)
      • java (51)
        • 디자인패턴 (3)
        • apache-common (1)
      • 개념 (47)
        • 자료구조 (4)
        • 함수형사고 (8)
        • 디자인패턴 (1)
      • 데이터분석 (1)
      • python (67)
        • 코드조각 (12)
        • 라이브러리 (2)
      • 빅데이터 (418)
        • zookeeper (5)
        • hadoop (78)
        • hdfs (12)
        • hive (127)
        • hbase (16)
        • spark (40)
        • scala (4)
        • trino (3)
        • oozie (41)
        • Hue (9)
        • R (5)
        • sqoop (6)
        • flume (3)
        • elasticsearch (2)
        • airflow (16)
        • kafka (3)
        • kubernetes (10)
        • openstack (3)
        • flink (2)
        • redis (2)
      • 빅데이터 강좌 (2)
      • 알고리즘 (131)
        • 알고리즘 (1)
        • 백준 (61)
        • 정올 (41)
        • 더블릿 (5)
        • 프로그래머스 (1)
      • 프로그래밍 언어 (30)
        • go (4)
        • js (9)
        • .Net (6)
        • Jsp (1)
        • ansible (3)
        • terraform (6)
      • Tools (56)
        • docker (2)
        • macbook (6)
        • maven (3)
        • sublime (1)
      • 프레임워크 (25)
        • [JS] angularjs (2)
        • [JS] node.js (19)
        • [Java] spring (2)
        • Android (2)
      • 데이타베이스 (43)
        • SQLD (5)
        • Oracle (1)
        • MySQL (8)
        • ADsP (2)
      • 리눅스 (25)
        • Bash (61)
      • GCP (5)
      • AWS (34)
        • EC2 (2)
        • EMR (14)
      • 정보보안기사 (4)
        • 네트워크 (1)
      • 개인 (80)
        • 업무실수 (0)
        • 책 (9)
        • 교육 (3)
        • 여행 (17)
        • 영화 (12)
        • 음악 (2)
        • 피규어 (4)
        • 게임 (3)
        • 생각 (7)
        • 기타 (10)
        • 좋은글 (5)
        • 좋은 사이트 (2)
  • 블로그 메뉴

    • 홈
    • 태그
    • 미디어로그
    • 위치로그
    • 방명록
  • 링크

    • 빅데이터-하둡,하이브로 시작하기
    • 빅데이터-스칼라, 스파크로 시작하기
    • Kaggle에서 파이썬으로 데이터 분석 시작하기
    • 쉘스크립트 개발 시작하기
    • 개발자가 데이터 분석 준전문가 되기
    • 데브쿠마
  • 공지사항

  • 인기 글

  • 태그

    파이썬
    Linux
    HIVE
    ubuntu
    알고리즘
    java
    정올
    SPARK
    yarn
    다이나믹
    HDFS
    hbase
    S3
    oozie
    airflow
    build
    AWS
    Tez
    하이브
    nodejs
    Hadoop
    백준
    k8s
    emr
    bash
    mysql
    Python
    오류
    error
    하둡
  • 최근 댓글

  • 최근 글

  • hELLO· Designed By정상우.v4.10.6
hs_seo
[hadoop] HDFS의 유용한 명령어
상단으로

티스토리툴바