티스토리 뷰

EMR 에서 S3 에 올려져 있는 파일을 확인하는 명령어는

- hadoop fs -ls s3://버켓/

- aws s3 ls s3://버켓

이사의 두개의 커맨드가 존재한다.


이중에서 aws 커맨드를 사용할 것을 추천한다.

이유는 aws 커맨드를 사용하는 것이 더 경량이기 때문이다.


hadoop 커맨드는 java, aws 커맨드는 파이썬으로 구성되어 있어서

hadoop 커맨드를 실행할때는 로드되는 커맨드가 많기 때문에 무겁고, 메모리도 많이 먹게 된다.


꼭 hadoop 커맨드를 사용해야 할 경우가 아니라면 aws 커맨드를 사용할 것을 추천한다.

반응형
반응형
공지사항
최근에 올라온 글
최근에 달린 댓글
Total
Today
Yesterday
«   2025/02   »
1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28
글 보관함