본문 바로가기
AWS/EMR

[AWS] EMR에서 S3의 데이터를 확인하는 경우 AWS 커맨드 추천

by hs_seo 2016. 8. 12.

EMR 에서 S3 에 올려져 있는 파일을 확인하는 명령어는

- hadoop fs -ls s3://버켓/

- aws s3 ls s3://버켓

이사의 두개의 커맨드가 존재한다.


이중에서 aws 커맨드를 사용할 것을 추천한다.

이유는 aws 커맨드를 사용하는 것이 더 경량이기 때문이다.


hadoop 커맨드는 java, aws 커맨드는 파이썬으로 구성되어 있어서

hadoop 커맨드를 실행할때는 로드되는 커맨드가 많기 때문에 무겁고, 메모리도 많이 먹게 된다.


꼭 hadoop 커맨드를 사용해야 할 경우가 아니라면 aws 커맨드를 사용할 것을 추천한다.

반응형