AWS34 s3 블록파일 시스템과 s3 네이티브 파일시스템의 차이 아마존 AWS 에서 사용하는 파일 시스템에는 S3 블록파일 시스템과 S3 네이티브 파일 시스템이 존재한다. 하둡을 지원하기 위해 처음 등장한 블록파일 시스템은 "s3://" 스키마를 사용한다. HDFS와 유사하게 동작하며, 파일을 블록형태로 저장한다. 이 블록파일 시스템은 다른 파일 관리도구로 읽을 수 없고, 블록 형태로 저장되어 일반적인 파일 시스템과 달라서네이티브 파일 시스템이 등장하였다. 네이티브 파일 시스템은 's3n://' 스키마를 사용한다. 이 네이티브 파일 시스템은 다른 파일 관리 도구로도 읽을 수 있다. 처음 등장하였을 때는 5GB의 파일당 제한이 있었지만, 나중에 5TB로 수정되었다. * 블록과 네이티브 파일 시스템의 차이는 우선 URI 스키마의 차이, 저장 방식의 차이, 접근 도구의 차.. 2016. 4. 28. [AWS/EMR] AMI v4.x 대의 포트 변경 AWS의 EMR 서비스의 AMI 버전이 4.x 대로 변경되면서 하둡의 기본 포트가 변경되었다. 기존과 같이 사용하면 오류가 발생하므로 수정해야 한다. Service Ports In Amazon EMR AMI versions 2.x and 3.x, some services used custom ports. emr-4.0.0 hosts these services on open source community defaults in most cases. Changes in Port Settings Setting AMI Version 3.x Release Label emr-4.x fs.default.name hdfs://emrDeterminedIP:9000 default (hdfs://emrDeterminedIP:.. 2015. 8. 13. [AWS/EC2] 맥에서 EC2 인스턴스에 SSH 접속하는 법 EC2 인스턴스에 ssh 접속을 위해서는 우선 처음 생성시에 받은 private key를 저장한다. 보통 자신의 홈 디렉토리 밑에 .ssh 폴더를 생성하고(기존에 접속한 적이 있다면 자동 생성) 그 밑에 파일을 생성해서 키를 입력한다. 그리고 키는 chmod 명령으로 권한을 600 으로 바꾸어 준다. 그러지 않으면 읽지 못한다. ssh 접속시에 -i 옵션으로 키를 지정하고, 사용자 명은 기본적으로 ec2-user로 생성된다. 접속할 IP는 EC2관리 콘솔에서 접속할 인스턴스의 public IP 를 확인하여 접속한다. -- 키생성 vi key -- 키의 권한 변경 chmod 600 key -- ssh 접속 ssh -i .ssh/key ec2-user@192.168.0.1 2015. 8. 4. [AWS] 아마존 EC2 인스턴스의 메타정보 확인 CLI 환경에서 EC2 인스턴스의 메타 정보를 확인하는 방법은 다음과 같다. * 해당 정보는 암호화 되지 않으므로 확인할 때 주의해야 한다. 확인가능한 리스트 curl http://169.254.169.254/latest/meta-data/ 정보 확인 curl http://169.254.169.254/latest/meta-data/[리스트 목록의 정보] [인스턴스 자격증명 문서및 서명 확인 curl http://169.254.169.254/latest/dynamic/instance-identity/document ex) curl http://169.254.169.254/latest/meta-data/ami-id curl http://169.254.169.254/latest/meta-data/hostnam.. 2015. 1. 28. 이전 1 2 다음