[EMR] EMR 생성시 설정 변경

티스토리 뷰

AWS/EMR

hs_seo 2021. 12. 1. 22:53

AWS EMR은 클러스터 생성 시점에 하둡 클러스터의 설정을 변경할 수 있습니다. hdfs-site.xml, core-site.xml의 설정을 json 형태로 전달하여 클러스터 생성 시점에 설정을 변경할 수 있습니다.

애플리케이션 구성 - Amazon EMR

Amazon EMR API 설명 및 나열 작업은 Amazon EMR 작업 흐름의 일부로 사용되는 사용자 지정 및 구성 가능한 설정을 내보내며 이 설정은 일반 텍스트로 표시됩니다. 이러한 설정에 암호와 같은 민감한 정

docs.aws.amazon.com

클러스터 생성 시점에 "고급 옵션"으로 이동하고, 소프트웨어 설정 편집, 구성입력에 json 형태의 설정을 입력합니다. 아래와 같이 입력하고 클러스터를 생성하면 설정값이 변경된 채로 클러스터가 생성되는 것을 확인할 수 있습니다.

[EMR] EMR 장기간 운영시 HDFS의 edits 파일 확인 및 삭제 (0)	2020.05.22
[EMR] EMR 하둡 클러스터에서 실행중인 세 가지 히스토리 서버 (0)	2020.03.06
[EMR] EMR 하둡 클러스터의 기본 포트 및 사용법 (0)	2020.03.05
[EMR] AWS EMR의 클러스터 정보확인 위치 (0)	2020.01.13
[EMR] S3 503 Slow Down 오류 발생시 해결방법 (0)	2019.12.16

공지사항

최근에 올라온 글

최근에 달린 댓글

링크

글 보관함