[AWS-EMR] EMR 일관성 보기 설정

EMR에서 S3에 데이터를 저장할 때 S3가 데이터 일관성을 지원하지 않기 때문에 같은 위치에 동시에 데이터를 쓰게 되면 데이터가 유실될 위험이 있습니다.

 

예를 들어 s3://[bucket]/a/b/c 위치에 한번에 100개 정도의 파일을 쓰게 되면 100개의 파일이 생성되지 않고, 파일이 유실되어 99개의 파일이 생성될 수 있습니다.

 

Amazon S3 데이터 일관성 모델 참고

Amazon S3 소개 - Amazon Simple Storage Service

 

이를 방지하기 위해서 EMRFS 일관성 보기를 지원합니다. DynamoDB를 이용하여 키를 관리하여 동시에 생성되는 것을 방지합니다. 사용방법은 /etc/hadoop/conf 아래에 emrfs-site.xml파일을 생성하고 다음을 설정합니다.

<?xml version="1.0" ?>
<configuration>
    <property>
        <name>fs.s3.consistent</name>
        <value>true</value>
    </property>
    <property>
        <name>fs.s3.consistent.retryPeriodSeconds</name>
        <value>10</value>
    </property>
    <property>
        <name>fs.s3.consistent.retryCount</name>
        <value>5</value>
    </property>
    <property>
        <name>fs.s3.consistent.metadata.tableName</name>
        <value>EmrFSMetadata</value>
    </property>
</configuration>