알루시오(alluxio)는 인메모리 분산 스토리지 시스템 입니다.
알루시오는 여러 종류의 저장 시스템을 하나의 시스템인 것 처럼 이용할 수 있게 해줍니다.
예를 들어 하이브에서 테이블을 만들때 다음과 같이 로케이션을 주고 테이블을 생성하고, 알루시오는 해당 위치에 HDFS, S3, GS, Azure, HBase 등을 마운트해서 사용할 수 있습니다.
CREATE TABLE u_user (
userid INT,
age INT)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '|'
LOCATION 'alluxio://master:port/table_data';
즉, 알루시오는 논리적인 저장장소의 위치를 제공하고, 실제 데이터가 저장된 물리적인 저장 위치는 다양하게 연동할 수 있게 됩니다.
또한 알루시오가 데이터 캐슁 기능을 제공하여 더 빠른 속도로 데이터를 읽을 수 있게 됩니다.
설치
- 알루시오 다운로드
- 다운로드후 압축해제
- conf/alluxio-site.properties 를 생성. 템플릿을 복사해도 됨
- 다음의 설정을 추가하고. 실행
- 알루시오는 마스터, 워커를 실행할 때 ssh 로 접속해서(자기 자신에게도) 실행하기 때문에 키 설정을 꼭 해주어야 함
반응형
'빅데이터' 카테고리의 다른 글
[kerberos] 커버로스 키탭 머지 하기 (0) | 2021.11.27 |
---|---|
[kerberos] 커버로스 인증 파일 캐쉬 저장 방법 (0) | 2021.11.18 |
[presto] 프레스토(presto) 설치 및 실행 (0) | 2021.08.23 |
[amundsen] 도커를 이용한 아문센(amundsen) 실행 방법 (0) | 2021.08.22 |
[atlas] 아파치 아틀라스(apache atlas) 빌드 및 실행 (0) | 2021.08.21 |