[alluxio] 알루시오 설치 및 실행

알루시오(alluxio)는 인메모리 분산 스토리지 시스템 입니다.

 

알루시오는 여러 종류의 저장 시스템을 하나의 시스템인 것 처럼 이용할 수 있게 해줍니다.

예를 들어 하이브에서 테이블을 만들때 다음과 같이 로케이션을 주고 테이블을 생성하고, 알루시오는 해당 위치에 HDFS, S3, GS, Azure, HBase 등을 마운트해서 사용할 수 있습니다.

 

CREATE TABLE u_user (
userid INT,
age INT)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '|'
LOCATION 'alluxio://master:port/table_data';

 

즉, 알루시오는 논리적인 저장장소의 위치를 제공하고, 실제 데이터가 저장된 물리적인 저장 위치는 다양하게 연동할 수 있게 됩니다.

또한 알루시오가 데이터 캐슁 기능을 제공하여 더 빠른 속도로 데이터를 읽을 수 있게 됩니다.

 

설치

• 알루시오 다운로드
• 다운로드후 압축해제
• conf/alluxio-site.properties 를 생성. 템플릿을 복사해도 됨
• 다음의 설정을 추가하고. 실행
  • 알루시오는 마스터, 워커를 실행할 때 ssh 로 접속해서(자기 자신에게도) 실행하기 때문에 키 설정을 꼭 해주어야 함

 

	# Common properties
	alluxio.master.hostname=localhost
	# default - 로컬 저장일 때
	#alluxio.master.mount.table.root.ufs=${alluxio.work.dir}/underFSStorage
	# HDFS - HA 구성일때는 설정정보 xml 위치 추가
	alluxio.master.mount.table.root.ufs=hdfs://host:port/dir
	alluxio.underfs.hdfs.configuration=/etc/alluxio/conf/core-site.xml:/etc/alluxio/conf/hdfs-site.xml

view raw alluxio-site.properties hosted with ❤ by GitHub

	# 마운트
	$ ./bin/alluxio-start.sh local SudoMount
	# 실행
	$ ./bin/alluxio-start.sh local

view raw run.sh hosted with ❤ by GitHub