티스토리 뷰
Apache Phoenix는 HBase 위에서 SQL 쿼리를 사용할 수 있게 해주는 오픈소스 프로젝트입니다.
HBase라는 NoSQL 데이터베이스 위에 RDBMS 스타일의 SQL 인터페이스를 제공하는 레이어입니다.
원래 HBase는 Key-Value 기반의 비정형 테이블이어서 SQL 같은 쿼리 언어가 없는데, Phoenix는 HBase의 데이터를 JDBC를 통해 SQL로 조회하거나 수정할 수 있게 해주는 도구입니다.
설치
HBase 2.6에 Phoenix 5.2.1 을 설치 하는 방법은 ${HBASE_HOME}/lib 아래에 Phoenix 라이브러리를 추가 하면 됩니다. ${PHOENIX_HOME}/phoenix-server-hbase-2.6-5.2.1.jar 의 라이브러리를 ${HBASE_HOME}/lib 아래로 추가합니다.
실행
라이브러리를 추가 하고 나면 HBase 를 재시작해야 합니다. HMaster와 RegionServer 를 재시작하여 실행합니다.
${PHOENIX_HOME}/bin/sqlline.py localhost:2181 와 같이 실행하여 피닉스가 실행되는 것을 확인할 수 있습니다. 피닉스가 실행되면 메타 정보가 자동으로 추가 되고, SELECT 1 명령을 이용해서 동작을 확인할 수 있습니다.
sqlline.py $(hostname -f):2181
CREATE TABLE example_phoenix (
id INTEGER PRIMARY KEY,
name VARCHAR,
age INTEGER
);
UPSERT INTO example_phoenix (id, name, age) VALUES (1, 'Alice', 30);
SELECT * FROM example_phoenix;
오류 상황
2025-05-16 13:32:35,228 INFO [task-truncated-0] client.RpcRetryingCallerImpl: Call exception, tries=12, retries=46, started=68455 ms ago, cancelled=false, msg=no meta location available, details=row 'SYSTEM.CATALOG' on table 'hbase:meta' at null, see https://s.apache.org/timeout
2025-05-16 13:32:39,621 ERROR [RpcServer.priority.RWQ.Fifo.read.handler=10,queue=4,port=16020] coprocessor.MetaDataEndpointImpl: createTable failed
org.apache.hadoop.hbase.client.RetriesExhaustedException: Cannot get the location for replica0 of region for \x00\x00EXAMPLE_PHOENIX in SYSTEM.CHILD_LINK
피닉스를 실행하면서 이런 오류가 발생하면서 sqlline.py 가 행이 걸리는 오류가 있었습니다. 오류상으로는 통신이 되지 않는 상황 같았지만 리전서버를 재시작하면 다시 동작하였습니다. 라이브러리 추가후 재시작하고, 동작이 이상하면 다시 한번 재시작하면 동작할 수 있습니다.
'빅데이터 > hbase' 카테고리의 다른 글
- Total
- Today
- Yesterday
- oozie
- HDFS
- Python
- 다이나믹
- HIVE
- error
- Hadoop
- hbase
- emr
- 하둡
- yarn
- S3
- nodejs
- 오류
- airflow
- 백준
- 알고리즘
- 파이썬
- ubuntu
- bash
- Linux
- k8s
- java
- 하이브
- mysql
- Tez
- AWS
- 정올
- SPARK
- build
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 | 31 |