티스토리 뷰
아문센은 데이터 카탈로그 플랫폼의 하나로 사내 데이터 확인을 위한 플랫폼 입니다. 사내 여러곳에 저장되어 있는 데이터 위치를 모아서 보여주고, 추천해 주는 시스템입니다.
https://www.amundsen.io/amundsen/installation/
Quick Start - Amundsen
Installation Bootstrap a default version of Amundsen using Docker The following instructions are for setting up a version of Amundsen using Docker. Make sure you have at least 3GB available to docker. Install docker and docker-compose. Clone this repo
www.amundsen.io
실행
- 도커를 설치합니다.
- 아문센은 Neo4j, ElasticSearch를 데이터 저장소로 이용하고, 도커를 이용하여 이 컴포넌트를 실행합니다.
- 실제 운영에서는 따로 실행하지만 여기서는 도커를 이용해서 실행합니다.
- 깃에서 소스코드를 클론 합니다.
- 아문센은 Neo4j나 Atlas를 데이터 저장소로 이용합니다. 둘 중에 하나를 실행해야 아문센을 실행할 수 있습니다.
# GIT 클론 후 데이터 확인
$ ll
total 296
drwxr-xr-x 44 staff staff 1408 Aug 6 15:36 .
drwxr-xr-x 30 staff staff 960 Aug 5 16:02 ..
drwxr-xr-x 3 staff staff 96 Aug 5 16:02 .dependabot
-rw-r--r-- 1 staff staff 49 Aug 5 16:02 .dockerignore
-rw-r--r-- 1 staff staff 14 Aug 5 16:02 .editorconfig
drwxr-xr-x 13 staff staff 416 Aug 5 16:02 .git
drwxr-xr-x 9 staff staff 288 Aug 5 16:02 .github
-rw-r--r-- 1 staff staff 684 Aug 5 16:02 .gitignore
-rw-r--r-- 1 staff staff 225 Aug 5 16:02 .gitmodules
drwxr-xr-x 13 staff staff 416 Aug 11 11:41 .idea
-rw-r--r-- 1 staff staff 7724 Aug 5 16:02 .mailmap
-rw-r--r-- 1 staff staff 179 Aug 5 16:02 CODE_OF_CONDUCT.md
-rw-r--r-- 1 staff staff 2650 Aug 5 16:02 CONTRIBUTING.md
-rw-r--r-- 1 staff staff 794 Aug 5 16:02 Dockerfile.frontend.local
-rw-r--r-- 1 staff staff 1328 Aug 5 16:02 Dockerfile.frontend.public
-rw-r--r-- 1 staff staff 929 Aug 5 16:02 Dockerfile.metadata.public
-rw-r--r-- 1 staff staff 266 Aug 5 16:02 Dockerfile.search.public
-rw-r--r-- 1 staff staff 13268 Aug 5 16:02 GOVERNANCE.md
-rw-r--r-- 1 staff staff 11341 Aug 5 16:02 LICENSE
-rw-r--r-- 1 staff staff 3981 Aug 5 16:02 MAINTAINING.md
-rw-r--r-- 1 staff staff 114 Aug 5 16:02 NOTICE
-rw-r--r-- 1 staff staff 1090 Aug 5 16:02 OWNERS.md
-rw-r--r-- 1 staff staff 18145 Aug 5 16:02 README.md
-rw-r--r-- 1 staff staff 889 Aug 5 16:02 SECURITY.md
drwxr-xr-x 4 staff staff 128 Aug 5 16:02 amundsen-kube-helm
drwxr-xr-x 19 staff staff 608 Aug 5 16:02 amundsengremlin
drwxr-xr-x 13 staff staff 416 Aug 5 16:02 amundsenrds
drwxr-xr-x 14 staff staff 448 Aug 5 16:02 common
drwxr-xr-x 21 staff staff 672 Aug 9 17:19 databuilder
-rwxr-xr-x 1 staff staff 950 Aug 5 16:02 deploy_website.sh
-rw-r--r-- 1 staff staff 1858 Aug 5 16:02 docker-amundsen-atlas.yml
-rw-r--r-- 1 staff staff 1978 Aug 5 16:02 docker-amundsen-local.yml
-rw-r--r-- 1 staff staff 2641 Aug 5 16:02 docker-amundsen.yml
drwxr-xr-x 25 staff staff 800 Aug 5 16:02 docs
drwxr-xr-x 3 staff staff 96 Aug 5 16:02 docs_overrides
drwxr-xr-x 4 staff staff 128 Aug 6 15:29 example
drwxr-xr-x 18 staff staff 576 Aug 5 16:02 frontend
drwxr-xr-x 17 staff staff 544 Aug 5 16:02 metadata
-rw-r--r-- 1 staff staff 4254 Aug 5 16:02 mkdocs.yml
-rw-r--r-- 1 staff staff 771 Aug 5 16:02 requirements-common.txt
-rw-r--r-- 1 staff staff 391 Aug 5 16:02 requirements-dev.txt
-rw-r--r-- 1 staff staff 61 Aug 5 16:02 requirements.txt
drwxr-xr-x 18 staff staff 576 Aug 5 16:02 search
drwxr-xr-x 6 staff staff 192 Aug 6 15:36 venv
#### neo4j나 아틀라스 둘 중 하나만 실행해야 함
# neo4j 실행
$ docker-compose -f docker-amundsen.yml up
# 아틀라스 실행
$ docker-compose -f docker-amundsen-atlas.yml up
- 실행후 databuilder 디렉토리로 이동 하고 명령어를 실행
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
# git clone | |
$ git clone https://github.com/amundsen-io/amundsen.git | |
# neo4j 실행 | |
$ docker-compose -f docker-amundsen.yml up | |
# 디렉토리 이동 | |
$ cd databuilder | |
# 아틀라스 실행 | |
$ python3 -m venv venv | |
$ source venv/bin/activate | |
$ pip3 install --upgrade pip | |
$ pip3 install -r requirements.txt | |
$ python3 setup.py install | |
$ python3 example/scripts/sample_data_loader.py |
- 이제 5000번 포트로 접근하면 실행을 확인할 수 있습니다.

반응형
'빅데이터' 카테고리의 다른 글
[alluxio] 알루시오 설치 및 실행 (0) | 2021.09.28 |
---|---|
[presto] 프레스토(presto) 설치 및 실행 (0) | 2021.08.23 |
[atlas] 아파치 아틀라스(apache atlas) 빌드 및 실행 (1) | 2021.08.21 |
[ranger] 아파치 레인저 빌드 및 실행 하기 (0) | 2021.08.19 |
[avro] python avro api 에서 The datum XX is not an example of the schema 오류 (0) | 2021.07.13 |
반응형
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- Python
- yarn
- 하둡
- build
- error
- airflow
- HDFS
- 정올
- Hadoop
- 파이썬
- S3
- hbase
- Linux
- bash
- 백준
- emr
- SQL
- 오류
- oozie
- nodejs
- AWS
- ubuntu
- SPARK
- mysql
- Tez
- 다이나믹
- 하이브
- HIVE
- java
- 알고리즘
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 |
글 보관함