아문센은 데이터 카탈로그 플랫폼의 하나로 사내 데이터 확인을 위한 플랫폼 입니다. 사내 여러곳에 저장되어 있는 데이터 위치를 모아서 보여주고, 추천해 주는 시스템입니다.
https://www.amundsen.io/amundsen/installation/
실행
- 도커를 설치합니다.
- 아문센은 Neo4j, ElasticSearch를 데이터 저장소로 이용하고, 도커를 이용하여 이 컴포넌트를 실행합니다.
- 실제 운영에서는 따로 실행하지만 여기서는 도커를 이용해서 실행합니다.
- 깃에서 소스코드를 클론 합니다.
- 아문센은 Neo4j나 Atlas를 데이터 저장소로 이용합니다. 둘 중에 하나를 실행해야 아문센을 실행할 수 있습니다.
# GIT 클론 후 데이터 확인
$ ll
total 296
drwxr-xr-x 44 staff staff 1408 Aug 6 15:36 .
drwxr-xr-x 30 staff staff 960 Aug 5 16:02 ..
drwxr-xr-x 3 staff staff 96 Aug 5 16:02 .dependabot
-rw-r--r-- 1 staff staff 49 Aug 5 16:02 .dockerignore
-rw-r--r-- 1 staff staff 14 Aug 5 16:02 .editorconfig
drwxr-xr-x 13 staff staff 416 Aug 5 16:02 .git
drwxr-xr-x 9 staff staff 288 Aug 5 16:02 .github
-rw-r--r-- 1 staff staff 684 Aug 5 16:02 .gitignore
-rw-r--r-- 1 staff staff 225 Aug 5 16:02 .gitmodules
drwxr-xr-x 13 staff staff 416 Aug 11 11:41 .idea
-rw-r--r-- 1 staff staff 7724 Aug 5 16:02 .mailmap
-rw-r--r-- 1 staff staff 179 Aug 5 16:02 CODE_OF_CONDUCT.md
-rw-r--r-- 1 staff staff 2650 Aug 5 16:02 CONTRIBUTING.md
-rw-r--r-- 1 staff staff 794 Aug 5 16:02 Dockerfile.frontend.local
-rw-r--r-- 1 staff staff 1328 Aug 5 16:02 Dockerfile.frontend.public
-rw-r--r-- 1 staff staff 929 Aug 5 16:02 Dockerfile.metadata.public
-rw-r--r-- 1 staff staff 266 Aug 5 16:02 Dockerfile.search.public
-rw-r--r-- 1 staff staff 13268 Aug 5 16:02 GOVERNANCE.md
-rw-r--r-- 1 staff staff 11341 Aug 5 16:02 LICENSE
-rw-r--r-- 1 staff staff 3981 Aug 5 16:02 MAINTAINING.md
-rw-r--r-- 1 staff staff 114 Aug 5 16:02 NOTICE
-rw-r--r-- 1 staff staff 1090 Aug 5 16:02 OWNERS.md
-rw-r--r-- 1 staff staff 18145 Aug 5 16:02 README.md
-rw-r--r-- 1 staff staff 889 Aug 5 16:02 SECURITY.md
drwxr-xr-x 4 staff staff 128 Aug 5 16:02 amundsen-kube-helm
drwxr-xr-x 19 staff staff 608 Aug 5 16:02 amundsengremlin
drwxr-xr-x 13 staff staff 416 Aug 5 16:02 amundsenrds
drwxr-xr-x 14 staff staff 448 Aug 5 16:02 common
drwxr-xr-x 21 staff staff 672 Aug 9 17:19 databuilder
-rwxr-xr-x 1 staff staff 950 Aug 5 16:02 deploy_website.sh
-rw-r--r-- 1 staff staff 1858 Aug 5 16:02 docker-amundsen-atlas.yml
-rw-r--r-- 1 staff staff 1978 Aug 5 16:02 docker-amundsen-local.yml
-rw-r--r-- 1 staff staff 2641 Aug 5 16:02 docker-amundsen.yml
drwxr-xr-x 25 staff staff 800 Aug 5 16:02 docs
drwxr-xr-x 3 staff staff 96 Aug 5 16:02 docs_overrides
drwxr-xr-x 4 staff staff 128 Aug 6 15:29 example
drwxr-xr-x 18 staff staff 576 Aug 5 16:02 frontend
drwxr-xr-x 17 staff staff 544 Aug 5 16:02 metadata
-rw-r--r-- 1 staff staff 4254 Aug 5 16:02 mkdocs.yml
-rw-r--r-- 1 staff staff 771 Aug 5 16:02 requirements-common.txt
-rw-r--r-- 1 staff staff 391 Aug 5 16:02 requirements-dev.txt
-rw-r--r-- 1 staff staff 61 Aug 5 16:02 requirements.txt
drwxr-xr-x 18 staff staff 576 Aug 5 16:02 search
drwxr-xr-x 6 staff staff 192 Aug 6 15:36 venv
#### neo4j나 아틀라스 둘 중 하나만 실행해야 함
# neo4j 실행
$ docker-compose -f docker-amundsen.yml up
# 아틀라스 실행
$ docker-compose -f docker-amundsen-atlas.yml up
- 실행후 databuilder 디렉토리로 이동 하고 명령어를 실행
- 이제 5000번 포트로 접근하면 실행을 확인할 수 있습니다.
반응형
'빅데이터' 카테고리의 다른 글
[alluxio] 알루시오 설치 및 실행 (0) | 2021.09.28 |
---|---|
[presto] 프레스토(presto) 설치 및 실행 (0) | 2021.08.23 |
[atlas] 아파치 아틀라스(apache atlas) 빌드 및 실행 (0) | 2021.08.21 |
[ranger] 아파치 레인저 빌드 및 실행 하기 (0) | 2021.08.19 |
[avro] python avro api 에서 The datum XX is not an example of the schema 오류 (0) | 2021.07.13 |