[spark] 스파크 히스토리 서버의 프록시 URL 설정
스파크 히스토리 서버를 nginx 에 설정하여 리버스 프록시로 연결할 때 APPLICATION_WEB_PROXY_BASE 설정을 하지 않으면 static 파일을 가져 오는 부분에서 오류가 발생합니다. 프록시 설정을 하고, 히스토리 서버를 실행하면 스파크 히스토리 서버의 URL에 추가됩니다.다음과 같은 상황에서 원래는 http://your-domain.com 으로 접근해야 하지만, base-proxy 가 붙은 형태로 접근할 수 있게 됩니다. export APPLICATION_WEB_PROXY_BASE=/base-proxy
빅데이터/spark
2025. 1. 6. 22:54
[spark] 스파크 히스토리 서버 로깅 설정 예제
스파크 히스토리 서버의 log4j 설정을 알아보겠습니다. 대상 버전은 스파크 3.5.2입니다. 스파크 히스토리 서버는 log4j2 설정을 이용하고 있습니다. 다음은 콘솔 출력(console)과 파일 출력(DRFA)을 동시에 처리하는 예제 설정입니다. ## Licensed to the Apache Software Foundation (ASF) under one or more# contributor license agreements. See the NOTICE file distributed with# this work for additional information regarding copyright ownership.# The ASF licenses this file to You under the A..
빅데이터/spark
2025. 1. 6. 22:23
반응형
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- Hadoop
- bash
- 하둡
- Linux
- error
- airflow
- 정올
- nodejs
- hbase
- Python
- emr
- build
- yarn
- 오류
- 다이나믹
- HDFS
- 알고리즘
- S3
- SPARK
- mysql
- oozie
- 파이썬
- java
- SQL
- AWS
- 하이브
- HIVE
- ubuntu
- 백준
- Tez
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
글 보관함