db5 [hive] hive 와 db 연결에서 Public Key Retrieval is not allowed 오류가 발생하는 경우 처리 mysql 8.x나 5.x에서 데이터베이스 접속 암호를 암호화 처리 하는 경우 다음과 같은 오류가 발생할 수 있습니다. 이럴 때는 데이터베이스 커넥션 스트링에 옵션을 추가하여 문제를 해결할 수 있습니다. 오류 : Public Key Retrieval is not allowed $ /opt/hive/bin/schematool -dbType mysql -initSchema Metastore connection URL: jdbc:mysql://xxx.xx:3306/db_name?useSSL=false Metastore Connection Driver : com.mysql.cj.jdbc.Driver Metastore connection User: sha256_user org.apache.hadoop.hive.m.. 2021. 10. 6. [oozie] 우지 4.x 데이터베이스 연결 설정 우지에서 더비(derby) 데이터베이스를 사용하지 않고 외부의 데이터베이스를 사용하기 위해서는 다음의 설정을 oozie-site.xml에 설정하고, ooziedb.sh를 실행하면 됩니다. lib 아래 데이터 베이스 라이브러리를 넣어 주어야 합니다. # -sqlfile은 데이터베이스를 설정한 명령을 저장 ./ooziedb.sh create -sqlfile /var/tmp/oozie/oozie.sql -run oozie db 연결 설정 oozie.service.JPAService.jdbc.driver=org.postgresql.Driver oozie.service.JPAService.jdbc.url=jdbc:postgresql://postgres_url/ oozie.service.JPAService.jdbc.. 2020. 9. 13. [mysql][snippet] Load Data를 이용하여 파일 데이터 입력 MySQL에서 벌크 데이터를 테이블에 입력하는 방법으로 LOAD 명령을 제공한다. 상세한 내용은 아래의 공식 홈페이지에서 확인할 수 있다. 간단하게 데이터를 입력하는 방법은 다음과 같다. MySQL의 기본 구분자인 탭으로 칼럼이 구분되어 있는 데이터 파일이 있다고 하면 다음과 같이 입력하면 된다. - bukl.csv 파일을 db1.table2 테이블에 입력LOAD DATA LOCAL INFILE 'bulk.csv' INTO TABLE db1.table2; https://dev.mysql.com/doc/refman/5.7/en/load-data.html 2017. 8. 24. [DB] NL(Nested Loop)조인, 소트머지 조인(SMJ), Hash 조인 비교 - 랜덤 액세스 위주의 조인 - 한레코드씩 순차적으로 진행 - 테이블의 크기가 작을수록 좋음 - 온라인 프로그램에서 사용할 때 좋음 - Driving 테이블의 크기가 가장 많은 영향을 준다. - 조인하기전에 정렬 - 넓은 데이터 처리에 유리함 - 정렬에 필요한 데이터가 많아지면 메모리대신 디스크를 사용하므로 성능이 떨어질 수 있음 - 조인 조건의 인덱스 유무에 영향을 받지 않지만 Sort 가 필요하다. - 한쪽 테이블의 크기가 작을수록 좋음 - NL의 랜덤액세스, SMJ의 정렬작업에 대한 부담으로 등장 - 인덱스를 사용하지 않음, 인덱스 대신 Hash 함수를 사용 - 동등조인(=) 에서만 사용 - 수행 빈도가 높은 OLTP성 작업에서는 불리함 - 수행 빈도가 낮고, 쿼리 수행시간이 오래 걸리는, 대용량 .. 2017. 3. 28. SQLD 자격증 정보 SQLD 시험 주요 내용 시험과목 주요내용 세부내용 데이터 모델링의 이해 데이터 모델링의 이해 데이터모델의 이해 엔터티 속성 관계 식별자 데이터 모델과 성능 정규화와 성능 반정규화와 성능 대용량 데이터에 따른 성능 DB 구조와 성능 분산DB 데이터에 따른 성능 SQL 기본 및 활용 SQL 기본 정보 요구 사항 DDL DML TCL WHERE 절 FUNCTION GROUP BY, HAVING 절 ORDER BY 절 조인 SQL 활용 표준조인 집합연산자 계층형 질의 서브쿼리 그룹 함수 윈도우 함수 DCL 절차형 SQL SQL 최적화 기본 원리 옵티마이저와 실행계획 인덱스 기본 조인 수행 원리 시험문제는 데이터모델링의 이해에서 10문항(20점), SQL 기본 및 활용에서 40문항(80점)이 나온다. 총점 60.. 2015. 7. 23. 이전 1 다음