파이썬에서 MySQL이나 MariaDB를 이용할 때는 pymysql 라이브러리를 이용합니다. pip를 이용하여 라이브러리를 먼저 설치하고 다음의 예제를 이용하면 됩니다. pymysql 설치 pip install PyMySQL execute vs executemany execute는 단발성 입력 executemany는 배치 잡을 처리 dict 형으로 데이터를 입력할 때 DB의 키워드(예약어) 데이터가 있으면 오류가 발생함.
우지는 실행중에 잡에 등록된 컨피그 프로퍼티 값을 수정할 수 있습니다. 1. 우지에 등록된 설정값을 xml 로 받고2. xml 을 수정후3. xml 을 우지 설정값으로 update 하면 됩니다. 1. 설정값 로컬 다운로드 oozie job -configcontent OOZIE-COORD-ID >> OOZIE-COORD-ID.xml 2. 수정되는 상태 확인(실제로 변경하지는 않음) oozie job -oozie http://localhost:11000/oozie -config OOZIE-COORD-ID.xml -update OOZIE-COORD-ID -dryrun 3. 설정값 변경 oozie job -oozie http://localhost:11000/oozie -config OOZIE-COORD-ID.x..
우지 쉐어라이브러리는 oozie-site.xml 파일에 위치를 설정한다. 다음의 설정을 이용하여 위치를 설정하면 된다. oozie.service.WorkflowAppService.system.libpath hdfs://location/share/lib System library path to use for workflow applications. This path is added to workflow application if their job properties sets the property 'oozie.use.system.libpath' to true. 우지가 실행중에 우지 쉐어 라이브러리를 추가하면 갱신이 안될 수 가 있다. 이럴때는 다음의 명령을 이용하여 갱신하면 된다. oozie admin -..
- Total
- Today
- Yesterday
- mysql
- AWS
- Python
- 정올
- Linux
- build
- 하이브
- HDFS
- SPARK
- SQL
- 오류
- oozie
- Tez
- S3
- 하둡
- emr
- HIVE
- java
- error
- hbase
- 알고리즘
- nodejs
- ubuntu
- yarn
- bash
- 다이나믹
- airflow
- 파이썬
- 백준
- Hadoop
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |