oozie39 [oozie][error] 우지의 shell 액션에서 python 실행시 : No such file or directory 오류 처리 보통 윈도우에서 개발하고, 리눅스에서 우지를 실행하게 되는데윈도우 파일 포맷으로 저장한 파일을 리눅스에서 실행하려고 하면 아래와 같이 파일을 찾지 못하는 오류가 발생한다. /usr/bin/env: python : No such file or directory Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.ShellMain], exit code [1] 또 파일 포맷의 이상일 때 다음과 같은 오류가 발생할 수도 있다. 윈도우의 줄바꿈은 CR+LF(/r/n)이고, 유닉스의 줄바꿈은 LF(/n)라서 오류가 발생한다. /bin/sh^M: bad interpreter: No such file or directory 이럴때 파일을 vi 로 열어.. 2018. 7. 10. [oozie] 코디네이터, 워크플로우 재작업(rerun)을 위한 cli 커맨드 코디네이터 재작업 우지의 코디네이터와 워크플로우는 에러가 발생여 KILL, FAIL 상태이거나, 어떤이유로 재작업이 필요할 때 rerun 명령어를 이용하여 재작업을 할 수 있다. 이때 코디네이터는 다음과 같이 코디네이터 아이디와 액션 번호를 이용하여 재작업을 할 수 있다. $oozie job -rerun [-nocleanup] [-refresh] [-action 1, 3-4, 7-40] (-action or -date is required to rerun.) [-date 2009-01-01T01:00Z::2009-05-31T23:59Z, 2009-11-10T01:00Z, 2009-12-31T22:00Z] (if neither -action nor -date is given, the exception wi.. 2018. 2. 6. [oozie] 워크플로우의 액션에 오류가 발생하면 retry 하게 설정 하기 우지의 워크플로우 액션에서 오류가 발생하면 자동으로 재작업 하게 하는 기능은 다음과 같이 retry-max, retry-interval을 이용하여 설정한다. runDate=${runDate} 워크플로우의 태그에서는 어디에서나 동작하지만 oozie-site.xml 에 설정된 오류에 대해서만 동작한다. (oozie-default.xml 참고) oozie.service.LiteWorkflowStoreService.user.retry.error.code = JA008, JA009, JA017, JA018, JA019, FS009, FS008 따라서 액션 내부적으로 발생하는 오류에 대해서는 동작하지 않을 수도 있다. 이럴때는 다음의 설정에 오류코드를 추가하면 우지가 자동으로 retry 를 수행한다. oozie.s.. 2017. 12. 22. [oozie] 우지 쉐어라이브러리(sharelib) 설정 및 갱신 우지 쉐어라이브러리는 oozie-site.xml 파일에 위치를 설정한다. 다음의 설정을 이용하여 위치를 설정하면 된다. oozie.service.WorkflowAppService.system.libpath hdfs://location/share/lib System library path to use for workflow applications. This path is added to workflow application if their job properties sets the property 'oozie.use.system.libpath' to true. 우지가 실행중에 우지 쉐어 라이브러리를 추가하면 갱신이 안될 수 가 있다. 이럴때는 다음의 명령을 이용하여 갱신하면 된다. oozie admin -.. 2017. 9. 1. [oozie] 우지에서 하이브 액션 처리중 java.lang.ClassNotFoundException: Class org.apache.oozie.action.hadoop.HiveMain not found 오류 처리 우지를 이용하여 하이브 액션을 처리하는 중 하이브 클래스를 찾지 못하는 오류가 발생할 때가 있다. Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.HiveMain], exception invoking main(), java.lang.ClassNotFoundException: Class org.apache.oozie.action.hadoop.HiveMain not foundjava.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.oozie.action.hadoop.HiveMain not foundat org.apache.hadoop.conf.Config.. 2017. 4. 6. [oozie] FS 액션을 이용하여 작업 완료용 0바이트 파일 만들기 우지를 이용하여 하둡, 하이브 액션을 처리할때 HDFS나 S3에 작업이 처리 되었음을 알리기 위하여 0byte의 파일을 생성해야 할 때가 있다. 이럴때 hadoop의 touchz 명령을 이용하면 0byte의 파일을 생성할 수 있다. * 이는 리눅스의 touch 명령과 동일하다. 우지 워크플로우의 fs 액션은 이작업을 기본적으로 제공하기 때문에 따로 쉘커맨드나 파이썬 액션을 만들지 않아도 처리가 가능하다. fs 액션은 다음의 기본 명령을 제공한다. - move , delete , mkdir , chmod , touchz, chgrp [fs 액션 문법] ... ... ... ... ... ... ... [예제1] ... ... [예제2] Map/Reduce failed, error message[${wf:e.. 2017. 1. 25. [oozie] 우지의 RUNNING 중인 코디네이터 정보 수정 우지는 RUNNING 중인 코디네이터의 정보를 수정하는 방법으로 다음의 옵션이 존재한다. -update: 코디네이터의 프로퍼티, 선언(코디네이터, 워크플로우 정보)을 변경 : name, frequency, start time, end time and timezone 변경 불가 : ex) oozie job -oozie http://주소 -config ./sample.properties -update oozie-C -change: endtime/concurrency/pausetime/status 를 변경 : oozie job --oozie http://주소 -change oozie-C -value endtime=2017-01-20T01:00Z xml 파일의 정보를 변경하기 위해서는 update를 이용하고,개.. 2017. 1. 11. [oozie] python을 이용하여 우지 WebService API 호출하기 우지는 REST API로 잡목록 확인, 잡수행을 위한 웹서비스 API를 제공한다. 웹서비스 https://oozie.apache.org/docs/4.0.0/WebServicesAPI.html HTTP를 이용하여 우지 콘솔 명령을 수행할 수 있으므로이를 이용하여 잡 모니터링, 수행이 가능하다. - 잡 목록 확인http://주소/oozie/v1/jobs?jobtype=coord&len=10000&filter=status=RUNNING - 잡 정보 확인http://주소/oozie/v1/job/[워크플로우|코디에티어ID]?show=info&len=10000 기본적인 API는 위와 같다. * 우지에서 제공하는 DOC에서 정보 확인이 가능하고, 조건등을 자세하게 확인하기 어렵다면 우지에서 기본적으로 제공하는 웹콘솔.. 2016. 10. 10. 우지 4.0 의 특징 Oozie 4.0 특징 1. HCatalog Integration - HCatalog 데이터셋 지원, 파티션 생성에 대한 알림 지원 - 데이터 존재여부를 HCatalog 를 이용하여 확인 가능 2. Job Notifications - JMS 를 통한 상태 변경알림 지원 - 사용자가 지정한 메시지를 알림 지원 3. SLA 모니터링 - SLA 수준 모니터링 정보 제공 - 웹콘솔, REST Api, JMS, Email 을 이용한 정보 제공 - coord, workflow, workflow action 단위로 시작시간, 종료시간에 따른 처리 상황 모니터링, 이메일 알림 기능 참고 우지4 특징 - http://www.slideshare.net/ydn/hadoop-meetup-hug-october-2013-oozi.. 2015. 1. 6. 이전 1 2 다음