[oozie] 코디네이터, 워크플로우 재작업(rerun)을 위한 cli 커맨드

2018. 2. 6. 14:21·빅데이터/oozie

코디네이터 재작업 


우지의 코디네이터와 워크플로우는 에러가 발생여 KILL, FAIL 상태이거나, 

어떤이유로 재작업이 필요할 때 rerun 명령어를 이용하여 재작업을 할 수 있다. 


이때 코디네이터는 다음과 같이 코디네이터 아이디와 액션 번호를 이용하여 재작업을 할 수 있다. 


$oozie job -rerun <coord_Job_id> [-nocleanup] [-refresh]

  [-action 1, 3-4, 7-40] (-action or -date is required to rerun.)

  [-date 2009-01-01T01:00Z::2009-05-31T23:59Z, 2009-11-10T01:00Z, 2009-12-31T22:00Z]

  (if neither -action nor -date is given, the exception will be thrown.)


액션 번호는 <coord_job_id>@13 과 같은 @뒤의 번호를 이용하여 재작업 하는 것이다. 

date는 norminal date 기준으로 재작업을 진행한다. 

-refresh를 이용하면 input-event 를 다시 확인한다. 


주의할점은 여러개의 번호를 동시에 재작업을 걸면 순차적으로 실행되는 것을 보장하지 않는다. 

따라서 순차적으로 실행해야 할 경우 재작업 순서를 잘 보고 실행해야 한다. 



워크플로우 재작업


워크플로우도 종료된 작업만 재작업을 할 수 있다. 

실행 명령은 다음과 같다. 


$oozie job -rerun <wf_job_id> -Doozie.wf.rerun.skip.nodes=action_name1,action_name2


 oozie.wf.rerun.skip.nodes 변수에 실행하지 않고 넘어가면 되는 노드의 이름을 콤마로 구분하여 입력하면 된다. 


https://oozie.apache.org/docs/3.3.2/DG_CommandLineTool.html#Rerunning_a_Coordinator_Action_or_Multiple_Actions


반응형
저작자표시 비영리 (새창열림)

'빅데이터 > oozie' 카테고리의 다른 글

[oozie][error] 우지의 shell 액션에서 python 실행시 : No such file or directory 오류 처리  (0) 2018.07.10
[oozie] 우지런처 메모리 설정  (1) 2018.04.19
[oozie] 워크플로우의 액션에 오류가 발생하면 retry 하게 설정 하기  (4) 2017.12.22
[oozie] 우지 쉐어라이브러리(sharelib) 설정 및 갱신  (0) 2017.09.01
[oozie] 우지 포크 조인 액션이 느릴때  (0) 2017.07.18
'빅데이터/oozie' 카테고리의 다른 글
  • [oozie][error] 우지의 shell 액션에서 python 실행시 : No such file or directory 오류 처리
  • [oozie] 우지런처 메모리 설정
  • [oozie] 워크플로우의 액션에 오류가 발생하면 retry 하게 설정 하기
  • [oozie] 우지 쉐어라이브러리(sharelib) 설정 및 갱신
hs_seo
hs_seo
Hello World!
    반응형
  • hs_seo
    개발자로 살아남기
    hs_seo
  • 전체
    오늘
    어제
    • 전체 (1140)
      • 개발자 (21)
        • 개발에 유의할 점 (0)
        • 면접 (5)
      • IT 소식 (5)
        • 업계 (1)
      • java (51)
        • 디자인패턴 (3)
        • apache-common (1)
      • 개념 (47)
        • 자료구조 (4)
        • 함수형사고 (8)
        • 디자인패턴 (1)
      • 데이터분석 (1)
      • python (67)
        • 코드조각 (12)
        • 라이브러리 (2)
      • 빅데이터 (418)
        • zookeeper (5)
        • hadoop (78)
        • hdfs (12)
        • hive (127)
        • hbase (16)
        • spark (40)
        • scala (4)
        • trino (3)
        • oozie (41)
        • Hue (9)
        • R (5)
        • sqoop (6)
        • flume (3)
        • elasticsearch (2)
        • airflow (16)
        • kafka (3)
        • kubernetes (10)
        • openstack (3)
        • flink (2)
        • redis (2)
      • 빅데이터 강좌 (2)
      • 알고리즘 (131)
        • 알고리즘 (1)
        • 백준 (61)
        • 정올 (41)
        • 더블릿 (5)
        • 프로그래머스 (1)
      • 프로그래밍 언어 (30)
        • go (4)
        • js (9)
        • .Net (6)
        • Jsp (1)
        • ansible (3)
        • terraform (6)
      • Tools (56)
        • docker (2)
        • macbook (6)
        • maven (3)
        • sublime (1)
      • 프레임워크 (25)
        • [JS] angularjs (2)
        • [JS] node.js (19)
        • [Java] spring (2)
        • Android (2)
      • 데이타베이스 (43)
        • SQLD (5)
        • Oracle (1)
        • MySQL (8)
        • ADsP (2)
      • 리눅스 (25)
        • Bash (61)
      • GCP (5)
      • AWS (34)
        • EC2 (2)
        • EMR (14)
      • 정보보안기사 (4)
        • 네트워크 (1)
      • 개인 (80)
        • 업무실수 (0)
        • 책 (9)
        • 교육 (3)
        • 여행 (17)
        • 영화 (12)
        • 음악 (2)
        • 피규어 (4)
        • 게임 (3)
        • 생각 (7)
        • 기타 (10)
        • 좋은글 (5)
        • 좋은 사이트 (2)
  • 블로그 메뉴

    • 홈
    • 태그
    • 미디어로그
    • 위치로그
    • 방명록
  • 링크

    • 빅데이터-하둡,하이브로 시작하기
    • 빅데이터-스칼라, 스파크로 시작하기
    • Kaggle에서 파이썬으로 데이터 분석 시작하기
    • 쉘스크립트 개발 시작하기
    • 개발자가 데이터 분석 준전문가 되기
    • 데브쿠마
  • 공지사항

  • 인기 글

  • 태그

    hbase
    알고리즘
    emr
    error
    k8s
    HIVE
    build
    다이나믹
    Linux
    yarn
    정올
    SPARK
    Tez
    ubuntu
    하이브
    Python
    bash
    java
    하둡
    HDFS
    오류
    airflow
    파이썬
    oozie
    mysql
    nodejs
    Hadoop
    S3
    AWS
    백준
  • 최근 댓글

  • 최근 글

  • hELLO· Designed By정상우.v4.10.6
hs_seo
[oozie] 코디네이터, 워크플로우 재작업(rerun)을 위한 cli 커맨드
상단으로

티스토리툴바