[hive] drop table partitions 의 null 오류

2017. 12. 21. 15:23·빅데이터/hive

hive에서 테이블의 파티션 드랍시에 비교 연산자를 이용 할 수 있는데,

이때 DDLTask Exception null 오류가 발생하는 경우가 있다. 


ALTER TABLE table1 DROP PARTITION (partCol<='20170206');


hive cli 에서는 오류를 정확하게 출력하지 않아서 알 수가 없는데,

로그를 확인해 보면 StackOverflow 오류이다. 


파티션의 개수가 많아서 한번에 여러개를 recursive 하게 지우려고 해서 발생하는 것이다. 


따라서 한번에 지우는 파티션의 개수를 줄여서 처리하면 된다. 

한달 단위 또는 주단위로 지우면 된다. 

반응형
저작자표시 비영리 (새창열림)

'빅데이터 > hive' 카테고리의 다른 글

[hive] 하이브 성능 최적화 방안  (0) 2017.12.26
[hive] explode, lateral view 사용 예제  (0) 2017.12.26
[hive] 정규식을 이용하여 문자열 검색  (0) 2017.12.14
[hive] JSON 문자열을 맵으로 변환(json string to map)  (0) 2017.12.12
[hive] 하이브 성능 개선#1 - CBO, Stat 를 이용하여 통계 쿼리 성능 개선  (0) 2017.11.29
'빅데이터/hive' 카테고리의 다른 글
  • [hive] 하이브 성능 최적화 방안
  • [hive] explode, lateral view 사용 예제
  • [hive] 정규식을 이용하여 문자열 검색
  • [hive] JSON 문자열을 맵으로 변환(json string to map)
hs_seo
hs_seo
Hello World!
    반응형
  • hs_seo
    개발자로 살아남기
    hs_seo
  • 전체
    오늘
    어제
    • 전체 (1140)
      • 개발자 (21)
        • 개발에 유의할 점 (0)
        • 면접 (5)
      • IT 소식 (5)
        • 업계 (1)
      • java (51)
        • 디자인패턴 (3)
        • apache-common (1)
      • 개념 (47)
        • 자료구조 (4)
        • 함수형사고 (8)
        • 디자인패턴 (1)
      • 데이터분석 (1)
      • python (67)
        • 코드조각 (12)
        • 라이브러리 (2)
      • 빅데이터 (418)
        • zookeeper (5)
        • hadoop (78)
        • hdfs (12)
        • hive (127)
        • hbase (16)
        • spark (40)
        • scala (4)
        • trino (3)
        • oozie (41)
        • Hue (9)
        • R (5)
        • sqoop (6)
        • flume (3)
        • elasticsearch (2)
        • airflow (16)
        • kafka (3)
        • kubernetes (10)
        • openstack (3)
        • flink (2)
        • redis (2)
      • 빅데이터 강좌 (2)
      • 알고리즘 (131)
        • 알고리즘 (1)
        • 백준 (61)
        • 정올 (41)
        • 더블릿 (5)
        • 프로그래머스 (1)
      • 프로그래밍 언어 (30)
        • go (4)
        • js (9)
        • .Net (6)
        • Jsp (1)
        • ansible (3)
        • terraform (6)
      • Tools (56)
        • docker (2)
        • macbook (6)
        • maven (3)
        • sublime (1)
      • 프레임워크 (25)
        • [JS] angularjs (2)
        • [JS] node.js (19)
        • [Java] spring (2)
        • Android (2)
      • 데이타베이스 (43)
        • SQLD (5)
        • Oracle (1)
        • MySQL (8)
        • ADsP (2)
      • 리눅스 (25)
        • Bash (61)
      • GCP (5)
      • AWS (34)
        • EC2 (2)
        • EMR (14)
      • 정보보안기사 (4)
        • 네트워크 (1)
      • 개인 (80)
        • 업무실수 (0)
        • 책 (9)
        • 교육 (3)
        • 여행 (17)
        • 영화 (12)
        • 음악 (2)
        • 피규어 (4)
        • 게임 (3)
        • 생각 (7)
        • 기타 (10)
        • 좋은글 (5)
        • 좋은 사이트 (2)
  • 블로그 메뉴

    • 홈
    • 태그
    • 미디어로그
    • 위치로그
    • 방명록
  • 링크

    • 빅데이터-하둡,하이브로 시작하기
    • 빅데이터-스칼라, 스파크로 시작하기
    • Kaggle에서 파이썬으로 데이터 분석 시작하기
    • 쉘스크립트 개발 시작하기
    • 개발자가 데이터 분석 준전문가 되기
    • 데브쿠마
  • 공지사항

  • 인기 글

  • 태그

    HIVE
    hbase
    build
    HDFS
    ubuntu
    java
    파이썬
    yarn
    Linux
    bash
    mysql
    emr
    nodejs
    SPARK
    하둡
    k8s
    하이브
    백준
    error
    AWS
    다이나믹
    S3
    Tez
    알고리즘
    airflow
    Python
    오류
    Hadoop
    정올
    oozie
  • 최근 댓글

  • 최근 글

  • hELLO· Designed By정상우.v4.10.6
hs_seo
[hive] drop table partitions 의 null 오류
상단으로

티스토리툴바