[hive] java.net.URISyntaxException: Relative path in absolute URI: file:./tmp/yarn 오류 처리

2017. 1. 17. 14:49·빅데이터/hive

하이브 처리중 다음과 같은 오류가 발생하는 경우는 scratchdir 를 설정해 주면된다. 

아래의 오류는 getScratchDir() 메소드를 호출하다가 오류가 발생한것을 알 수 있다. 따라서 아래의 설정을 해주면 된다. 


<property>

<name>hive.exec.scratchdir</name>

<value>/tmp/hive</value>

</property>

<property>

<name>hive.exec.local.scratchdir</name>

<value>/tmp/hive</value>

</property>



위의 설정은 하이브 처리중 사용하는 플랜 파일이나, 임시 파일들을 저장하기 위하여 사용한다. 

<This directory is used by Hive to store the plans for different map/reduce stages for the query as well as to stored the intermediate outputs of these stages.>


2017-01-13 07:33:08,521 INFO [hive-job uber-SubtaskRunner] org.apache.hadoop.hive.ql.exec.SerializationUtilities: Serializing MapredWork using kryo

2017-01-13 07:33:08,527 INFO [hive-job uber-SubtaskRunner] org.apache.hadoop.hive.ql.exec.SerializationUtilities: Deserializing MapredWork using kryo

2017-01-13 07:33:08,551 ERROR [hive-job uber-SubtaskRunner] org.apache.hadoop.hive.ql.Driver: FAILED: IllegalArgumentException java.net.URISyntaxException: Relative path in absolute URI: file:./tmp/yarn/hive-job/hive_job-id-1

java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: file:./tmp/yarn/hive-job/hive_job-id-1

at org.apache.hadoop.fs.Path.initialize(Path.java:205)

at org.apache.hadoop.fs.Path.<init>(Path.java:196)

at org.apache.hadoop.hive.ql.Context.getScratchDir(Context.java:279)

at org.apache.hadoop.hive.ql.Context.getLocalScratchDir(Context.java:314)

at org.apache.hadoop.hive.ql.optimizer.physical.CommonJoinTaskDispatcher.processCurrentTask(CommonJoinTaskDispatcher.java:538)

at org.apache.hadoop.hive.ql.optimizer.physical.AbstractJoinTaskDispatcher.dispatch(AbstractJoinTaskDispatcher.java:179)

at org.apache.hadoop.hive.ql.lib.TaskGraphWalker.dispatch(TaskGraphWalker.java:111)

at org.apache.hadoop.hive.ql.lib.TaskGraphWalker.walk(TaskGraphWalker.java:180)



하이블 설정 - https://cwiki.apache.org/confluence/display/Hive/AdminManual+Configuration


반응형
저작자표시 비영리 (새창열림)

'빅데이터 > hive' 카테고리의 다른 글

[hive] desc 명령을 이용하여 하이브 테이블, 파티션의 로케이션 확인하기  (0) 2017.01.19
[hive][tez][mr] 하이브 처리중 매퍼의 개수 설정하는 벙법  (0) 2017.01.17
[hive][error] SemanticException Column "칼럼명" Found in more than One Tables/Subqueries  (0) 2017.01.06
[hive][hql] hive 2 의 hqlsql 사용해보기  (0) 2017.01.03
[hive] ORC 파일 포맷  (0) 2016.12.28
'빅데이터/hive' 카테고리의 다른 글
  • [hive] desc 명령을 이용하여 하이브 테이블, 파티션의 로케이션 확인하기
  • [hive][tez][mr] 하이브 처리중 매퍼의 개수 설정하는 벙법
  • [hive][error] SemanticException Column "칼럼명" Found in more than One Tables/Subqueries
  • [hive][hql] hive 2 의 hqlsql 사용해보기
hs_seo
hs_seo
Hello World!
    반응형
  • hs_seo
    개발자로 살아남기
    hs_seo
  • 전체
    오늘
    어제
    • 전체 (1140)
      • 개발자 (21)
        • 개발에 유의할 점 (0)
        • 면접 (5)
      • IT 소식 (5)
        • 업계 (1)
      • java (51)
        • 디자인패턴 (3)
        • apache-common (1)
      • 개념 (47)
        • 자료구조 (4)
        • 함수형사고 (8)
        • 디자인패턴 (1)
      • 데이터분석 (1)
      • python (67)
        • 코드조각 (12)
        • 라이브러리 (2)
      • 빅데이터 (418)
        • zookeeper (5)
        • hadoop (78)
        • hdfs (12)
        • hive (127)
        • hbase (16)
        • spark (40)
        • scala (4)
        • trino (3)
        • oozie (41)
        • Hue (9)
        • R (5)
        • sqoop (6)
        • flume (3)
        • elasticsearch (2)
        • airflow (16)
        • kafka (3)
        • kubernetes (10)
        • openstack (3)
        • flink (2)
        • redis (2)
      • 빅데이터 강좌 (2)
      • 알고리즘 (131)
        • 알고리즘 (1)
        • 백준 (61)
        • 정올 (41)
        • 더블릿 (5)
        • 프로그래머스 (1)
      • 프로그래밍 언어 (30)
        • go (4)
        • js (9)
        • .Net (6)
        • Jsp (1)
        • ansible (3)
        • terraform (6)
      • Tools (56)
        • docker (2)
        • macbook (6)
        • maven (3)
        • sublime (1)
      • 프레임워크 (25)
        • [JS] angularjs (2)
        • [JS] node.js (19)
        • [Java] spring (2)
        • Android (2)
      • 데이타베이스 (43)
        • SQLD (5)
        • Oracle (1)
        • MySQL (8)
        • ADsP (2)
      • 리눅스 (25)
        • Bash (61)
      • GCP (5)
      • AWS (34)
        • EC2 (2)
        • EMR (14)
      • 정보보안기사 (4)
        • 네트워크 (1)
      • 개인 (80)
        • 업무실수 (0)
        • 책 (9)
        • 교육 (3)
        • 여행 (17)
        • 영화 (12)
        • 음악 (2)
        • 피규어 (4)
        • 게임 (3)
        • 생각 (7)
        • 기타 (10)
        • 좋은글 (5)
        • 좋은 사이트 (2)
  • 블로그 메뉴

    • 홈
    • 태그
    • 미디어로그
    • 위치로그
    • 방명록
  • 링크

    • 빅데이터-하둡,하이브로 시작하기
    • 빅데이터-스칼라, 스파크로 시작하기
    • Kaggle에서 파이썬으로 데이터 분석 시작하기
    • 쉘스크립트 개발 시작하기
    • 개발자가 데이터 분석 준전문가 되기
    • 데브쿠마
  • 공지사항

  • 인기 글

  • 태그

    nodejs
    하이브
    hbase
    Hadoop
    오류
    S3
    HIVE
    ubuntu
    yarn
    airflow
    다이나믹
    파이썬
    HDFS
    error
    Tez
    SPARK
    k8s
    bash
    build
    정올
    알고리즘
    mysql
    java
    oozie
    백준
    Linux
    emr
    하둡
    Python
    AWS
  • 최근 댓글

  • 최근 글

  • hELLO· Designed By정상우.v4.10.6
hs_seo
[hive] java.net.URISyntaxException: Relative path in absolute URI: file:./tmp/yarn 오류 처리
상단으로

티스토리툴바