[sqoop] 스쿱과 mysql 연동중 Error reading primary key metadata: java.sql.SQLException: Column 'ORDINAL_POSITION' not found. 오류 처리

2017. 3. 10. 14:27·빅데이터/sqoop

3351 [uber-SubtaskRunner] ERROR org.apache.sqoop.manager.SqlManager  - Error reading primary key metadata: java.sql.SQLException: Column 'ORDINAL_POSITION' not found.

java.sql.SQLException: Column 'ORDINAL_POSITION' not found.

      at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:1075)

      at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:989)

      at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:984)

      at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:929)

      at com.mysql.jdbc.ResultSetImpl.findColumn(ResultSetImpl.java:1145)

      at com.mysql.jdbc.ResultSetImpl.getInt(ResultSetImpl.java:2814)

      at org.apache.sqoop.manager.SqlManager.getColumnInfoForProcedure(SqlManager.java:447)

      at org.apache.sqoop.manager.SqlManager.getColumnTypesForProcedure(SqlManager.java:420)

      at org.apache.sqoop.orm.ClassWriter.getColumnTypes(ClassWriter.java:1835)

      at org.apache.sqoop.orm.ClassWriter.generate(ClassWriter.java:1645)


스쿱과 MySQL을 연동하여 처리할 때 위와 같은 오류가 발생하는 경우가 있다. 

이는 스쿱의 드라이버 매니저를 MySQL용으로 사용하지 않고, SQL 매니저를 사용해서 발생하는 오류이다. 


나의 경우 driver 옵션을 삭제하여, 스쿱이 jdbc 연결문을 보고 자동으로 드라이버를 설정하도록 하여 오류를 해결하였다. 


[수정전 - driver 옵션 적용]

sqoop export --driver \

             com.mysql.jdbc.Driver \

             --connect \

             jdbc:mysql://localhost:7070/db


[수정후 - driver 옵션 삭제]

sqoop export --connect \

             jdbc:mysql://localhost:7070/db


반응형
저작자표시 비영리 (새창열림)

'빅데이터 > sqoop' 카테고리의 다른 글

[sqoop] sqoop 설정 정보를 옵션 파일로 전달하는 방법  (0) 2019.09.05
[sqoop] 스쿱을 이용하여 DB와 HDFS간 데이터 이동, import, export 예제  (0) 2017.03.10
[sqoop] 스쿱 처리중 invalid callable syntax 오류처리  (0) 2017.03.08
[sqoop] 스쿱실행중 Mixed update/insert is not supported against the target database yet 오류 처리  (0) 2017.03.08
[sqoop] sqoop 처리중 Streaming result set com.mysql.jdbc.RowDataDynamic is still active. 오류 처리  (0) 2017.03.07
'빅데이터/sqoop' 카테고리의 다른 글
  • [sqoop] sqoop 설정 정보를 옵션 파일로 전달하는 방법
  • [sqoop] 스쿱을 이용하여 DB와 HDFS간 데이터 이동, import, export 예제
  • [sqoop] 스쿱 처리중 invalid callable syntax 오류처리
  • [sqoop] 스쿱실행중 Mixed update/insert is not supported against the target database yet 오류 처리
hs_seo
hs_seo
Hello World!
    반응형
  • hs_seo
    개발자로 살아남기
    hs_seo
  • 전체
    오늘
    어제
    • 전체 (1140)
      • 개발자 (21)
        • 개발에 유의할 점 (0)
        • 면접 (5)
      • IT 소식 (5)
        • 업계 (1)
      • java (51)
        • 디자인패턴 (3)
        • apache-common (1)
      • 개념 (47)
        • 자료구조 (4)
        • 함수형사고 (8)
        • 디자인패턴 (1)
      • 데이터분석 (1)
      • python (67)
        • 코드조각 (12)
        • 라이브러리 (2)
      • 빅데이터 (418)
        • zookeeper (5)
        • hadoop (78)
        • hdfs (12)
        • hive (127)
        • hbase (16)
        • spark (40)
        • scala (4)
        • trino (3)
        • oozie (41)
        • Hue (9)
        • R (5)
        • sqoop (6)
        • flume (3)
        • elasticsearch (2)
        • airflow (16)
        • kafka (3)
        • kubernetes (10)
        • openstack (3)
        • flink (2)
        • redis (2)
      • 빅데이터 강좌 (2)
      • 알고리즘 (131)
        • 알고리즘 (1)
        • 백준 (61)
        • 정올 (41)
        • 더블릿 (5)
        • 프로그래머스 (1)
      • 프로그래밍 언어 (30)
        • go (4)
        • js (9)
        • .Net (6)
        • Jsp (1)
        • ansible (3)
        • terraform (6)
      • Tools (56)
        • docker (2)
        • macbook (6)
        • maven (3)
        • sublime (1)
      • 프레임워크 (25)
        • [JS] angularjs (2)
        • [JS] node.js (19)
        • [Java] spring (2)
        • Android (2)
      • 데이타베이스 (43)
        • SQLD (5)
        • Oracle (1)
        • MySQL (8)
        • ADsP (2)
      • 리눅스 (25)
        • Bash (61)
      • GCP (5)
      • AWS (34)
        • EC2 (2)
        • EMR (14)
      • 정보보안기사 (4)
        • 네트워크 (1)
      • 개인 (80)
        • 업무실수 (0)
        • 책 (9)
        • 교육 (3)
        • 여행 (17)
        • 영화 (12)
        • 음악 (2)
        • 피규어 (4)
        • 게임 (3)
        • 생각 (7)
        • 기타 (10)
        • 좋은글 (5)
        • 좋은 사이트 (2)
  • 블로그 메뉴

    • 홈
    • 태그
    • 미디어로그
    • 위치로그
    • 방명록
  • 링크

    • 빅데이터-하둡,하이브로 시작하기
    • 빅데이터-스칼라, 스파크로 시작하기
    • Kaggle에서 파이썬으로 데이터 분석 시작하기
    • 쉘스크립트 개발 시작하기
    • 개발자가 데이터 분석 준전문가 되기
    • 데브쿠마
  • 공지사항

  • 인기 글

  • 태그

    파이썬
    HIVE
    하이브
    알고리즘
    S3
    오류
    bash
    build
    error
    HDFS
    hbase
    백준
    mysql
    nodejs
    ubuntu
    하둡
    Python
    다이나믹
    yarn
    AWS
    SPARK
    emr
    oozie
    java
    Hadoop
    정올
    airflow
    Tez
    k8s
    Linux
  • 최근 댓글

  • 최근 글

  • hELLO· Designed By정상우.v4.10.6
hs_seo
[sqoop] 스쿱과 mysql 연동중 Error reading primary key metadata: java.sql.SQLException: Column 'ORDINAL_POSITION' not found. 오류 처리
상단으로

티스토리툴바