티스토리 뷰
[sqoop] 스쿱과 mysql 연동중 Error reading primary key metadata: java.sql.SQLException: Column 'ORDINAL_POSITION' not found. 오류 처리
hs_seo 2017. 3. 10. 14:273351 [uber-SubtaskRunner] ERROR org.apache.sqoop.manager.SqlManager - Error reading primary key metadata: java.sql.SQLException: Column 'ORDINAL_POSITION' not found.
java.sql.SQLException: Column 'ORDINAL_POSITION' not found.
at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:1075)
at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:989)
at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:984)
at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:929)
at com.mysql.jdbc.ResultSetImpl.findColumn(ResultSetImpl.java:1145)
at com.mysql.jdbc.ResultSetImpl.getInt(ResultSetImpl.java:2814)
at org.apache.sqoop.manager.SqlManager.getColumnInfoForProcedure(SqlManager.java:447)
at org.apache.sqoop.manager.SqlManager.getColumnTypesForProcedure(SqlManager.java:420)
at org.apache.sqoop.orm.ClassWriter.getColumnTypes(ClassWriter.java:1835)
at org.apache.sqoop.orm.ClassWriter.generate(ClassWriter.java:1645)
스쿱과 MySQL을 연동하여 처리할 때 위와 같은 오류가 발생하는 경우가 있다.
이는 스쿱의 드라이버 매니저를 MySQL용으로 사용하지 않고, SQL 매니저를 사용해서 발생하는 오류이다.
나의 경우 driver 옵션을 삭제하여, 스쿱이 jdbc 연결문을 보고 자동으로 드라이버를 설정하도록 하여 오류를 해결하였다.
[수정전 - driver 옵션 적용]
sqoop export --driver \
com.mysql.jdbc.Driver \
--connect \
jdbc:mysql://localhost:7070/db
[수정후 - driver 옵션 삭제]
sqoop export --connect \
jdbc:mysql://localhost:7070/db
'빅데이터 > sqoop' 카테고리의 다른 글
[sqoop] sqoop 설정 정보를 옵션 파일로 전달하는 방법 (0) | 2019.09.05 |
---|---|
[sqoop] 스쿱을 이용하여 DB와 HDFS간 데이터 이동, import, export 예제 (0) | 2017.03.10 |
[sqoop] 스쿱 처리중 invalid callable syntax 오류처리 (0) | 2017.03.08 |
[sqoop] 스쿱실행중 Mixed update/insert is not supported against the target database yet 오류 처리 (0) | 2017.03.08 |
[sqoop] sqoop 처리중 Streaming result set com.mysql.jdbc.RowDataDynamic is still active. 오류 처리 (0) | 2017.03.07 |
- Total
- Today
- Yesterday
- SPARK
- emr
- Tez
- nodejs
- 알고리즘
- ubuntu
- 하이브
- java
- mysql
- 다이나믹
- error
- 오류
- 백준
- S3
- HIVE
- build
- oozie
- 정올
- airflow
- Linux
- SQL
- 파이썬
- bash
- hbase
- Hadoop
- Python
- HDFS
- AWS
- yarn
- 하둡
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |