[hive] 하이브의 가상 컬럼(virtual column)을 이용하여 파일 내용 삭제

하이브는 0.8.0 버전부터 가상칼럼을 제공한다. 

- INPUT__FILE__NAME: 파일명

- BLOCK__OFFSET__INSIDE__FILE: 파일에서의 offset

이는 다음과 같이 사용하면 된다. 

SELECT INPUT__FILE__NAME, 

       BLOCK__OFFSET__INSIDE__FILE,

       column1,

       column2

  FROM table;

가상칼럼을 이용하여 하이브 테이블엥 로드된 파일의 이름을 알 수 있다. 

AWS는 S3에서의 하이브 delete 명령은 아직 지원하고 있지 않기 때문에,

잘 못 입력된 내용을 지우고 싶다면 가상컬럼을 이용하여 파일을 확인하고, 

오프셋을 이용하여 위치를 확인한 후 개별적으로 지워야 한다.