개발자로 살아남기

GCP의 빅쿼리를 간단하게 알아보고, 빅쿼리 CLI를 이용하는 방법을 알아보겠습니다. 빅쿼리(BigQuery)란? 구글 클라우드(GCP)에서 제공하는 완전 관리형 데이터 분석 플랫폼 서버관리 없음, 쿼리로 데이터를 조회하는 서비스형 솔루션 저장비용과 조회비용이 있음 구글 클라우드 저장소와 다른 빅쿼리 저장소 비용있음 웹UI, CLI 환경에서 이용 가능 칼럼 기반으로 데이터를 저장 키나, 인덱스 개념 없음 갱신, 삭제 불가 데이터 복제를 통해 장애 복구에 대비함 BigQuery 문서 BigQuery 문서 | Google Cloud 대규모 데이터세트를 양방향으로 분석합니다. cloud.google.com 빅쿼리 구성 빅쿼리 데이터는 관계형 데이터베이스와 유사한 형태로 프로젝트, 데이터셋트, 테이블로 구성 프..

리눅스의 파일은 파일명으로 실제 파일을 구분할 수 없기 때문에 압축파일의 형식을 파일명으로 단정할 수 가 없다. 파일명과 압축형식이 다를경우 압축형식을 확인하기 위해서는 file 명령어를 이용하면 된다. 아래와 같이 파일명과 정보를 확인할 수 있다. > file gzip-file.gzgzip-file.gz: gzip compressed data, was "gzip-file", last modified: Tue Feb 21 05:41:25 2017, from Unix > file tar-file.tartar-file.tar: POSIX tar archive (GNU) > file tar-gz-file.tar.gztar-gz-file.tar.gz: gzip compressed data, last modifi..

하둡에서 자주 사용하는 명령어는 다음과 같다. * 폴더의 용량을 확인할 때 count 를 사용* 파일의 내용을 확인할 때는 cat 보다는 text를 사용하면 더 좋다. 파일 타입을 알아서 판단하기 때문 hadoop fs -cat [경로] - 경로의 파일을 읽어서 보여줌 - 리눅스 cat 명령과 동리함 hadoop fs -count [경로] - 경로상의 폴더, 파일, 파일사이즈를 보여줌 hadoop fs -cp [소스 경로] [복사 경로] - hdfs 상에서 파일 복사 hadoop fs -df /user/hadoop - 디스크 공간 확인 hadoop fs -du /user/hadoop - 파일별 사이즈 확인 hadoop fs -dus /user/hadoop - 폴더의 사이즈 확인 hadoop fs -get..