GCP5 [GCP-Dataproc] Dataproc을 생성할 때 Insufficient 'CPUS' quota 오류 해결 방법 GCP에서 Dataproc을 생성할 때 사용할 있는 Quota를 넘어 섰다고 하면서 작업이 진행되지 않을 때가 있습니다. 이는 선택한 프로젝트의 인스턴스 생성 할당량을 넘어 선 경우 입니다. 기존에 생성한 인스턴스를 삭제하거나, 할당량을 늘려주면 됩니다. 할당량은 IAM 및 관리자 > 할당량에서 수정할 수 있습니다. 2021. 4. 20. [GCP] 빅쿼리 CLI 기본 명령어 이용방법 GCP의 빅쿼리를 간단하게 알아보고, 빅쿼리 CLI를 이용하는 방법을 알아보겠습니다. 빅쿼리(BigQuery)란? 구글 클라우드(GCP)에서 제공하는 완전 관리형 데이터 분석 플랫폼 서버관리 없음, 쿼리로 데이터를 조회하는 서비스형 솔루션 저장비용과 조회비용이 있음 구글 클라우드 저장소와 다른 빅쿼리 저장소 비용있음 웹UI, CLI 환경에서 이용 가능 칼럼 기반으로 데이터를 저장 키나, 인덱스 개념 없음 갱신, 삭제 불가 데이터 복제를 통해 장애 복구에 대비함 BigQuery 문서 BigQuery 문서 | Google Cloud 대규모 데이터세트를 양방향으로 분석합니다. cloud.google.com 빅쿼리 구성 빅쿼리 데이터는 관계형 데이터베이스와 유사한 형태로 프로젝트, 데이터셋트, 테이블로 구성 프.. 2020. 8. 2. [GCP] gsutil cp 명령에서 병렬 옵션을 이용하여 빠르게 처리하기 gsutil 명령 중에서 acl ch, acl set, cp, mv, rm, rsync, setmeta 명령은 병렬로 수행하여 처리 속도를 높일 수 있습니다. -m옵션을 이용하면, 멀티 프로세싱과 멀티 스레딩을 이용하여 처리 속도를 높입니다. 네트워크 속도가 적절하지 않으면 처리 속도가 늦을 수도 있습니다. 상황에 맞게 적절하게 사용하는 것이 좋습니다. .boto파일에 옵션을 추가하여 성능을 조절할 수 있습니다. -m 사용 옵션 gsutil -m cp gs://bucket-name/dir1/* gs://bucket-name/dir2/* gsutil -m rsync gs://bucket-name/dir1/ gs://bucket-name/dir2/ .boto 파일 설정 .boto 병렬 처리에 사용하는 옵션은.. 2020. 7. 24. [GCP] 구글 클라우드 스토리지 AccessDeniedException: 403 Insufficient Permission GCP에서 구글 스토리지에 파일을 복사할 때 아래와 같이 권한 부족으로 파일 복사가 되지 않을 때가 있습니다. 이 경우 해당 서버에 설정된 구글 클라우드 계정에 해당 버켓의 권한이 없기 때문입니다. $ gsutil cp ./sample.file gs://sample-raw-bucket/sample.file Copying file://./sample.file [Content-Type=application/octet-stream]... AccessDeniedException: 403 Insufficient Permission 현재 서버의 계정 확인 현재 서버에 설정된 계정은 gcloud auth list 명령으로 확인할 수 있습니다. 저의 경우는 계정이 설정되어 있지 않아서 오류가 발생하였습니다. 계정이 설.. 2020. 7. 24. [gcp] gsutil에서 AuthorizationHeaderMalformed 오류 해결 방법 gsutil을 이용하여 s3에 접근할 때 다음의 AuthorizationHeaderMalformed 오류가 발생하는 경우가 있습니다. REST API를 이용한 호출에서 HTTP헤더의 정보에 오류가 있을 때 발생합니다. 아래의 오류는 S3의 region을 확인하지 못해서 발생하는 오류입니다. us-east-2에 접근해야 하는데 us-east-1에 접근하여 해당 오류가 발생하였습니다. $ gsutil ls s3://sample-bucket/ BadRequestException: 400 AuthorizationHeaderMalformed AuthorizationHeaderMalformedThe authorization header is malformed; the region 'us-east-1' is wron.. 2020. 7. 15. 이전 1 다음
