[GCP] gsutil cp 명령에서 병렬 옵션을 이용하여 빠르게 처리하기

gsutil 명령 중에서 acl ch, acl set, cp, mv, rm, rsync, setmeta 명령은 병렬로 수행하여 처리 속도를 높일 수 있습니다. -m옵션을 이용하면, 멀티 프로세싱과 멀티 스레딩을 이용하여 처리 속도를 높입니다. 네트워크 속도가 적절하지 않으면 처리 속도가 늦을 수도 있습니다. 상황에 맞게 적절하게 사용하는 것이 좋습니다. .boto파일에 옵션을 추가하여 성능을 조절할 수 있습니다.

-m 사용 옵션

gsutil -m cp gs://bucket-name/dir1/* gs://bucket-name/dir2/*
gsutil -m rsync gs://bucket-name/dir1/ gs://bucket-name/dir2/

.boto 파일 설정

.boto 병렬 처리에 사용하는 옵션은 다음과 같습니다.

# OS Process
parallel_process_count = 1

# Python threads
parallel_thread_count = 5

# Composite Upload. 가능하다면 200M 이상 파일은 50M 단위로 분할 업로드 
parallel_composite_upload_threshold = 200M
parallel_composite_upload_component_size = 50M

실행시 옵션 추가

gsutil 실행시 옵션을 추가할 때는 -o 옵션을 이용합니다.

# 개별 옵션 설정 
gsutil -o GSUtil:parallel_composite_upload_threshold=150M 

참고

• gsutil 최상위 명령어 옵션