[GCP] gsutil cp 명령에서 병렬 옵션을 이용하여 빠르게 처리하기

gsutil 명령 중에서 acl ch, acl set, cp, mv, rm, rsync, setmeta 명령은 병렬로 수행하여 처리 속도를 높일 수 있습니다. -m옵션을 이용하면, 멀티 프로세싱과 멀티 스레딩을 이용하여 처리 속도를 높입니다. 네트워크 속도가 적절하지 않으면 처리 속도가 늦을 수도 있습니다. 상황에 맞게 적절하게 사용하는 것이 좋습니다. .boto파일에 옵션을 추가하여 성능을 조절할 수 있습니다. -m 사용 옵션 gsutil -m cp gs://bucket-name/dir1/* gs://bucket-name/dir2/* gsutil -m rsync gs://bucket-name/dir1/ gs://bucket-name/dir2/ .boto 파일 설정 .boto 병렬 처리에 사용하는 옵션은..
GCP 2020. 7. 24. 22:38
1
반응형
공지사항
최근에 올라온 글
최근에 달린 댓글
Total
Today
Yesterday
링크
TAG more
«   2025/04   »
일 월 화 수 목 금 토
1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30
글 보관함