하둡 DistCp를 이용하여 데이터를 복사할 때 오류가 발생하는 경우가 있습니다.
- Socket is closed
- Error writing request body to server
Caused by: java.net.SocketException: Socket is closed
at sun.security.ssl.SSLSocketImpl.getInputStream(SSLSocketImpl.java:680)
at sun.net.www.http.HttpClient.parseHTTP(HttpClient.java:673)
java.io.IOException: Error writing request body to server
at sun.net.www.protocol.http.HttpURLConnection$StreamingOutputStream.checkError(HttpURLConnection.java:3597)
at sun.net.www.protocol.http.HttpURLConnection$StreamingOutputStream.write(HttpURLConnection.java:3580)
at java.io.BufferedOutputStream.write(BufferedOutputStream.java:122)
at org.apache.hadoop.fs.FSDataOutputStream$PositionCache.write(FSDataOutputStream.java:58)
해결방법
hdfs에 쿼터가 설정되어 있을때 쿼터를 넘어가면 오류가 발생합니다. hdfs의 쿼터를 확인하고 쿼터를 늘려도 되고, 없애면 됩니다.
반응형
'빅데이터 > hadoop' 카테고리의 다른 글
| [hadoop] distcp 중 Failed to renew token: Kind: SWEBHDFS delegation 오류 해결 방법 (0) | 2021.03.07 |
|---|---|
| [hadoop] yarn 커패시티 스케줄러의 큐 매핑 (0) | 2021.03.04 |
| [hadoop] 보안하둡에서 일반하둡으로의 데이터 조회(ls command) (0) | 2021.01.31 |
| [hadoop] AWS 환경 밖에서 hadoop으로 s3의 데이터를 조회하는 방법 (0) | 2021.01.17 |
| [hadoop] 보안하둡, 일반하둡간 DistCp 처리 (0) | 2021.01.10 |