[hadoop] distcp 중 java.io.IOException: Error writing request body to server 오류 해결 방법

하둡 DistCp를 이용하여 데이터를 복사할 때 오류가 발생하는 경우가 있습니다.

 

- Socket is closed

- Error writing request body to server

 

Caused by: java.net.SocketException: Socket is closed
	at sun.security.ssl.SSLSocketImpl.getInputStream(SSLSocketImpl.java:680)
	at sun.net.www.http.HttpClient.parseHTTP(HttpClient.java:673)


java.io.IOException: Error writing request body to server
	at sun.net.www.protocol.http.HttpURLConnection$StreamingOutputStream.checkError(HttpURLConnection.java:3597)
	at sun.net.www.protocol.http.HttpURLConnection$StreamingOutputStream.write(HttpURLConnection.java:3580)
	at java.io.BufferedOutputStream.write(BufferedOutputStream.java:122)
	at org.apache.hadoop.fs.FSDataOutputStream$PositionCache.write(FSDataOutputStream.java:58)

해결방법

hdfs에 쿼터가 설정되어 있을때 쿼터를 넘어가면 오류가 발생합니다. hdfs의 쿼터를 확인하고 쿼터를 늘려도 되고, 없애면 됩니다.