[python] requests 라이브러리에서 exceptions.MaxRetryError 가 발생하는 경우 처리 방법

requests를 기본 문법으로 사용하면 일반 적인 경우에는 문제가 되지 않지만, http 호출을 자주 하게 되면 exceptions.MaxRetryError가 발생하는 경우가 있습니다.

 

이럴때는 request 의 session을 이용해서 connection을 재사용할 수 있도록 설정해 주면 문제를 해결할 수 있습니다. pool_connections, pool_maxsize, max_retries 를 추가해서 설정할 수 있습니다.

 

	import requests
	def basic_get(url):
	response = requests.get(url)
	print(response.text)
	def session_get(url):
	rs = requests.session()
	rs.mount('http://', requests.adapters.HTTPAdapter(pool_connections=3, pool_maxsize=10, max_retries=3))
	rs.mount('https://', requests.adapters.HTTPAdapter(pool_connections=3, pool_maxsize=10, max_retries=3))
	rs.headers = {'Content-Type': 'application/json'}
	response = rs.get(url)
	print(response.text)
	if __name__ == '__main__':
	basic_get("http://www.naver.com")
	session_get("http://www.naver.com")

view raw requests_session.py hosted with ❤ by GitHub