개발자로 살아남기

request 를 이용하여 http 요청을 처리할 때 재작업을 해야 하는 경우가 있습니다. 하나는 서버에 연결후 정상적으로 응답이 와서 응답을 보고 재작업을 해야 하는 경우 retry 모듈을 이용하여 재작업을 처리할 수 있습니다. 다른 방법은 서버에 정상적으로 연결이 되지 않는 경우 다시 재작업을 해야 하는 경우 데코레이터 모듈을 이용하여 재작업을 할 수 있습니다. retry 모듈 retry 모듈은 서버의 응답에 따라서 재작업을 진행할 수 있습니다. 서버가 특정 응답을 보낼때는 재작업을 한다는 룰을 가질 수 있는 경우 사용할 수 있습니다. https://brownbears.tistory.com/613 [Python] requests 모듈 retry 추가하기 requests 모듈은 https://brown..

웹상의 이미지를 다운로드 하기 위해서는 request 모듈을 이용한다. 예제는 아래와 같다. var fs = require('fs'); // 네이버에 있는 신문의 이미지를 다운로드 // 헤더를 지정하지 않고 바로 사용해도 됨 var requestOptions = { method: "GET" ,uri: "http://imgnews.naver.net/image/003/2016/04/11/NISI20160411_0011572229_web_99_20160411103315.jpg" ,headers: { "User-Agent": "Mozilla/5.0" } ,encoding: null }; // 파일명을 지정한다. request(requestOptions).pipe(fs.createWriteStream('sampl..

node.js 에서 HTML을 파싱하기 위해서 cheerio를 이용한다. Fast, flexible, and lean implementation of core jQuery designed specifically for the server cheerio의 설명은 위와 같이 jQuery를 서버사이드에 맞게 수정한 것이다. 따라서 jQuery와 유사하게 동작하므로 기존에 사용하던 사람은 좀더 편안하게 사용할 수 있다. cheerio - https://github.com/cheeriojs/cheerio 아래의 예제는 에어코리아 사이트의 미세먼지 예보를 파싱한 것이다. http://www.airkorea.or.kr/dustForecast var request = require("request"); var chee..

node.js 에서 HTML 데이터를 파싱하기 위해서는 request 모듈을 이용한다. npm의 request 모듈 https://www.npmjs.com/package/request 설치 방법 npm install request html 데이터를 가져오는 방법은 다음과 같다. /* npm - https://www.npmjs.com/package/request */ var request = require('request'); var target_url = 'http://www.naver.com'; // 지정한 url 에 접속 request(target_url, function(error, response, html){ if (error) {throw error}; console.log (html); })..