request 모듈을 이용하여 HTML 가져오기

node.js 에서 HTML 데이터를 파싱하기 위해서는 request 모듈을 이용한다.

npm의 request 모듈 https://www.npmjs.com/package/request

설치 방법

npm install request

html 데이터를 가져오는 방법은 다음과 같다.

/*
	npm - https://www.npmjs.com/package/request
*/
 

var request = require('request');
var target_url = 'http://www.naver.com';


// 지정한 url 에 접속
request(target_url, function(error, response, html){
    if (error) {throw error};
    console.log (html);
});


// 이벤트 파이프 이용하기
request.get(target_url)
  .on('response', function(response) {
  	console.log(response.statusCode) // 200 
    console.log(response.headers['content-type']) // 'image/png' 
  })


// 커스텀 헤더 사용하기
var requestOptions  = { method: "GET"
						,uri: "http://www.naver.com"
						,headers: { "User-Agent": "Mozilla/5.0" } }
request(requestOptions, function(error, response, body) {
	console.log(body);
});

html 을 가져와서 파싱할때는 cheerio 모듈을 이용한다.