2090670
奇怪!
- 当url="http://www.hao123.com/"时,以下程序正常执行;
- 当url为ACM dl 网址时,同一网址抓取数据,大部分时时间pageData为空,即没有抓到数据就退出!偶然可以抓取成功。
- 问问,是何原因?有何方法?
var http = require('http');
var cheerio = require("cheerio");
var fs = require('fs');
var url = "..."; //网页地址
http.get(url, function(res) {
var pageData = "";
//get 请求
res.on('data', function(data) {
pageData += data;
});
//获取到数据 source,我们可以对数据进行操作了!
res.on('end', function() {
//网页源码
console.log(pageData);
var $ = cheerio.load(pageData);
//用cheerio解析网页数据
$('meta').each(function(i, e) {
//'\r\n' -- 回车换行
fs.appendFile('message1.txt', $(e).attr('content') + '\r\n', function (err) {
if (err) throw err;
console.log('It\'s saved!');
});
});
});
}).on('error', function() {
console.log("Error!");
});
3Q