爬取腾讯新闻失败
发布于 1 个月前 作者 JustforNode 457 次浏览 来自 问答

image.png 这个图片是腾讯新闻,地址 http://news.qq.com/photon/bigpic.htm 在用下面的代码爬取的时候 ul 和 li 标签怎么获取不到呢?为什么$(#mod-big-list).html() 是空呢?

app.get('/', function (req, res, next) {
  superagent.get('http://news.qq.com/photon/bigpic.htm')
    .end(function (err, sres) {
      if (err) {
        return next(err);
      }
      var $ = cheerio.load(sres.text);
      var items = $(#mod-big-list).html();
      res.send(items);
    });
});
5 回复

应该是动态加载的吧。

来自酷炫的 CNodeMD

@axetroy 嗯嗯可能是,请问 动态加载的有什么方法可以爬取到么?

@NanShanJi 我是想爬取动态加载的HTML内容,请问有什么方法么?

@JustforNode 可以使用这个库puppeteer,模拟真实的用户访问。管他是不是动态加载的

回到顶部