用node爬虫爬取网页图片,如何获取通过ajax传递的数据
发布于 9 年前 作者 qianjiahao 5178 次浏览 最后一次编辑是 8 年前 来自 问答

问题一:今天在用node爬一个网页,但是只能爬到最初的几张图片,后面的图片都是未加载的空白图片。 如何获取通过ajax加载的资源数据呢?

问题二:从网页上爬取的图片url在自己的项目上无法正常显示,猜测是网站有反盗链。。。如何破之~?

4 回复

获取需要通过 ajax加载的数据的话,那必须要用到:http://phantomjs.org/ 了,这就是一个无界面的浏览器,可以看一下它的API,还有一个能用的是它的进一步封装版:http://casperjs.org/。

@DavidCai1993 除了下载casper以外,是不是还要安装phantom和python呀~?

@qianjiahao python应该不用吧,不过phantomjs是必须的咯,直接用 npm install -g 装非常轻松愉快,文档里都有说关于安装的 : )

回到顶部