爬取youtube网站时 需要下拉才能显示更多视频,怎么才能获取完整的页面
发布于 7 年前 作者 zhoujinhai 4389 次浏览 来自 问答

爬取下来的页面不完整,发现需要下拉才显示的内容都没有,怎么破!

4 回复

这个需要执行网页中的js?

来自酷炫的 CNodeMD

1,很简单,观察执行下拉动作之后产生的network,毕竟我们爬取页面的最终目的是获取数据,拿到network,就相当于拿到了数据。 2,使用PhantomJS来模拟动作,抓取页面

@cctv1005s 好的,谢谢啦

@cctv1005s 因为数据比较多,一个一个找network的话太麻烦,请问一下,要是使用PhantomJS来模拟动作,抓取页面有没有好一点儿的教程参考

回到顶部