爬取youtube网站时需要下拉才能显示更多视频，怎么才能获取完整的页面

爬取下来的页面不完整，发现需要下拉才显示的内容都没有，怎么破！

zswnew 1楼•7 年前

这个需要执行网页中的js?

来自酷炫的 CNodeMD

cctv1005s 2楼•7 年前

1，很简单，观察执行下拉动作之后产生的network,毕竟我们爬取页面的最终目的是获取数据，拿到network，就相当于拿到了数据。 2，使用PhantomJS来模拟动作，抓取页面

zhoujinhai 3楼•7 年前作者

@cctv1005s 好的，谢谢啦

zhoujinhai 4楼•7 年前作者

@cctv1005s 因为数据比较多，一个一个找network的话太麻烦，请问一下，要是使用PhantomJS来模拟动作，抓取页面有没有好一点儿的教程参考