跳到主要内容
CNode

爬虫,想用到 phantomjs模块 求大神指点

问答
JjuneLLL发布于 9 年前最后回复 9 年前
753850

想要爬取 网易新闻但是网上的很多教程只爬取了一部分,怎么样用phantomjs 来模拟点击加载更多按钮和 1500862799(1).jpg 这些选项按钮呢

查看回复

回复 (7)

J
juneLLL#79 年前
引用 yyrdl这种站点也需要phantomjs???

@yyrdl 拿这个练手,想用一下这种方法

Y
yyrdl#69 年前

这种站点也需要phantomjs???

J
juneLLL#59 年前
引用 Sunshine168如果是link的话就是访问新的网页进行抓取,如果是按钮加载更多 你也可以看🌰 里面有我之前写的笔记

@Sunshine168 谢谢大神,我看了一点你的文章,写的很棒,还没有完全懂,准备好好研究一下

J
juneLLL#49 年前
引用 without-yy不需要模拟点击直接请求不同的链接就好了 如果是点击按钮使用ajax渲染的话就直接抓ajax链接

@without-yy 嗯嗯 这种方法我懂,但是当处理大量数据的时候不能一个个再抓取ajax链接了不是

W
without-yy#39 年前

不需要模拟点击直接请求不同的链接就好了 如果是点击按钮使用ajax渲染的话就直接抓ajax链接

S
Sunshine168#29 年前

如果是link的话就是访问新的网页进行抓取,如果是按钮加载更多 你也可以看🌰 里面有我之前写的笔记

var result = await page.evaluate(function() {
				  //...找到按钮模拟点击。
				  var element = document.getElementByid('...')
				  element.click()
				  return ...
			})
O
ouyang90#19 年前

# ++==^ 图片粗体^==++ # 来自VueCnodeMD

参与回复

登录后即可参与回复。登录