用request模块练习爬虫爬CL某版块,返回“DP Live”,不知道从何下手
发布于 10 年前 作者 borisyu 15159 次浏览 最后一次编辑是 8 年前 来自 问答

打算爬CL论坛某版块,地址是http://[神一样的域名]/thread0806.php?fid=4&search=&page=1 HTTP STATUSCODE 200 正常,可是返回的body信息只有“DP Live”,that’s it. no more information. 请教各位nodejs前辈/大牛们,为什么服务器只返回DP Live?这当中究竟是什么回事?(谷歌问不出来,所以上来求助了) 1.jpg

2 回复

最有可能的情况,是你的UserAgent不对, 网站端加了一些过滤。

用chrome打开这个页面, 记得打开调试工具 > net , 监听网络状态, 看看发起请求的时候都发送了什么。 完整的模拟浏览器行为,就ok了

@fish 对的没错,我前天反复测试,发现添加上User-Agent后就正常了。谢谢你!

回到顶部