nodejs 爬虫 ,爬了一段时间后,不继续跑了,也没有退出程序,什么原因
运行效果如上: 最近在爬点东西,发现爬了一段时间后,程序就不动了,也没有退出,什么原因造成的? 一直卡在 第6098条数据抓取成功这里。
5 回复
捕获一下异常看看,可能是Promise状态卡死了。
这个要分析源码了,难猜
可以贴一下代码吗?
【来自酷炫的小程序】
是不是你抓取数据太频繁了。人家把你ip给封了
你的代码设置什么终止条件了吧