指量抓取,大家有没有好的解决方案?
指量抓取,大家有没有好的解决方案?, 抓取的页面在10W左右。我现在用request这个模块,总感觉不稳定。进程会动不动就不运行了(没有退出,卡住了),现在不知道卡在了哪儿。我设置timeout的话,一下子全超时了。
1 回复
我在使用Needle,你可以试用一下 https://github.com/tomas/needle
指量抓取,大家有没有好的解决方案?, 抓取的页面在10W左右。我现在用request这个模块,总感觉不稳定。进程会动不动就不运行了(没有退出,卡住了),现在不知道卡在了哪儿。我设置timeout的话,一下子全超时了。
我在使用Needle,你可以试用一下 https://github.com/tomas/needle