指量抓取,大家有没有好的解决方案?
发布于 11 年前 作者 mejinke 3563 次浏览 最后一次编辑是 8 年前

指量抓取,大家有没有好的解决方案?, 抓取的页面在10W左右。我现在用request这个模块,总感觉不稳定。进程会动不动就不运行了(没有退出,卡住了),现在不知道卡在了哪儿。我设置timeout的话,一下子全超时了。

1 回复

我在使用Needle,你可以试用一下 https://github.com/tomas/needle

回到顶部