nodejs爬虫长时间运行后卡住
发布于 4 个月前 作者 dreamer2012 1030 次浏览 来自 问答

各位大佬, 有一个困惑许久的问题:

我用nodejs做了一个爬虫,每天定时爬取数据,node版本v9.8.0,定时试过系统命令crontab,现在用node-schedule,使用pm2管理程序。

爬虫在运行一段时间后,有时候是三四天,有时候是一周或者更长后,卡住了。没有错误日志,pm2也没有任何日志信息,程序也没有退出,似乎是卡死在后台了。

程序使用的依赖如下: “axer”: “0.0.5”, “log4js”: “^1.1.1”, “moment”: “^2.18.1”, “mongodb”: “^3.0.5”, “node-schedule”: “^1.2.4”, “bluebird”: “^3.5.1”, “util”: “^0.10.3”, “xml2js”: “^0.4.17”

各位大佬,有没有遇到过类似问题的?能否给出一些提示思路?非常感谢!

7 回复

mongodb的链接没断开吧

来自酷炫的 CNodeMD

@zy445566 每次操作完了会断开mongodb的

监控一下内存,硬盘,CPU使用情况。没有报错的卡住有可能是连接某个服务连接不上,就比如说mongodb

@yuedun 卡住的时候观察过,资源使用上没有什么异常的。

不过mongodb连接不上倒是有可能。我觉得奇怪的是,连不上也没有报错,这个时候程序陷入了一种什么样的状态呢?没有任何输出。

windows系统吧?

回到顶部