CNode

nodejs爬虫长时间运行后卡住

问答
Ddreamer2012发布于8 年前最后回复8 年前7 回复4787 浏览0 收藏

各位大佬, 有一个困惑许久的问题:

我用nodejs做了一个爬虫,每天定时爬取数据,node版本v9.8.0,定时试过系统命令crontab,现在用node-schedule,使用pm2管理程序。

爬虫在运行一段时间后,有时候是三四天,有时候是一周或者更长后,卡住了。没有错误日志,pm2也没有任何日志信息,程序也没有退出,似乎是卡死在后台了。

程序使用的依赖如下: "axer": "0.0.5", "log4js": "^1.1.1", "moment": "^2.18.1", "mongodb": "^3.0.5", "node-schedule": "^1.2.4", "bluebird": "^3.5.1", "util": "^0.10.3", "xml2js": "^0.4.17"

各位大佬,有没有遇到过类似问题的?能否给出一些提示思路?非常感谢!

查看回复

回复 (7)

Z
zy445566#1·8 年前

mongodb的链接没断开吧

来自酷炫的 CNodeMD

D
dreamer2012#2·8 年前
引用 zy445566mongodb的链接没断开吧 来自酷炫的 CNodeMD

@zy445566 每次操作完了会断开mongodb的

Y
yuedun#3·8 年前

监控一下内存,硬盘,CPU使用情况。没有报错的卡住有可能是连接某个服务连接不上,就比如说mongodb

U
Unconsciously#4·8 年前

1——来自react-cnode

D
dreamer2012#5·8 年前
引用 yuedun监控一下内存,硬盘,CPU使用情况。没有报错的卡住有可能是连接某个服务连接不上,就比如说mongodb

@yuedun 卡住的时候观察过,资源使用上没有什么异常的。

不过mongodb连接不上倒是有可能。我觉得奇怪的是,连不上也没有报错,这个时候程序陷入了一种什么样的状态呢?没有任何输出。

H
hades#6·8 年前

windows系统吧?

D
dreamer2012#7·8 年前
引用 hadeswindows系统吧?

@hades ubuntu

参与回复
登录后即可参与回复。登录