CNode

用node.js设计爬虫,该如何动态加入抓取队列?

Mmscrm发布于12 年前最后回复12 年前4 回复5313 浏览0 收藏

已解决。

查看回复

回复 (4)

Y
yakczh#1·12 年前

怎么解决的?

L
leapon#2·12 年前

我的想法: 用数据库存储抓取任务, 从数据库读取下一个抓取任务。

你的办法?

Y
yorkie#3·12 年前
X
XadillaX#4·12 年前

我是用 rabbitMQ 的。

之前我为自己的一个项目写过一个 module:

https://github.com/XadillaX/xplanspider

参与回复
登录后即可参与回复。登录