CNode

node.js如何同步抓取页面?

Aairclear发布于13 年前最后回复12 年前7 回复10061 浏览0 收藏

事情是这样的:

第一步:我需要从一个网站抓取几个 链接。 第二步:请求那些获取到的链接,获取数据。

第一步大家都会,第二步我要如何控制呢?

比如我第一步获取到了100个链接,我不能直接一个for循环 把所有链接都打开时吧 求教!

查看回复

回复 (7)

N
nihgwu#1·13 年前
I
inetfuture#2·13 年前

控制一下并发即可,可以使用async.js中的queue来做,自己实现一个也不难。

R
ronincn#3·13 年前

做了不止两个这种应用了

J
JacksonTian#5·13 年前
L
leapon#6·13 年前

不需要同步操作。

A
airclear#7·13 年前

嗯,就是控制并发。 我要问的就是这个。 我会参考下async的 不过哪位能讲解下自己实现控制呢

参与回复
登录后即可参与回复。登录