CNode

新手:node.js爬虫小问题

问答
Eerwenzhang发布于11 年前最后回复10 年前7 回复4743 浏览0 收藏

第一次接触这些工程的东西,所以学得很没有章法.在学alsotang在github上的node.js的课程, lesson4 利用eventproxy的并发控制写简单的爬虫程序.它会输出 CNode(https://cnodejs.org/ ) 社区首页的所有主题的标题,链接和第一条评论,以 json 的格式 为什么论坛首页40个URL每次输出的爬虫结果只有11,12个,如所传图片的后半部分有,前半部分没有. 2015-04-28 17:01:08 的屏幕截图.png 代码和https://github.com/alsotang/node-lessons/blob/master/lesson4/app.js 完全一样.

求解答!!谢谢!!!

查看回复

回复 (7)

Y
yaonie084#1·11 年前

我也有同问,eventproxy大家有经常用到吗。

J
jiangli373#2·11 年前

191401F6-B93C-4A3A-95BD-133AEE2C4155.png 刚才试了下,应该是有些请求,返回来的是503

E
erwenzhang#4·11 年前
引用 tinyhill会不会请求受限

@tinyhill 谢谢!!看楼上看来是这样的!

E
erwenzhang#5·11 年前
引用 jiangli373刚才试了下,应该是有些请求,返回来的是503

@jiangli373 谢谢!!我自己也再试试~~

Q
qixMan#6·10 年前

你怎么解决的啊

Q
qixMan#7·10 年前
引用 tinyhill会不会请求受限

@tinyhill 这种情况怎么处理啊

参与回复
登录后即可参与回复。登录