node.js 爬虫工具 - 结贴:推荐使用Puppeteer

问答

Iiori2882发布于7 年前最后回复7 年前|10 回复11239 浏览0 收藏

最近有爬虫网页的需求,node有什么好用的框架或工具么?麻烦大家推荐一下........如果有教程那最好了,以前没接触过爬虫这部分...麻烦大家了...

DevinXian#1·7 年前

puppeteer 完美

cnvp#2·7 年前

puppeteer

linliny#3·7 年前

puppeteer

sunfeng90#4·7 年前

LuckyHH#5·7 年前

https://github.com/LuckyHH/WebSpider 其实很多都是superagent加cheerio搭配，这种只能抓HTML上有的数据，原理就是下载网页进行分析。抓取ajax数据什么的，需要无头浏览器。

iori2882#6·7 年前

@sunfeng90 谢谢例子简单正用的上.....学习一下

iori2882#7·7 年前

@LuckyHH 谢谢,功能齐全,目前先学习简单的,以后在学习这个........

iori2882#8·7 年前

谢谢大家,Puppeteer 很好,正适合我目前的需求!!!!!

blackmatch#9·7 年前

request + cheerio，还不行就上puppeteer。。。

用 node + selenium + webdriverio 也可以实现，5.0以上支持无头浏览器

参与回复

登录后即可参与回复。登录

回复 (10)