CNode

Node爬取古诗文网的数据

分享
Lliuoulin发布于7 年前最后回复7 年前3 回复5677 浏览0 收藏

记一次Node爬取古诗文网 数据#

  • 搭建环境

  1. 使用的是node的koa框架,使用koa的脚手架工具在本地运行起来
  • 下载需要的npm包

  1. superagent和cheerio

     npm install cheerio superagent --save-dev
    
  2. superagent是nodejs里一个非常方便的客户端请求代理模块(类似python之中的request模块)当你想处理get,post,put,delete,head请求时,你就应该想起该用它了。详细使用可以查看superagent

  1. cheerio是一个类似Jquery的框架,更多使用查看cheerio

     let $ = cheerio.load('<ul id="fruits">...</ul>');
     
    

移动地址:演示

查看回复

回复 (3)

L
liuoulin#1·7 年前

api可以提供给大家使用

L
LuckyHH#2·7 年前

其实可以提取出一些公共的部分,来满足爬取各种各样的网页。 https://github.com/LuckyHH/WebSpider http://www.aiyou.life/spider/crawl/api?user=Thomas&cid=2a8da447-5b6d-47fc-9b08-3f965b02db42

G
githubmann#3·7 年前

@liuoulin 能格式化一下吗?看着难受

参与回复
登录后即可参与回复。登录