node爬虫如何保持登录并且监听网站推送消息呢？

问答

PPurplekylin发布于9 年前最后回复9 年前|2 回复3936 浏览0 收藏

正常的爬取网页内容只要request拿到body解析就可以了，那么如何登录一个网页并且监听网站给用户推送的消息呢？

axetroy#1·9 年前

定时爬取内容
使用爬虫神器puppeteer, 服务端搭建一个Websocket，使用puppeteer打开页面，登录之后执行一个script，连接Websocket，那变化的内容推送给服务端

如果目标是使用API的网站，只是使用了像JWT这样的认证方式，那么爬取的过程就会很愉快。只需要搞定认证那一块，剩下的就是API调用了

Purplekylin#2·9 年前

@axetroy 好我去了解下puppeteer 3Q~

参与回复

登录后即可参与回复。登录

回复 (2)