CNode

用node爬虫爬取网页图片,如何获取通过ajax传递的数据

问答
Qqianjiahao发布于11 年前最后回复11 年前4 回复6289 浏览0 收藏

问题一:今天在用node爬一个网页,但是只能爬到最初的几张图片,后面的图片都是未加载的空白图片。 如何获取通过ajax加载的资源数据呢?

问题二:从网页上爬取的图片url在自己的项目上无法正常显示,猜测是网站有反盗链。。。如何破之~?

查看回复

回复 (4)

D
DavidCai1993#1·11 年前

获取需要通过 ajax加载的数据的话,那必须要用到:http://phantomjs.org/ 了,这就是一个无界面的浏览器,可以看一下它的API,还有一个能用的是它的进一步封装版:http://casperjs.org/。

D
DavidCai1993#3·11 年前
引用 qianjiahao@DavidCai1993 除了下载casper以外,是不是还要安装phantom和python呀 ?

@qianjiahao python应该不用吧,不过phantomjs是必须的咯,直接用 npm install -g 装非常轻松愉快,文档里都有说关于安装的 : )

参与回复
登录后即可参与回复。登录