CNode

superagent 爬取页面问题

问答
SStupidPerson007发布于8 年前最后回复8 年前3 回复3043 浏览0 收藏

我在用superagent.get爬取页面。本来希望得到的是生成好的页面。但是爬到是源代码,请问如何处理。代码如下:

superagent.get("http://huaban.com/pins/6524842/").buffer(true).end(function(error,data){ if(error){ console.log("error exception occured !"); return next(error); } var $=cheerio.load(data.text); var arr=[]; console.log('--------------- ',data.text); });

查看回复

回复 (3)

1
18820227745#1·8 年前

你的意思是,这个网页里是有用js生成的是吧

1
18820227745#2·8 年前

如果那样的话,你可以考虑用selenium-webdriver控制浏览器的方法去爬,demo https://gitee.com/null_639_7345/steemit/blob/master/services/steemit.js

X
x-cold#3·8 年前
参与回复
登录后即可参与回复。登录