这个图片是腾讯新闻,地址 http://news.qq.com/photon/bigpic.htm
在用下面的代码爬取的时候 ul 和 li 标签怎么获取不到呢?为什么$(#mod-big-list).html() 是空呢?
app.get('/', function (req, res, next) {
superagent.get('http://news.qq.com/photon/bigpic.htm')
.end(function (err, sres) {
if (err) {
return next(err);
}
var $ = cheerio.load(sres.text);
var items = $(#mod-big-list).html();
res.send(items);
});
});
回复 (5)
N
J
引用 axetroy应该是动态加载的吧。 来自酷炫的 CNodeMD
@axetroy 嗯嗯可能是,请问 动态加载的有什么方法可以爬取到么?
J
引用 NanShanJi你是不是要这个地址呢? http://c.open.qq.com/i/multi/multi article.php?project name=hopwfsojzxblsrz&oe=UTF 8...
@NanShanJi 我是想爬取动态加载的HTML内容,请问有什么方法么?
A
@JustforNode 可以使用这个库puppeteer,模拟真实的用户访问。管他是不是动态加载的
参与回复
登录后即可参与回复。登录