CNode

爬取腾讯新闻失败

问答
JJustforNode发布于9 年前最后回复9 年前5 回复5330 浏览0 收藏

image.png 这个图片是腾讯新闻,地址 http://news.qq.com/photon/bigpic.htm 在用下面的代码爬取的时候 ul 和 li 标签怎么获取不到呢?为什么$(#mod-big-list).html() 是空呢?

app.get('/', function (req, res, next) {
  superagent.get('http://news.qq.com/photon/bigpic.htm')
    .end(function (err, sres) {
      if (err) {
        return next(err);
      }
      var $ = cheerio.load(sres.text);
      var items = $(#mod-big-list).html();
      res.send(items);
    });
});
查看回复

回复 (5)

A
axetroy#1·9 年前

应该是动态加载的吧。

来自酷炫的 CNodeMD

J
JustforNode#3·9 年前
引用 axetroy应该是动态加载的吧。 来自酷炫的 CNodeMD

@axetroy 嗯嗯可能是,请问 动态加载的有什么方法可以爬取到么?

J
JustforNode#4·9 年前
引用 NanShanJi你是不是要这个地址呢? http://c.open.qq.com/i/multi/multi article.php?project name=hopwfsojzxblsrz&oe=UTF 8...

@NanShanJi 我是想爬取动态加载的HTML内容,请问有什么方法么?

A
axetroy#5·9 年前

@JustforNode 可以使用这个库puppeteer,模拟真实的用户访问。管他是不是动态加载的

参与回复
登录后即可参与回复。登录