爬取下来的页面不完整,发现需要下拉才显示的内容都没有,怎么破!
回复 (4)
C
1,很简单,观察执行下拉动作之后产生的network,毕竟我们爬取页面的最终目的是获取数据,拿到network,就相当于拿到了数据。 2,使用PhantomJS来模拟动作,抓取页面
Z
@cctv1005s 好的,谢谢啦
Z
@cctv1005s 因为数据比较多,一个一个找network的话太麻烦,请问一下,要是使用PhantomJS来模拟动作,抓取页面有没有好一点儿的教程参考
参与回复
登录后即可参与回复。登录
爬取下来的页面不完整,发现需要下拉才显示的内容都没有,怎么破!
1,很简单,观察执行下拉动作之后产生的network,毕竟我们爬取页面的最终目的是获取数据,拿到network,就相当于拿到了数据。 2,使用PhantomJS来模拟动作,抓取页面
@cctv1005s 好的,谢谢啦
@cctv1005s 因为数据比较多,一个一个找network的话太麻烦,请问一下,要是使用PhantomJS来模拟动作,抓取页面有没有好一点儿的教程参考