大哥大姐们帮帮忙,谢谢!
起因: 我在使用async模块进行异步并发访问一个PHP网站,url格式如下: http://.../zt_shop_order_list.php?xm=&page=1 http://.../zt_shop_order_list.php?xm=&page=2 ... http://.../zt_shop_order_list.php?xm=&page=51
url需要设置cookie:
const cookie = 'zt_user2=123456789; a=1; b=1; d=1; f=1; js=%E8%B4%A2%E5%8A%A1%E7%AE%A1%E7%90%86'
爬去代码如下: var fetchUrl = function (url, callback) { superagent .get(url) .set('Cookie', cookie) .end(function (err, sres) { callback(null, sres.text); }) };
问题: 前面几十个url都可以正常爬取数据,但是到 http://.../zt_shop_order_list.php?xm=&page=51时,页面代码就变成了下面的样子:
请问这是什么原因?
回复 (3)
参与回复
登录后即可参与回复。登录