website: mafengwo
nodejs 抓取网页时 301 错误， 用 request (It supports HTTPS and follows redirects by default.) 包也还是不可以，其他的网站都可以，唯独目标网站不行。
用其他语言抓取就可行， 求解！
回复 (5)
C
这个是重定向，你可以直接抓取目标网页，或者根据响应头去做正理 request里面有个参数followRedirects:false
L
引用 chloe这个是重定向，你可以直接抓取目标网页，或者根据响应头去做正理 request里面有个参数followRedirects:false
已经用了request该插件，自动会follows redirects的
C
引用 chloe这个是重定向，你可以直接抓取目标网页，或者根据响应头去做正理 request里面有个参数followRedirects:false
@lolocoo 让是让你 followRedirects设置为false，自己根据响应头去获取
B
http包就有这个问题
用request包就行了，自动转向。 http://blog.fens.me/nodejs-crawler-douban/
C
引用 bsspirithttp包就有这个问题 用request包就行了，自动转向。 http://blog.fens.me/nodejs crawler douban/
如果request的时候响应了cookie重定向之后是不会把cookie加到头中的
参与回复
登录后即可参与回复。登录