指量抓取，大家有没有好的解决方案?

指量抓取，大家有没有好的解决方案?, 抓取的页面在10W左右。我现在用request这个模块，总感觉不稳定。进程会动不动就不运行了(没有退出，卡住了)，现在不知道卡在了哪儿。我设置timeout的话，一下子全超时了。