最近做的一个爬虫，功能比较全面

https://github.com/dlutwuwei/CrawlerX 在github上找过一些爬虫，都不带深度遍历，总缺少一些东西，现在做了一个，对请求并发做了控制，可以设置并发数，对不同URL做不同处理，可以设置中文（GBK)的解码，有需要的人看看，有什么需要改进的，欢迎提意见。