CNode

发布一个DHT BT资源爬虫

分享
Aalanyang发布于10 年前最后回复10 年前2 回复13328 浏览0 收藏

DHT爬虫并不难,原理很简单,一句话就是想办法加入到对方的bucket而已,现在我发布了一个dhtspider人人都可以快速的搭一个磁力搜索站,先看看我的*BT搜索引擎Engiy BT搜索 磁力搜索*效果,每天可收集300万+的unique info hash,每天可索引60万+有效的metainfo。

具体实现原理看这里

发布的目的在于,现在github上流传的版本,要么估意做点小动作(比如说什么内网不可运行,纯小动作的结果),要么代码混乱。

项目地址https://github.com/alanyang/dhtspider

###安装方法

npm install dhtspider --save

因为是纯es6写成,所以最好是node.js 5.0+,5.0,6.0我是跑过测试的,4.0不知道能不能跑

###使用方法

'use strict'

const spider = new (require('dhtspider'))
spider.on('ensureHash', (hash, addr)=> console.log(`magnet:?xt=urn:btih:${hash}`))
spider.listen(6339)

因为我自己的Engiy只是跑在一个一个月5美金配置的vps上,所以线上代码是go写的,但原理一样。过几天会写一份metainfo抓取的nodejs版的包放上去。

查看回复

回复 (2)

W
welefen#1·10 年前

这跟 https://github.com/Fuck-You-GFW/p2pspider 感觉很像的样子

A
alanyang#2·10 年前
引用 welefen这跟 https://github.com/Fuck You GFW/p2pspider 感觉很像的样子

@welefen 恩,是的。dht爬虫本来就是简单,东西,但他那个,不知道是有意还是无意,做了点小动作,内网不能跑,发findnode udp包也是瞎搞,丢包率70%以上。

参与回复
登录后即可参与回复。登录