[{"_1":2,"_3":-5,"_4":-5},"loaderData",{"_5":6,"_7":8},"actionData","errors","root",{"_11":-5},"routes/user.$name.topics",{"_9":10,"_11":12,"_13":14,"_15":16,"_17":18,"_19":16},"topics",[35],"user",{"_20":21,"_13":14,"_22":23,"_24":25,"_26":27,"_28":29,"_30":16,"_31":32,"_33":34},"loginname","miniflycn","page",1,"limit",20,"total","id","9854","avatar_url","http://www.gravatar.com/avatar/c97bfe06ea37814274d0a24d64f242f3?size=48","githubUsername","","create_at","2013-09-12 12:34:20.691","score",15,"topic_count","reply_count",2,"is_star",false,{"_20":36,"_37":21,"_38":-5,"_39":40,"_41":42,"_43":44,"_45":34,"_46":34,"_31":16,"_47":48,"_26":49,"_50":51},"4843","author_id","tab","content","

Hi，大家好。作为一个NodeJS beginer，我做了一个url信息截取，快照模块，欢迎试用。

\r\n

url-extract是一个NodeJS的url信息截取模块，其使用PhantomJS进行截图，可截取url快照，以及抓取其title和description。

\r\n

项目地址：

\r\nhttps://github.com/miniflycn/url-extract\r\n

\r\n

设计图

\r\n

$\"\"$

\r\n

依赖 & 安装

\r\n

由于PhantomJS 1.9.0+才开始支持Websocket，所以我们先要确定在PATH中的PhantomJS是为1.9.0以上版本。在命令行键入：

\r\n

\r\n
$ phantomjs -v
\r\n

\r\n

如果能返回版本号1.9.x，则可以继续操作。如果版本过低，或者出现错误，请到PhantomJS官网下载最新版本。

\r\n

如果你已经安装了Git，或者拥有Git Shell，那么在命令行键入：

\r\n

\r\n
$ npm install url-extract
\r\n

\r\n

进行安装。

\r\n

如果没有，那么请在下面的连接下载整个项目：

\r\nhttp://pan.baidu.com/share/link?shareid=1055562065&uk=855675565\r\n

\r\n

一个简单的例子

\r\n

比如我们要截取百度首页，那么可以这样：

\r\n

module.exports = (function () {\r\n  \"use strict\"\r\n  var urlExtract = require('url-extract');\r\n  urlExtract.snapshot('http://www.baidu.com', function (job) {\r\n    console.log('This is a snapshot example.');\r\n    console.log(job);\r\n    process.exit();\r\n  });\r\n})();

\r\n

下面是打印：

\r\n

$\"\"$

\r\n

其中，image属性就是截图相对于工作路径的地址。我们可以使用Job的getData接口来得到更清楚的数据，例如：

\r\n

module.exports = (function () {\r\n  \"use strict\"\r\n  var urlExtract = require('url-extract');\r\n  urlExtract.snapshot('http://www.baidu.com', function (job) {\r\n    console.log('This is a snapshot example.');\r\n    console.log(job.getData());\r\n    process.exit();\r\n  });\r\n})();

\r\n

打印就变成了这样了：

\r\n

$\"\"$

\r\n

image表示截图相对于工作路径的地址，status表示状态是否正常，true代表正常，false代表截图失败。

\r\n

更多例子请参见：

\r\nhttps://github.com/miniflycn/url-extract/tree/master/examples\r\n

\r\n

主要API

\r\n

.snapshot

\r\n

url快照

\r\n

.snapshot(url, [callback])
.snapshot(urls, [callback])
.snapshot(url, [option])
.snapshot(urls, [option])

\r\n

\r\n
url {String} 要截取的地址
\r\n
urls {Array} 要截取的地址数组
\r\n
callback {Function} 回调函数
\r\n
option {Object} 可选参数
\r\n
┝ id {String} 自定义url的id，如果第一个参数是urls，此参数无效
\r\n
┝ image {String} 自定义截图的保存地址，如果第一个参数是urls，此参数无效
\r\n
┝ groupId {String} 定义一组url的groupId，用于返回时候辨认是哪一组url
\r\n
┝ ignoreCache {Boolean} 是否忽略缓存
\r\n
┗ callback {Function} 回调函数
\r\n

\r\n

.extract

\r\n

url信息抓取，并获取快照

\r\n

.extract(url, [callback])
.extract(urls, [callback])
.extract(url, [option])
.extract(urls, [option])

\r\n

\r\n
url {String} 要截取的地址
\r\n
urls {Array} 要截取的地址数组
\r\n
callback {Function} 回调函数
\r\n
option {Object} 可选参数
\r\n
┝ id {String} 自定义url的id，如果第一个参数是urls，此参数无效
\r\n
┝ image {String} 自定义截图的保存地址，如果第一个参数是urls，此参数无效
\r\n
┝ groupId {String} 定义一组url的groupId，用于返回时候辨认是哪一组url
\r\n
┝ ignoreCache {Boolean} 是否忽略缓存
\r\n
┗ callback {Function} 回调函数
\r\n

\r\n

Job（类）

\r\n

每一个url对应一个job对象，url的相关信息由job对象存储。

\r\n

Field

\r\n

\r\n
\r\n
url {String} 链接地址
\r\n
content {Boolean} 是否抓取页面的title和description信息
\r\n
id {String} job的id
\r\n
groupId {String} 一堆job的组id
\r\n
cache {Boolean} 是否开启缓存
\r\n
callback {Function} 回调函数
\r\n
image {String} 图片地址
\r\n
status {Boolean} job当前是否正常
\r\n
\r\n

\r\n

Prototype

\r\n

\r\n
\r\n
getData() 获取job的相关数据
\r\n
\r\n

\r\n

全局配置

\r\n

url-extract根目录中的config文件可以进行全局配置，默认如下：

\r\n

module.exports = {\r\n  wsPort: 3001,\r\n  maxJob: 100,\r\n  maxQueueJob: 400,\r\n  cache: 'object',\r\n  maxCache: 10000,\r\n  workerNum: 0\r\n};

\r\n

\r\n
\r\n
wsPort {Number} websocket占用的端口地址
\r\n
maxJob {Number} 每个PhantomJS线程可并发worker数
\r\n
maxQueueJob {Number} 最大等待工作数量，0表示不限制，超过该数量，任何工作都直接返回失败（即status = false）
\r\n
cache {String} 缓存实现，目前只有object实现
\r\n
maxCache {Number} 最大缓存链接数
\r\n
workerNum {Number} PhantomJS线程数，0表示和CPU数量相同
\r\n
\r\n

\r\n

一个简单的服务例子

\r\nhttps://github.com/miniflycn/url-extract-server-example\r\n

注意，需要安装connect和url-extract：

\r\n

\r\n
$ npm install
\r\n

\r\n

如果你下载了网盘的文件，那么请安装connect：

\r\n

\r\n
$ npm install connect
\r\n

\r\n

然后键入：

\r\n

\r\n
$ node bin/server
\r\n

\r\n

打开：

\r\n

\r\nhttp://localhost:3000\r\n

\r\n

查看效果。

\r\n

","title","url-extract，我的NodeJS url信息截取，快照模块","last_reply_at","2013-09-13 07:28:39.307","good","top","visit_count",5810,"2013-09-12 14:46:47.827","author",{"_13":14,"_22":23}]