[{"_1":2,"_3":-5,"_4":-5},"loaderData",{"_5":6,"_7":8},"actionData","errors","root",{"_11":-5},"routes/user.$name.collections",{"_9":10,"_11":12,"_13":14,"_15":16,"_17":18,"_19":20},"topics",[36,37],"user",{"_21":22,"_13":14,"_23":24,"_25":14,"_26":27,"_28":29,"_30":31,"_32":33,"_34":35},"loginname","imfly","page",1,"limit",20,"total",2,"id","19508","avatar_url","https://avatars2.githubusercontent.com/u/12215508?v=4","githubUsername","create_at","2015-11-08 09:37:20.235","score",395,"topic_count",31,"reply_count",48,"is_star",false,{"_21":60,"_39":61,"_41":42,"_43":62,"_45":63,"_47":64,"_49":50,"_51":35,"_32":65,"_53":66,"_26":67,"_56":68},{"_21":38,"_39":40,"_41":42,"_43":44,"_45":46,"_47":48,"_49":50,"_51":35,"_32":52,"_53":54,"_26":55,"_56":57},"18925","author_id","14515","tab","share","content","## 概述\r\n\r\nlibuv 最初是为 Node.js 所作的跨平台库。它基于事件驱动的异步 I/O 模型。\r\n\r\nlibuv 不仅仅只提供了对于不同 I/O 轮询机制的简单抽象：“句柄（handles）”和“流（streams）”也提供了对于 socket 和其他相关实例的高度抽象。同时 libuv 还提供了跨平台文件 I/O 接口和多线程接口等等。\r\n\r\n下图展示了 libuv 的不同组成部分，以及与这些部分相关的子模块：\r\n\r\n![architecture.png](http://dn-cnode.qbox.me/Fs3XJSgMznkpxd1Sa78Z6d42WR4J)\r\n\r\n## 句柄（handles）和请求（requests）\r\n\r\n为了能使用户介入事件循环（event loop），libuv 为用户提供了两个抽象：句柄和请求。\r\n\r\n句柄表示一个在其被激活时可以执行某些操作且持久存在的对象。例如：当一个预备句柄（prepare handle）处于激活时，它的回调函数会在每次事件循环中被调用；每当一个新 TCP 连接来到时，一个 TCP 服务器句柄的连接回调函数就会被调用。\r\n\r\n请求（通常）表示一个短暂存在的操作。这些操作可以操作于句柄，例如写请求（write requests）用于向一个句柄写入数据。但是又如 getaddrinfo 请求则不依赖于一个句柄，它们直接在事件循环上执行。\r\n\r\n## 事件循环\r\n\r\n事件循环是 libuv 的核心部分。它为所有的 I/O 操作建立了上下文，并且执行于一个单线程中。你可以在多个不同的线程中运行多个事件循环。除非另有说明，不然 libuv 的事件循环（以及其他循环或句柄提供的 API）**并不是线程安全的**。\r\n\r\n事件循环遵循着普遍的单线程异步 I/O 行为：所有的（网络）I/O 体现在非阻塞的 socket 上，对于不同的平台，libuv 会选取最佳的轮询机制：Linux 上为 epoll ，OSX 和其他 BSD 上为 kqueue ，SunOS 上为 event ports ， Windows 上则为 IOCP 。作为循环迭代的一部分，事件循环会阻塞并等待被添加的 socket 上 I/O 活动的发生。然后根据当前的 socket 情况（可读，可写，挂起）触发相应的回调函数。所以，一个句柄是可以执行读操作，写操作或其他 I/O 行为。\r\n\r\n为了能更好的理解事件循环是如何工作的，下图展示了事件循环一次迭代的所有过程：\r\n\r\n![loop_iteration.png](http://dn-cnode.qbox.me/FrHQal5tmWUmfL3clSGaMl6Fs60r)\r\n\r\n1，事件循环中的“现在时间（now）”被更新。事件循环会在一次循环迭代开始的时候缓存下当时的时间，用于减少与时间相关的系统调用次数。\r\n\r\n2，如果事件循环仍是存活（alive）的，那么迭代就会开始，否则循环会立刻退出。如果一个循环内包含激活的可引用句柄，激活的请求或正在关闭的句柄，那么则认为该循环是存活的。\r\n\r\n3，执行超时定时器（due timers）。所有在循环的“现在时间”之前超时的定时器都将在这个时候得到执行。\r\n\r\n4，执行等待中回调（pending callbacks）。正常情况下，所有的 I/O 回调都会在轮询 I/O 后立刻被调用。但是有些情况下，回调可能会被推迟至下一次循环迭代中再执行。任何上一次循环中被推迟的回调，都将在这个时候得到执行。\r\n\r\n5，执行闲置句柄回调（idle handle callbacks）。尽管它有个不怎么好听的名字，但只要这些闲置句柄是激活的，那么在每次循环迭代中它们都会执行。\r\n\r\n6，执行预备回调（prepare handle）。预备回调会在循环为 I/O 阻塞前被调用。\r\n\r\n7，开始计算轮询超时（poll timeout）。在为 I/O 阻塞前，事件循环会计算它即将会阻塞多长时间。以下为计算该超时的规则：\r\n\r\n - 如果循环带着 `UV_RUN_NOWAIT` 标识执行，那么超时将会是 0 。\r\n - 如果循环即将停止（`uv_stop()` 已在之前被调用），那么超时将会是 0 。\r\n - 如果循环内没有激活的句柄和请求，那么超时将会是 0 。\r\n - 如果循环内有激活的闲置句柄，那么超时将会是 0 。\r\n - 如果有正在等待被关闭的句柄，那么超时将会是 0 。\r\n - 如果不符合以上所有，那么该超时将会是循环内所有定时器中最早的一个超时时间，如果没有任何一个激活的定时器，那么超时将会是无限长（infinity）。\r\n\r\n8，事件循环为 I/O 阻塞。此时事件循环将会为 I/O 阻塞，持续时间为上一步中计算所得的超时时间。所有与 I/O 相关的句柄都将会监视一个指定的文件描述符，等待一个其上的读或写操作来激活它们的回调。\r\n\r\n9，执行检查句柄回调（check handle callbacks）。在事件循环为 I/O 阻塞结束后，检查句柄的回调将会立刻执行。检查句柄本质上是预备句柄的对应物（counterpart）。\r\n\r\n10，执行关闭回调（close callbacks）。如果一个句柄通过调用 `uv_close()` 被关闭，那么这将会调用关闭回调。\r\n\r\n11，尽管在为 I/O 阻塞后可能并没有 I/O 回调被触发，但是仍有可能这时已经有一些定时器已经超时。若事件循环是以 `UV_RUN_ONCE` 标识执行，那么在这时这些超时的定时器的回调将会在此时得到执行。\r\n\r\n12，迭代结束。如果循环以 `UV_RUN_NOWAIT` 或 `UV_RUN_ONCE` 标识执行，迭代便会结束，并且 `uv_run()` 将会返回。如果循环以 `UV_RUN_DEFAULT` 标识执行，那么如果若它还是存活的，它就会开始下一次迭代，否则结束。\r\n\r\n**重要**：虽然 libuv 的异步文件 I/O 操作是通过线程池实现的，但是网络 I/O 总是在单线程中执行的。\r\n\r\n> **注意**：虽然在不同平台上使用的轮询机制不同，但 libuv 的执行模型在不同平台下都是保持一致。\r\n\r\n## 文件 I/O\r\n\r\n与网络 I/O 不同，并不存在 libuv 可以依靠的各特定平台下的文件 I/O 基础函数，所以目前的实现是在线程中执行阻塞的文件 I/O 操作来模拟异步。\r\n\r\n更多关于跨平台异步文件 I/O 操作的内容，可参阅[此文][1]。\r\n\r\nlibuv 目前使用了一个全局的线程池，所有的循环都可以往其中加入任务。目前有三种操作会在这个线程池中执行：\r\n\r\n - 文件系统操作\r\n - DNS 函数（getaddrinfo 和 getnameinfo）\r\n - 通过 `uv_queue_work()` 添加的用户代码\r\n\r\n> **注意**：更多关于 libuv 线程池的信息请参阅[此文][2]。请牢记线程池的大小是有限的。\r\n\r\n## 最后\r\n \r\n原文链接：http://docs.libuv.org/en/v1.x/design.html\r\n\r\n [1]: http://blog.libtorrent.org/2012/10/asynchronous-disk-io/\r\n [2]: http://docs.libuv.org/en/v1.x/threadpool.html#threadpool","title","[译] libuv 设计概述","last_reply_at","2016-08-16 06:57:30.378","good",true,"top",14,"visit_count",11896,"2016-07-04 14:07:03.602","author",{"_13":58,"_23":59},"DavidCai1993","https://avatars.githubusercontent.com/u/5886475?v=4","20000","13952","# 使用node-crawler和jsdom完成爬虫\r\n\r\n## 初衷\r\n\r\n从天蚕土豆的《大主宰》Huge Dominate\r\n\r\n起点上是付费的，不经常看，偶尔看看而已，付费没啥意思。于是找免费的\r\n\r\nhttp://www.biquku.com/0/330/\r\n\r\n即使说无弹窗，可是还是有很多广告。。。\r\n\r\n作为一个有追求的程序员能忍么？\r\n\r\n## node-crawler说明\r\n\r\n爬取《大主宰》的所有章节列表\r\n\r\n![1](https://github.com/i5ting/simplereader/raw/master/docs/images/1.png)\r\n\r\n\r\n```\r\nvar Crawler = require(\"crawler\");\r\nvar jsdom = require('jsdom');\r\n\r\nvar c = new Crawler({\r\n jQuery: jsdom,\r\n maxConnections : 100,\r\n forceUTF8:true,\r\n // incomingEncoding: 'gb2312',\r\n // This will be called for each crawled page\r\n callback : function (error, result, $) {\r\n var urls = $('#list a');\r\n console.log(urls)\r\n }\r\n});\r\n\r\nc.queue('http://www.biquku.com/0/330/');\r\n```\r\n\r\n执行\r\n\r\n```\r\nnode examples/1/hello-crawler.js\r\n```\r\n\r\n## 解析章节信息\r\n\r\n代码\r\n\r\n```\r\nvar Crawler = require(\"crawler\");\r\nvar jsdom = require('jsdom');\r\n\r\nvar current_book = { }\r\n\r\nvar c = new Crawler({\r\n jQuery: jsdom,\r\n maxConnections : 100,\r\n forceUTF8:true,\r\n // incomingEncoding: 'gb2312',\r\n // This will be called for each crawled page\r\n callback : function (error, result, $) {\r\n var urls = $('#list a');\r\n // console.log(urls)\r\n \r\n \r\n current_book.title = $('#maininfo h1').text()\r\n current_book.author = $('#info p').eq(0).text()\r\n current_book.update_time = $('#info p').eq(2).text()\r\n current_book.latest_chapter = $('#info p').eq(3).html()\r\n current_book.intro = $('#intro').html()\r\n current_book.chapters = [];\r\n\r\n for(var i = 0; i< urls.length; i++){\r\n var url = urls[i]\r\n \r\n var _url = $(url).attr('href')+\"\";\r\n var num = _url.replace('.html','');\r\n var title = $(url).text();\r\n\r\n\r\n current_book.chapters.push({\r\n num: num,\r\n title: title,\r\n url: _url\r\n })\r\n }\r\n \r\n console.log(current_book)\r\n }\r\n});\r\n\r\nc.queue('http://www.biquku.com/0/330/');\r\n```\r\n\r\n这里主要是拿jQuery解析dom。然后赋值current_book\r\n\r\n执行\r\n\r\n```\r\nnode examples/1/chaper-list.js\r\n{ title: '大主宰',\r\n author: '作者：天蚕土豆',\r\n update_time: '更新时间：2016-07-10',\r\n latest_chapter: '最新章节：第一千两百六十二章大陆洗礼',\r\n intro: '\\n\\t\\t\\t\\t\\t

大千世界，位面交汇，万族林立，群雄荟萃，一位位来自下位面的天之至尊，在这无尽世界，演绎着令人向往的传奇，追求着那主宰之路。\\n 无尽火域，炎帝执掌，万火焚苍穹。\\n 武境之内，武祖之威，震慑乾坤。\\n 西天之殿，百战之皇，战威无可敌。\\n 北荒之丘，万墓之地，不死之主镇天地。\\n ......\\n 少年自北灵境而出，骑九幽冥雀，闯向了那精彩绝伦的纷纭世界，主宰之路，谁主沉浮？\\n 大千世界，万道争锋，吾为大主宰。\\n ..................\\n

\\n\\t\\t\\t\\t\\t

各位书友要是觉得《大主宰》还不错的话请不要忘记向您QQ群和微博里的朋友推荐哦！

\\n\\t\\t\\t\\t',\r\n chapters: \r\n [ { num: '153064', title: '第一章已发。', url: '153064.html' },\r\n { num: '153065', title: '第一章北灵院', url: '153065.html' },\r\n { num: '153066', title: '第二章被踢出灵路的少年', url: '153066.html' },\r\n { num: '153067', title: '第三章牧域', url: '153067.html' },\r\n { num: '153068', title: '第四章大浮屠诀', url: '153068.html' },\r\n```\r\n\r\n想要的信息都准备好了，下面就开始爬某一章吧\r\n\r\n## 爬取某一章\r\n\r\n看一下\r\n\r\n```\r\n第一章北灵院\r\nhttp://www.biquku.com/0/330/153065.html\r\n```\r\n\r\n和之前的地址的差别是什么呢？\r\n\r\n- http://www.biquku.com/0/330 是一样的\r\n- 153065.html章节地址\r\n\r\n再回顾一下\r\n\r\n```\r\n chapters: \r\n [ { num: '153064', title: '第一章已发。', url: '153064.html' },\r\n```\r\n\r\n也就是说 url 即是章节地址，剩下的就拼接起来就好了。\r\n\r\n\r\n```\r\nfunction one(chapter){\r\n console.log(chapter)\r\n c.queue([{\r\n uri: 'http://www.biquku.com/0/330/' + chapter.num + '.html',\r\n jQuery: jsdom,\r\n forceUTF8:true,\r\n // The global callback won't be called\r\n callback: function (error, result, $) {\r\n var content = $('#content').html();\r\n console.log(content)\r\n }\r\n }]);\r\n}\r\n```\r\n\r\n模拟执行代码\r\n\r\n```\r\nvar chapter = { num: '4063307', title: '第一千两百五十二章现世！', url: '4063307.html' }\r\n\r\none(chapter);\r\n```\r\n\r\n执行\r\n\r\n```\r\nnode examples/1/chaper-one.js\r\n{ num: '4063307', title: '第一千两百五十二章现世！', url: '4063307.html' }\r\n    第一千两百五十二章

    轰轰！

    灵战子的低吼声，犹如雷鸣一般在这天地之间回荡，一股股磅礴浩瀚的灵力，也是犹如洪流一般，不断的从其体内呼啸而出，引得空间震荡。◇↓，

    此时的灵战子，双目精光涌动，神采飞扬，再没了先前的那种虚弱之感，显然，借助着那所谓的“战祭”，他直接是在顷刻间就将自身状态恢复到了巅峰。

    之前消耗的灵力，也是再度充盈了他的身躯。\r\n```\r\n\r\n## 总结\r\n\r\n爬取一本书的流程\r\n\r\n- 先取列表\r\n- 再去章节\r\n\r\n技能\r\n\r\n- node-crawler 爬取，发送http请求，是基于request模块的\r\n- 结合jsdom，使用类似于jquery的dom操作，解析结果\r\n\r\nnode-crawler有2种用法\r\n\r\n- c.queue方法如无callback，走全局的callback，这是获取列表的时候的用法\r\n- c.queue方法如有callback，走自己的callback，这是获取章节的用法\r\n\r\n我们的做法\r\n\r\n- 最小化问题，先关注爬取一本书的流程\r\n- 爬取一本书的流程中的列表\r\n- 爬取一本书的流程中的章节\r\n\r\n在这个过程中，我们可以很好的学习node-crawler和jquery的dom操作，知识点整体来说比较少，更加容易学习。\r\n\r\n下面，爬取的信息咋办呢？见下一章。\r\n\r\n## 更多\r\n\r\n参见 https://github.com/i5ting/githubrank\r\n\r\n\r\n全文完\r\n\r\n欢迎关注我的公众号【node全栈】\r\n\r\n![node全栈.png](//static.cnodejs.org/FtALxsauUkYDGdzcuA5y6BaIdUMC)\r\n\r\n联系我，更多交流\r\n\r\n![xiaoweiquan.jpeg](//static.cnodejs.org/FrCbjyzuNmHF1u3j8t26t-cGWPnB)","Node.js写爬虫系列","2017-08-25 07:38:20.497",66,33452,"2016-08-30 06:38:07.475",{"_13":69,"_23":70},"i5ting","https://avatars.githubusercontent.com/u/3118295?v=4"]