CNode

node 如何高效批量处理多文件夹下的多个文件

问答
Eelevensky发布于8 年前最后回复8 年前2 回复4262 浏览0 收藏

场景:需要对一个文件下的众多子文件夹下的多个文件同时进行处理。 预设问题:能利用cluster多子进程同时进行处理么? 没做过这方面的工作,有大神能提点下具体思路么?

查看回复

回复 (2)

H
helloyou2012#1·8 年前

单个 node 进程可用内存最大 1.4G 左右,如果单个文件很大不要一次性把整个文件 load 到内存,可以用 stream 操作或按行处理。至于多进程可以用 worker-farm

参与回复
登录后即可参与回复。登录