CNode

Node.js怎么读取百万行数据

问答
Ssongqinghehe发布于11 年前最后回复11 年前11 回复5946 浏览0 收藏

请问,node.js怎么读取百万行数据切要分析完毕后在写入到另外一个文件,貌似流不管用?pipe如何操作?求大神指点

查看回复

回复 (11)

W
wuxiaoqian88#1·11 年前
H
haozxuan#2·11 年前
引用 songqinghehe@haozxuan 200W 用readFile无压力?全取出来内存不会溢出?

@songqinghehe 不会很大,v8控制一个进程最大内存为1.7G,200W7位id才18M读到内存没丝毫压力

L
leapon#4·11 年前

我的处理方法是用 fs.createReadStream 逐行读入,处理后存入数据库。 输出时从数据库读入,输出到文件。

S
songqinghehe#5·11 年前
W
wuxiaoqian88#6·11 年前

这个有现成的库

S
songqinghehe#7·11 年前
引用 wuxiaoqian88这个有现成的库

@wuxiaoqian88 请问是什么库?我是小白

H
haozxuan#8·11 年前

百万行一行就1个?目前我读取200W的7位数id直接用readFile没压力。

L
leapon#9·11 年前

文件的内容是逐行读出的,再自行处理

    readInterface.on('line', function(line) {
	  // process line
	});
S
songqinghehe#10·11 年前
引用 haozxuan百万行一行就1个?目前我读取200W的7位数id直接用readFile没压力。

@haozxuan 200W 用readFile无压力?全取出来内存不会溢出?

C
captainblue2013#11·11 年前
引用 songqinghehe@haozxuan 200W 用readFile无压力?全取出来内存不会溢出?

@songqinghehe 百万也就兆级别,关键是每一条多大

参与回复
登录后即可参与回复。登录