跳到主要内容
CNode

Node.js怎么读取百万行数据

问答
Ssongqinghehe发布于 11 年前最后回复 11 年前
1159560

请问,node.js怎么读取百万行数据切要分析完毕后在写入到另外一个文件,貌似流不管用?pipe如何操作?求大神指点

查看回复

回复 (11)

H
haozxuan#1011 年前
引用 songqinghehe@haozxuan 200W 用readFile无压力?全取出来内存不会溢出?

@songqinghehe 不会很大,v8控制一个进程最大内存为1.7G,200W7位id才18M读到内存没丝毫压力

W
wuxiaoqian88#911 年前
C
captainblue2013#811 年前
引用 songqinghehe@haozxuan 200W 用readFile无压力?全取出来内存不会溢出?

@songqinghehe 百万也就兆级别,关键是每一条多大

S
songqinghehe#711 年前
引用 haozxuan百万行一行就1个?目前我读取200W的7位数id直接用readFile没压力。

@haozxuan 200W 用readFile无压力?全取出来内存不会溢出?

L
leapon#611 年前

文件的内容是逐行读出的,再自行处理

    readInterface.on('line', function(line) {
	  // process line
	});
H
haozxuan#511 年前

百万行一行就1个?目前我读取200W的7位数id直接用readFile没压力。

S
songqinghehe#411 年前
引用 wuxiaoqian88这个有现成的库

@wuxiaoqian88 请问是什么库?我是小白

W
wuxiaoqian88#311 年前

这个有现成的库

L
leapon#111 年前

我的处理方法是用 fs.createReadStream 逐行读入,处理后存入数据库。 输出时从数据库读入,输出到文件。

参与回复

登录后即可参与回复。登录