Node.js怎么读取百万行数据
请问,node.js怎么读取百万行数据切要分析完毕后在写入到另外一个文件,貌似流不管用?pipe如何操作?求大神指点
11 回复
我的处理方法是用 fs.createReadStream 逐行读入,处理后存入数据库。 输出时从数据库读入,输出到文件。
@leapon 流如何处理 比如文件格式为:1\n2\n3 怎么拿出来在处理?
这个有现成的库
@wuxiaoqian88 请问是什么库?我是小白
百万行一行就1个?目前我读取200W的7位数id直接用readFile没压力。
文件的内容是逐行读出的,再自行处理
readInterface.on('line', function(line) {
// process line
});
@haozxuan 200W 用readFile无压力?全取出来内存不会溢出?
@songqinghehe 百万也就兆级别,关键是每一条多大
@songqinghehe 不会很大,v8控制一个进程最大内存为1.7G,200W7位id才18M读到内存没丝毫压力
@haozxuan 哦 谢谢