nodejs边读取文件边插入数据库问题
发布于 4 年前 作者 pywCode 2140 次浏览 来自 问答

各位大神,我想请教一个问题,文件读取边读边插入数据库中,当达到一定数量是插入数据中,因为是异步的插入数据库总是在文件读取完成之后才进行,因为我的文件数据比较大导致内存占用很大从而程序崩溃,请问各位有什么比较好的解决办法吗

4 回复

看你读取的是什么文件喽 读取一部分, 插入数据库, 然后再继续读取下一部分.

之前写过一个处理大文件,你改一下应该就可以用了

const { once } = require('events');
const fs = require('fs');
const { createInterface } = require('readline');

async function processLineByLine(path, handler) {
  let res = [];
  try {
    const rl = createInterface({
      input: fs.createReadStream(path),
      crlfDelay: Infinity
    });

    rl.on('line', (line) => {
      res.push(handler(line, res));
    });

    await once(rl, 'close');
    console.log('文件已处理');
    return res;
  } catch (err) {
    console.error(err);
  }
}
回到顶部