node.js中实现文件的循环写入
发布于 13 年前 作者 xuancheng 14758 次浏览 最后一次编辑是 8 年前

node.js对所有外部资源调用提供异步机制,文件IO也不例外。在这种异步机制下,进程不会被阻塞,这极大提高了CPU的利用率,为单进程的模式奠定了基础。但同时,异步机制的引入也给程序逻辑的实现带来了一定复杂性,原来一些惯常的思维方式需要进行转换。 <br/> <br/>本文将以一个文件操作的实例来说明这一点。 <br/> <br/>假设我们需要新建一个文件,在其中循环写入0-9的数字,文件的总长度为1G bytes。在通常情况下,我们需要建立一个buffer,将内容放入其中,然后打开文件,在一个循环中多次向文件中写入,直至写满1G的长度。在node.js中我们同样可以使用同步文件写操作(例如 fs.writeSync)来实现这个逻辑,但这样做显然无法利用node.js提供的异步机制的优势。写操作会在fs.writeSync调用时阻塞,如果同时有其他运算任务需要处理,则会在进程中排队,造成 CPU资源浪费。 <br/> <br/>如果我们使用基于事件回调的异步文件写操作(例如 fs.write),如何来模拟同步模式下的循环逻辑呢?自然可以想到的一点是定义一个函数用来处理单次写入操作,然后依靠事件回调反复调用此函数,直至写满计划中的长度。但问题在于回调函数的参数形式是固定的,无法加入fd (file descriptor)和循环变量来标注当前运行的进度状况。解决这个问题,我们可以应用js语言中的“闭包”机制,因为闭包函数可以在栈中保存定义此函数的现场。 <br/> <br/>具体代码如下: <br/><pre escaped=“true” lang=“javascript” line=“1”>var file_size = 102410241024; //1G <br/>var buf_size = 10240; <br/> <br/>var fs = require(‘fs’); <br/>var buf = new Buffer(buf_size); <br/> <br/>// init temp buffer <br/>var temp = new Buffer(10); <br/>for (var i=0; i<10; i++) { <br/> temp[i] = (i).toString().charCodeAt(0); <br/>} <br/> <br/>// init buf <br/>for (var i=0; i<buf_size/10-1; i++) { <br/> temp.copy(buf, 10i); <br/>} <br/>temp.copy(buf, 10i, 0, buf_size-parseInt(buf_size/10)*10); <br/> <br/>// write to file <br/>fs.open(‘big.block’, ‘w’, 0666, function(err, fd){ <br/> if (err) throw err; <br/> <br/> function write(err, written) { <br/> if (err) throw err; <br/> if (i>=file_size/buf_size) { //close the file <br/> fs.close(fd); <br/> } else { //continue to write <br/> var length = buf_size; <br/> if ((i+1)buf_size>file_size) { <br/> length = file_size-ibuf_size; <br/> } <br/> fs.write(fd, buf, 0, length, null, write); <br/> i++; <br/> } <br/> } <br/> <br/> var i=0; <br/> write(null, 0); <br/>});</pre> <br/>需要注意缓冲区大小对写操作的性能影响很大。过小的缓冲区会造成从磁盘到文件系统,甚至用户程序,整个过程更大的资源消耗,从而影响程序的执行效率。通过time数据可明显观察到其差别: <br/><div id="_mcePaste">1K缓冲:</div> <br/><div id="_mcePaste">real    0m39.340s</div> <br/><div id="_mcePaste">user    0m18.244s</div> <br/><div id="_mcePaste">sys     0m34.750s</div> <br/><div></div> <br/><div id="_mcePaste">10K缓冲:</div> <br/><div id="_mcePaste">real    0m7.985s</div> <br/><div id="_mcePaste">user    0m2.037s</div> <br/><div id="_mcePaste">sys     0m7.525s</div> <br/><div></div> <br/><div id="_mcePaste">100K缓冲:</div> <br/><div id="_mcePaste">real    0m4.223s</div> <br/><div id="_mcePaste">user    0m0.312s</div> <br/><div id="_mcePaste">sys     0m4.077s</div>

5 回复

顶!支持自己动手测试,支持原创文章

xuancheng,哈哈

pengchun是我,xuancheng是另外一哥们

回到顶部