求一个nodejs支持的海量小数据存储方案,O(∩_∩)O谢谢
发布于 8 年前 作者 azathothes 5205 次浏览 来自 问答

目前我和我朋友在做一个图片文件服务器的开发。客户端程序发送请求,服务端接收请求并返回所请求的图片。(一次一张) 并发量不超过30,单个图片文件100来kb。共有近40TB。 由于客户要求不能做成分布式,所以只能有一台服务器来运行服务端程序(node以及数据库)。由于服务器需要做成离线的,所以不能配合七牛或者aws进行云端储存。所有数据和服务端代码都存于一台服务器里面。 目前我们的存储方案是将一个个小图片转成bson格式的二进制数据然后存入Mongodb,然后用nodejs来处理请求,使用mongoose来取出对应的图片然后响应给客户端。 不管是Nodejs还是Mongodb我都算新手,代码撸出来了但是感觉很不靠谱的样子啊。。。40TB的数据存Mongodb,也没有找到一个适合的方法来做数据库发生故障时候的处理,各位大神给我说说像我这样的业务,应该怎样来使塞入了这近40TB的数据的MongoDB稳定的运行?? 如果此套存储方案不合适,还请各位推荐下适合我这个业务的存储方案吧。谢谢!

10 回复

不懂…… 自豪地采用 CNodeJS ionic

@nswbmw 感谢回复。抱歉忘了说了,这整个系统不能连外网啊。所有数据都存于本地数据库。

@guosen88100300 感谢回复。具体是哪个地方没说明白呢?

40TB不挂才怪啊。数据库里存path,文件还是直接放到外挂盘里。

如果是图片服务器的话不要用mongodb作为存储了,还是直接用文件系统作为存储

说的不就是HDFS?

40T得上存储!还要FC交换机! 自豪地采用 CNodeJS ionic

40T数据,得上100T的存储! 自豪地采用 CNodeJS ionic

文件放文件系统里。再弄个数据库寸文件路径! 自豪地采用 CNodeJS ionic

回到顶部