阿里云oss存储，怎么判断已经有MD5相同的文件，不再上传

Asher-Tan 1楼•6 年前

1

上传的文件名里带md5值，上传文件的时候MD5下再请求是否有这个文件就可以。

reezon 2楼•6 年前

1

可以借鉴七牛云的hash算法：https://github.com/qiniu/qetag

fuxingZhang 3楼•6 年前

@Asher-Tan 如果已经有几十万个文件，去请求每一个文件的信息判断是不合适的，可以以hash命名文件，或者借助数据库

fuxingZhang 4楼•6 年前

@reezon hash值不需要计算，你上传文件或请求文件列表的时候会返回etag,就是哈希值

fuxingZhang 5楼•6 年前

@Asher-Tan listobject的上限是1000个，需要看后续的需要递归，类似分页

Asher-Tan 6楼•6 年前

@fuxingZhang 我把场景想象成了前端静态文件的上传。一般静态文件上传我是直接请求判断的，如果做资源文件的存储这样肯定是不好的。

Shawn-ye 7楼•6 年前

1

直接hash会撞

yuquanH 8楼•6 年前作者

我采用hash命名

zhubenjie 9楼•6 年前

请问！阿里云OSS 服务端签名直传并设置上传回调有谁做过吗？楼主你这个是如何解决的呢

vendar 10楼•6 年前

文件多了md5容易重名的吧，我用sha1，oss不是有head请求吗？head一下不就知道文件存不存在了。

来自✨ Node.js开源项目精选✨

wlijie 11楼•6 年前

@fuxingZhang 大牛您好弱弱到问一句因为要用hash命名所以在上传这个文件之前是否需要先获取上传文件的MD5值七牛是可以把key 留空的如为空七牛就自动为hash命名啦

fuxingZhang 12楼•6 年前

@wlijie 1、可以使用node自带的crypto模块计算md5，然后指定上传的key为md5上传。 2、七牛的话，你就可以直接上传了，不用计算 3、（秒传功能：通过key获取文件信息，如果存在，就直接提示上传成功，不存在的话再上传文件）

releasethecow 13楼•6 年前

如果你是用 node / java, 在服务器层计算文件 (如 md5), 然后加上后缀成为key就可以了 (node 下用 crypto). foo.ext -> some_role_prefix_${md5}.ext 如果是 sts 模式下前端浏览器也可以用类似方法 (FileReader), 本身 oss 前端 sdk 好像没提供. 但浏览器计算性能嘛…跑几分钟还不如 Linux 两三秒的计算(不讨论这些)

上传的时候 list 一下是否存在对应文件路径. 然后判断是否存在文件, 存在即无需上传

yuquanH 14楼•6 年前作者

直接使用MD5命名啊会取代原图，md5一样基本上是同一个文件；上传不花钱的，读取才花钱，所以不考虑先判断存不存在才上传。