关于hadoop的定位的困惑
发布于 10 年前 作者 ringtail 4006 次浏览 最后一次编辑是 8 年前

在大学的时候搞过一些hadoop,但是对于hadoop的实际应用场景有些疑惑,hadoop的长处在于对大规模的数据的处理,但是对于一些应用的架构总觉得不适合hadoop,比如: 一个移动app,需要上传图片,然后对图片进行处理,返回处理结果这种的场景,总是觉得hadoop不适合做这种的处理,应该用传统的nginx负载均衡的方式来做,不知道有没有哪位大大能够指点一下迷津。

8 回复

hadoop 是用于大数据。上传图片的 hadoop 的话,图片得够大(分成小块处理),图片处理算法也得是分布式。

hadoop的离线应用,你说的是时时应用。

不是同一类型的

是这样的,我理解的hadoop是用于超大数据的处理,比如我有1TB的数据,要对数据的内容进行分析,然后hadoop的job tracker会将不同的任务分发到node节点来计算,那么对于这种移动图片上传的应用真的只能用机器堆积的方式进行扩展吗?有没有更好的版本。

我觉得这个并不是问题的关键,时时应用和hadoop并不矛盾,我觉得问题的关键在于上传job的切分,对于这种需要对一张图片进行分析的项目确实不适合用hadoop来做,但是有没有更好的架构,总觉得目前的方式有些原始

应该用 七牛 啊。

七牛的东西作为静态存储还是不错的,但是我们很多情况下需要对图片进行复杂的处理,不是加水印这样简单的任务。

@bsspirit 大致明白你这个的作用,我觉得很有价值,稍有点不同的地方在于,我不需要进行存储图片,当图片处理完毕之后可以删除即可。

回到顶部