爬虫时如何做到url等去重？？是哈希表还是布隆过滤器？？

问答

JJackzhangpan发布于9 年前最后回复9 年前|3 回复5348 浏览0 收藏

有没有例子源码借鉴一下

查看回复

wy373226722#1·9 年前

这个是问题么。。写redis。

nullcc#2·9 年前

海量数据又能容忍一定错误率的情况下用布隆过滤器很高效。

ipengyo#3·9 年前

如果是分布式的就用redis 不是分布式的就搞个对象表示一下也行啊~~

参与回复

登录后即可参与回复。登录

回复 (3)