跳到主要内容

爬虫时如何做到url等去重？？是哈希表还是布隆过滤器？？

问答

JJackzhangpan发布于 9 年前最后回复 9 年前

353780

有没有例子源码借鉴一下

回复 (3)

I

ipengyo#39 年前

如果是分布式的就用redis 不是分布式的就搞个对象表示一下也行啊~~

N

nullcc#29 年前

海量数据又能容忍一定错误率的情况下用布隆过滤器很高效。

W

wy373226722#19 年前

这个是问题么。。写redis。

参与回复

登录后即可参与回复。登录