小蛇搜搜
是一个专搜个人博客的小应用,迄今为止 建千万级别索引,爬取十万级别个人独立博客;一说索引可能有人觉得就是用的
es
, 其实这里,自己实现索引的时候没有用索引,直接自己动手实现简单的倒排 +skiplist
,不光是内存贮存数据,也能支持落盘和从磁盘加载形成倒排等操作;
项目demo地址:http://49.233.52.50/,如果要使用
github
登录, 需要用本地charles代理下域名:www.xiaoshesoso.com 到 http://49.233.52.50; 主要爬取独立博客,并按照博主的热度进行简单排序,也可以时间排序!
简单的页面样子:
- 主页:
- 搜索页面
欢迎大家拍砖,试玩,多多提建议:https://github.com/funeyu/snake-web-server/issues/1;
-
先放出小蛇搜搜的nodejs做的前台server代码: https://github.com/funeyu/snake-web-server; 该nodejs代码基于koa2 二次封装,项目逻辑比较清晰,欢迎大家加星等操作!!!
-
后续会依次会将所有的ui层(react)代码,索引层代码和爬虫(golang)一并慢慢放出;
好冷清呵,自己手动消灭0回复~~🙄
@darrenliuwei 👀,嗯,现在的爬取收录还不完全,先记上,后面一并建立上~~~
昨天做了一版手机端的适配,现在可以在手机端查看了; 后面会添加 热门博客列表top100,添加国外博客收录索引等功能; 如果大家觉得好用,可以广而告之身边的朋友,一起适用这个小搜索,后面会一直维护该产品; 大家有啥建议都可以一起交流分享
微信号:funer80
请收录我的博客,感谢🙏 https://gsbk.org
@kelvv 后面会把收录博客的功能外放出去,敬请期待!!
小蛇搜搜http://xiaoshesoso.com/ 新增了几个模块,欢迎来用啊
@funeyu 为什么不上HTTPS呢?
兄弟,你的cdn 失效了
@darrenliuwei 后面会给加上,😆😆
@tanlianghao 用的是https://www.bootcdn.cn/ 这个免费的,可能有的地方这个cdn会失效??
兄弟,好奇问下,你是怎么筛选出来个人博客的呢?
@tw7613781 根据关键词匹配筛选的~~~
谢谢分享~