nodejs 实现磁力链接资源搜索引擎 前端:vue 后台:koa2 + MongoDB + Elasticsearch
发布于 3 个月前 作者 wlijie 2437 次浏览 最后一次编辑是 2 个月前 来自 分享

项目简介

上线

  • 2018-06-01 网站正式上线。域名是 http://findcl.com
  • 两台VPS (都是某些云做活动买的 配置低)
  • 第一台部署了FindCl站点本身(koa2、nginx)和单个节点的 Elasticsearch
  • 第二台部署了磁力链接爬虫
  • Mongodb数据库在阿里云(目前有300W数据库,每日新收录3W+的数据)

项目依赖

  • DHT BT资源爬虫 dhtspider
  • 磁力链接解析 torrent-stream
  • Mongodb数据库
  • 中文搜索 Elasticsearch.js
  • 定时执行Mongodb 与Elasticsearch 的数据同步
  • koa2

存在的问题

  • torrent-stream 解析磁力链接缓慢 需要好几秒 P2P网络没有资源时还有可能解析不到
  • dhtspider 爬虫 由于服务器带宽是1m 所以跑到时间长就把带宽跑慢了 现在的做法就是搜集一些磁力链接暂停爬虫 解析完毕之后再启动爬虫
10 回复

网站前端代码已整理完毕上传github 源码地址 https://github.com/ssstk/findcl

Manget2torrent 已整理完毕 主要功能 磁力链接爬虫 磁力链接解析 入库Mongodb 定时同步 Elasticsearch 等等… 源码地址 https://github.com/ssstk/manget2torrent 后续 磁力链接站点API 部分 陆续更新中 …

厉害,学习了

百分百支持楼主,已star

求一波 star ~

这个名字 吊炸天。。。

不怕查水表呀 From Noder

不错哦,已star~

来自✨ Node.js开源项目精选

回到顶部