跳到主要内容
CNode

我最近做了个开源项目,但后端没用 Node(aitokenpool:让token plan不闲置不浪费)

分享
Ppm25coder发布于 14 小时前
0600

项目在这里:https://github.com/argszero/aitokenpool ,我做的,MIT。

它是干什么的

一个 token plan 的额度,一般白扔在两个地方。

一个是模型:plan 挂着好几个模型,实际上你只跑满一两个,剩下的到月底还是零。 一个是时间:plan 常按天、按工作日设上限,只在工作日用的,周末那两天就白瞎了。

这些用不掉的额度换成点数,点数再去换自己缺的模型。比如你手上是阿里云的 plan,可你想用 GLM——那就把阿里的闲置额度共享出去换点数,再用点数去换 GLM,不用再单独买一份。同样的钱,能用到的东西变多了。

做法上是个中心化的网关:平台托管上游 key、替你去调,进来的三种协议(OpenAI chat、OpenAI Responses、Anthropic messages)互相转,结束后按 token 记一笔账。

为什么用 Rust

说白了两条:省资源,性能高。前端是原生 JS 静态页,没有构建;后端是 Rust,编出来就一个二进制。

整台机器上就养一个进程,没有 Node 运行时、没有 node_modules,也没有 Redis 和 Postgres,数据就是 SQLite 一个文件。

性能这块我没做过跟 Node 的对照,只说自己这边的性质:这活几乎全是 I/O——收请求、挑一把上游 key、把 SSE 流原样转出去、记一笔账。一条流式连接挂几十秒是常事。Rust 这边没有 GC,不会赶在某次回收上停顿,把正在吐的字卡住。

想问各位

AI 把语言门槛基本抹平之后,「快和省」是不是就剩这一个变量了?还是说真实项目里,Node 后端仍然有不该被换掉的位置——如果有,是哪些?

查看回复

回复 (0)

暂无回复,成为第一个参与讨论的人。

参与回复

登录后即可参与回复。登录