shad0w：本地大模型分类请求 CPU 微秒级缓存代理

shad0w 是一款面向本地大语言模型的轻量级代理层，可接入任何 OpenAI 兼容服务，并默认支持 Ollama。其工作原理是记录本地大语言模型对分类请求的响应，在累计约 1,000 条样本后，将其编译为一张小型查询表。对于重复请求，若命中查询表（项目称对模型命中率达 95% 以上的重复请求），shad0w 可直接在 CPU 上以微秒级返回结果，避免再次调用大模型；未命中或不在分类场景内的请求则继续回落到原模型。shad0w 以 Apache-2.0 协议开源，并提供 Python、JavaScript、C 三种语言实现。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。