Reddit · r/MachineLearning· /u/gauravc2796·· 7 小时前AI 评分18
shad0w：为本地大语言模型分类请求加一层 CPU 微秒级预测缓存
I built a tiny table that learns your local LLM's classification answers and serves the repeats in microseconds [D]
AI 导读
shad0w 作为代理层接入任何 OpenAI 兼容的服务（Ollama 开箱即用），记录本地大语言模型的分类答案，在积累约 1,000 条后编译成小查询表，对模型命中率达 95% 以上的重复请求直接在 CPU 上以微秒级返回，其余请求再回落到原模型。项目以 Apache-2.0 开源，提供 Python/JS/C 三种实现。
来源：Reddit · r/MachineLearning · reddit.com