Hacker News · 首页· giarec·· 3 小时前AI 评分60
Spinf 开源 spinf-serve：单张 24GB GPU 上的批量打分推理服务
Show HN: Spinf-serve – inference server for bulk scoring and decisions
AI 导读
Spinf 开源 spinf-serve，一个面向批量分类与决策的推理服务，一次读取内容即可回答多个问题，每个答案给出各选项的概率而非生成文本，采用 Apache 2.0 协议，并提供 OpenAI 兼容 API。
来源：Hacker News · 首页 · github.com