跳到正文
原文
Hacker News · 首页· solohunter001·· 7 小时前AI 评分47

Show HN:Strot——把 LLM 意图编译一次,本地永久运行决策

Show HN: Strot – Compile an LLM's intent once, run decisions locally forever

AI 导读

Strot 是一款开源的「决策编译器」,由 LLM 仅在编译阶段完成意图理解与样本标注,之后在本地用 144M 参数的 Julia-1 模型对每条记录做推理,输出带概率与置信度的类型安全 JSON,全程不再调用 LLM。

来源:Hacker News · 首页 · github.com