开发者主张自建 LLM 代理以掌控推理可观测性

一篇于 2026 年 10 月 19 日登上 Hacker News 首页的文章主张，用户应自建 LLM 推理代理，以获得对 token 用量、调用链路与模型切换的完整可观测性。作者指出，供应商自带的使用面板缺乏时序与日志等细节，无法支撑工程决策；而自建代理可统一多家 provider 与多模型端点，通过 OpenTelemetry 导出日志，为不同使用场景分配虚拟 API key，并在不同模型间快速切换而无需重新配置整套系统。作者认为，对推理基础设施做埋点与监控是做工程岗位的基本要求。截至目前，该观点仅以单篇博文形式呈现于 Hacker 首页，尚未有后续报道补充更多事实或数据。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。