跳到正文
原文
Hacker News · 首页· sanchitmonga22·· 4 天前AI 评分58

RunAnywhere 开源 TrnRT:面向 AWS Trainium 的 LLM 推理引擎

Show HN: TrnRT – An open-source LLM inference engine for AWS Trainium

AI 导读

RunAnywhere 开源 TrnRT,这是一个在 AWS Trainium 上运行大语言模型的推理引擎,可在单台 trn2.48xlarge 上提供 OpenAI 兼容 API,首个支持的模型是 GLM-5.3-Flash。

来源:Hacker News · 首页 · github.com