Reddit · r/LocalLLaMA· /u/arty_photography·· 4 小时前AI 评分48
ORL：面向扩散 LLM 的 on-policy residual learning 方法，配合 dlmrt 推理引擎实现开源
[Research] 2,788 tokens/s on a single RTX 5090 with a diffusion LLM — Introducing ORL (fully open source)
AI 导读
ORL（On-Policy Residual Learning）是一项加速扩散 LLM 推理的开源研究，配合自研推理引擎 dlmrt，实现在单张 RTX 5090 上 LLaDA-2.1-mini + ORL 达 2,788 tokens/s，以及 8× B200 上 DiffusionGemma 26B MoE + ORL 达 7,708 tokens/s（NVFP4）。
来源：Reddit · r/LocalLLaMA · reddit.com