Reddit · r/LocalLLaMA· /u/Flashy_Squirrel4745·· 3 小时前AI 评分36
open_rknpu2_lm_infer：无需专有推理库的 RK3588 NPU 运行时
I built an RK3588 NPU runtime without any proprietary inference libraries: Qwen3.5-4B at ~10 tok/s, ~2x faster than vendor SDK.
AI 导读
open_rknpu2_lm_infer 是面向 Rockchip RK3588 NPU 的开源本地 LLM 推理引擎，无需 Rockchip 专有用户态推理库。
来源：Reddit · r/LocalLLaMA · reddit.com