跳到正文
原文
Reddit · r/LocalLLaMA· /u/No-Doughnut6532·· 2 天前AI 评分32

Orange Pi 5 Plus(RK3588)本地大语言模型推理基准:大核绑定、NPU 卸载与散热实测

[Benchmark] Running Local LLMs on Orange Pi 5 Plus (RK3588, 16GB): Ollama Tok/s, NPU Offloading, Core Pinning & Thermals

AI 导读

在 Orange Pi 5 Plus(RK3588,16GB LPDDR4x)上对 1B–8B 模型做 Ollama CPU 推理基准测试:将线程绑定到 4 个 Cortex-A76 大核比默认 8 线程最高快 +318%。

来源:Reddit · r/LocalLLaMA · reddit.com