跳到正文
原文
Reddit · r/LocalLLaMA· /u/cortexist·· 3 小时前AI 评分9

社区开发者为 Jetson Orin Nano 适配 Gemma 4 E4B 的 EXL3 推理方案

Gemma4 E4B EXL3 - Alternative to Llama.cpp on Jetson Orin

AI 导读

开发者 little-gemma V1.0 移植并 fork 了 exllamav3,在 Jetson Orin Nano Super 8GB 上运行 Gemma 4 E4B,prefill 速度较 llama.cpp 显著提升,尽管解码速率有所下降,整体语音对话延迟仍更低。

来源:Reddit · r/LocalLLaMA · reddit.com