Reddit · r/LocalLLaMA· /u/LatentSpacer·· 3 小时前AI 评分40
继在 Qwen 里塞进 RISC-V CPU 后，同一作者让 Karpathy 的 stories260k 跑在 Qwen 3.5-4B 权重内编译的 NPU 上
An LLM inside an LLM - Same guy who put a RISK-V CPU inside Qwen has now made Karpathy's stories260k run on an NPU compiled inside Qwen 3.5-4B's weights
AI 导读
同一作者在 Qwen 3.5-4B 权重中编译出一个 NPU，让 Karpathy 的 stories260k 这个 LLM 在 LLM 内部运行，项目名为 QwenPU。该 NPU 可比特精确地执行 matmul、softmax 和 attention，模型权重存放在 Qwen 自身内存中，不依赖外部工具。作者称已投入大量工作提升速度，完整博客与优化、体积缩减仍在进行中。
来源：Reddit · r/LocalLLaMA · reddit.com