跳到正文
原文
Reddit · r/LocalLLaMA· /u/Grouchy-Zebra9780·· 3 小时前AI 评分35

高中生用 C++ RPC 把两台旧 Android 手机组集群,本地跑 27B LLM 还不过热

I clustered two old Android phones to run a 27B LLM locally. Bypassed RAM limits via C++ RPC split and Hadamard Ternary math (No overheating)

AI 导读

一名高中生将两台旧 Android 手机通过 USB 用自写 C++ 引擎(基于 llama.r.n fork)集群,运行 Ternary-Bonsai-2-27B(压缩至 2.06 bpw / 6.52 GiB)。

来源:Reddit · r/LocalLLaMA · reddit.com