Reddit · r/LocalLLaMA· /u/Grouchy-Zebra9780·· 3 小时前AI 评分35
高中生用 C++ RPC 把两台旧 Android 手机组集群,本地跑 27B LLM 还不过热
I clustered two old Android phones to run a 27B LLM locally. Bypassed RAM limits via C++ RPC split and Hadamard Ternary math (No overheating)
AI 导读
一名高中生将两台旧 Android 手机通过 USB 用自写 C++ 引擎(基于 llama.r.n fork)集群,运行 Ternary-Bonsai-2-27B(压缩至 2.06 bpw / 6.52 GiB)。
来源:Reddit · r/LocalLLaMA · reddit.com