开发者将 GPT-OSS-120B 4-bit 量化版跨 6 台异构设备集群推理并实现自愈

开发者用 exo 将 OpenAI 的 gpt-oss-120b（4bit 量化、约 60GB）分布到 6 台无力单独装载该模型的异构设备上集群推理，包括 12GB Windows 笔记本、RTX 3060 迷你 PC、16GB Mac mini、M3 MacBook 16GB、2017 款 Intel MacBook 以及一台安卓手机。