Edge0 开源 145B 与 120B 端侧模型及推理框架
Edge0 开源 Edge0-145B 和 Edge0-120B 两个端侧模型,并同时发布统一推理框架与部署工具。官方称 145B 模型可在兼容笔记本本地运行,峰值内存 29GB、解码 80+ tokens/s、预填充 1100+ tokens/s,支持 128K–256K 上下文。
推荐理由:原文给出端侧 145B 模型的架构、推理栈与实测内存速度,可对照云端模型看本地部署的边界。
Large Language Model Deployment on Resource-Constrained Edge Devices: A Practitioners Survey
Rahul Maliakkal · Yashasvi Makin · Plawan Rath · Rohit Jain · Ankur Sadhoo
大语言模型(LLM)已改变人工智能(AI)的多个领域,但其庞大的资源需求限制了在移动与边缘设备上的部署。尽管 LLM 在各应用中展现出强大能力,下一个挑战是在资源受限的边缘设备上部署这些模型。近期软件优化与专用硬件的创新使边缘设备部署 LLM 成为可能。边缘部署带来本地数据处理、成本节省、降低延迟与个性化响应等优势。本文综述使 LLM 边缘部署可行的最新技术。
尚无解读。
arXiv:2611.09075v1 Announce Type: cross Abstract: Large Language Models (LLMs) have transformed many areas of artificial intelligence (AI), but their substantial resource requirements limit their deployment on mobile and edge devices. Although LLMs have demonstrated impressive capabilities in various applications, the next challenge is deploying these models on resource-limited edge devices. Recent innovations in software optimizations and specialized hardware have made it feasible to deploy LLMs on edge devices. Edge deployment offers benefits including local data processing, cost savings, reduced latency, and personalized responses. This paper reviews the latest techniques that make the deployment of LLMs on edge devices feasible.
Edge0 开源 Edge0-145B 和 Edge0-120B 两个端侧模型,并同时发布统一推理框架与部署工具。官方称 145B 模型可在兼容笔记本本地运行,峰值内存 29GB、解码 80+ tokens/s、预填充 1100+ tokens/s,支持 128K–256K 上下文。
推荐理由:原文给出端侧 145B 模型的架构、推理栈与实测内存速度,可对照云端模型看本地部署的边界。
DeepSeek 开源 DeepInfer,用于 DeepSeek 模型的大规模离线推理,当前支持 DeepSeek-V4.1-Flash。框架提供优化 kernels、并行化、异步调度、批量不变推理、确定性采样及结构化输出等功能,支持 NVIDIA SM100 GPU 和华为昇腾 950 NPU,并以 Apache License 2.0 发布。
推荐理由:项目公开了面向大规模服务的特性、硬件要求和构建方式,可用于评估 DeepSeek 模型的离线推理部署。