跳到正文
返回论文列表
cs.LG提交于 已译

资源受限边缘设备上的大语言模型部署:从业者综述

Large Language Model Deployment on Resource-Constrained Edge Devices: A Practitioners Survey

Rahul Maliakkal · Yashasvi Makin · Plawan Rath · Rohit Jain · Ankur Sadhoo

中文摘要

大语言模型(LLM)已改变人工智能(AI)的多个领域,但其庞大的资源需求限制了在移动与边缘设备上的部署。尽管 LLM 在各应用中展现出强大能力,下一个挑战是在资源受限的边缘设备上部署这些模型。近期软件优化与专用硬件的创新使边缘设备部署 LLM 成为可能。边缘部署带来本地数据处理、成本节省、降低延迟与个性化响应等优势。本文综述使 LLM 边缘部署可行的最新技术。

关键要点

  1. 01问题:LLM 资源需求大,难以部署在移动与边缘设备上。
  2. 02方法:综述软件优化与专用硬件等使边缘部署可行的最新技术。
  3. 03结果:边缘部署可实现本地数据处理、成本节省、降低延迟与个性化响应。
  4. 04局限:摘要未提及具体性能数据或技术对比结论。

解读

尚无解读。

原始英文摘要

arXiv:2611.09075v1 Announce Type: cross Abstract: Large Language Models (LLMs) have transformed many areas of artificial intelligence (AI), but their substantial resource requirements limit their deployment on mobile and edge devices. Although LLMs have demonstrated impressive capabilities in various applications, the next challenge is deploying these models on resource-limited edge devices. Recent innovations in software optimizations and specialized hardware have made it feasible to deploy LLMs on edge devices. Edge deployment offers benefits including local data processing, cost savings, reduced latency, and personalized responses. This paper reviews the latest techniques that make the deployment of LLMs on edge devices feasible.

同方向论文 · cs.LG

查看全部 →

反向发现 · 这篇论文相关的工具与提示词

去交叉发现 →

关联工具 · 2

Hacker News · 首页85

Edge0 开源 145B 与 120B 端侧模型及推理框架

Edge0 开源 Edge0-145B 和 Edge0-120B 两个端侧模型,并同时发布统一推理框架与部署工具。官方称 145B 模型可在兼容笔记本本地运行,峰值内存 29GB、解码 80+ tokens/s、预填充 1100+ tokens/s,支持 128K–256K 上下文。

推荐理由:原文给出端侧 145B 模型的架构、推理栈与实测内存速度,可对照云端模型看本地部署的边界。

Hacker News · 首页82

DeepSeek 开源大规模推理框架 DeepInfer

DeepSeek 开源 DeepInfer,用于 DeepSeek 模型的大规模离线推理,当前支持 DeepSeek-V4.1-Flash。框架提供优化 kernels、并行化、异步调度、批量不变推理、确定性采样及结构化输出等功能,支持 NVIDIA SM100 GPU 和华为昇腾 950 NPU,并以 Apache License 2.0 发布。

推荐理由:项目公开了面向大规模服务的特性、硬件要求和构建方式,可用于评估 DeepSeek 模型的离线推理部署。