跳到正文
原文
Reddit · r/LocalLLaMA· /u/DeliciousBelt9520·· 9 天前AI 评分49

Forlinx 20-TOPS M.2 AI 加速器支持 PCIe 级联用于本地大语言模型推理

Forlinx 20-TOPS M.2 AI accelerator supports PCIe cascading for local LLM inference

AI 导读

Forlinx Embedded 推出基于 Rockchip RK1820/RK1828 处理器的 M.2 AI 加速卡,提供 20 TOPS INT8 算力,集成最高 5GB DRAM。模块采用 M.2 2280 接口,支持 PCIe 级联,可运行本地大语言模型、视觉语言模型及计算机视觉工作负载,兼容嵌入式 Linux 和 Android 系统。

来源:Reddit · r/LocalLLaMA · reddit.com