跳到正文
原文
Reddit · r/LocalLLaMA· /u/ALexiosK11·· 4 天前AI 评分40

在 4GB VRAM 和 300MB 内存下跑完整 RAG 流水线(BGE-M3 + reranker + TTS)

Squeezed a full RAG pipeline (BGE-M3 + reranker + TTS) into 4GB VRAM and 300MB RAM

AI 导读

开发者在一台 RTX 3050(4GB VRAM、16GB 内存)笔记本上把 BGE-M3、BGE reranker 和 Kokoro TTS 组成的完整 RAG 流水线压进 4GB 显存,Node 峰值内存从 14.6GB 降到约 296MB。

来源:Reddit · r/LocalLLaMA · reddit.com