Reddit · r/LocalLLaMA· /u/ALexiosK11·· 4 天前AI 评分40
在 4GB VRAM 和 300MB 内存下跑完整 RAG 流水线(BGE-M3 + reranker + TTS)
Squeezed a full RAG pipeline (BGE-M3 + reranker + TTS) into 4GB VRAM and 300MB RAM
AI 导读
开发者在一台 RTX 3050(4GB VRAM、16GB 内存)笔记本上把 BGE-M3、BGE reranker 和 Kokoro TTS 组成的完整 RAG 流水线压进 4GB 显存,Node 峰值内存从 14.6GB 降到约 296MB。
来源:Reddit · r/LocalLLaMA · reddit.com