Reddit · r/LocalLLaMA· /u/jeffrey-0711·· 3 小时前AI 评分40
0.1B 的 SPLADE 模型在本地 RAG 检索中击败 8B 稠密嵌入模型
A 0.1B model just killed 8B embedding models... I tried it out.
AI 导读
开发者用 KURE-sparse-nano 稀疏检索模型替换 Qwen3-Embedding-0.6B 稠密嵌入模型,在自建数百条查询的韩英混合文档评测集上检索效果更好、速度相近且内存占用更低,推理显存不足 1.5GB。
来源:Reddit · r/LocalLLaMA · reddit.com