Reddit · r/LocalLLaMA· /u/SignificantZebra5883·· 4 天前AI 评分54
将 LLM 蒸馏为文档提取模型：GLiNER 多编码器方案实践
I Distilled an LLM into two 287M encoders (GLiNER + multiple choice) for document extraction, can't match teacher. did i do something wrong?
AI 导读
作者将 LLM 蒸馏为两个 287M 参数编码器，用于从 500 万份法院判决书中提取结构化信息。方案使用 GLiNER2.5-multi-v1 标记实体/动作/值，再用 GLiNER2.5-multi-Decide 做多选消歧。
来源：Reddit · r/LocalLLaMA · reddit.com