在网页抓取数据上微调模型时踩过的坑与修复方法

用自采网页数据微调模型时，导航菜单、cookie 横幅和页脚文本等模板内容混入训练样本，导致模型输出结构怪异、形似半渲染的 HTML；改用激进的 DOM 定向提取并接入按请求轮换 IP 的住宅代理层后，原始 HTML 干净度明显提升。精确去重与模糊去重的先后顺序也会显著影响训练集和模型复述措辞的倾向。跨语言近重复检测仍未完全解决，MinHash 在单语下有效，多语种语料仍不断出现边界情况。