Hugging Face Blog·· 3 小时前精选AI 评分68
Ai2 发布 FairStress 深入评测大语言模型决策公平性
FairStress: A deeper evaluation of fairness in LLM decision-making
AI 导读
Ai2 发布 FairStress 基准,用于评估大语言模型在高风险决策中的人口群体公平性,并将其集成到开源评测工作台 Olmo-eval。该基准包含 29 个领域的 300 个双候选决策场景,组合人口身份信息与对抗性前缀后形成超过 13 million 个测试用例,另提供 50K 项的 FairStress-Core 子集。
推荐理由
FairStress将公平评测扩展到决策稳定性、解释与内部激活,并比较多种去偏方法,为识别和缓解模型人口群体偏差提供可复用基准。
来源:Hugging Face Blog · huggingface.co