跳到正文
原文
Hugging Face Blog·· 3 小时前精选AI 评分68

Ai2 发布 FairStress 深入评测大语言模型决策公平性

FairStress: A deeper evaluation of fairness in LLM decision-making

AI 导读

Ai2 发布 FairStress 基准,用于评估大语言模型在高风险决策中的人口群体公平性,并将其集成到开源评测工作台 Olmo-eval。该基准包含 29 个领域的 300 个双候选决策场景,组合人口身份信息与对抗性前缀后形成超过 13 million 个测试用例,另提供 50K 项的 FairStress-Core 子集。

推荐理由

FairStress将公平评测扩展到决策稳定性、解释与内部激活,并比较多种去偏方法,为识别和缓解模型人口群体偏差提供可复用基准。

来源:Hugging Face Blog · huggingface.co