跳到正文
返回论文列表
cs.CL提交于 已译

MISO-BR:巴西葡萄牙语厌女内容检测开放语料库

MISO-BR: An Open Corpus for Misogyny Detection in Brazilian Portuguese

F\'abio A. S. Passos · P\'ericles B. C. Miranda · Ana Paula Cavalcanti

中文摘要

厌女是巴西用户遭遇的最普遍网络仇恨言论之一,但巴西葡萄牙语中开放且可审计的资源仍然稀缺。MISO-BR 是一个开放、有文档、带版本控制的语料库,包含 896 条类别均衡的社交媒体文本,标注为二元厌女标签,并随附构建协议与可复现基线。语料结合了基于词典和目标引导的 X 抓取、从 OLID-BR 导入的条目、一个公开提示词与解码参数的大语言模型筛选阶段,以及三名标注者按书面指南进行的人工标注。在 816 条条目上,标注者间信度达到 Fleiss' kappa 0.788。在单一固定协议下,比较了四种经典分类器(多项式与伯努利朴素贝叶斯、线性 SVM、随机森林)与微调的 BERTimbau Base 和 Large。经典模型 macro-F1 集中在 0.651 至 0.676,偏向精确率但召回率低。Transformer 达到 0.833 macro-F1 和准确率(Wilson 95% CI 准确率 [0.77, 0.88]),差距约 16 个百分点;Base 与 Large 在测试集上无法区分,尽管训练成本相差 2.6 倍。该资源的价值更多在于流程的可审计性而非头条分数,并指出三个用户必须考虑的局限:人工类别均衡在现实 prevalence 下对精确率的影响已量化;来源与标签的关联可通过公开的 source 字段度量;词典引导采样与自动筛选引入的选择偏差。语料、标注指南、模型和实验脚本均已公开。

关键要点

  1. 01巴西葡萄牙语厌女检测缺乏开放可审计资源,MISO-BR 提供 896 条均衡标注文本及完整构建协议。
  2. 02结合词典与目标引导抓取、OLID-BR 导入、LLM 筛选和三人人工标注,标注者间 Fleiss' kappa 达 0.788。
  3. 03微调 BERTimbau 达 0.833 macro-F1,比经典分类器高约 16 点;Base 与 Large 效果无差异但训练成本差 2.6 倍。
  4. 04局限包括人工类别均衡影响精确率、来源与标签关联、词典引导采样与自动筛选的选择偏差。

解读

1. 问题与价值

这篇工作解决的是巴西葡萄牙语在线 misogyny 检测缺少专门、开放、可审计语料的问题。已有语料大多面向 general offensive language 或 hate speech,性别敌意常被放进 broader sexism 类别中,而不是作为独立标注对象。原文给出的关键事实是:SaferNet Brasil 在 2022 年上半年收到 23,947 条在线仇恨言论举报,比上一年同期约增长 67.5%,其中 misogyny 是绝对数量最多的类别,有 7,096 条举报。

它的价值不在 headline score,而在把语料构建链条公开:采集策略、词表、LLM triage prompt 与解码参数、标注指南、标注者构成、分歧案例、多数表决规则、每个样本的 source 字段、固定 train/test partition、模型与脚本。研究团队因此获得一个可复现的专门任务基准;应用开发者可以获得一个可审计的起点,而不是只能依赖未公开数据或不可追溯的标签;普通用户不直接拿到产品,但间接受益于更可解释、更可审核的 moderation 工具,而不是黑箱分类器。

2. 已有工作的不足

在它之前,巴西葡萄牙语相关资源中最接近的是 MINA-BR,以及 OLID-BR、ToLD-Br、HateBR、TuPy-E 等 generalist hate/offensive 语料。它们的具体不足如下:

  1. OffComBR 主要标注 binary offensiveness,没有把 misogyny 作为直接标注对象。
  2. Fortuna et al. 2019 的语料有 hierarchical hate speech schema,但性别相关类别更多是 sexism,不是专门定义 misogyny。
  3. ToLD-Br 虽然带有 misogyny label,但原文指出只有 29 个实例达到三名标注者共识,这个数量更适合观察,不适合支撑稳定实验。
  4. HateBR、OLID-BR、TuPy-E 的主要轴是 offensiveness、toxicity 或 hate speech,misogyny 通常不是独立标签,也不是独立任务定义。
  5. MINA-BR 是最直接的前置工作,但它标注的是 hate speech against women 与 offensiveness,而不是把 misogyny 从 non-gendered toxicity 中分离出来;其数据直到 2025 年 3 月才公开,且原文描述其记录没有 stated licence。
  6. Rangel et al. 2026 的 LexMis-BR 提供 misogyny lexicon 并用于采集与标注,但 MISO-BR 的差别在于标签定义和可审计工件:triage prompt、annotation guide、per-instance provenance、fixed partitions、versioned release。

因此,不足不是“没有 hate speech 数据”,而是缺少一个专门针对 misogyny、标签定义清楚、构建过程可检查、且能让后续工作判断“模型到底学到 misogyny 还是学到采样偏差”的开放语料。

3. 重建作者的思考路径

从旧做法出发:研究者先使用 general offensive 或 hate speech 语料,把 sexism 当作其中一个类别,再用 Naive Bayes、SVM、random forest 这类 lexical classifier 训练。这个路径的第一个矛盾是,misogyny 常常不是单个脏词,而是讽刺、转述、评价性形容词、性别刻板印象、对女性发言合法性的否定。词表模型会抓到显式侮辱,但会漏掉 implicit misogyny。

如果目标是专门化,下一步会想:那就建一个以 misogyny 为定义核心的语料。但立刻撞上第二个矛盾:自然数据流中相关样本太稀疏,人工标注成本太高。为了获得足够 positive examples,研究者会尝试 target-guided 和 lexicon-guided 采集,例如抓取高可见度女性公众人物相关评论,并使用与性别、性化、道德污名、政治攻击相关的词表。这样能增加正类密度,但会引入第三个矛盾:分类器可能学到“这种词表采样出来的文本风格”,而不是学到 misogyny 本身。

为了降低标注负担,研究者会考虑让 LLM 先做 triage,把明显 Neutral 的样本筛掉,只把 Toxic 或 Misogynistic 样本送给人工标注。但新的矛盾出现:LLM 可能更擅长识别显式攻击,却漏掉 subtle、ironic、coded 的 misogyny。也就是说,triage 会提高标注效率,但可能让语料偏向 explicit hostility。

接着,为了平衡类别,研究者会从已有语料导入负例,例如 OLID-BR 的 not offensive 或 sexism 样本。这里又出现第四个矛盾:provenance 和 label 相关。X 抓取部分因为使用 misogyny lexicon,更容易贡献 positive;OLID-BR 导入部分贡献更多 negative。模型可能通过识别“这条像抓取来的推文”或“这条像 OLID-BR 评论”来降低损失,而不是识别 misogyny。

标注规则上也会分叉。如果只保留 unanimous labels,语料会更干净,但会偏向显式案例,因为 implicit、ironic、quoted misogynistic content 更容易产生分歧。如果保留 majority labels,语料会保留困难案例,但标签噪声更高。最终更合理的选择是保留 majority,并记录 confidence_label,让使用者可以区分 unanimous 与 contested cases。

与论文实际路径的差异:我推演的路径会更早要求“source-stratified evaluation”和“triage false negative audit”作为发布前置条件;论文实际路径是先发布可审计语料,把这些问题明确写成可测限制,并建议后续做 source predictor、discarded-item re-annotation、unanimous/majority 分层评估。另一个差异是,我可能更倾向于避免 LLM triage 或至少保留大量未筛样本;论文接受 triage 作为现实约束,但公开 prompt、温度、top_p、top_k,并承认 259 个 discarded items 的 false negative rate 未测。

4. 核心 intuition

可以把这个任务想成机场安检。金属探测器擅长抓明显武器,相当于 lexical model 抓显式侮辱词;受过训练的安全员能识别伪装、语境和异常行为,相当于 fine-tuned transformer 能抓 implicit、ironic、stereotype-driven misogyny。

但测试集不能只用真实机场里偶然出现的武器。真实流中武器很少,如果完全按自然分布测试,正例太少,模型评估不稳定。于是研究者会故意放入较多可疑物品,形成一个 balanced test set。这样能比较模型能力,但也会造成一个后果:在 balanced 测试里看起来不错的 precision,到了真实低 prevalence 场景会明显下降。因为同样的 false positive rate 会面对大量正常旅客,误报数量会压过真正命中的武器数量。

MISO-BR 的核心直觉就是:先建立一个专门、可审计的“安检演练场”,公开每个样本从哪里来、标签是否一致、哪些案例有争议;然后用固定协议比较模型。它不假装这个演练场等于真实机场,而是把演练场的偏差写清楚,让后续工作可以修正。

5. 方法 pipeline 举例

用一个原文提到的争议性表达作为示例输入:Que mulher besta!!。这是 offensive 示例,只用于说明流程。

  1. 原始采集:该文本来自 X 抓取池。抓取使用 target-guided 和 lexicon-guided 策略,关注女性公众人物、性别相关词、性化或道德污名相关词。原文记录 X 抓取得到 614 条,其中 triage 后保留 355 条,丢弃 259 条,满足 355 + 259 = 614。
  2. 预处理:小写化,移除 URL 和换行,把 mention 替换为 [USER],把 hashtag 替换为 [HASHTAG],把笑声变体归一化为 [LAUGHTER],删除重复和空字符串。示例文本的中间状态可写成 [USER] que mulher besta!!。
  3. LLM triage:使用 gemini-2.5-flash,输出类别为 Neutral、Toxic 或 Misogynistic。如果预测为 Toxic 或 Misogynistic,样本进入人工标注;如果预测为 Neutral,样本被丢弃。原文记录 triage 保留 355 条,丢弃 259 条。
  4. 人工标注:三名标注者按 written guide 判断。示例中可能出现两人认为 Misogynistic、一人认为 Toxic 的分歧。多数表决规则下,至少两人支持的标签胜出,因此 label_misoginia 为 1,confidence_label 为 majority。
  5. provenance 字段:如果该样本来自 X 抓取,则 source 为 twitter,label_source 为空;如果来自 OLID-BR,则 source 为 olid-br,并保留原始 OLID-BR 标签。
  6. 类别平衡:标注后原文记录有 448 条 misogynistic 和 367 条 non-misogynistic,满足 448 + 367 = 815。为了平衡,从 OLID-BR 再导入 81 条 not offensive 负例,得到 367 + 81 = 448 条负例。最终语料为 448 + 448 = 896 条。
  7. 固定划分:按 stratified 80/20 划分,训练集 716 条,测试集 180 条,满足 716 + 180 = 896。每个划分都保持 50/50 平衡。
  8. 模型预测:BERTimbau Base 在测试集上输出 positive 或 negative。原文报告该模型产生 74 true positives、16 false negatives、76 true negatives、14 false positives。示例样本如果被正确预测为 positive,会属于 74 个 true positives 之一;如果被漏掉,会属于 16 个 false negatives 之一。
  9. 指标中间结果:测试集 accuracy 为 150 ÷ 180 = 0.833,Wilson 95% CI 为 [0.772,0.881]。原文说明单个测试样本约对应 0.56 个百分点 accuracy,因此差异很小的点估计不能过度解读。

6. 核心数学推导

原文公式提取不完整,无法辨认。下面不声称逐字复原,而是根据原文给出的混淆矩阵、TPR、FPR 和概率规则重建其含义。

先解释符号:

  1. π:部署流中 misogyny 的真实 prevalence,即随机一条文本是 misogynistic 的概率。
  2. TPR:true positive rate,也就是 recall,表示文本确实是 misogynistic 时模型发出 positive flag 的概率。
  3. FPR:false positive rate,表示文本不是 misogynistic 时模型错误发出 positive flag 的概率。
  4. flag:模型输出 positive,即预测为 misogynistic。
  5. pos:真实标签为 misogynistic。
  6. neg:真实标签为 non-misogynistic。

原文给出 BERTimbau Base 的混淆矩阵:74 true positives、16 false negatives、76 true negatives、14 false positives。由此可得正类样本数为 74 + 16 = 90,负类样本数为 76 + 14 = 90。原文据此给出:

  1. TPR = 74 ÷ 90 = 0.822。
  2. FPR = 14 ÷ 90 = 0.156。

Precision 在给定 prevalence 下可以写成条件概率:

Pr[pos ∣ flag] = Pr[flag ∣ pos]·Pr[pos] / (Pr[flag ∣ pos]·Pr[pos] + Pr[flag ∣ neg]·Pr[neg])

含义是:在所有被模型标记为 positive 的样本中,真正是 misogynistic 的比例。根据定义:

  1. Pr[flag ∣ pos] = TPR = 0.822。
  2. Pr[flag ∣ neg] = FPR = 0.156。
  3. Pr[pos] = π。
  4. Pr[neg] = 1 − π。

代入得到:

Precision(π) = π·0.822 / (π·0.822 + (1−π)·0.156)

原文给出的数值是:当 π = 0.5 时返回约 0.84;当 π = 0.05 时返回约 0.22;当 π = 0.01 时返回约 0.05。这个公式在算的是:保持模型 sensitivity 和 false alarm rate 不变,只改变真实正例比例,模型发出的 positive 中有多少是真阳性。它解释了为什么 balanced test set 上的 precision 不能直接当作部署 precision。

7. 实验设计

数据集是 MISO-BR,共 896 条文本,二分类任务为 misogynistic 对 non-misogynistic。训练集 716 条,测试集 180 条,满足 716 + 180 = 896。两个划分都保持 50/50 类别平衡,且 partition 固定发布。

基线包括四类 classical models 和两个 transformer models:

  1. Multinomial Naive Bayes,使用 bag-of-words unigram 和 bigram counts。
  2. Bernoulli Naive Bayes,使用 bag-of-words unigram 和 bigram counts。
  3. LinearSVC,使用 TF-IDF unigram 和 bigram representations。
  4. Random Forest,使用 TF-IDF unigram 和 bigram representations。
  5. BERTimbau Base fine-tuned。
  6. BERTimbau Large fine-tuned。

主要指标是 macro-F1。额外报告 accuracy、misogynistic 类的 precision 和 recall、ROC-AUC、AUC-PR。因为测试集只有 180 条,原文使用 Wilson 95% CI,并拒绝解释落在置信区间内的小差异。

消融或对照包括:

  1. classical models 与 transformers 的对照,用于检验 lexical models 是否不足以处理 implicit misogyny。
  2. BERTimbau Base 与 Large 的对照,用于检验更大模型在 716 条训练样本上是否带来可用收益。
  3. balanced corpus 与 deployment prevalence 的对照,用于展示 precision 如何随 π 下降。

实验能支撑的结论是:在该固定协议和该 balanced test set 上,transformers 明显优于 classical baselines;Base 与 Large 在 macro-F1 和 confusion matrix 上不可区分;balanced 指标不能直接外推到低 prevalence 部署。

实验不能支撑的结论是:模型在真实自然流中的部署表现、MISO-BR 比 MINA-BR 更容易建模、triage 阶段的 pipeline recall、provenance confound 的大小、以及跨平台或跨时间窗口的泛化。缺失实验包括:更大测试集、paired significance tests、source-stratified evaluation、predict source from text、re-annotate 259 discarded items、unanimous 与 majority 子集分别评估、functional tests、cross-corpus transfer evaluation。

8. take-aways

  1. 在该固定 balanced test set 上,BERTimbau Base 的 macro-F1 为 0.833,最佳 classical baseline 为 0.676,差值为 0.833 − 0.676 = 0.157。这说明 lexical models 在该任务上明显不足。
  2. classical models 的 recall 都不超过 0.600,而 BERTimbau Base 的 misogynistic recall 为 0.822。原文给出的 precision 从 classical 的 0.710 上升到 0.841,recall 从 0.600 上升到 0.822,说明主要增益在找回 implicit positives。
  3. BERTimbau Base 与 BERTimbau Large 的 macro-F1 都是 0.833,并且 confusion matrix 相同:74 true positives、16 false negatives、76 true negatives、14 false positives。Large 的训练时间为 22.22 分钟,Base 为 8.49 分钟,原文报告约为 2.6 倍成本。
  4. balanced test set 上的 precision 不能直接外推到部署。原文给出 TPR = 0.822 和 FPR = 0.156,在 prevalence 为 0.05 时 precision 约 0.22,在 prevalence 为 0.01 时 precision 约 0.05。
  5. 语料可靠性不是单一数字。原文报告 Fleiss κ 为 0.788,observed agreement 为 0.8946,chance agreement 为 0.5029;unanimous 为 687 条,disagreement 为 129 条,满足 687 + 129 = 816。分歧集中在 implicit、ironic、quoted misogynistic content,这些正是任务难点。

9. 最脆弱的假设

最脆弱的假设是:标签不是被 provenance 或文本来源风格所决定,模型的高分主要反映 misogyny 识别,而不是识别“这条文本来自 X 抓取”还是“这条文本来自 OLID-BR”。

如果这个假设倒下,结论会明显受损。因为原文报告 BERTimbau Base 的 macro-F1 为 0.833,Wilson 95% CI 为 [0.772,0.881],而 classical baselines 在 0.651 到 0.676 之间。如果模型实际上主要学到 source 与 label 的相关性,那么 0.833 对 0.676 的 0.157 差距可能部分来自采样和导入策略,而不是 misogyny 语义理解。

原文给出的证据是:语料中约 60% 来自 OLID-BR,约 40% 来自 scraping;scraping 部分使用 misogyny lexicon,因此更偏向 positive;OLID-BR 部分贡献 not offensive 负例,包括全部 81 条 balance top-up。原文也发布了 source 字段,使这个 confound 可测。但原文没有报告 source predictor 的准确率,也没有报告按 source 分层后的模型表现。原文有句子:We do not know how large that part is, and we say so.

另一个同样脆弱但次一级的假设是 triage 没有系统性丢掉太多 implicit misogyny。原文记录 614 条抓取样本中有 259 条被 triage 判为 Neutral 并丢弃,满足 355 + 259 = 614。这 259 条没有重新标注,所以 pipeline 对抓取池的 recall 未知。如果 discarded items 中有大量 implicit misogyny,语料会低估任务难度,也会低估 lexical models 的失败程度。

10. 一周最小复现

目标是复现最核心结论:在 MISO-BR 固定划分上,classical lexical models 的 macro-F1 约在 0.651 到 0.676,而 BERTimbau Base 约达到 0.833,且 Base 与 Large 在该数据规模上不可区分。

使用一张 24GB 消费级显卡和一周时间,可以按如下步骤做:

  1. 第一天:加载公开数据集并核对结构。使用 Hugging Face 数据集 并 pin 到 v1.0。核对总量为 896,训练集 716,测试集 180,满足 716 + 180 = 896;核对 balanced 标签为 448 对 448,满足 448 + 448 = 896。核对字段包括 text、label_misoginia、confidence_label、source、label_source。
  2. 第二天:复现 classical baselines。使用 unigram 和 bigram 的 bag-of-words 或 TF-IDF,训练 Multinomial Naive Bayes、Bernoulli Naive Bayes、LinearSVC、Random Forest。预期 macro-F1 落在 0.651 到 0.676 附近,recall 不超过 0.600。
  3. 第三到第五天:只训练 BERTimbau Base,不训练 Large。使用 cased tokenisation,max sequence length 在 128 到 256 之间,batch size 16,最多 20 epochs,AdamW,early stopping patience 3,按 validation macro-F1 选 checkpoint。预期测试集 macro-F1 约 0.833,accuracy 为 150 ÷ 180 = 0.833,precision 约 0.841,recall 约 0.822。
  4. 第六天:计算置信区间和混淆矩阵。报告 Wilson 95% CI,原文对应区间为 [0.772,0.881]。报告 confusion matrix:74 true positives、16 false negatives、76 true negatives、14 false positives。
  5. 第七天:做最小 provenance 检查。训练一个简单分类器预测 source 是否为 twitter 或 olid-br;再把 BERTimbau Base 分别在 source=twitter 和 source=olid-br 子集上评估;同时把 [USER] 替换成 constant 后重跑 Base。若 Base 在 source-stratified 评估中仍明显高于 classical 的 0.676,则核心结论更稳;若性能塌回 0.676 附近,则说明 provenance confound 很大。

这一周不需要复现 Large。原文报告 Large 训练时间 22.22 分钟,Base 为 8.49 分钟,且两者 macro-F1 和 confusion matrix 相同。对 716 条训练样本而言,Base 是更理性的复现对象。

11. 反例设计

设计一个实验,用来检验核心主张:BERTimbau Base 相对 classical models 的 0.157 macro-F1 增益,主要来自 misogyny 语义识别,而不是来自数据集构建偏差。

实验步骤:

  1. 使用原文固定 train/test partition,训练 BERTimbau Base 和最佳 classical baseline Random Forest。
  2. 单独训练一个 source predictor,输入为 text,输出为 source=twitter 或 source=olid-br。
  3. 将测试集按 source 分层,分别计算 Base 和 Random Forest 的 macro-F1。
  4. 构造一个 source-balanced evaluation subset,使 twitter 和 olid-br 子集在正负类上都不偏向任一来源。
  5. 对 Base 做两个扰动评估:把 [USER] 替换为 constant;移除或 mask 掉与抓取词表强相关的 unigram 和 bigram。
  6. 分析错误是否集中在某一来源。例如,如果 Base 在 source=twitter 上明显好,在 source=olid-br 上明显差,说明它可能依赖来源风格。

成功推翻核心主张的判据是:

  1. source predictor 明显高于随机水平,并且置信区间下界也高于随机水平。
  2. BERTimbau Base 在 source-stratified 或 source-balanced 评估中的 macro-F1 下降到 0.676 附近,即不再高于 Random Forest 的 full-corpus macro-F1。
  3. 原来的 0.833 − 0.676 = 0.157 增益在去来源化评估中消失或变得不可区分。
  4. 错误分析显示,Base 的优势主要来自某一 source,而不是来自 implicit、ironic、stereotype-driven misogyny 的找回。

如果这些条件同时成立,则本文核心主张被严重削弱:0.833 不再可靠地代表 misogyny detection 能力,而更像是对 provenance 和采样偏差的识别。相反,如果 source predictor 接近随机,Base 在 source-balanced 评估中仍明显高于 0.676,则核心主张得到加强。

12. 落地判断

这项成果离普通用户直接“用得上”还有明显距离,但离研究团队和应用开发者进入原型阶段并不远。

普通用户:

  1. 现在不能把它当作消费级产品使用,因为它是一个研究语料和 baseline 报告,不是面向终端用户的 moderation 系统。
  2. 普通用户可拿到的是透明信息:标注指南、分歧案例、source 字段、confidence_label 字段,以及原文对 prevalence 和 provenance 的限制说明。
  3. 间接收益是未来平台若采用 human-in-the-loop moderation,可能使用更可审计的模型,而不是黑箱自动删除或自动封禁。

应用开发者:

  1. 可以把它作为低资源起点,训练一个 decision-support classifier,而不是 autonomous moderator。
  2. 必须校准部署 prevalence。原文显示 balanced test 上 precision 约 0.84,但在 prevalence 0.05 时约 0.22,在 prevalence 0.01 时约 0.05。若直接自动处置,false positives 会主导。
  3. 应优先降低 FPR = 0.156,并设置人工复核队列,而不是让模型单独执行处罚。
  4. 需要做 source-stratified 评估,检查模型是否学到 source=twitter 与 source=olid-br 的风格差异。
  5. 如果关注语言信号而不是结构信号,应处理 [USER] 标记,因为原文指出它来自匿名化,且与 positive class 相关。

研究团队:

  1. 可以直接使用它作为巴西葡萄牙语 misogyny detection 的固定 benchmark,比较新模型、新标注策略、新采样策略。
  2. 可以扩展为三分类或 multilabel,因为原始 guide 保留 Neutral、Toxic、Misogynistic 三值区分,binary 只是发布映射。
  3. 可以做 cross-corpus evaluation,例如与 MINA-BR 做 transfer 或 same-model evaluation,因为原文说明 MINA-BR 数据已可公开下载,且这是最直接的 follow-up。
  4. 应补做 259 个 discarded items 的 re-annotation,以估计 triage false negative rate。
  5. 应补做 functional tests、obfuscation resistance、dialect fairness、severity 和 target-level annotation。

距离可用还差的步骤:

  1. 数据规模:当前只有 896 条,训练集 716 条,测试集 180 条。这个规模足够 fine-tune 一个预训练 Portuguese encoder,但不足以支持 subgroup analysis、multiclass extension、functional testing 或可靠部署估计。
  2. 算力门槛:原文报告 BERTimbau Base 训练时间 8.49 分钟,BERTimbau Large 为 22.22 分钟,且两者在该数据规模上不可区分。因此算力不是主要障碍。
  3. 工程集成:需要把 classifier 接入 human review queue、阈值校准、日志审计、申诉流程、平台政策映射。
  4. 独立验证:需要不同标注者、不同时间窗口、不同平台、source-independent sampling、source-stratified evaluation、triage audit。

成本量级与最大的坑:

  1. 最大坑不是 GPU 成本,而是 prevalence 误用。balanced macro-F1 0.833 很容易让人误以为可以自动处置,但低 prevalence 下 precision 会降到 0.22 或 0.05。
  2. 第二大坑是 provenance confound。约 60% 来自 OLID-BR,约 40% 来自 scraping,且 81 条 balance top-up 全部来自 OLID-BR 负例,标签与来源相关。
  3. 第三大坑是 triage 偏差。259 条 discarded items 未审计,implicit misogyny 的真实漏检率未知。
  4. 第四大坑是标注负担和标注者暴露。原文指出持续接触 misogynistic content 对标注者有真实负担,且这种负担在不同标注者之间并不均匀。

内容由 AI 生成,仅供参考。如发现错误,欢迎反馈。

原始英文摘要

arXiv:2611.14036v1 Announce Type: new Abstract: Misogyny is among the most prevalent forms of online hate speech directed at Brazilian users, yet open and auditable resources dedicated to it in Brazilian Portuguese remain scarce. We introduce MISO-BR, an open, documented and versioned corpus of 896 balanced social media texts annotated for binary misogyny, released with its construction protocol and reproducible baselines. The corpus combines lexicon- and target-guided scraping from X with items imported from OLID-BR, a large language model triage stage whose prompt and decoding parameters are released, and manual annotation by three annotators following a written guide. Inter-annotator reliability reaches a Fleiss' kappa of 0.788 over 816 items. Under a single fixed protocol we compare four classical classifiers (Multinomial and Bernoulli Naive Bayes, a linear SVM and a random forest) with fine-tuned BERTimbau Base and Large. The classical models cluster between 0.651 and 0.676 macro-F1 and are precision-oriented but recall-poor. The transformers reach 0.833 macro-F1 and accuracy (Wilson 95% CI for accuracy [0.77, 0.88]), a gap of roughly 16 points, while Base and Large are indistinguishable on the test set despite a 2.6x difference in training cost. We argue that the value of the resource lies less in its headline scores than in the auditability of its pipeline, and we state three limits that users must reckon with: the artificial class balance, whose effect on precision under realistic prevalence we quantify; the association between provenance and label, which the released source field makes measurable; and the selection bias induced by lexicon-guided sampling and automatic triage. The corpus, annotation guide, models and experimental scripts are publicly available.

同方向论文 · cs.CL

查看全部 →