MISO-BR:巴西葡萄牙语厌女内容检测开放语料库
MISO-BR: An Open Corpus for Misogyny Detection in Brazilian Portuguese
F\'abio A. S. Passos · P\'ericles B. C. Miranda · Ana Paula Cavalcanti
中文摘要
厌女是巴西用户遭遇的最普遍网络仇恨言论之一,但巴西葡萄牙语中开放且可审计的资源仍然稀缺。MISO-BR 是一个开放、有文档、带版本控制的语料库,包含 896 条类别均衡的社交媒体文本,标注为二元厌女标签,并随附构建协议与可复现基线。语料结合了基于词典和目标引导的 X 抓取、从 OLID-BR 导入的条目、一个公开提示词与解码参数的大语言模型筛选阶段,以及三名标注者按书面指南进行的人工标注。在 816 条条目上,标注者间信度达到 Fleiss' kappa 0.788。在单一固定协议下,比较了四种经典分类器(多项式与伯努利朴素贝叶斯、线性 SVM、随机森林)与微调的 BERTimbau Base 和 Large。经典模型 macro-F1 集中在 0.651 至 0.676,偏向精确率但召回率低。Transformer 达到 0.833 macro-F1 和准确率(Wilson 95% CI 准确率 [0.77, 0.88]),差距约 16 个百分点;Base 与 Large 在测试集上无法区分,尽管训练成本相差 2.6 倍。该资源的价值更多在于流程的可审计性而非头条分数,并指出三个用户必须考虑的局限:人工类别均衡在现实 prevalence 下对精确率的影响已量化;来源与标签的关联可通过公开的 source 字段度量;词典引导采样与自动筛选引入的选择偏差。语料、标注指南、模型和实验脚本均已公开。
关键要点
- 01巴西葡萄牙语厌女检测缺乏开放可审计资源,MISO-BR 提供 896 条均衡标注文本及完整构建协议。
- 02结合词典与目标引导抓取、OLID-BR 导入、LLM 筛选和三人人工标注,标注者间 Fleiss' kappa 达 0.788。
- 03微调 BERTimbau 达 0.833 macro-F1,比经典分类器高约 16 点;Base 与 Large 效果无差异但训练成本差 2.6 倍。
- 04局限包括人工类别均衡影响精确率、来源与标签关联、词典引导采样与自动筛选的选择偏差。
解读
内容由 AI 生成,仅供参考。如发现错误,欢迎反馈。
原始英文摘要
arXiv:2611.14036v1 Announce Type: new Abstract: Misogyny is among the most prevalent forms of online hate speech directed at Brazilian users, yet open and auditable resources dedicated to it in Brazilian Portuguese remain scarce. We introduce MISO-BR, an open, documented and versioned corpus of 896 balanced social media texts annotated for binary misogyny, released with its construction protocol and reproducible baselines. The corpus combines lexicon- and target-guided scraping from X with items imported from OLID-BR, a large language model triage stage whose prompt and decoding parameters are released, and manual annotation by three annotators following a written guide. Inter-annotator reliability reaches a Fleiss' kappa of 0.788 over 816 items. Under a single fixed protocol we compare four classical classifiers (Multinomial and Bernoulli Naive Bayes, a linear SVM and a random forest) with fine-tuned BERTimbau Base and Large. The classical models cluster between 0.651 and 0.676 macro-F1 and are precision-oriented but recall-poor. The transformers reach 0.833 macro-F1 and accuracy (Wilson 95% CI for accuracy [0.77, 0.88]), a gap of roughly 16 points, while Base and Large are indistinguishable on the test set despite a 2.6x difference in training cost. We argue that the value of the resource lies less in its headline scores than in the auditability of its pipeline, and we state three limits that users must reckon with: the artificial class balance, whose effect on precision under realistic prevalence we quantify; the association between provenance and label, which the released source field makes measurable; and the selection bias induced by lexicon-guided sampling and automatic triage. The corpus, annotation guide, models and experimental scripts are publicly available.
1. 问题与价值
这篇工作解决的是巴西葡萄牙语在线 misogyny 检测缺少专门、开放、可审计语料的问题。已有语料大多面向 general offensive language 或 hate speech,性别敌意常被放进 broader sexism 类别中,而不是作为独立标注对象。原文给出的关键事实是:SaferNet Brasil 在 2022 年上半年收到 23,947 条在线仇恨言论举报,比上一年同期约增长 67.5%,其中 misogyny 是绝对数量最多的类别,有 7,096 条举报。
它的价值不在 headline score,而在把语料构建链条公开:采集策略、词表、LLM triage prompt 与解码参数、标注指南、标注者构成、分歧案例、多数表决规则、每个样本的
source字段、固定 train/test partition、模型与脚本。研究团队因此获得一个可复现的专门任务基准;应用开发者可以获得一个可审计的起点,而不是只能依赖未公开数据或不可追溯的标签;普通用户不直接拿到产品,但间接受益于更可解释、更可审核的 moderation 工具,而不是黑箱分类器。2. 已有工作的不足
在它之前,巴西葡萄牙语相关资源中最接近的是 MINA-BR,以及 OLID-BR、ToLD-Br、HateBR、TuPy-E 等 generalist hate/offensive 语料。它们的具体不足如下:
因此,不足不是“没有 hate speech 数据”,而是缺少一个专门针对 misogyny、标签定义清楚、构建过程可检查、且能让后续工作判断“模型到底学到 misogyny 还是学到采样偏差”的开放语料。
3. 重建作者的思考路径
从旧做法出发:研究者先使用 general offensive 或 hate speech 语料,把 sexism 当作其中一个类别,再用 Naive Bayes、SVM、random forest 这类 lexical classifier 训练。这个路径的第一个矛盾是,misogyny 常常不是单个脏词,而是讽刺、转述、评价性形容词、性别刻板印象、对女性发言合法性的否定。词表模型会抓到显式侮辱,但会漏掉 implicit misogyny。
如果目标是专门化,下一步会想:那就建一个以 misogyny 为定义核心的语料。但立刻撞上第二个矛盾:自然数据流中相关样本太稀疏,人工标注成本太高。为了获得足够 positive examples,研究者会尝试 target-guided 和 lexicon-guided 采集,例如抓取高可见度女性公众人物相关评论,并使用与性别、性化、道德污名、政治攻击相关的词表。这样能增加正类密度,但会引入第三个矛盾:分类器可能学到“这种词表采样出来的文本风格”,而不是学到 misogyny 本身。
为了降低标注负担,研究者会考虑让 LLM 先做 triage,把明显 Neutral 的样本筛掉,只把 Toxic 或 Misogynistic 样本送给人工标注。但新的矛盾出现:LLM 可能更擅长识别显式攻击,却漏掉 subtle、ironic、coded 的 misogyny。也就是说,triage 会提高标注效率,但可能让语料偏向 explicit hostility。
接着,为了平衡类别,研究者会从已有语料导入负例,例如 OLID-BR 的 not offensive 或 sexism 样本。这里又出现第四个矛盾:provenance 和 label 相关。X 抓取部分因为使用 misogyny lexicon,更容易贡献 positive;OLID-BR 导入部分贡献更多 negative。模型可能通过识别“这条像抓取来的推文”或“这条像 OLID-BR 评论”来降低损失,而不是识别 misogyny。
标注规则上也会分叉。如果只保留 unanimous labels,语料会更干净,但会偏向显式案例,因为 implicit、ironic、quoted misogynistic content 更容易产生分歧。如果保留 majority labels,语料会保留困难案例,但标签噪声更高。最终更合理的选择是保留 majority,并记录
confidence_label,让使用者可以区分 unanimous 与 contested cases。与论文实际路径的差异:我推演的路径会更早要求“source-stratified evaluation”和“triage false negative audit”作为发布前置条件;论文实际路径是先发布可审计语料,把这些问题明确写成可测限制,并建议后续做 source predictor、discarded-item re-annotation、unanimous/majority 分层评估。另一个差异是,我可能更倾向于避免 LLM triage 或至少保留大量未筛样本;论文接受 triage 作为现实约束,但公开 prompt、温度、top_p、top_k,并承认 259 个 discarded items 的 false negative rate 未测。
4. 核心 intuition
可以把这个任务想成机场安检。金属探测器擅长抓明显武器,相当于 lexical model 抓显式侮辱词;受过训练的安全员能识别伪装、语境和异常行为,相当于 fine-tuned transformer 能抓 implicit、ironic、stereotype-driven misogyny。
但测试集不能只用真实机场里偶然出现的武器。真实流中武器很少,如果完全按自然分布测试,正例太少,模型评估不稳定。于是研究者会故意放入较多可疑物品,形成一个 balanced test set。这样能比较模型能力,但也会造成一个后果:在 balanced 测试里看起来不错的 precision,到了真实低 prevalence 场景会明显下降。因为同样的 false positive rate 会面对大量正常旅客,误报数量会压过真正命中的武器数量。
MISO-BR 的核心直觉就是:先建立一个专门、可审计的“安检演练场”,公开每个样本从哪里来、标签是否一致、哪些案例有争议;然后用固定协议比较模型。它不假装这个演练场等于真实机场,而是把演练场的偏差写清楚,让后续工作可以修正。
5. 方法 pipeline 举例
用一个原文提到的争议性表达作为示例输入:
Que mulher besta!!。这是 offensive 示例,只用于说明流程。355 + 259 = 614。[USER],把 hashtag 替换为[HASHTAG],把笑声变体归一化为[LAUGHTER],删除重复和空字符串。示例文本的中间状态可写成[USER] que mulher besta!!。gemini-2.5-flash,输出类别为Neutral、Toxic或Misogynistic。如果预测为Toxic或Misogynistic,样本进入人工标注;如果预测为Neutral,样本被丢弃。原文记录 triage 保留 355 条,丢弃 259 条。Misogynistic、一人认为Toxic的分歧。多数表决规则下,至少两人支持的标签胜出,因此label_misoginia为 1,confidence_label为majority。source为twitter,label_source为空;如果来自 OLID-BR,则source为olid-br,并保留原始 OLID-BR 标签。448 + 367 = 815。为了平衡,从 OLID-BR 再导入 81 条 not offensive 负例,得到367 + 81 = 448条负例。最终语料为448 + 448 = 896条。716 + 180 = 896。每个划分都保持 50/50 平衡。BERTimbau Base在测试集上输出 positive 或 negative。原文报告该模型产生 74 true positives、16 false negatives、76 true negatives、14 false positives。示例样本如果被正确预测为 positive,会属于 74 个 true positives 之一;如果被漏掉,会属于 16 个 false negatives 之一。150 ÷ 180 = 0.833,Wilson 95% CI 为[0.772,0.881]。原文说明单个测试样本约对应 0.56 个百分点 accuracy,因此差异很小的点估计不能过度解读。6. 核心数学推导
原文公式提取不完整,无法辨认。下面不声称逐字复原,而是根据原文给出的混淆矩阵、TPR、FPR 和概率规则重建其含义。
先解释符号:
π:部署流中 misogyny 的真实 prevalence,即随机一条文本是 misogynistic 的概率。TPR:true positive rate,也就是 recall,表示文本确实是 misogynistic 时模型发出 positive flag 的概率。FPR:false positive rate,表示文本不是 misogynistic 时模型错误发出 positive flag 的概率。flag:模型输出 positive,即预测为 misogynistic。pos:真实标签为 misogynistic。neg:真实标签为 non-misogynistic。原文给出
BERTimbau Base的混淆矩阵:74 true positives、16 false negatives、76 true negatives、14 false positives。由此可得正类样本数为74 + 16 = 90,负类样本数为76 + 14 = 90。原文据此给出:TPR = 74 ÷ 90 = 0.822。FPR = 14 ÷ 90 = 0.156。Precision 在给定 prevalence 下可以写成条件概率:
Pr[pos ∣ flag] = Pr[flag ∣ pos]·Pr[pos] / (Pr[flag ∣ pos]·Pr[pos] + Pr[flag ∣ neg]·Pr[neg])含义是:在所有被模型标记为 positive 的样本中,真正是 misogynistic 的比例。根据定义:
Pr[flag ∣ pos] = TPR = 0.822。Pr[flag ∣ neg] = FPR = 0.156。Pr[pos] = π。Pr[neg] = 1 − π。代入得到:
Precision(π) = π·0.822 / (π·0.822 + (1−π)·0.156)原文给出的数值是:当
π = 0.5时返回约 0.84;当π = 0.05时返回约 0.22;当π = 0.01时返回约 0.05。这个公式在算的是:保持模型 sensitivity 和 false alarm rate 不变,只改变真实正例比例,模型发出的 positive 中有多少是真阳性。它解释了为什么 balanced test set 上的 precision 不能直接当作部署 precision。7. 实验设计
数据集是 MISO-BR,共 896 条文本,二分类任务为 misogynistic 对 non-misogynistic。训练集 716 条,测试集 180 条,满足
716 + 180 = 896。两个划分都保持 50/50 类别平衡,且 partition 固定发布。基线包括四类 classical models 和两个 transformer models:
主要指标是 macro-F1。额外报告 accuracy、misogynistic 类的 precision 和 recall、ROC-AUC、AUC-PR。因为测试集只有 180 条,原文使用 Wilson 95% CI,并拒绝解释落在置信区间内的小差异。
消融或对照包括:
π下降。实验能支撑的结论是:在该固定协议和该 balanced test set 上,transformers 明显优于 classical baselines;Base 与 Large 在 macro-F1 和 confusion matrix 上不可区分;balanced 指标不能直接外推到低 prevalence 部署。
实验不能支撑的结论是:模型在真实自然流中的部署表现、MISO-BR 比 MINA-BR 更容易建模、triage 阶段的 pipeline recall、provenance confound 的大小、以及跨平台或跨时间窗口的泛化。缺失实验包括:更大测试集、paired significance tests、source-stratified evaluation、predict
sourcefrom text、re-annotate 259 discarded items、unanimous 与 majority 子集分别评估、functional tests、cross-corpus transfer evaluation。8. take-aways
BERTimbau Base的 macro-F1 为 0.833,最佳 classical baseline 为 0.676,差值为0.833 − 0.676 = 0.157。这说明 lexical models 在该任务上明显不足。BERTimbau Base的 misogynistic recall 为 0.822。原文给出的 precision 从 classical 的 0.710 上升到 0.841,recall 从 0.600 上升到 0.822,说明主要增益在找回 implicit positives。BERTimbau Base与BERTimbau Large的 macro-F1 都是 0.833,并且 confusion matrix 相同:74 true positives、16 false negatives、76 true negatives、14 false positives。Large 的训练时间为 22.22 分钟,Base 为 8.49 分钟,原文报告约为 2.6 倍成本。TPR = 0.822和FPR = 0.156,在 prevalence 为 0.05 时 precision 约 0.22,在 prevalence 为 0.01 时 precision 约 0.05。687 + 129 = 816。分歧集中在 implicit、ironic、quoted misogynistic content,这些正是任务难点。9. 最脆弱的假设
最脆弱的假设是:标签不是被 provenance 或文本来源风格所决定,模型的高分主要反映 misogyny 识别,而不是识别“这条文本来自 X 抓取”还是“这条文本来自 OLID-BR”。
如果这个假设倒下,结论会明显受损。因为原文报告
BERTimbau Base的 macro-F1 为 0.833,Wilson 95% CI 为[0.772,0.881],而 classical baselines 在 0.651 到 0.676 之间。如果模型实际上主要学到source与 label 的相关性,那么 0.833 对 0.676 的0.157差距可能部分来自采样和导入策略,而不是 misogyny 语义理解。原文给出的证据是:语料中约 60% 来自 OLID-BR,约 40% 来自 scraping;scraping 部分使用 misogyny lexicon,因此更偏向 positive;OLID-BR 部分贡献 not offensive 负例,包括全部 81 条 balance top-up。原文也发布了
source字段,使这个 confound 可测。但原文没有报告 source predictor 的准确率,也没有报告按 source 分层后的模型表现。原文有句子:We do not know how large that part is, and we say so.另一个同样脆弱但次一级的假设是 triage 没有系统性丢掉太多 implicit misogyny。原文记录 614 条抓取样本中有 259 条被 triage 判为 Neutral 并丢弃,满足
355 + 259 = 614。这 259 条没有重新标注,所以 pipeline 对抓取池的 recall 未知。如果 discarded items 中有大量 implicit misogyny,语料会低估任务难度,也会低估 lexical models 的失败程度。10. 一周最小复现
目标是复现最核心结论:在 MISO-BR 固定划分上,classical lexical models 的 macro-F1 约在 0.651 到 0.676,而
BERTimbau Base约达到 0.833,且 Base 与 Large 在该数据规模上不可区分。使用一张 24GB 消费级显卡和一周时间,可以按如下步骤做:
v1.0。核对总量为 896,训练集 716,测试集 180,满足716 + 180 = 896;核对 balanced 标签为 448 对 448,满足448 + 448 = 896。核对字段包括text、label_misoginia、confidence_label、source、label_source。BERTimbau Base,不训练 Large。使用 cased tokenisation,max sequence length 在 128 到 256 之间,batch size 16,最多 20 epochs,AdamW,early stopping patience 3,按 validation macro-F1 选 checkpoint。预期测试集 macro-F1 约 0.833,accuracy 为150 ÷ 180 = 0.833,precision 约 0.841,recall 约 0.822。[0.772,0.881]。报告 confusion matrix:74 true positives、16 false negatives、76 true negatives、14 false positives。source是否为twitter或olid-br;再把BERTimbau Base分别在source=twitter和source=olid-br子集上评估;同时把[USER]替换成 constant 后重跑 Base。若 Base 在 source-stratified 评估中仍明显高于 classical 的 0.676,则核心结论更稳;若性能塌回 0.676 附近,则说明 provenance confound 很大。这一周不需要复现 Large。原文报告 Large 训练时间 22.22 分钟,Base 为 8.49 分钟,且两者 macro-F1 和 confusion matrix 相同。对 716 条训练样本而言,Base 是更理性的复现对象。
11. 反例设计
设计一个实验,用来检验核心主张:
BERTimbau Base相对 classical models 的 0.157 macro-F1 增益,主要来自 misogyny 语义识别,而不是来自数据集构建偏差。实验步骤:
BERTimbau Base和最佳 classical baselineRandom Forest。text,输出为source=twitter或source=olid-br。source分层,分别计算 Base 和 Random Forest 的 macro-F1。twitter和olid-br子集在正负类上都不偏向任一来源。[USER]替换为 constant;移除或 mask 掉与抓取词表强相关的 unigram 和 bigram。source=twitter上明显好,在source=olid-br上明显差,说明它可能依赖来源风格。成功推翻核心主张的判据是:
BERTimbau Base在 source-stratified 或 source-balanced 评估中的 macro-F1 下降到 0.676 附近,即不再高于 Random Forest 的 full-corpus macro-F1。0.833 − 0.676 = 0.157增益在去来源化评估中消失或变得不可区分。source,而不是来自 implicit、ironic、stereotype-driven misogyny 的找回。如果这些条件同时成立,则本文核心主张被严重削弱:0.833 不再可靠地代表 misogyny detection 能力,而更像是对 provenance 和采样偏差的识别。相反,如果 source predictor 接近随机,Base 在 source-balanced 评估中仍明显高于 0.676,则核心主张得到加强。
12. 落地判断
这项成果离普通用户直接“用得上”还有明显距离,但离研究团队和应用开发者进入原型阶段并不远。
普通用户:
source字段、confidence_label字段,以及原文对 prevalence 和 provenance 的限制说明。应用开发者:
FPR = 0.156,并设置人工复核队列,而不是让模型单独执行处罚。source=twitter与source=olid-br的风格差异。[USER]标记,因为原文指出它来自匿名化,且与 positive class 相关。研究团队:
Neutral、Toxic、Misogynistic三值区分,binary 只是发布映射。距离可用还差的步骤:
BERTimbau Base训练时间 8.49 分钟,BERTimbau Large为 22.22 分钟,且两者在该数据规模上不可区分。因此算力不是主要障碍。成本量级与最大的坑: