NLP学习路线图（四十五）：偏见与公平性

一、偏见：算法中的“隐形歧视者”

NLP模型本身并无立场，其偏见主要源于训练数据及算法设计：

1. 数据根源：人类偏见的镜像

   • 历史与社会刻板印象： 大量文本数据记录着人类社会固有的偏见。词嵌入模型（如Word2Vec, GloVe）曾显示：“男人”与“程序员”的关联度远高于“女人”；“非裔美国人姓名”更易与负面词汇关联。训练语料库若包含带有性别歧视、种族歧视或地域歧视的文本，模型便可能吸收并重现这些关联。

   • 代表性偏差： 训练数据若未均衡覆盖不同群体（如特定方言、少数族裔语言、残疾人用语），模型在处理这些群体相关文本时性能会显著下降，形成“数字排斥”。

   • 标注者偏见： 数据标注过程中，标注者自身的社会文化背景可能无意识影响标签分配，如将中性语句标注为更具负面情绪。

2. 算法设计：偏见放大器