Bert MLM

Bert MLM(masked language model)是一个很有前景的方向，开个帖子记录下相关的发展思路.

MLM小样本学习

这篇论文我没有看，是从苏神的博客学到的，本质上是把MLM应用到文本分类，比如，我们想做一个情感分类，只需要在句子前面加上前缀“——满意”，填充的内容包括“很”和“不”，这样就可以把情感分类转化为mask填充问题。具体的训练称之为Pattern-Exploiting Training，训练方式采用半监督（大量无监督的样本+少量标签样本），效果很可观。
必须要GPT3吗？不，BERT的MLM模型也能小样本学习

MLM文本纠错

MLM人群属性预测