论文DEBERTA: DECODING-ENHANCED BERT WITH DISENTANGLED ATTENTION之conclusions

论文DEBERTA: DECODING-ENHANCED BERT WITH DISENTANGLED ATTENTION之conclusions

这篇论文提出了一种新的模型架构DeBERTa（解码增强的BERT，带有解缠结注意力机制），该架构通过两种新技术改进了BERT和RoBERTa模型。第一种技术是解缠结注意力机制，其中每个词语分别用两个向量表示，一个向量编码词语的内容，另一个向量编码词语的位置。词语之间的注意力权重分别通过其内容和相对位置的解缠结矩阵来计算。第二种技术是增强的掩码解码器，它在解码层中引入绝对位置来预测模型预训练中的被掩码的词语。此外，论文还提出了一种新的虚拟对抗训练方法，用于微调模型，以提高模型在下游任务中的泛化能力。

举例说明

1. 解缠结注意力机制：

   • 假设我们有一句话“我喜欢吃苹果”，在传统的BERT模型中，每个词语（如“我”或“苹果”）会通过一个向量来表示，其内容和位置信息都包含在这个向量中。然而在DeBERTa中，每个词语会分别用两个向量表示，一个向量表示内容（如“喜欢”这个词的含义），另一个向量表示位置（如“喜欢”在句子中的位置）。
   • 在计算注意力时，DeBERTa使用两个解缠结矩阵，一个矩阵用于计算词语内容之间的注意力权重，另一个矩阵用于计算词语相对位置之间的注意力权重。例如，当计算“喜欢”和“吃”之间的注意力权重时࿰