论文笔记 EMNLP 2020|Joint Constrained Learning for Event-Event Relation Extraction
文章目录
-
- 1 简介
-
- 1.1 创新
- 2 方法
-
- 2.1 事件对表示
- 2.2 上下文事件触发词编码
- 2.3 常识知识
- 2.4 联合约束学习
- 3 实验
1 简介
论文题目：Joint Constrained Learning for Event-Event Relation Extraction
论文来源：EMNLP 2020
论文链接：https://arxiv.org/pdf/2010.06727.pdf
代码链接：https://cogcomp.seas.upenn.edu/page/publication_view/914
1.1 创新
- 提出一个联合约束学习模型，用于多种事件关系抽取(时间关系、子事件关系)，同时提高了两种时间关系抽取任务的指标。
2 方法
文档D表示为一个token序列 D = [ t 1 , . . . , e 1 , . . . , e 2 , . . . , t n ] D=[t_1,...,e_1,...,e_2,...,t_n] D=[t1,...,e1,...,e2,...,tn]，其中一些token为注释事件的触发词，目标是抽取时间事件关系(BEFORE, AFTER, EQUAL, VAGUE)和子事件关系(PARENT-CHILD, CHILD-PARENT, COREF，NOREL)。其中模型的整体框架如上图，主要包括下面几部分：
2.1 事件对表示
对事件对进行编码，同时加入常识知识，最后使用两个不同的分类器，得到具体任务的标签。
2.2 上下文事件触发词编码
首先使用RoBERTa进行上下文编码，然后加入one-hot的词性标签，然后通过BiLSTM进行编码，最后对于一个事件对 ( e 1 , e 2 ) (e_1,e_2) (e1,e2),特征包括 e 1 e_1 e1的上下文编码 h e 1 h_{e_1} he1、 e 2 e_2 e2的上下文编码 h e 2 h_{e_2} he2、Hadamard product (对应元素相乘)和subtraction。
2.3 常识知识
使用ConceptNet知识，分别为时间关系和子事件关系训练一个MLP编码器，表示常识特征。
2.4 联合约束学习
分为下面三种约束：
- 注释约束：期望模型的预测满足注释，规则和Loss公式如下：
|
|
|
|
|
|
|
|
总的学习目标如下：
取得到的最高分数的关系，作为该事件对的关系标签，其中预测子事件关系有更高的优先级。
3 实验
时间关系数据集为MATRES，子事件关系数据集为HiEve，数据统计如下：
实验结果如下图：
消融实验结果如下图：
在RED数据集上的Case Study：
|
|
|
|
|
|
|
|