[论文解读]Going out on a limb: Joint Extraction of Entity Mentions and Relations without...

• 论文地址：https://www.aclweb.org/anthology/P17-1085.pdf
• 发表会议：ACL2017

---

背景

• 作者在2016年发表的论文：”Investigating LSTMs for Joint Extraction of Opinion Entities and Relations“联合抽取了opinion实体和关系，但是并没有抽取出关系的类型。
• 这篇论文也是实体和关系的联合抽取，他是对论文：“End-to-End Relation Extraction using LSTMs on Sequences and Tree Structures“的改进，作者认为利用依存树结构的效果依赖于解析树的解析器的性能，并且上述论文也不是一个真正的联合抽取，所以作者冒险废弃了树结构。

---

主要工作

• 上图描述的是对“safwan”这个单词进行实体识别和关系分类的示例图。前面都好理解，主要看一下relation layer，relation layer利用了attention的思想。对于当前entity（关系分类只考虑是entity的token），计算它与之前所有entity的相似度，然后进行softmax，选择最大概率的entity做为和它有关系的entity。具体来说，query是当前位置t的lebel embedding（${}^{b}t$）和top-hidden unit（以下简称${}^{z}t$）的拼接。而key和value为位置t之前的所有${}^{z}t$和${}^{b}t$的拼接。即query要和所有之前的位置t（只包括实体位置，非实体不计算）的key进行相似度计算，然后softmax后选择一个最大概率的entity，如果最大概率是本身，则说明该实体没有关系。具体公式如下所示：
  
  这里w1在每个位置是不同的，因为后面每个位置t的堆叠维数不同，而且没有用到value，即直接选择权值u最大的entity。
• 以上只能得到当前位置的entity和它之前的哪个entity最有关系，而并没有指明关系类型，作者提出在相似度计算函数中的参数v中增加维数，从而得到的u不再是权重值而是一个R维的向量，R为关系的类别数，这样经过所有位置的softmax就能得到一个T*R的矩阵，T为当前位置数，这样取矩阵中最大的数（概率）所代表的位置和关系即为和当前位置entity最有关系的entity和relation。
• 对于多关系分类，即一个entity可能与多个entity有关系，作者在训练的时候对每个关系对应的位置不再设为1，而是设为1/N，N为这个位置entity对应的关系数。
• 大多数序列标注问题在解码的时候采用从左到右的解码方式，缺少对右边序列的建模，作者利用了对输出的双向建模来提高模型效果。在训练的时候，bilstm及以下的结构是共享的，bilstm之上的网络是分开的，即前向和后向建模，每一步使用真实label做为下一步的输入。在预测阶段，因为没有真实label，所以前向后向的输出可能有冲突，这时选择最大概率值的label做为输出。
• 不同于其他的bilstm把前向和后向单元的输出拼接，作者把前后向单元又feed进了一个神经网络做为输出。
  

思考

• 和论文1“End-to-End Relation Extraction using LSTMs on Sequences and Tree Structures“相比，不同点除了是否利用树结构这个外部特征之外，论文1主要是先进行了实体识别，然后遍历所有的实体对，输出他们之间关系，关系识别和实体识别的底层网络是共享的，但并不能说是真正的联合抽取。这篇论文是一边识别实体，一边抽取关系，具体来说是当前位置实体识别出来后，通过比较它与之前所有位置实体的相似度（attention机制），来识别出当前实体与其他实体的关系，是真正的联合抽取。

参考

1. https://blog.csdn.net/bobobe/article/details/82867239；
2. https://blog.csdn.net/bobobe/article/details/82878169；
3. Going out on a limb: Joint Extraction of Entity Mentions and Relations
   without Dependency Trees；