Query and Extract: Refining Event Extraction as Type-oriented Binary Decoding（2022）论文笔记

内容

模型图

触发器检测

事件类型

由于类型名称的歧义，以及每种事件类型事件提及的多样性，类型名称本身并不能准确的事件类型的语义

触发器选择

对于每个事件类型 t，我们从训练示例中收集一组带注释的触发器。对于每个唯一的触发词，我们从整个训练数据集中计算它的频率为 fo，它被标记为类型 t 的事件触发的频率为 ft，然后得到一个概率 ft/fo，用于对所有的事件类型 t 的注释触发器。我们选择排名前 K4 的词作为原型触发器 {τ1, τ2, . . . , τK}。每个事件类型将用一个自然语言的单词序列来表示，包括它的类型名称和原型触发器列表 T = {t, τt 1, τt 2, . . . , τt K}。

上下文编码

我们取每个事件类型 T = {t, τt 1, τt 2, . . . , τt K} 作为查询来提取相应的事件触发器。以及提供输入的句子W = {w1, w2, . . . , wN},并将其连接，用BERT对下图序列进行编码。

上下文表示

我们需要捕获每个输入标记与事件类型的语义相关性。因此，我们应用注意力机制来学习事件类型查询的上下文表示序列上的权重分布，并为每个标记获得事件类型感知上下文表示：

Tj是序列T = {t, τt 1, τt 2, . . . , τt K}.中第j个标记的上下文表示
事件触发的预测还依赖于特定上下文的发生。为了捕获此类上下文信息，我们进一步应用上下文注意来捕获每个输入标记的有意义的上下文单词：

AT i 表示事件类型 t 对token wi 的感知上下文表示。
ρ(.) 是注意力函数，计算为来自 BERT.6 的最后 m 层的自注意力权重的平均值
事件触发检测使用面向事件类型的注意和上下文注意机制，输入句子中的每个标记 wi 将获得两个丰富的上下文表示 AW i 和 AT i 。我们将它们与来自 BERT 编码器的原始上下文表示 wi 连接起来，并将其分类为二进制标签，指示它是否为事件类型 t 的候选触发器：

[; ] 表示连接操作，Uo 是用于事件触发检测的可学习参数矩阵，Pi 是单词 wi 的单热词性 (POS) 编码。

参数提取

预定义参数角色

上下文编码

句子 W = {w1, w2, . . . , wN} 及其事件类型 t，我们首先获得事件类型 t 的预定义参数角色集合为 Gt = {gt 1, gt 2, …, gt D}。为了提取 r 的相应参数，我们将所有参数角色 Gt 作为查询并将它们与原始输入句子连接

对于候选触发词r的表示，我们将获取所有r的上下文表示r的标记的平均值。对于来自事件序列中的角色识别，使用过BERT-CRF模型识别实体。E = {e1, e2, …, eM}，由于每个实体也可能跨越多个标记，遵循相同的策略，我们平均每个实体内所有标记的上下文表示，并获得实体上下文表示为 E= {e1, e2, …, eM}.

多项注意力

为了确定实体e是否扮演了角色事件提及触发词r中的角色g，先获取一个触发感知实体表示：

其中 ◦ 表示逐元素乘法运算。 Uh 是一个可学习的参数矩阵。
为了确定角色与实体的语义相关性，计算hi和gt j的相似矩阵S

σ 表示点积运算符，d表示 gt 的嵌入维度，Sij 表示实体 ei 与给定候选触发器 r 的特定参数角色 gt j 的语义相关性。
基于S，进一步应用双向注意机制来获得每个实体的参数角色感知上下文表示和每个参数角色的实体感知上下文表示，如下所示：

实体或论点角色之间的潜在关系对于提取论点也很重要。例如，如果实体 e1 被预测为攻击事件的攻击者，并且 e1 位于另一个实体 e2 中，那么 e2 很可能扮演了攻击事件的地点的参数角色。为了捕捉实体之间的潜在关系，我们进一步计算了它们之间的自注意力

为了捕捉论点角色之间的潜在关系，我们还计算它们之间的自注意力

最后，通过二分类确定实体ei是否在事件提及中扮演gt j的参数角色

Ua是可学习的参数矩阵，~zt ij是事件类型t 的评分矩阵，损失：

其中 A 表示可能的参数角色的集合，E 是我们需要考虑提取参数的实体集。 zij 表示实际情况的标签向量。在测试过程中，如果其他类别的预测为 1，则将实体标记为非参数。否则，可以将其标记为多个参数角色。