【论文阅读笔记|EMNLP2023】DemoSG: Demonstration-enhanced Schema-guided Generation for Low-resource Event Ext

论文题目：DemoSG: Demonstration-enhanced Schema-guided Generation for Low-resource Event Extraction

论文来源：EMNLP2023

论文链接：2023.findings-emnlp.121.pdf (aclanthology.org)

代码链接：https://github.com/GangZhao98/DemoSG

0 摘要

当前大多数事件抽取（EE）方法都专注于高资源场景，这需要大量的带注释数据，难以应用于低资源领域。为了更有效地应对有限资源下的EE问题，我们提出了增强演示引导生成（DemoSG）模型，它从两个方面为低资源EE提供了帮助：首先，我们提出了基于演示的EE学习范式，充分利用带注释的数据，将其转化为演示来展示提取过程，并帮助模型有效学习。其次，我们将EE作为一个由基于模式的提示引导的自然语言生成任务来进行建模，从而利用标签语义并促进低资源场景中的知识转移。我们在三个数据集上进行了大量实验，涵盖了领域内和领域适应的低资源设置，并研究了DemoSG的鲁棒性。结果显示，在低资源场景下，DemoSG明显优于当前方法。

1 引言

事件抽取（Event Extraction，EE）的目标是从非结构化文本中提取事件记录，这些记录通常包括指示事件发生的触发词和多个预定义角色的论元。例如，图1中显示的文本描述了两个记录，分别对应于“Transport”和“Meet”事件。其中，“Transport”记录由单词“arrived”触发，并包含3个论元：“Kelly”，“Beijing”和“Seoul”。类似地，“Meet”记录由“brief”触发，并具有两个论元：“Kelly”和“Yoon”。事件抽取在自然语言处理中起着关键作用，因为它为各种下游任务提供了有价值的信息，包括知识图谱构建（Zhang等，2020）和问答系统（Han等，2021）。

大多数研究主要集中在高资源情景，这需要大量的注释训练数据才能达到满意的表现。然而，事件注释是一个昂贵且劳动密集型的过程，这使得这些方法在注释数据有限的域中应用具有挑战性。因此，越来越需要在以缺乏训练例子为特征的低资源场景中探索EE，这已经引起了最近的关注。

Lu等人（2021）将EE建模为一个统一的序列到结构的生成，促进了事件检测和论元提取子任务之间的知识共享。在Lu等人（2021年）的基础上，Lu等人（2022年）在大规模数据集上引入了各种预训练策略，以增强结构生成和提高低资源的EE性能。Hsu等人（2022年）通过手动为每种事件类型设计一个提示符，纳入了补充信息，包括事件描述和角色关系。

然而，尽管现有方法有效，它们仍存在一定的不足之处：1）序列到结构生成忽略了下游结构生成与预训练自然语言生成之间的差距。2）大规模预训练需要大量的计算资源和过多的语料库。3）精细提示的手动设计仍需要相当大的人力投入，并且事件抽取的性能对提示的设计非常敏感。

在本文中，为了更有效地处理有限资源下的事件抽取（EE），我们提出了增强演示的模式引导生成（DemoSG）模型，从两个方面受益：1）提高使用标注数据的效率。2）增强跨不同事件之间的知识转移。

为了充分利用标注的训练数据，我们不仅将它们视为模型学习的信号，还将它们视为任务演示来向模型说明抽取过程。具体而言，如图1所示，DemoSG为每个事件选择一个合适的训练样本，将其转换为自然语言风格的演示，并将演示与输入文本一起整合，以增强抽取效果。我们将这种范式称为基于演示的EE学习，它从GPT系列（Ouyang等，2022）的上下文学习中汲取了灵感。为了识别适当的示例进行演示，我们设计了几种选择策略，可分类为两组：1）面向演示的选择，旨在选择具有最佳演示特征的示例。2）面向实例的检索，旨在找到与输入句子最相似的示例。通过演示的增强，DemoSG可以更好地理解EE过程，并仅使用少量的训练样本有效地进行学习。

为了进一步增强知识转移能力并提高演示的有效性，我们利用标签语义信息，通过基于模式的提示将EE转化为seq2seq生成任务。具体而言，DemoSG为每个事件创建一个形式上类似于演示的提示，其中包含事件模式中指定的事件类型和角色。然后，将提示和增强演示的句子一起输入预训练语言模型（PLM），生成描述事件记录的自然语句。最后，DemoSG使用基于规则的解码算法从生成的句子中解码记录。DemoSG的模式引导序列生成以多种方式促进知识转移：首先，利用标签语义有助于在不同事件之间进行抽取和知识转移。例如，“目的地”角色的语义暗示其参数通常是一个地点，“攻击者”和“裁判员”之间的相似性使得在它们之间传递参数抽取知识变得容易，因为它们都指示给人类。其次，自然语言生成与PLM的预训练任务一致，消除了结构生成方法过度预训练的需要（Lu等，2021, 2022）。此外，与预定义类别约束的分类方法不同，DemoSG更灵活，可以通过演示来适应新事件，无需进一步微调，这被称为无参数域适应能力。

我们的贡献可以总结如下：

1）我们提出了一种基于演示的EE学习范式，它可以自动创建演示来帮助理解EE过程，并仅使用少量的训练样本有效地进行学习。
2）我们将EE转化为基于模式的自然语言生成任务，利用事件标签的语义信息，在低资源情况下促进知识转移。
3）我们在三个数据集上进行了广泛的实验，研究了DemoSG的鲁棒性，结果表明，在低资源场景中，DemoSG明显优于之前的方法。

2 相关工作

低资源事件抽取

大部分之前的事件抽取方法都侧重于高资源场景，这使得它们很难应用于标注数据有限的新领域。因此，低资源事件抽取近年来开始引起人们的关注。

• Lu等人（2021年）将事件抽取建模为