【论文笔记】Unifying Large Language Models and Knowledge Graphs：A Roadmap

（后续更新完善）

2. KG-ENHANCED LLMS

2.1 KG-enhanced LLM Pre-training

以往将KGs集成到大型语言模型的工作主要分为三个部分:1)将KGs集成到训练目标中，2)将KGs集成到LLM输入中，3)将KGs集成到附加的融合模块中。

2.1.1 Integrating KGs into Training Objective

这一类的研究工作集中在设计新的知识感知训练目标，一个直观的想法是在预训练目标中暴露出更多的知识实体。

例如：

GLM利用知识图谱结构来分配一个掩盖概率。具体来说，可以在一定数量的跳数内到达的实体被认为是最重要的学习实体，在预训练期间，它们被赋予更高的屏蔽概率。

E-BERT进一步控制标记级和实体级训练损失之间的平衡。训练损失值被用作标记和实体的学习过程的指示，它动态地确定它们在下一个训练周期的比例。

SKEP采用了类似的融合方法，在LLMs预训练期间注入情感知识。SKEP首先通过利用PMI和一组预定义的种子情感词来确定具有积极和消极情感的词。然后，它在词语掩蔽目标中为这些确定的情感词语分配一个较高的掩蔽概率。

另一项工作是明确利用与知识和输入文本的联系。

如图9所示，ERNIE提出了一个新的词-实体对齐训练目标作为预训练目标。

具体来说，ERNIE将文本中提到的句子和相应的实体都输入到LLM中，然后训练LLM来预先决定文本标记和知识图谱中实体之间的对齐链接。

KALM通过纳入实体嵌入来增强输入的标记，除了纯标记的预训练目标外，还包括一个实体预测预训练任务。这种方法旨在提高LLM捕获与实体有关的知识的能力。

KEPLER直接将知识图谱嵌入训练目标和Masked token预训练目标纳入一个基于共享变压器的编码器。

确定性的LLM专注于预训练语言模型以捕获确定性的事实知识。它只对有确定性实体作为问题的跨度进行遮蔽，并引入了额外的线索对比学习和线索分类目标。

WKLM首先用其他同类型的实体替换文本中的实体，然后将其送入LLMs。该模型被进一步预训练以区分实体是否被替换。