Re60：读论文 FILM Adaptable and Interpretable Neural Memory Over Symbolic Knowledge

诸神缄默不语-个人CSDN博文目录
诸神缄默不语的论文阅读笔记和分类

论文名称：Adaptable and Interpretable Neural Memory Over Symbolic Knowledge
模型名称：Fact Injected Language Model (FILM)

NAACL版网址：https://aclanthology.org/2021.naacl-main.288/

本文是2021年NAACL论文，作者来自谷歌。

这篇论文解决的也是LM中信息更新难（需要改数据重新训练）的问题，提出了可解释的神经符号知识库fact memory，每个元素来自一个三向量组（每个向量对应一个知识库实体或关系）。
entity memory
FILM：masked LM

总之就是这种堆叠的模型……

这篇论文看起来太堆叠了，没什么值得我现在研究的trick，而且是谷歌论文（谷歌的论文普遍晦涩难懂），所以没有仔细看。

实验

这个是考虑到训练集使用数据的问题：