chatbot-检索式模型介绍（四）

检索式模型介绍（四）

• 这个系列的文章主要是介绍一些可以作为文本匹配工作的一些模型，有些是比较基础的算法，例如bm25。有些模型是基于深度学习的架构，比如说deepMatch模型。个人认为文本匹配的任务有两种实现方式，一个是学习不同domain中text的representation，然后利用representation计算score，这个的score可以是相似度（cosine，欧式距离等）。当然一般的处理是直接用dot pruduct。 第二种方式是利用sentence中不同词的特征直接计算相似度。这类的方法如deepMatch等。
• 当然，大部分的算法模型，都是从相关的论文里面总结，由于个人水品有限，还是会有一些疏漏，请多多指正。
• 本片blog介绍的模型有aNMM-1，aNMM-2，HyperQA，BiMPM，Compare-aggregate Model，IWAN以及MCAN。

十六 aNMM[1]

16.1 简介
本文是基于value-shared weighted的一种改进的语义匹配模型。常见的cnn结构是position-shared weight。也就是说在cnn的卷积核中，相对位置一样的地方权重是一样的。如下图所示，相同颜色的部分表示在卷积核中的权重是一样的。

这种cnn的特征的缺陷是在一个sentence中，文本语义不可能有这种在位置上特殊规律。所以本文在cnn的基础上提出了value-shared weighted的一种语义匹配模型。表示的