6.4向量空间模型,余弦相似度计算

提示:
信息检索:文档评分-词项权重计算-向量空间模型
 第四部分:向量空间模型
6.4向量空间模型,余弦相似度计算_第1张图片

文章目录

  • 向量空间模型
    • 关联矩阵
    • 文档表示成向量
    • Queries表示成向量
    • 向量相似度计算
      • 欧式距离?
      • 利用夹角代替距离
        • 文档长度归一化
      • 余弦相似度(query,document)
        • ※余弦相似度计算举例


6.4向量空间模型,余弦相似度计算_第2张图片

向量空间模型

关联矩阵

二值关联矩阵:词项-文档
6.4向量空间模型,余弦相似度计算_第3张图片
词频矩阵:词频-文档
6.4向量空间模型,余弦相似度计算_第4张图片
6.4向量空间模型,余弦相似度计算_第5张图片
权重是前面的tf-idf权重:
6.4向量空间模型,余弦相似度计算_第6张图片

文档表示成向量

在这里插入图片描述

|V|维向量空间,每一维都对应词项,文档是空间的点或向量。
维度相当大,对于互联网来说,甚至达到千万维或更高。
向量空间非常稀疏,几乎都是0.

Queries表示成向量

■关键思路1:对于查询做同样的处理,即将查询表示成同一高维空间的向量
■关键思路2:在向量空间内根据queries与文档向量间的距离来排序

向量相似度计算

欧式距离?

6.4向量空间模型,余弦相似度计算_第7张图片
计算两个向量终点之间的距离:
不能采用欧氏距离,从上图分析,欧氏空间对距离十分敏感,q与d2欧氏距离很远,但它们实际分布很接近。

利用夹角代替距离

6.4向量空间模型,余弦相似度计算_第8张图片

文档长度归一化

就是把文档向量,变成单位向量呗,长度就不会影响相关性比较了,上面的文档d和d‘就相等了。同一个向量表示就可以了

L2范数:6.4向量空间模型,余弦相似度计算_第9张图片

向量除以L2范数就是长度归一化。
文档长度差异就不会影响到相关性的比较了。

余弦相似度(query,document)

观点等价于夹角递减排序
6.4向量空间模型,余弦相似度计算_第10张图片
[0,180]区间内,cosine是单调递减函数。
6.4向量空间模型,余弦相似度计算_第11张图片
6.4向量空间模型,余弦相似度计算_第12张图片
cos(q,d) q,d的余弦相关性等价于q,d夹角余弦值。

长度归一化后:
6.4向量空间模型,余弦相似度计算_第13张图片
6.4向量空间模型,余弦相似度计算_第14张图片

※余弦相似度计算举例

词项频率tf—>词项频率tf取对数—>长度归一化—>计算

文档-词项频率tf关联表如下:文档(sas,pap,wh)
6.4向量空间模型,余弦相似度计算_第15张图片
6.4向量空间模型,余弦相似度计算_第16张图片
6.4向量空间模型,余弦相似度计算_第17张图片

在这里插入图片描述

把query表加入上述表之中,分别计算query和其他文档的cosine值,那么就能得出,其他文档与query的相关度

6.4向量空间模型,余弦相似度计算_第18张图片

你可能感兴趣的:(信息检索,程序人生,信息检索,自然语言处理)