Elasticsearch：什么是搜索相关性？

搜索相关性定义

搜索相关性衡量的是搜索引擎返回的搜索结果与用户查询和意图之间的匹配程度。搜索结果的质量取决于显示的信息与用户预期之间的契合度。

提升搜索相关性和性能需要进行语言分析、排序算法优化以及考虑上下文因素。这些因素可能包括用户行为分析、位置信息、热门程度和搜索历史等。搜索相关性是客户体验中的关键因素，通过合理平衡，搜索体验可以同时满足企业和用户的需求。

了解为什么相关性对搜索引擎至关重要，以及如何借助 Elasticsearch 实现最佳的相关性排序能力。这个视频展示了构建现代搜索应用如何帮助终端用户实时找到相关结果。

为什么搜索相关性很重要 | Elastic Snackable 系列

搜索相关性算法

搜索相关性依赖于复杂的算法来评估、处理、检索和排序信息。搜索相关性算法能够解析关键词和意图的语义，评估信息来源的权威性，并解读诸如用户参与度、地理位置和个人偏好等信号。

常见的搜索相关算法包括：

• TF-IDF（词频-逆文档频率）：用于评估关键词的重要性，奖励那些在目标文档中频繁出现但在其他文档中较少出现的词语。更多阅读：Elasticsearch：分布式计分 - TF-IDF
• RankBrain：由 Google 开发的 AI 驱动算法，利用机器学习理解并处理查询，以更好地把握用户意图，特别是在意图复杂或模糊的情况下。
• 向量空间模型：通过将文档和查询表示为多维空间中的向量，从而进行比较和排序。
• 潜在语义分析（Latent semantic analysis - LSA）：使用统计方法识别词语之间的潜在关系，对关联词语和短语进行处理。
• 自然语言处理（Natural language processing - NLP）：一种机器学习技术，使搜索引擎能够更好地理解人类语言中的上下文和语义。

搜索相关性的关键因素

搜索相关性的关键因素涵盖从关键词密度到用户参与度等各种信号。搜索引擎会抓取内容和链接，收集并索引数据，然后根据庞大的标准池为每个页面分配相关性，进行评分、排序和排名。随后，它们必须解析关键词和语句的上下文，以提供用户真正想要的内容。

搜索相关性的关键因素包括：

• 文本分析与关键词相关性
  • 将查询词与文章、页面、文档和商品列表中的内容进行匹配是建立相关性的核心。这一过程会受到自然语言表达、同义词、词形变化、拼写错误、区域拼写差异和语音拼写等多种复杂因素的影响。
• 内容质量
  • 权威性强的内容往往因其可信度和准确性而获得更高排名。内容的新鲜度也很重要，对于某些查询，最新的内容会被认为更相关。
• 术语权重
  • 为了确定哪些关键词更重要，会为每个术语分配数值权重，而这些权重对结果的准确性至关重要。
• 用户意图
  • 算法帮助识别用户的真实目的，既关注显式的查询词，也考虑其背后的语义上下文。
• 个性化与本地化
  • 上下文相关性使搜索引擎能够根据用户的地理位置、语言、设备类型，以及浏览和搜索历史等特定因素定制结果。
• 用户参与度指标
  • 点击率有助于衡量用户参与度。没有结果的搜索或没有点击的搜索能反映出用户对搜索结果的满意度。

为什么搜索相关性很重要？

搜索相关性对用户满意度至关重要。当用户能快速高效地找到他们想要的信息时，整体体验会显著提升。对不同业务而言，这可能意味着将更多购物者转化为客户，将普通访客转化为忠实读者或消费者，或让更多团队成员能够顺利完成任务并做出关键决策。

有 43% 的用户在浏览网站时会直接使用搜索栏，而且他们的转化率可能是非搜索用户的三倍。对于企业而言，搜索通常是与潜在客户的第一接触点，因此搜索相关性对建立用户信任、提升参与度和推动收入非常关键。在企业内部，高相关性的搜索可以节省时间和精力。

糟糕的搜索相关性会带来用户的挫败感，甚至让他们离开网站，转向其他渠道寻找答案，可能再也不会回来。对于在线零售商而言，这意味着可能失去找不到商品的消费者。相关性高的搜索结果能提升转化率和收入。电商企业还能通过搜索驱动的体验（如“其他用户也购买”或“相似商品”）提升购物车金额。

对于内容生产型企业，更高的搜索相关性意味着更高的可见性和更广的受众覆盖。对研究人员、医生、学生和专业人士来说，准确的搜索结果能带来更高质量的工作成果。

如何评估和衡量搜索相关性

每个搜索者的需求和意图都不同，因此要准确或系统地衡量相关性是一项挑战。行业基准提供了一定参考，比如 BEIR（Benchmarking-IR），它是一个用于评估信息检索方法的预训练 Transformer 排名系统。MS-MARCO（Microsoft Machine Reading Comprehension） 是 BEIR 基准的一部分，提供问答数据集，用于评估搜索效果。尽管这些提供了相关性评估的依据，但目前没有绝对的评分标准。

一种了解搜索效果的方法是观察用户行为趋势，并持续寻找改进空间。

搜索效果可以通过用户在找到正确信息前所需的输入、重输和修改搜索词的次数来衡量；而搜索效率则是用户在定位所需信息时所投入的整体努力。这两者都能反映整体搜索相关性的水平。搜索分析还可以提供关于用户搜索频率、搜索内容以及是否找到目标的洞察。

召回率（Recall） 是检索到的相关记录与所有相关记录总数的比率；精准率（Precision） 是检索到的相关结果与全部检索结果（相关+不相关）之间的比率。虽然这两个指标是核心测量标准，但它们通常需要一定的人为评估和监督，成本较高。通过调查或交互按钮收集用户反馈是一种成本较低的方式，可以了解用户对搜索结果相关性的感知。更多阅读，请参阅：Elasticsearch：理解搜索中的 precision 及 recall。

用户行为指标提供的是间接但隐性的相关性判断。其中一个有价值的量化指标是 点击率（CTR），即用户在查看搜索结果后点击某一项结果的比例，CTR 越高，通常意味着相关性越高。停留时间（Dwell time），即用户点击搜索结果后在页面上停留的时间，也是关键指标，时间越长，说明内容越相关、质量越高。相反，跳出率（Bounce rate），即用户未进行任何互动就离开的比例，可能表明内容未能满足用户预期。

提高搜索相关性的技术

提升搜索相关性是一个持续的过程。除了采用最新的机器学习算法、自然语言处理能力和实体识别技术外，以下是一些逐步改进搜索相关性的方法：

• 扩展查询理解
  • 通过扩展查询相关的定义范围和同义词，增加搜索结果的覆盖面。还可以包含部分匹配结果，即匹配查询部分内容的结果。自动语言检测也能帮助推荐与之前搜索相似的文本。
• 提升拼写容错率
  • 提高对拼写错误的容忍度，让用户即使输入错误，也能得到想要的结果。改进自动纠错和拼写检查功能，减少用户重输查询的麻烦。还可以通过“你是想找？”功能建议替代词和纠正搜索词。
• 加入维度和过滤器
  • 维度（智能过滤器）帮助用户缩小搜索范围。对于信息量大的站点尤其有用。可以自动检测过滤条件，或让用户根据位置、主题、价格、类别、日期等相关属性筛选搜索结果。
• 采用个性化
  • 根据用户偏好、地理位置、搜索和购买历史以及行为定制搜索结果，提升相关性。将最相关的结果排名靠前。个性化也是预测搜索的重要组成部分，能够根据用户过去的搜索预测未来需求。
• 利用用户反馈
  • 鼓励用户对搜索结果质量提供反馈，帮助搜索引擎学习和改进。用户反馈是衡量搜索相关性的最佳方法，能持续推动搜索引擎优化。
• 优化用户体验（UX）
  • 清理站点，删除过时页面、重复内容、未使用的关键词或标签以及损坏链接。简化用户体验设计，比如让搜索栏易于发现且使用直观。合理结构化网站内容，确保搜索引擎更有效地抓取和索引。
• 优先考虑高价值区域
  • 提升站点中高质量内容区域的结果权重，包括用户参与度最高、权威性强、拥有反向链接和转化率高的页面，优先展示这些有价值内容。

搜索相关性的挑战与局限

应对低质量搜索结果往往令人沮丧，解决方案也并不总是透明的。查询存在多重含义时，理解其真实意图总带有模糊性。仅凭有限信息准确解读意图是一门不完美的科学。真正相关的搜索如同认知迷宫，即使是最先进的 AI 也尚未完全破解。

为了保持更新，搜索引擎必须快速适应全球每秒产生的海量内容，这些内容涵盖多种语言、方言、俚语及地区差异。虽然个性化搜索大幅提升了相关性，但也可能形成信息孤岛，限制用户接触不同观点。

对组织来说，优化搜索相关性常常感觉神秘莫测。为用户提供相关搜索结果的时间窗口也不断缩短。

搜索相关性的未来趋势

目前已有先进的搜索技术在提升搜索相关性方面取得重大进展。

• 语义搜索（Semantic search） 能理解用户查询的含义，基于上下文响应意图，而非逐字匹配。
• 向量搜索（Vector search） 常用于语义搜索，利用近似最近邻（ANN）算法查找相似数据，提供更相关的结果。
• 混合搜索（hybrid search）结合向量搜索和关键词搜索方法。

随着这些搜索方式的发展，搜索相关性指标也将随之变化。其他技术创新同样会影响搜索相关性的未来。

在文化和企业的几乎所有领域，AI 驱动的搜索引擎承诺大幅提升相关性，同时减少企业的人力投入。AI 将实现自动同义词检测、自我学习的排序算法，以及实时用户行为跟踪，甚至能预判客户需求。

在电商领域，支持多语言且能处理图像和视频视觉信息的智能搜索栏将彻底改变购物体验，精准推荐客户想要的具体颜色、品牌和尺寸的产品，省去大量滚动时间。精准的语音搜索将普及。随着准确性的提高，生成式 AI（generative AI） 会为查询生成高度相关的上下文答案，提供具体且更有帮助的推荐，而非单纯的结果列表。机器学习已开启搜索相关性的全新前沿。

深入了解 2024 年技术搜索趋势。观看本次网络研讨会，学习最佳实践、新兴方法论，以及顶级趋势如何影响 2024 年的开发者。

使用 Elasticsearch 实现搜索相关性

Elasticsearch 相关性引擎帮助用户精准找到所需内容，开箱即用地提供高度相关、个性化且由 AI 驱动的搜索体验，采用最先进的机器学习技术。

我们全面的拖放式相关性调优工具还能让你分析、优化并个性化搜索结果，带来更精准的效果。通过自适应相关性，你可以让表现最好的结果获得优先展示，基于搜索分析实现自动、数据驱动的推荐。你还可以利用生成式 AI、向量搜索、支持 NLP Transformer 模型及第三方模型管理，提升语义相关性。

更多搜索相关资源

• AI 搜索算法解析

• 使用 Elastic 提升搜索相关性和站内搜索质量

• 搜索相关性 Kibana 指南

• 拥抱搜索相关性的未来

你接下来可以做什么

当你准备好时，我们提供四种方式帮助你从业务数据中获取洞察：

1. 开始免费试用，看看 Elastic 如何助力你的业务。

2. 了解我们的解决方案，看看 Elasticsearch 平台如何工作，以及我们的方案如何满足你的需求。

3. 观看我们 45 分钟的网络研讨会，学习如何搭建 Elasticsearch 集群，开始数据采集和摄取。

4. 将这篇文章分享给你认识的感兴趣的人，可以通过电子邮件、LinkedIn、Twitter 或 Facebook 分享。

搜索相关性常见问题

搜索引擎如何判断搜索结果的相关性？
搜索引擎利用自然语言处理和机器学习，通过分析关键词匹配、内容质量、用户意图、上下文、语义、用户行为和参与度指标等信息来确定相关性。

如何调优搜索相关性？
搜索相关性可以在查询层面或索引层面进行调优。扩展查询理解可以带来更好的结果；在索引层面，可以通过用更多数据集训练模型来细化相关性。

机器学习和 AI 在提升搜索相关性中起什么作用？
机器学习和 AI 通过更准确理解用户意图来增强搜索相关性。它利用嵌入表示通过上下文和最近邻算法识别用户意图，从而提供更相关的结果。机器学习和 AI 被用于向量搜索和语义搜索，有时结合成混合搜索，更有效地处理复杂或模糊的语言和查询，并实现搜索结果个性化。

个性化如何影响搜索相关性？
个性化根据用户的偏好、行为和地理位置定制搜索结果，提升匹配用户期望的内容的可能性，使结果更相关、更有意义。