搜广推校招面经五十六

字节推荐算法

一、Attention的复杂度是多少？

见【搜广推校招面经三十八】

二、如何对普适性强的物品（如新华字典）设计指标进行降权

2.1. 问题背景

普适性强的物品（如新华字典）在推荐系统或搜索排序中可能频繁出现，影响多样性和用户体验。因此，需要设计指标对其进行降权。
但 - 平衡用户需求：在降权的同时，仍需满足用户对普适性物品的潜在需求。

2.2. 具体指标设计

2.2.1. 物品流行度降权

• 定义：根据物品的流行度（如点击量、购买量等）进行降权。
• 公式：
  $$\text{权重}=\frac{1}{\log (\text{流行度}+1)}$$
• 说明：流行度越高，权重越低，从而降低普适性物品的排名。

2.2.2. 用户个性化评分

• 定义：根据用户的历史行为（如点击、购买、评分等）计算个性化评分。
• 公式：
  $$\text{权重}=\frac{\text{用户个性化评分}}{\text{物品流行度}}$$
• 说明：即使物品流行度高，如果用户对其不感兴趣，权重也会降低。

2.2.3. 物品类别多样性

• 定义：根据物品所属类别进行多样性调整。
• 公式：
  $$\text{权重}=\text{权重}\times (1-\text{类别出现频率})$$
• 说明：如果某类别物品出现频率过高，降低其权重，增加其他类别的机会。

2.2.4. 时间衰减因子

• 定义：根据物品的时间衰减因子进行降权。
• 公式：
  $$\text{权重}=\text{权重}\times e^{-\lambda t}$$
• 说明：随着时间的推移，普适性物品的权重逐渐降低，确保推荐结果的时效性。

三、AUC的推广与多分类AUC计算

AUC（Area Under Curve）是评估二分类模型性能的重要指标，通常用于衡量模型在不同阈值下的分类能力。其值为ROC曲线下的面积，取值范围为[0, 1]，值越大表示模型性能越好。

3.1 多分类AUC的定义

在多分类问题中，AUC的计算可以通过以下两种方式推广：

1. One-vs-Rest (OvR) 方法：将多分类问题转化为多个二分类问题，每个类别分别计算AUC，最后取平均。
2. One-vs-One (OvO) 方法：对每两个类别计算AUC，最后取平均。

3.2 One-vs-Rest (OvR) 方法

• 步骤：
  1. 对于每个类别，将其视为正类，其余类别视为负类。
  2. 计算每个类别的AUC。
  3. 对所有类别的AUC取平均，得到最终的多分类AUC。
• 公式：
  $${\text{AUC}}_{\text{OvR}}=\frac{1}{C}\sum _{i=1}^C{\text{AUC}}_i$$
  其中，$C$ 为类别数，${\text{AUC}}_i$ 为第 $i$ 个类别的AUC。

3.3 One-vs-One (OvO) 方法

• 步骤：
  1. 对于每两个类别，计算它们之间的AUC。
  2. 对所有两两组合的AUC取平均，得到最终的多分类AUC。
• 公式：
  $${\text{AUC}}_{\text{OvO}}=\frac{2}{C(C-1)}\sum _{i=1}^{C-1}\sum _{j=i+1}^C{\text{AUC}}_{i,j}$$
  其中，$C$ 为类别数，${\text{AUC}}_{i,j}$ 为第 $i$ 个类别和第 $j$ 个类别之间的AUC。

3.4 基于排序的快速计算

• 原理：AUC可以通过正负样本的排序关系快速计算。
• 步骤：
  1. 对所有样本的预测概率进行排序。
  2. 统计正样本的排名之和。
  3. 使用公式计算AUC：
     $$\text{AUC}=\frac{{\sum }_{i=1}^{n_{+}}{r}_i-\frac{n_{+}(n_{+}+1)}{2}}{n_{+}\times n_{-}}$$
     其中，$n_{+}$ 为正样本数，$n_{-}$ 为负样本数，$r_i$ 为正样本的排名。

四、DeepFM 中的交叉项系数计算及其意义

DeepFM（Deep Factorization Machine）是一种结合了因子分解机（FM）和深度神经网络（DNN）的模型，用于解决推荐系统和点击率预测等任务。其核心特点是能够同时捕捉低阶特征交互（通过FM部分）和高阶特征交互（通过DNN部分）。

4.1. 交叉项系数的计算

4.1.1. FM 部分的交叉项

在FM部分，交叉项系数用于建模特征之间的二阶交互。假设输入特征为 $x=(x_1,x_2,\dots ,x_n)$，FM部分的交叉项计算如下：
$$\text{FM交叉项}=\sum _{i=1}^n\sum _{j=i+1}^n⟨v_i,v_j⟩x_i{x}_j$$
其中：

• $v_i$和 $v_j$ 是特征 $x_i$ 和 $x_j$ 的隐向量（embedding）。
• $⟨v_i,v_j⟩$表示隐向量的点积，用于衡量特征 $x_i$ 和 $x_j$ 之间的交互强度。

4.1.2. 隐向量的作用

• 每个特征 $x_i$ 被映射到一个低维隐向量 $v_i$。
• 隐向量的点积 $⟨v_i,v_j⟩$ 可以理解为特征 $x_i$ 和 $x_j$ 之间的交互系数。
• 通过隐向量的方式，FM可以有效地减少参数数量，避免直接计算所有特征对的交互系数。

4.1.3. 交叉项计算的优化

FM通过以下公式优化交叉项的计算：
$$\sum _{i=1}^n\sum _{j=i+1}^n⟨v_i,v_j⟩x_i{x}_j=\frac{1}{2}\left({\left(\sum _{i=1}^n{v}_i{x}_i\right)}^2-\sum _{i=1}^n(v_i{x}_i{)}^2\right)$$
这种优化将计算复杂度从 $O(n^2)$ 降低到 $O(n)$，极大地提高了计算效率。

4.2. 为什么要计算交叉项系数

4.2.1. 捕捉特征交互

• 在推荐系统和点击率预测任务中，特征之间的交互（如用户年龄和商品类别的交互）对预测结果至关重要。
• FM通过交叉项系数显式地建模二阶特征交互，能够更好地捕捉这些关系。

4.2.2 解决稀疏性问题

• 在实际应用中，数据通常是稀疏的（如用户-物品交互矩阵）。
• FM通过隐向量的方式，可以在稀疏数据中学习到有效的特征交互，避免过拟合。

4.2.3. 结合低阶和高阶交互

• DeepFM 的 FM 部分专注于低阶特征交互，而 DNN 部分可以捕捉高阶特征交互。
• 这种结合使得 DeepFM 能够同时建模简单和复杂的特征关系，提升模型的表现。

4.2.4 参数效率

• 通过隐向量的方式，FM 避免了直接存储和计算所有特征对的交互系数，大大减少了参数量。
• 这使得 DeepFM 在大规模数据集上也能高效运行。