搜广推校招面经九十三

字节懂车帝一面

一、NDCG（Normalized Discounted Cumulative Gain）的计算

NDCG 是信息检索和排序任务中常用的评价指标，用于衡量模型预测的排序质量与真实相关性排序的一致程度。

1.1. DCG@k（Discounted Cumulative Gain）

$$\text{DCG@k}=\sum _{i=1}^k\frac{re{l}_i}{{\log }_2(i+1)}$$

• $re{l}_i$：第 $i$ 个位置上的真实相关性分数（如 0, 1, 2,…）
• $i$：排序中的位置索引（从 1 开始）

1.2. IDCG@k（Ideal DCG）

$$\text{IDCG@k}=\sum _{i=1}^k\frac{re{l}_i^{\text{sorted}}}{{\log }_2(i+1)}$$

• 将相关性标签从高到低排序得到理想的排序列表

1.3. NDCG@k（归一化 DCG）

$$\text{NDCG@k}=\frac{\text{DCG@k}}{\text{IDCG@k}}$$

1.4. 示例计算

假设有5个项目，真实相关性如下：
真实相关性： [3, 2, 3, 0, 1]
模型预测排序对应的标签值： [0, 3, 2, 3, 1]

步骤 1：计算 DCG@5

$$\text{DCG@5}=\frac{0}{{\log }_2(1+1)}+\frac{3}{{\log }_2(2+1)}+\frac{2}{{\log }_2(3+1)}+\frac{3}{{\log }_2(4+1)}+\frac{1}{{\log }_2(5+1)}$$
$$\approx 0+\frac{3}{1.58496}+\frac{2}{2}+\frac{3}{2.32193}+\frac{1}{2.58496}\approx 4.5722$$

步骤 2：计算 IDCG@5（真实相关性排序：[3,3,2,1,0]）

$$\text{IDCG@5}=\frac{3}{{\log }_2(1+1)}+\frac{3}{{\log }_2(2+1)}+\frac{2}{{\log }_2(3+1)}+\frac{1}{{\log }_2(4+1)}+\frac{0}{{\log }_2(5+1)}\approx 6.3235$$

步骤 3：NDCG@5

$$\text{NDCG@5}=\frac{4.5722}{6.3235}\approx 0.723$$

二、逻辑回归为什么用 BCE 损失？什么是 BCE 损失？

逻辑回归用于二分类任务，模型输出的是一个概率值 ${\hat{y}}_i=\sigma (w^T{x}_i)$，表示样本为正类$y_i=1$的概率。
逻辑回归从概率建模角度出发，假设每个标签服从 伯努利分布：
$$y_i\sim \text{Bernoulli}({\hat{y}}_i)$$

伯努利分布的概率密度函数（PMF）

$$P(y_i\mid {\hat{y}}_i)={\hat{y}}_i^{y_i}\cdot (1-{\hat{y}}_i{)}^{1-y_i}$$
这意味着：

• 当 $y_i=1$：$P={\hat{y}}_i$
• 当 $y_i=0$：$P=1-{\hat{y}}_i$

2.1. 最大似然估计推导 BCE 损失

• 我们要学习的是模型参数 $\theta =(w,b)$，目标是最大化所有样本标签出现的联合概率：
• 用**最大似然估计（MLE）**来估计模型参数 $\theta =(w,b)$。
• 对所有样本的联合概率为：
  $$\mathcal{L}(\theta )=\prod _{i=1}^N{\hat{y}}_i^{y_i}(1-{\hat{y}}_i{)}^{1-y_i}$$
  对数似然函数为：
  $$\log \mathcal{L}=\sum _{i=1}^N\left[y_i\log ({\hat{y}}_i)+(1-y_i)\log (1-{\hat{y}}_i)\right]$$
  取负号得到损失函数：
  $${\mathcal{L}}_{\text{BCE}}=-\sum _{i=1}^N\left[y_i\log ({\hat{y}}_i)+(1-y_i)\log (1-{\hat{y}}_i)\right]$$
  这就是 Binary Cross-Entropy（BCE，二元交叉熵）损失函数。

三、为什么二分类问题不用 MAE 损失

在二分类任务中，我们通常使用 交叉熵损失（Cross Entropy Loss） 而不是 MAE（Mean Absolute Error），主要原因如下：

3.1. MAE 不适合概率输出的优化

• MAE 是对预测值和真实值之间的绝对差值求平均：
  $$MAE=\frac{1}{N}\sum _{i=1}^N|y_i-{\hat{y}}_i|$$
• 对于二分类，真实值 $y_i\in \{0,1\}$，预测值 ${\hat{y}}_i\in [0,1]$。
• MAE 对所有误差的梯度是常数（不是关于预测概率的非线性函数），这会导致在梯度下降过程中更新缓慢甚至停滞，不利于模型学习。

3.2. 梯度问题

MAE 的梯度恒定（要么是 1 要么是 -1），不会提供置信度信息：

• 无论预测是 0.01 还是 0.49，MAE 对标签为 0 的样本的梯度是一样的。这会导致优化过程缺乏方向性，不利于模型快速收敛。

四、分类任务一定没法用MAE loss么？

4.1. ordinal regression 或者 Soft Classification

如果分类任务的label：类别有序、可数值化的分类问题。例如评分，美学等级。
在这种情况下，每个类别有明确的数值含义，用 softmax 后的加权期望值（soft-argmax）来回归一个“期望标签”，再用 MAE/MSE 来优化，是合理的。
具体方案：

import torch
import torch.nn.functional as F

# 模拟网络输出 logits
logits = torch.tensor([[2.0, 1.0, 0.5, -1.0]], requires_grad=True)  # shape: [batch, num_classes]
true_label = torch.tensor([0.0])                     # shape: [batch]

# softmax 变成概率
probs = F.softmax(logits, dim=1)                     # shape: [batch, 4]

# soft-argmax 得到数值输出（概率期望）
label_values = torch.tensor([0.0, 1.0, 2.0, 3.0])    # 类别编号
pred_value = torch.sum(probs * label_values, dim=1)  # shape: [batch]

# 计算 MAE loss
loss = F.l1_loss(pred_value, true_label)

五、决策树了解么？介绍一下ID3 与 C4.5

5.1. ID3 算法

ID3（Iterative Dichotomiser 3）是最早的决策树算法之一，由 Quinlan 于1986年提出。
选择 信息增益（Information Gain） 最大的特征来进行划分。

5.1.1. 信息增益计算公式

设数据集为 $D$，特征为 $A$，

• 数据集的熵：
  $$Ent(D)=-\sum _{k=1}^K{p}_k{\log }_2{p}_k$$
• 特征 A 的条件熵：
  $$Ent(D|A)=\sum _{v=1}^V\frac{|D^v|}{|D|}Ent(D^v)$$
• 信息增益：
  $$Gain(D,A)=Ent(D)-Ent(D|A)$$
  • $p_k$：在数据集 D 中，第 k 类样本所占的比例
  • $|D|$：数据集 D 的总样本数量
  • $|D^v|$：数据集特征A为v的样本数量

5.1.2. 特点

• 偏好选择取值多的特征（容易过拟合）
• 不支持连续值处理（需离散化）
• 不支持剪枝（可能导致冗余）

5.2. C4.5 算法

C4.5 是 ID3 的改进版本，同样由 Quinlan 提出。

5.2.1. 核心改进

• 使用 信息增益率（Gain Ratio） 作为划分标准
• 支持 连续属性处理
• 支持 剪枝（如错误率剪枝）
• 可处理缺失值

5.2.2. 信息增益率计算公式

• 先计算特征A的信息增益 Gain(D, A)
• 再计算特征 A 的固有信息（Intrinsic Value）：
  $$IV(A)=-\sum _{v=1}^V\frac{|D^v|}{|D|}{\log }_2\left(\frac{|D^v|}{|D|}\right)$$
• 信息增益率：
  $$GainRatio(D,A)=\frac{Gain(D,A)}{IV(A)}$$

5.2.3. 特点

• 弥补了 ID3 偏向取值多特征的缺点
• 处理能力更强，适用性更广
• 仍可能有偏向问题（对取值较少但划分效果不佳的特征）

5.2.4. 处理连续特征的方式

基本思路

将连续特征值转化为二元划分：

“特征 A <= t” 和 “特征 A > t”，
其中 $t$ 是一个划分阈值。

选取两个相邻样本值之间的中点作为候选划分点（t）：
$$t_i=\frac{a_i+a_{i+1}}{2}$$
在这个例子中，候选划分点为 t ：

24, 27, 29.5, 32.5, 37.5

对每个划分点 ( t )，将数据划分成两部分：

• $A\le t$
• $A>t$

计算每个划分点对应的：

• 信息增益率（C4.5）
• 或基尼指数（CART）

选择最优划分点 $t^{\ast }$，使得划分后：

• 信息增益率最大（C4.5）
• 或基尼指数最小（CART）

六、25. K 个一组翻转链表

class Solution:
    def reverseKGroup(self, head: Optional[ListNode], k: int) -> Optional[ListNode]:
        n = 0
        cur = head
        while cur:
            n += 1
            cur = cur.next
        dummy = ListNode()
        dummy.next = head
        p0 = dummy
        while n >= k:
            n -= k
            pre = None
            cur = p0.next
            for _ in range(k):
                nxt = cur.next
                cur.next = pre
                pre = cur
                cur = nxt
            nxt = p0.next
            p0.next.next = cur
            p0.next = pre
            p0 = nxt
        return dummy.next