TIP-2025《Data Subdivision Based Dual-Weighted Robust Principal Component Analysis》

---

核心思想分析

这篇论文提出了一个新颖的主成分分析（PCA）方法，称为 Data Subdivision Based Dual-Weighted Robust Principal Component Analysis (DRPCA)，旨在解决传统 PCA 在处理包含噪声和异常值的数据时的鲁棒性问题。其核心思想包括以下几个方面：

1. 数据细分与双权重机制：

   • 传统 PCA 假设数据已中心化，并使用平方 $l_2$-范数，这对噪声和异常值（outliers）敏感。DRPCA 通过引入 标记向量（mark vector）区分正常样本和异常值，并直接剔除异常值。
   • 进一步将正常样本细分为 正样本（positive samples，具有清晰特征，如人脸的嘴、鼻、眼等）和 困难样本（hard samples，受光照、遮挡等影响的样本）。由于正样本和困难样本之间没有明确边界，DRPCA 使用 自约束权重（self-constrained weights）为正常样本分配不同权重，正样本权重较高，困难样本权重较低，从而优化投影矩阵的学习。
   • 这种双权重机制（dual-weighted）通过叠加和互补的方式增强了模型的鲁棒性。

2. 保留 PCA 的旋转不变性：

   • DRPCA 保留了传统 PCA 的旋转不变性（rotational invariance），通过使用平方 $l_2$-范数最小化重构误差，确保模型在数据旋转后仍能保持一致性。

3. 优化数据均值：

   • 传统 PCA 假设数据均值为零，但实际数据中由于异常值的存在，均值可能偏离。DRPCA 通过优化数据均值（data mean）使数据中心更准确，从而挖掘更有价值的信息。

4. 异常检测能力：

   • DRPCA 利用 PCA 的异常检测特性，通过分析重构误差来识别异常值，增强了模型在实际应用中的鲁棒性。

---

目标函数分析

DRPCA 的目标函数旨在通过最小化重构误差来学习投影矩阵 $W$，同时优化数据均值 $\mu$，并通过双权重机制（标记向量 $\alpha$ 和自约束权重 $g$）处理异常值和正常样本的细分。其目标函数形式如下：

min ⁡ W T W = I , μ , α , g ∑ i = 1 n α i g i γ ∥ ( x i − μ ) − W W T ( x i − μ ) ∥ 2 2 \min_{W^T W = I, \mu, \alpha, g} \sum_{i=1}^n \alpha_i g_i^\gamma \left\| (x_i - \mu) - W W^T (x_i - \mu) \right\|_2^2 WTW=I,μ,α,gmin​i=1∑n​αi​giγ​ ​(xi​−μ)−WWT(xi​−μ) ​22​

目标函数的组成部分：

1. 变量定义：

   • $X=[x_1,x_2,\dots ,x_n]\in {\mathbb{R}}^{d\times n}$：输入数据矩阵，$d$ 为数据维度，$n$ 为样本数。
   • $W\in {\mathbb{R}}^{d\times k}$：投影矩阵，$k$ 为降维后的维度，满足正交约束 $W^{T}W=I$。
   • $\mu \in {\mathbb{R}}^d$：数据均值向量。
   • $\alpha =[{\alpha }_1,{\alpha }_2,\dots ,{\alpha }_n{]}^T$：标记向量，${\alpha }_i\in \{0,1\}$，${\alpha }_i=0$ 表示样本 $x_i$ 为异常值，${\alpha }_i=1$ 表示正常样本。
   • $g=[g_1,g_2,\dots ,g_n{]}^T$：自约束权重向量，$g_i\ge 0$，用于区分正常样本中的正样本和困难样本。
   • $\gamma$：控制权重大小的超参数。
   • ∥ ( x i − μ ) − W W T ( x i − μ ) ∥ 2 2 \left\| (x_i - \mu) - W W^T (x_i - \mu) \right\|_2^2 ​(xi​−μ)−WWT(xi​−μ) ​22​：样本 $x_i$ 的重构误差，表示数据点到低维子空间的投影误差。

2. 约束条件：

   • $W^{T}W=I$：确保投影矩阵的正交性，保留 PCA 的旋转不变性。
   • ${\sum }_{i=1}^n{\alpha }_i=m$，$1\le m\le n$：控制正常样本的数量，$m$ 为超参数，表示选择的正常样本数。
   • $g_i\ge 0$：自约束权重的非负性约束。

3. 目标函数的目标：

   • 通过最小化加权重构误差，优化投影矩阵 $W$ 和数据均值 $\mu$。
   • 使用 ${\alpha }_i$ 剔除异常值，$g_i^{\gamma }$ 调节正常样本的权重，使得正样本对投影矩阵的学习贡献更大，困难样本贡献较小。
   • 优化 $\mu$ 使数据中心更准确，增强模型对数据的表征能力。

---

目标函数的优化过程

DRPCA 的目标函数是非凸的，难以直接求解。论文提出了一种 迭代优化算法（Algorithm 1），通过交替优化 $W$、$\mu$、$\alpha$ 和 $g$ 来求解。以下是优化过程的详细描述：

1. 初始化：

   • 初始化投影矩阵 $W$、数据均值 $\mu$、标记向量 $\alpha$ 和权重向量 $g$。
   • 通常 $\alpha$ 初始化为全 1 向量（假设所有样本初始为正常样本），$g$ 初始化为均匀权重，$W$ 和 $\mu$ 可通过传统 PCA 或随机初始化。

2. 优化 $\alpha$（标记向量）：

   • 固定 $W$、$\mu$ 和 $g$，优化 $\alpha$。目标函数简化为：
     min ⁡ α i ∈ { 0 , 1 } , ∑ i = 1 n α i = m ∑ i = 1 n α i g i γ ∥ ( x i − μ ) − W W T ( x i − μ ) ∥ 2 2 \min_{\alpha_i \in \{0, 1\}, \sum_{i=1}^n \alpha_i = m} \sum_{i=1}^n \alpha_i g_i^\gamma \left\| (x_i - \mu) - W W^T (x_i - \mu) \right\|_2^2 αi​∈{0,1},∑i=1n​αi​=mmin​i=1∑n​αi​giγ​ ​(xi​−μ)−WWT(xi​−μ) ​22​
   • 这是一个二值优化问题，可通过排序重构误差 ∥ ( x i − μ ) − W W T ( x i − μ ) ∥ 2 2 \left\| (x_i - \mu) - W W^T (x_i - \mu) \right\|_2^2 ​(xi​−μ)−WWT(xi​−μ) ​22​ 来解决：
     • 计算每个样本的重构误差。
     • 按误差从小到大排序，选择前 $m$ 个样本设 ${\alpha }_i=1$（正常样本），其余设 ${\alpha }_i=0$（异常值）。
     • 这样可以直接剔除异常值（具有较大重构误差的样本）。

3. 优化 $g$（自约束权重）：

   • 固定 $W$、$\mu$ 和 $\alpha$，优化 $g$。目标函数为：
     min ⁡ g i ≥ 0 ∑ i = 1 n α i g i γ ∥ ( x i − μ ) − W W T ( x i − μ ) ∥ 2 2 \min_{g_i \geq 0} \sum_{i=1}^n \alpha_i g_i^\gamma \left\| (x_i - \mu) - W W^T (x_i - \mu) \right\|_2^2 gi​≥0min​i=1∑n​αi​giγ​ ​(xi​−μ)−WWT(xi​−μ) ​22​
   • 对于 ${\alpha }_i=0$ 的样本，$g_i$ 的值不影响目标函数，可设 $g_i=0$。
   • 对于 ${\alpha }_i=1$ 的样本，优化 $g_i$。通过对 $g_i$ 求导并设为零，得到：
     $$g_i={\left(\frac{1}{\gamma {\Vert (x_i-\mu )-W{W}^T(x_i-\mu )\Vert }_2^2}\right)}^{\frac{1}{\gamma -1}}$$
   • 这表明 $g_i$ 与重构误差成反比，重构误差小的样本（正样本）获得较大权重，重构误差大的样本（困难样本）获得较小权重。

4. 优化 $\mu$（数据均值）：

   • 固定 $W$、$\alpha$ 和 $g$，优化 $\mu$。目标函数为：
     min ⁡ μ ∑ i = 1 n α i g i γ ∥ ( x i − μ ) − W W T ( x i − μ ) ∥ 2 2 \min_{\mu} \sum_{i=1}^n \alpha_i g_i^\gamma \left\| (x_i - \mu) - W W^T (x_i - \mu) \right\|_2^2 μmin​i=1∑n​αi​giγ​ ​(xi​−μ)−WWT(xi​−μ) ​22​
   • 令 $A=I-W{W}^T$（投影到正交补空间的矩阵），目标函数可写为：
     $$\underset{\mu }{\min }\sum _{i=1}^n{\alpha }_i{g}_i^{\gamma }{\Vert A(x_i-\mu )\Vert }_2^2$$
   • 对 $\mu$ 求导并设为零，得到闭式解：
     $$\mu =\frac{{\sum }_{i=1}^n{\alpha }_i{g}_i^{\gamma }{x}_i}{{\sum }_{i=1}^n{\alpha }_i{g}_i^{\gamma }}$$
   • 这是一个加权均值，权重 ${\alpha }_i{g}_i^{\gamma }$ 使得正样本对均值的贡献更大。

5. 优化 $W$（投影矩阵）：

   • 固定 $\mu$、$\alpha$ 和 $g$，优化 $W$。目标函数为：
     min ⁡ W T W = I ∑ i = 1 n α i g i γ ∥ ( x i − μ ) − W W T ( x i − μ ) ∥ 2 2 \min_{W^T W = I} \sum_{i=1}^n \alpha_i g_i^\gamma \left\| (x_i - \mu) - W W^T (x_i - \mu) \right\|_2^2 WTW=Imin​i=1∑n​αi​giγ​ ​(xi​−μ)−WWT(xi​−μ) ​22​
   • 令 $X_0=X-\mu 1_n^T$（中心化数据），目标函数可改写为：
     min ⁡ W T W = I ∥ D ( X 0 − W W T X 0 ) ∥ F 2 \min_{W^T W = I} \left\| \sqrt{D} (X_0 - W W^T X_0) \right\|_F^2 WTW=Imin​ ​D ​(X0​−WWTX0​) ​F2​
     其中 $D$ 是对角矩阵，对角元素为 ${\alpha }_i{g}_i^{\gamma }$。
   • 由于 ∥ D X 0 ∥ F 2 = ∥ D W W T X 0 ∥ F 2 + ∥ D ( X 0 − W W T X 0 ) ∥ F 2 \left\| \sqrt{D} X_0 \right\|_F^2 = \left\| \sqrt{D} W W^T X_0 \right\|_F^2 + \left\| \sqrt{D} (X_0 - W W^T X_0) \right\|_F^2 ​D ​X0​ ​F2​= ​D ​WWTX0​ ​F2​+ ​D ​(X0​−WWTX0​) ​F2​，最小化重构误差等价于最大化：
     max ⁡ W T W = I ∥ D W T X 0 ∥ F 2 = max ⁡ W T W = I Tr ⁡ ( W T X 0 D X 0 T W ) \max_{W^T W = I} \left\| \sqrt{D} W^T X_0 \right\|_F^2 = \max_{W^T W = I} \operatorname{Tr}(W^T X_0 D X_0^T W) WTW=Imax​ ​D ​WTX0​ ​F2​=WTW=Imax​Tr(WTX0​DX0T​W)
   • 令 $H=X_{0}D{X}_0^T$，这是一个加权协方差矩阵。$W$ 的最优解由 $H$ 的前 $k$ 个最大特征值对应的特征向量组成。

6. 迭代更新：

   • 重复步骤 2-5，直到目标函数收敛或达到最大迭代次数。
   • 收敛性分析表明，目标函数值在每次迭代中单调递减，且有下界（0），因此算法保证收敛。

---

主要的贡献点

1. 提出双权重机制：

   • 通过标记向量 $\alpha$ 和自约束权重 $g$，实现了数据细分为正常样本和异常值，以及正常样本中的正样本和困难样本。这种细分和加权机制显著提高了模型对噪声和异常值的鲁棒性。

2. 优化数据均值：

   • 引入数据均值 $\mu$ 的优化，打破传统 PCA 假设数据均值为零的限制，使数据中心更准确，增强了模型对数据的表征能力。

3. 保留旋转不变性：

   • 通过使用平方 $l_2$-范数最小化重构误差，确保了模型的旋转不变性，这是传统 PCA 的重要属性。

4. 高效迭代算法：

   • 提出了一种有效的迭代优化算法，通过交替优化 $W$、$\mu$、$\alpha$ 和 $g$，解决了非凸优化问题，并证明了其收敛性。

5. 强大的异常检测能力：

   • DRPCA 利用重构误差进行异常检测，在实际应用中表现出色，特别是在大规模视频数据集（如 UCF-Crime）上。

6. 广泛的实验验证：

   • 在多个真实世界数据集（MSRA25、Umist、JAFFE、Yale、pixraw10P、orlraws10P、USPS）和大规模 RGB 数据集上进行了广泛实验，验证了 DRPCA 在降维、重构、聚类、分类和异常检测任务中的优越性。

---

实验结果分析

论文通过多种实验验证了 DRPCA 的性能，以下是主要实验结果的总结：

1. 合成实验：

   • 在包含 100 个正常样本和 7 个异常值的二维高斯分布数据集上，DRPCA 的主成分与无异常值的 PCA 主成分高度一致，而传统 PCA 受异常值影响显著偏离（图 2）。

2. 重构可视化：

   • 在 orlraws10P 数据集上，DRPCA 重构的图像在细节（如鼻子、眉毛、嘴巴）上最接近原始数据，优于 PCA、PCAL1-N、PCAL1-G、RIPCA、TRPCA、$l_{2,0.5}$-PCA 和 $l_{2,1}$-PCA（图 4）。

3. T-SNE 可视化：

   • 在 USPS 数据集上，DRPCA 的降维结果在二维空间中显示出更清晰的类间分离，类边界更明确，而其他方法受异常值影响导致类间边界模糊（图 5）。

4. 重构误差实验：

   • 在 JAFFE、Yale、orlraws10P 和 MSRA25 数据集上，DRPCA 在大多数情况下取得了最小的重构误差，尤其在 JAFFE 和 orlraws10P 数据集上表现突出（图 6）。
   • 随着降维维度的增加，所有算法的重构误差呈下降趋势，但 DRPCA 始终保持最低或接近最低。

5. 聚类实验：

   • 在 JAFFE、MSRA25、orlraws10P、pixraw10P、Yale 和 Umist 数据集上，DRPCA 在大多数数据集上取得了最高的聚类准确率（ACC），如 JAFFE(1/2)、orlraws10P(1/2)、pixraw10P(1/2)、Yale(1/2)、Umist(1/2) 等（表 II）。
   • 即使在某些数据集上未达到最佳，DRPCA 的表现也仅次于最佳。

6. 分类实验：

   • 使用 K 近邻（KNN）分类器，DRPCA 在六个数据集上的分类准确率均优于其他方法，尤其在 JAFFE 和 pixraw10P 数据集上，分别比次优方法高出 3.28%、3.6%、4.67% 和 4%（表 III）。

7. 异常检测实验：

   • 在 UCF-Crime 视频数据集上，DRPCA 能够检测所有异常行为，而其他方法仅能检测 1-3 个异常行为，显示出更强的异常检测能力（图 7）。

8. 极端条件实验：

   • 在 orlraws10P 数据集上添加 70% 和 10% 异常值，DRPCA 在极端条件下仍保持最佳分类性能，尤其在正常样本不足的情况下表现优于其他方法（表 IV）。

9. 与非线性方法（AE）的比较：

   • DRPCA 在聚类和分类任务上大多优于非线性自编码器（AE），在 T-SNE 可视化中显示出更清晰的类间分离，但在部分重构误差实验中略逊于 AE（表 V、图 8、图 9）。

10. 参数和收敛性分析：

    • 参数 $m$（正常样本数量）对模型性能影响较小，表明忽略少量困难样本不影响结果；参数 $\gamma$（权重控制）较敏感，建议使用网格搜索优化（图 10）。
    • 收敛性分析表明，DRPCA 通常在 10 次迭代内收敛（图 11）。

---

算法实现过程

以下是 DRPCA 算法的详细实现步骤（基于论文中的 Algorithm 1）：

# 伪代码：DRPCA 算法实现
import numpy as np
from scipy.linalg import eigh

def DRPCA(X, k, m, gamma, max_iter=100, tol=1e-6):
    """
    参数:
        X: 输入数据矩阵，形状 (d, n)，d 为维度，n 为样本数
        k: 降维后的维度
        m: 正常样本数量
        gamma: 权重控制超参数
        max_iter: 最大迭代次数
        tol: 收敛容差
    返回:
        W: 投影矩阵，形状 (d, k)
        mu: 数据均值，形状 (d,)
        alpha: 标记向量，形状 (n,)
        g: 自约束权重，形状 (n,)
    """
    d, n = X.shape
    # 初始化
    mu = np.mean(X, axis=1)  # 初始均值
    X_0 = X - mu[:, None]  # 中心化数据
    W = np.linalg.svd(X_0, full_matrices=False)[0][:, :k]  # 初始投影矩阵
    alpha = np.ones(n)  # 初始标记向量
    g = np.ones(n)  # 初始权重
    prev_obj = np.inf

    for iter in range(max_iter):
        # 1. 优化 alpha
        errors = np.sum((X_0 - W @ W.T @ X_0) ** 2, axis=0)  # 重构误差
        indices = np.argsort(errors)  # 按误差排序
        alpha = np.zeros(n)
        alpha[indices[:m]] = 1  # 前 m 个为正常样本

        # 2. 优化 g
        g = np.zeros(n)
        for i in range(n):
            if alpha[i] == 1:
                error_i = np.sum((X[:, i] - mu - W @ W.T @ (X[:, i] - mu)) ** 2)
                g[i] = (1 / (gamma * error_i)) ** (1 / (gamma - 1)) if error_i > 0 else 1

        # 3. 优化 mu
        weights = alpha * (g ** gamma)
        mu = np.sum(X * weights[None, :], axis=1) / np.sum(weights) if np.sum(weights) > 0 else mu

        # 4. 优化 W
        X_0 = X - mu[:, None]
        D = np.diag(alpha * (g ** gamma))
        H = X_0 @ D @ X_0.T
        eigvals, eigvecs = eigh(H)
        W = eigvecs[:, -k:]  # 取前 k 个最大特征值对应的特征向量

        # 计算目标函数值
        obj = np.sum(alpha * (g ** gamma) * np.sum((X_0 - W @ W.T @ X_0) ** 2, axis=0))
        if abs(prev_obj - obj) < tol:
            break
        prev_obj = obj

    return W, mu, alpha, g

# 示例使用
X = np.random.randn(100, 1000)  # 示例数据
k = 10  # 降维维度
m = 900  # 正常样本数量
gamma = 2  # 权重超参数
W, mu, alpha, g = DRPCA(X, k, m, gamma)

实现要点：

1. 初始化：使用 SVD 初始化 $W$，使用数据均值初始化 $\mu$，$\alpha$ 和 $g$ 初始化为全 1。
2. 优化 $\alpha$：根据重构误差排序，选择前 $m$ 个样本作为正常样本。
3. 优化 $g$：根据重构误差计算自约束权重，误差小的样本权重较大。
4. 优化 $\mu$：计算加权均值，考虑 $\alpha$ 和 $g$ 的权重。
5. 优化 $W$：通过加权协方差矩阵的特征分解求解。
6. 收敛判断：当目标函数值变化小于容差 $tol$ 或达到最大迭代次数时停止。

---

总结

DRPCA 通过数据细分和双权重机制显著提高了 PCA 的鲁棒性，解决了传统 PCA 对异常值敏感的问题。其目标函数通过优化投影矩阵、数据均值和权重向量，结合迭代优化算法，实现了高效的降维和异常检测。实验结果表明，DRPCA 在重构、聚类、分类和异常检测任务中均优于现有方法，尤其在处理噪声和异常值时表现出色。算法实现简单且收敛性好，适用于大规模数据集和实际应用场景。