推荐系统--联邦学习下的矩阵分解(6)

推荐系统–矩阵分解(1)
推荐系统–矩阵分解(2)
推荐系统–矩阵分解(3)
推荐系统–矩阵分解(4)
推荐系统–矩阵分解(5)
推荐系统–矩阵分解(6)

9 应用于联邦学习的矩阵分解

这个部分主要参考以下两篇论文：
2008-Collaborative Filtering for Implicit Feedback Datasets
Federated collaborative filtering for privacy-preserving presonalized recommendation system

9.1 Collaborative Filtering for Implicit Feedback Datasets

在该模型中对$r_{ui}$引入喜好变量和置信度变量。

• 喜好变量$f_{ui}$是一个二元变量，表示用户是否具有该无偏偏好，定义如下：
  $$f_{ui}=\{\begin{array}{cc}1& r_{ui}>0\\ 0& r_{ui}=0\end{array}\text{\hspace{1em}(1)}$$
• 置信度变量 $c_{ui}$表示用户对物品喜好的置信程度，定义如下：
  $$c_{ui}=1+\alpha r_{ui}\text{\hspace{1em}(2)}$$
  $\alpha$是超参数。
• 整体的损失函数如下：
  最终得到如下优化目标函数：
  $$J=\underset{p_{\star },q_{\star }}{\min }\sum _{u,i}{c}_{ui}{\left(f_{ui}-p_u^T{q}_i\right)}^2+\lambda \left(\sum _u{\Vert p_u\Vert }^2+\sum _i{\Vert q_i\Vert }^2\right)\text{\hspace{1em}(3)}$$
  $\lambda$是惩罚项，用于惩罚两个参数，防止过拟合
  这个问题是非凸函数， 作者使用的是ALS（交替最小二乘法）优化方法。如果固定其中一个参数将其看做是常数的话，那么整个问题就变成了一元二次函数，可以很容易的得到极小值点。根据这种思想就有了交替最小二乘法：
• 初始化$p_u^1$，$q_i^1$
• 循环$k$，$k=1,2,\dots$
  – [ ] $p_u^{k+1}=\arg {\min }_{p_u}J(p_u^k,q_i^k)$
  – [ ] $q_i^{k+1}=\arg {\min }_{q_i}J(p_u^{k+1},q_i^k)$

固定$q_i$的值，对$p_u$进行搜索：
$$\begin{array}{rl}\frac{1}{2}\frac{\partial J}{\partial p_u}& =\sum _i{c}_{ui}\left(p_u^T{q}_i-f_{ui}\right)q_i+\lambda p_u\\ & =\sum _i{c}_{ui}\left(q_i^T{p}_u-f_{ui}\right)q_i+\lambda p_u\\ & =Q^T{C}^{u}Q{p}_u-Q^T{C}^{u}f(u)+\lambda p_u\end{array}$$
得到：
$$p_u={\left(Q^T{C}^{u}Q+\lambda I\right)}^{-1}{Q}^T{C}^{u}f(u)$$
同理可得：
$$\begin{array}{rl}\frac{1}{2}\frac{\partial J}{\partial q_i}& =\sum _u\left[c_{ui}\left(p_u^T{q}_i-f_{ui}\right)\right]p_u+\lambda q_i\end{array}$$
$$q_i={\left(P^T{C}^{i}P+\lambda I\right)}^{-1}{P}^T{C}^{i}f(i)$$

9.2 Federated collaborative filtering for privacy-preserving presonalized recommendation system

9.2.1 分析

联邦学习的思想是“数据不出本地”，现在对之前的计算进行分析：

• 用户$u$利用自己的数据，就可以实现$p_u$的更新；
• 对$q_i$的更新需要用到所有用户的个人数据，需要将数据整合到一起，但是这与联邦学习的定义不符。

文章采用梯度下降的方法对$q_i$进行更新：
$$\begin{array}{rl}{q}_i& =q_i-\gamma \frac{\partial J}{\partial q_i}\end{array}$$
用户只用自己的个人数据就可以求出部分梯度，最终将所有人求出的梯度进行整合即可。

与ALS相比：

• ALS可以一步到位直接到达参数$q_i$的较小值点
• 梯度下降需要迭代多次才能到达一个较小值点
• 梯度下降可以在用户本地进行，最终只需要将所有用户的梯度整合一下取平均即可

9.2.2 步骤

联邦学习范式中的协同过滤。 主模型 $Y$（项目-因素矩阵，有时候也用$Q$，或者$V$，不同文献使用的符号系统不同，为了和图片一致，我这里依然采用$Y$）在服务器上更新，然后分发到客户端。 每个特定于用户的模型 $X$（用户-因素矩阵，有时候也用$P$，或者$U$，不同文献使用的符号系统不同，为了和图片一致，我这里依然采用$X$）保留在本地客户端上，并使用本地用户数据和来自服务器的 $Y$ 在客户端上进行更新。 通过 $Y$ 的梯度的更新在每个客户端上计算并传输到服务器，在那里它们被聚合以更新主模型 $Y$。

• 所有项目因子向量 $y_i$ , $i=1,\dots ,M$ 在服务器上更新，然后分发给每个客户端 $u$。
• 用户因子向量 $x_u$, $u\in 1,...,N$ 在客户端 $u$ 上本地更新，使用用户 $u$ 自己的数据和 $y_i$, $i=1,\dots ,M$来自服务器。
• 通过梯度 $\delta y_{ui}$ 的更新是针对每个客户端 $u$ 上的项目 $t_i$ 计算的，并传输到服务器，在那里梯度被聚合以更新 $y_i$。 这与现有的联邦学习架构形成对比，其中客户端直接计算参数 $y_{ui}$ 的更新，然后在服务器上聚合以更新主模型。
  
  以下公式是从论文中摘录下来的：
  
  符号说明：
  $p(u)$就是前文的$f(u)$：表示用户的购买记录；
  
  
  符号说明：
  $p_{ui}$就是前文的$f_{ui}$：表示用户是否具有该无偏偏好；