协同过滤

协同过滤的定义：

协同过滤（英语：Collaborative Filtering）简单来说是利用某兴趣相投、拥有共同经验之群体的喜好来推荐用户感兴趣的信息，个人通过合作的机制给予信息相当程度的回应（如评分）并记录下来以达到过滤的目的进而帮助别人筛选信息，回应不一定局限于特别感兴趣的，特别不感兴趣信息的纪录也相当重要。
协同过滤又可分为评比（rating）或者群体过滤（social filtering）

image.png

image.png

国外案例：

1. Tapestry：个人决定自己的感兴趣的邮件类型；个人旋即随机发出一项资讯需求，可预测的结果是会收到非常多相关的文件；从这些文件中个人选出至少三笔资料是其认为有用、会想要看的；系统便将之记录起来成为个人邮件系统内的过滤器，从此以后经过过滤的文件会最先送达信箱。
2. GroupLens：这个系统主要是应用在新闻的筛选上，帮助新闻的阅听者过滤其感兴趣的新闻内容，阅听者看过内容后给一个评比的分数，系统会将分数记录起来以备未来参考之用，假设前提是阅听者以前感兴趣的东西在未来也会有兴趣阅听，若阅听者不愿揭露自己的身分也可以匿名进行评分。
3. 最著名的电子商务推荐系统应属亚马逊网络书店顾客选择一本自己感兴趣的书籍，马上会在底下看到一行“Customer Who Bought This Item Also Bought”，亚马逊是在“对同样一本书有兴趣的读者们兴趣在某种程度上相近”的假设前提下提供这样的推荐，此举也成为亚马逊网络书店为人所津津乐道的一项服务，各网络书店也跟进做这样的推荐服务如台湾的博客来网络书店。
4. 另外一个著名的例子是Facebook的广告，系统根据个人资料、周遭朋友感兴趣的广告等等对个人提供广告推销，也是一项协同过滤重要的里程碑。

国内案例：

今日头条：今日头条是一款基于数据挖掘的推荐引擎产品，它为用户推荐有价值的、个性化的信息，提供连接人与信息的新型服务，是国内移动互联网领域成长最快的产品服务之一。当用户使用微博、QQ等社交账号登陆今日头条时，它能5秒钟内通过算法解读使用者的兴趣DNA，用户每次动作后，10秒更新用户模型，越用越懂用户，从而进行精准的阅读内容推荐。
淘宝网：用户在淘宝上购买某一产品后，淘宝惠根据用户所购买的产品来推算用户喜欢的产品。会从“购买此产品的人还购买了”和“猜我喜欢”中推算出。

优缺点

优点

以用户的角度来推荐的协同过滤系统有下列优点：

1. 能够过滤机器难以自动内容分析的信息，如艺术品，音乐等。
2. 共用其他人的经验，避免了内容分析的不完全或不精确，并且能够基于一些复杂的，难以表述的概念（如信息质量、个人品味）进行过滤。
3. 有推荐新信息的能力。可以发现内容上完全不相似的信息，用户对推荐信息的内容事先是预料不到的。可以发现用户潜在的但自己尚未发现的兴趣偏好。
4. 推荐个性化、自动化程度高、能够有效的利用其他相似用户的回馈信息、加快个性化学习的速度。

缺点

1. 新用户问题(New User Problem) 系统开始时推荐质量较差；
2. 新项目问题(New Item Problem) 质量取决于历史数据集；
3. 稀疏性问题（Sparsity）；
4. 系统延伸性问题（Scalability）

协同过滤推荐（Collaborative Filtering recommendation）：

是在信息过滤和信息系统中正迅速成为一项很受欢迎的技术。与传统的基于内容过滤直接分析内容进行推荐不同，协同过滤分析用户兴趣，在用户群中找到指定用户的相似（兴趣）用户，综合这些相似用户对某一信息的评价，形成系统对该指定用户对此信息的喜好程度预测。

传统文本过滤相比，协同过滤有下列优缺点：

优点：

（1）能够过滤难以进行机器自动基于内容分析的信息。如艺术品、音乐;
（2）能够基于一些复杂的，难以表达的概念（信息质量、品位)进行过滤;
（3）推荐的新颖性。

缺点：

（1）用户对商品的评价非常稀疏，这样基于用户的评价所得到的用户间的相似性可能不准确（即稀疏性问题）;
（2）随着用户和商品的增多，系统的性能会越来越低;
（3）如果从来没有用户对某一商品加以评价，则这个商品就不可能被推荐（即最初评价问题）。

要实现协同过滤的推荐算法，要进行以下三个步骤：

（1）收集数据
（2）找到相似用户和物品
（3）进行推荐
协同过滤的推荐算法有三个，分别是以用户为基础（User-based）的协同过滤，以项目为基础（Item-based）的协同过滤，以模型为基础（Model- based）的协同过滤。

以用户为基础（User-based）的协同过滤：

1. 收集用户信息
   收集可以代表用户兴趣的信息。一般的网站系统使用评分的方式或是给予评价，这种方式被称为“主动评分”。另外一种是“被动评分”，是根据用户的行为模式由系统代替用户完成评价，不需要用户直接打分或输入评价数据。电子商务网站在被动评分的数据获取上有其优势，用户购买的商品记录是相当有用的数据。
2. 最近邻搜索(Nearest neighbor search, NNS)
   以用户为基础（User-based）的协同过滤的出发点是与用户兴趣爱好相同的另一组用户，就是计算两个用户的相似度。例如：查找n个和A有相似兴趣用户，把他们对M的评分作为A对M的评分预测。一般会根据数据的不同选择不同的算法，目前较多使用的相似度算法有Pearson Correlation Coefficient、Cosine-based Similarity、Adjusted Cosine Similarity。
3. 产生推荐结果
   有了最近邻集合，就可以对目标用户的兴趣进行预测，产生推荐结果。依据推荐目的的不同进行不同形式的推荐，较常见的推荐结果有Top-N 推荐和关系推荐。Top-N 推荐是针对个体用户产生，对每个人产生不一样的结果，例如：通过对A用户的最近邻用户进行统计，选择出现频率高且在A用户的评分项目中不存在的，作为推荐结果。关系推荐是对最近邻用户的记录进行关系规则(association rules)挖掘。

例子：

下图以用户为基础（User-based）的协同过滤给出了一个例子，对于用户 A，根据用户的历史偏好，这里只计算得到一个邻居 - 用户 C，然后将用户 C 喜欢的物品 D 推荐给用户 A。

image.png

以项目为基础（Item-based）的协同过滤：

1.收集用户信息
同以用户为基础（User-based）的协同过滤。
2.针对项目的最近邻搜索
先计算已评价项目和待预测项目的相似度，并以相似度作为权重，加权各已评价项目的分数，得到待预测项目的预测值。例如：要对项目 A 和项目 B 进行相似性计算，要先找出同时对 A 和 B 打过分的组合，对这些组合进行相似度计算，常用的算法同以用户为基础（User-based）的协同过滤。
3.产生推荐结果
以项目为基础的协同过滤不用考虑用户间的差别，所以精度比较差。但是却不需要用户的历史数据，或是进行用户识别。对于项目来讲，它们之间的相似性要稳定很多，因此可以离线完成工作量最大的相似性计算步骤，从而降低了在线计算量，提高推荐效率，尤其是在用户多于项目的情形下尤为显著。

例子：

下图以项目为基础（Item-based）的协同过滤给出了一个例子，对于物品 A，根据所有用户的历史偏好，喜欢物品 A 的用户都喜欢物品 C，得出物品 A 和物品 C 比较相似，而用户 C 喜欢物品 A，那么可以推断出用户 C 可能也喜欢物品 C。

image.png

以模型为基础（Model- based）的协同过滤

以用户为基础（User-based）的协同过滤和以项目为基础（Item-based）的协同过滤统称为以记忆为基础（Memory based）的协同过滤技术，他们共有的缺点是数据稀疏，难以处理大数据量影响即时结果，因此发展出以模型为基础的协同过滤技术。 以模型为基础的协同过滤(Model-based Collaborative Filtering)是先用历史数据得到一个模型，再用此模型进行预测。以模型为基础的协同过滤广泛使用的技术包括Latent Semantic Indexing、Bayesian Networks…等，根据对一个样本的分析得到模型。