2025-05-28 为什么要做表示学习？

一、表示学习的定义

表示学习（Representation Learning） 是指将原始数据（文本、图像、音频等）通过某种方式转换为机器能处理的向量形式的过程。

核心本质：用向量表示“语义”或“结构”，便于后续模型进行 分类 / 检索 / 推理 / 聚类 / 生成 等任务。

二、为什么不能使用原始数据

例子：自然语言中的 猫、狗、计算机

假设我们要让计算机理解“猫”和“狗”的关系，直接使用原始文本（字符串）

"猫" != "狗" != "计算机" # 计算机无法理解任何语义

机器学习模型需要输入为数字，因此我们需要将文本转化为向量，这就是表示学习要解决的问题

三、常见表示方法对比

表示方式	向量结构	特点	问题
One-Hot	稀疏、高维	易于理解，实现简单	无语义相似性，维度太高
词频TF	稀疏	可以表达词出现的频率	无上下文信息
TF-IDF	稀疏	关注区分性	无语义表达
Word2Vec / GloVe	稠密低维	学习语义空间	上下文局部性限制
BERT / Transformer	周密、上下文相关	可表达深层语义	计算成本较高



四、稀疏向量 vs 稠密向量



特性	稀疏向量（One-Hot, TF-IDF）	稠密向量（Embedding）
维度	高（如 10,000+）	低（通常 128 ~ 1024）
表达能力	只能表示“是否存在”	可以表达“语义相似性”
计算性能	慢，内存开销大	快，适配 GPU 训练
例子	[0, 0, 1, 0, ..., 0]	[0.12, -0.03, ..., 0.87]
可拓展性	差，难以泛化	好，可迁移学习



五、语义映射：向量空间里的聪明映射

在稠密向量空间中，我们可以计算：

cosine_similarity(vec("猫"), vec("狗")) ≈ 0.92

cosine_similarity(vec("猫"), vec("计算机")) ≈ 0.13

甚至可以推理类比关系：

vec("国王") - vec("男人") + vec("女人") ≈ vec("女王")

六、表示学习的重要性

1、提高模型性能

通过学习到数据的良好表示，模型可以更好的捕捉数据中的特征和模式，从而提高在各种任务上的性能。例如，在图像分类任务中，合适的图像表示可以使分类器更准确的识别不同的物体。

2、减少数据维度

原始数据往往具有很高的维度，包含大量的冗余信息。表示学习可以将数据映射到一个低维的空间，同时保留重要的信息，这有助于降低计算成本和提高模型的效率。

3、增强模型的泛化能力

学习到的表示通常具有更好的泛化性，能够在不同的数据集和任务中表现良好。这使得模型可以更好地适应新的数据和情况。

七、表示学习的方法

1、主成分分析（PCA）

• PCA是一种经典的线性表示学习方法。它通过找到数据的主要成分，将数据投影到一个低维空间中。具体来说，它计算数据的协方差矩阵，然后找到其特征向量和特征值，选择最重要的特征向量来构建低维表示。

• 例如，对于一个二维数据集，如果数据点大致分布在一条直线上，PCA可以找到这条直线的方向作为主要成分，将数据投影到这条直线上，从而将二维数据降为一维。

2、自编码器（Autoencoder）

• 自编码器是一种神经网络模型，由编码器、解码器和中间的隐藏层组成。编码器将输入数据压缩到一个低维表示，解码器则尝试从这个低维表示中重建原始数据。

• 在训练过程中，自编码器通过最小化重建误差来学习数据的表示。例如，对于图像数据，自编码器可以学习到图像的特征表示，使得重建的图像尽可能接近原始图像。

3、深度信念网络（DBN）

• DBN是一种包含多个受限玻尔兹曼机（RBM）的深度学习模型。它通过逐层训练RBM来学习数据的层次化表示。

• 首先，训练第一个RBM来学习数据的第一层表示，然后将其输出作为下一个RBM的输入，依次训练多个RBM，最终得到数据的深度表示。DBN在图像和语音识别等领域取得了很好的效果。

4、卷积神经网络（CNN）

• CNN是专门用于处理具有网格结构数据（如图像和音频）的神经网络。它通过卷积层、池化层和全连接层来自动学习数据的特征表示。

• 卷积层通过卷积核在数据上滑动进行卷积操作，自动提取局部特征。池化层则对特征进行下采样，减少数据维度。全连接层将提取到的特征进行整合和分类。例如，在图像分类中，CNN可以学习到图像中不同物体的特征表示，从而准确地判断图像中物体的类别。

八、表示学习的应用

1、图像识别

• 在图像识别领域，各种表示学习方法被广泛应用。例如，通过自编码器学习图像的特征表示，然后将这些特征用于图像分类任务。CNN更是在图像识别中取得了巨大的成功，能够自动学习到图像中复杂的物体特征，实现高精度的图像分类和目标检测。

2、自然语言处理

• 在自然语言处理中，词向量表示学习是一个重要的应用。例如，Word2Vec等方法可以将单词表示为低维向量，使得具有相似语义的单词在向量空间中距离相近。这些词向量可以用于文本分类、情感分析、机器翻译等任务，提高模型的性能。

3、语音识别

• 表示学习也被应用于语音识别领域。例如，通过对语音信号进行特征提取和表示学习，将语音转换为适合识别的形式。深度神经网络在语音识别中取得了显著的成果，能够学习到语音的声学特征和语言模型，提高语音识别的准确率。

4、推荐系统

• 在推荐系统中，表示学习可以用于学习用户和物品的特征表示。例如，通过对用户的行为数据（如购买记录、浏览历史等）进行表示学习，将用户表示为一个向量，同时将物品也表示为向量。然后根据用户向量和物品向量的相似度来进行推荐，提高推荐的准确性和个性化程度。

        表示学习是机器学习中的一个重要研究方向，它为提高模型性能、减少数据维度和增强模型泛化能力提供了有效的方法。随着深度学习的发展，各种表示学习方法在图像识别、自然语言处理、语音识别和推荐系统等领域取得了广泛的应用和显著的成果