【机器学习笔记Ⅰ】7 向量化

向量化（Vectorization）详解

向量化是将数据或操作转换为向量（或矩阵）形式，并利用并行计算高效处理的技术。它是机器学习和数值计算中的核心优化手段，能显著提升代码运行效率（尤其在Python中避免显式循环）。

---

1. 为什么需要向量化？

(1) 传统循环的缺陷

• 低效：Python的for循环逐元素操作，速度慢。
• 代码冗长：需手动处理每个元素。

示例：计算两个数组的点积（非向量化）

a = [1, 2, 3]
b = [4, 5, 6]
dot_product = 0
for i in range(len(a)):
    dot_product += a[i] * b[i]  # 逐个相乘并累加

(2) 向量化的优势

• 并行计算：利用CPU/GPU的SIMD（单指令多数据）指令同时处理多数据。
• 简洁高效：调用优化过的库（如NumPy、TensorFlow）替代显式循环。

向量化实现：

import numpy as np
a = np.array([1, 2, 3])
b = np.array([4, 5, 6])
dot_product = np.dot(a, b)  # 直接调用优化函数

速度对比：向量化代码可比循环快 10~100倍（数据量越大优势越明显）。

---

2. 向量化的核心场景

(1) 数值计算（NumPy/Pandas）

• 数组运算：加减乘除、矩阵乘法、统计量计算。

  # 非向量化（慢）
  result = []
  for x, y in zip(list_a, list_b):
      result.append(x + y)
  
  # 向量化（快）
  result = np.array(list_a) + np.array(list_b)
  

(2) 机器学习（特征处理/模型训练）

• 特征矩阵：将数据表转换为设计矩阵 ( X )（每行一个样本，每列一个特征）。

  # 原始数据 → 向量化特征矩阵
  X = np.array([[1.2, 3.5], [4.1, 0.9]])  # 2个样本，2个特征
  

• 梯度计算：同时更新所有参数（而非逐个更新）。

  # 非向量化梯度下降（伪代码）
  for j in range(n_features):
      grad_j = compute_gradient(X[:, j], y)
      w[j] -= learning_rate * grad_j
  
  # 向量化梯度下降
  grad = compute_gradient(X, y)  # 一次性计算所有梯度
  w -= learning_rate * grad
  

(3) 自然语言处理（词向量）

• 词嵌入：将单词映射为稠密向量（如Word2Vec、GloVe）。

  # "king" → 300维向量
  king_vector = word2vec_model["king"]  # 形状：(300,)
  

---

3. 向量化的底层原理

(1) SIMD指令

• CPU/GPU通过单指令多数据（SIMD）并行处理数组运算。
• 示例：一次加法指令同时计算4个浮点数（SSE/AVX指令集）。

(2) 内存连续访问

• 向量化操作按顺序访问内存，减少缓存未命中（Cache Miss）。

(3) 库优化

• NumPy、TensorFlow等库底层用C/Fortran实现，避免Python解释器开销。

---

4. 代码示例对比

案例：计算Sigmoid函数

非向量化（慢）

import math
def sigmoid(x):
    return 1 / (1 + math.exp(-x))

# 对列表逐元素计算
inputs = [1, 2, 3]
outputs = [sigmoid(x) for x in inputs]  # 显式循环

向量化（快）

import numpy as np
def sigmoid(x):
    return 1 / (1 + np.exp(-x))  # 自动广播到数组

inputs = np.array([1, 2, 3])
outputs = sigmoid(inputs)  # 一次性计算

---

5. 向量化的局限性

• 不适合条件逻辑：需结合np.where或np.select实现。

  # 条件判断的向量化替代
  x = np.array([1, -2, 3])
  y = np.where(x > 0, x, 0)  # 等价于 [max(0, xi) for xi in x]
  

• 内存消耗：大矩阵可能占用过多内存（需权衡速度与资源）。

---

6. 总结

关键点	说明
定义	用数组/矩阵运算替代显式循环，利用并行计算加速。
优势	速度快（SIMD）、代码简洁、适合大规模数据。
应用场景	数值计算、特征工程、模型训练、NLP/CV中的嵌入表示。
工具库	NumPy、TensorFlow/PyTorch、Pandas。
注意事项	避免内存溢出，条件逻辑需特殊处理。

一句话总结：向量化是“用数学的思维写代码”，是高效数据科学的必备技能！