pytorch小记（二十七）：深入理解 PyTorch 中的 `.contiguous()`：内存布局与数据不变性

---

深入理解 PyTorch 中的 .contiguous()：内存布局与数据不变性

在使用 PyTorch 进行深度学习和张量操作时，常常需要对张量进行转置、切片或高级索引等操作，这些操作往往不会真实复制数据，而是通过更改张量的 stride（步幅）和偏移量来重用原有内存，这就可能导致张量在内存中变得 非连续（non-contiguous）。为了方便后续的 .view()、底层 C/CUDA 调用或第三方库的使用，PyTorch 提供了 .contiguous() 方法，用来生成一个在内存中真正“连续”的张量副本。

---

一、张量连续性（contiguity）概念

• 连续张量
  在内存中，各元素按行优先（row-major）顺序一块一块排列，没有“跳跃”。如果你把它看成一段一维数组，元素 index 会从 0、1、2……依次对应底层内存地址的偏移。

• 非连续张量
  某些操作（如 .t() 转置、.permute() 维度重排、.narrow() 切片、高级索引）并不会复制数据，而是通过改变stride和开始偏移完成。这时，如果你想直接把它 .view()（不复制内存，只修改元数据）就会因为内存布局不匹配而报错。

可以用 .is_contiguous() 快速判断：

import torch

x = torch.randn(2, 3)
print(x.is_contiguous())    # True

y = x.t()                    # 转置后不复制内存
print(y.is_contiguous())    # False

---

二、.contiguous() 的作用

1. 保证后续 .view() 可用

   y = x.t()             # 非连续
   y.view(-1)            # RuntimeError: view size and stride incompatible
   y2 = y.contiguous()   # 复制一份连续数据
   y2.view(-1)           # 成功，不会报错
   

2. 兼容 C/CUDA 扩展与第三方库
   底层接口通常假设输入是连续内存，调用 .contiguous() 可以消除潜在的 stride 跳跃问题。

3. 提升内存访问效率
   连续内存更利于缓存友好和向量化操作，尤其在大批量数据计算时。

---

三、.contiguous() 是否改变数值？

• 不会改变任何数值。
• 如果张量本身已连续，.contiguous() 直接返回原张量，不发生复制，也不改变数据。
• 如果张量非连续，则分配一块新内存，把原张量的所有元素逐一拷贝到新内存中，值前后保持完全一致。

用下面的代码验证：

import torch

a = torch.arange(6).view(2,3)   # 连续
b = a.t()                       # 非连续

# 数据指针变化
print(b.data_ptr(), b.storage().data_ptr())  
c = b.contiguous()
print(c.data_ptr(), c.storage().data_ptr())

# 数值完全一致
print(torch.equal(b.view(-1).sort().values, c.view(-1).sort().values))
# True

---

四、与 .clone() 的区别

方法	连续张量	非连续张量	是否复制数据
tensor.clone()	始终复制	始终复制	是
tensor.contiguous()	不复制	复制并返回连续内存的副本	视情况

• .clone()：无论原张量是否连续，总会复制一份数据，得到的新张量与原张量在内存上完全独立且一定是连续的。
• .contiguous()：仅在原张量非连续时复制，连续时直接返回自身，更加高效。

---

五、常见使用场景

1. 转置后拉平

   x = torch.randn(4, 5)
   y = x.t()              # shape(5,4)，非连续
   y = y.contiguous()     # 确保连续
   y_flat = y.view(-1)    # (20,)
   

2. 高级索引后 reshape

   x = torch.arange(9).view(3,3)
   y = x[:, [2,0]]        # 非连续
   y = y.contiguous()
   y = y.reshape(3,2)     # reshape 同样要求连续
   

3. 自定义 C/CUDA kernel 调用

   import my_cuda_ext
   x = some_tensor.permute(0,2,1)  # 非连续
   x_contig = x.contiguous()
   my_cuda_ext.process(x_contig.data_ptr(), x_contig.shape)
   

---

六、总结

• 核心作用：将“内存跳跃”的张量复制成真正连续内存，保证后续基于视图的操作（如 .view()、.reshape()）和底层接口调用的可用性和性能。
• 绝不改变数值：.contiguous() 只影响内存布局，数据值保持完全相同。
• 高效策略：在性能敏感场景下，只有在 .is_contiguous() 返回 False 时再调用，避免不必要的内存复制。

---