torchvision 的 transforms 与 python 的图像接口opencv、skimage和PIL 相关总结

torchvision的transforms里面包含了很多数据增强的方法，但是网上看到很多人采用了很多不同的图像接口读取图片，而出现很多错误，这里总结一下python的图像接口格式的区别已经转化方法 以及 transforms的使用。

1.python 图像接口基本操作

1.1 opencv读取图片

1.1.1 读取方法

# 默认彩图
img_cv2 = cv2.imread('test.jpg')

# 灰度图
img_cv2_gray = cv2.imread('test.jpg',0)

opencv默认读取的是BGR格式

1.1.2 读取格式&尺寸

img_cv2.shape
# (250, 250, 3)

type(img_cv2)
# numpy.ndarray

opencv默认存储图片的是numpy.ndarray格式，并且尺寸为H×W×C

1.2 PIL.Image读取图片

1.2.1. 读取方法

# 默认彩图
img_pil = Image.open('test.jpg')

# 灰度图
img_pil_gray = cv2.imread('test.jpg',0).convert('L')

PIL默认读取的是RGB格式

1.2.2 读取格式&尺寸

img_pil.size
# (250, 250)

np.array(img_pil).shape
#(250, 250, 3)

type(img_pil)
# PIL.JpegImagePlugin.JpegImageFile

PIL默认存储图片的是PIL.JpegImagePlugin.JpegImageFile格式，并且尺寸为H×W×C

1.3 skimage 读入图片

1.3.1 读取方法

# 默认彩图
img_skimage = io.imread('test.jpg')

# 灰度图
img_skimage_gray = io.imread('test.jpg',-1)

skimage默认读取的是RGB格式

1.3.2 读取格式&尺寸

img_skimage.shape
# (250, 250, 3)

type(img_skimage)
# imageio.core.util.Array

PIL默认存储图片的是imageio.core.util.Array格式，并且尺寸为H×W×C

2. 相互转化

2.1 opencv <—> pil

# opencv -> pil
img_pil = Image.fromarray(cv2.cvtColor(img_cv,cv2.COLOR_BGR2RGB))

# pil -> opencv
img_cv = cv2.cvtColor(np.asarray(img_pil),cv2.COLOR_RGB2BGR)

2.2 skimage <—> pil

# skimage -> pil
img_pil = Image.fromarray(img_skimage)

# pil -> skimage
img_pil = np.array(img_skimage)

2.3 skimage <—> opencv

# opencv -> skimage
img_skimage = cv2.cvtColor(img_cv,cv2.COLOR_BGR2RGB)

# skimage -> opencv
img_cv = cv2.cvtColor(img_skimage,cv2.COLOR_RBG2BGR)

2.4 维度变化

H×W×C ——> C×H×W

img_cv2.transpose(2,0,1).shape
# （3，250， 250）

img_skimage.transpose(2,0,1).shape
# （3，250， 250）

3. transforms操作

from torchvision import transforms

transforms包含多种图像操作的函数，可以单独使用，也可以通过transforms.Compose([function1, function2,……functionN])操作,但是只能对PIL读入的数据操作

trans = transforms.Compose([
         transforms.transforms.Resize(112),
         transforms.ToTensor(),
         transforms.Normalize(mean = RGB_MEAN,
                                 std = RGB_STD)
     ])
trans_after = trans(img_pil)

总结

名称	读入图像格式	数据形状	能否通过transforms转换
opencv	BGR	H×W×C	否
PIL	RGB	H×W×C	是
skimage	RGB	H×W×C	否