一、数据增强概述
二、数据增强方法：裁剪
三、数据增强方法：翻转和旋转
四、数据增强方法：变换
五、transforms方法的选择操作
一、数据增强概述
我们来看图片中的数据增强是怎么样的。
左边的图像可以增强得到右边的图片，供模型训练。模型见过更多更丰富的样本，从而提高模型的泛化能力。
下面开始学习具体的数据增强方法。
二、裁剪
1. transforms.CenterCrop()
功能是对图像进行中心裁剪。
看例子，左边是224*224的图片。进行一个196*196的CenterCrop，得到右边的图像。
例：还是人民币的例子。
# -*- coding: utf-8 -*-"""# @file name : transforms_methods_1.py# @author: TingsongYu /TingsongYu# @date : -09-11 10:08:00# @brief: transforms方法(一)"""import osBASE_DIR = os.path.dirname(os.path.abspath(__file__))import numpy as npimport torchimport randomfrom torch.utils.data import DataLoaderimport torchvision.transforms as transformsfrom PIL import Imagefrom matplotlib import pyplot as pltpath_lenet = os.path.abspath(os.path.join(BASE_DIR, "model", "lenet.py"))path_tools = os.path.abspath(os.path.join(BASE_DIR, "tools", "common_tools.py"))assert os.path.exists(path_lenet), "{}不存在，请将lenet.py文件放到 {}".format(path_lenet, os.path.dirname(path_lenet))assert os.path.exists(path_tools), "{}不存在，请将common_tools.py文件放到 {}".format(path_tools, os.path.dirname(path_tools))import sys'''hello_pytorch_DIR = os.path.abspath(os.path.dirname(__file__)+os.path.sep+".."+os.path.sep+"..")sys.path.append(hello_pytorch_DIR)'''from tools.my_dataset import RMBDatasetfrom mon_tools import set_seed, transform_invertset_seed(1) # 设置随机种子# 参数设置MAX_EPOCH = 10BATCH_SIZE = 1LR = 0.01log_interval = 10val_interval = 1rmb_label = {"1": 0, "100": 1}# ============================ step 1/5 数据 ============================split_dir = os.path.abspath(os.path.join(BASE_DIR, "data", "rmb_split"))if not os.path.exists(split_dir):raise Exception(r"数据 {} 不存在, 回到lesson-06\1_split_dataset.py生成数据".format(split_dir))train_dir = os.path.join(split_dir, "train")valid_dir = os.path.join(split_dir, "valid")norm_mean = [0.485, 0.456, 0.406]norm_std = [0.229, 0.224, 0.225]train_transform = pose([transforms.Resize((224, 224)),# 1 CenterCroptransforms.CenterCrop(196),# 196# 2 RandomCrop# transforms.RandomCrop(224, padding=16),# transforms.RandomCrop(224, padding=(16, 64)),# transforms.RandomCrop(224, padding=16, fill=(255, 0, 0)),# transforms.RandomCrop(512, pad_if_needed=True), # pad_if_needed=True# transforms.RandomCrop(224, padding=64, padding_mode='edge'),# transforms.RandomCrop(224, padding=64, padding_mode='reflect'),# transforms.RandomCrop(1024, padding=1024, padding_mode='symmetric'),# 3 RandomResizedCrop# transforms.RandomResizedCrop(size=224, scale=(0.5, 0.5)),# 4 FiveCrop# transforms.FiveCrop(112),# transforms.Lambda(lambda crops: torch.stack([(transforms.ToTensor()(crop)) for crop in crops])),# 5 TenCrop# transforms.TenCrop(112, vertical_flip=False),# transforms.Lambda(lambda crops: torch.stack([(transforms.ToTensor()(crop)) for crop in crops])),# 1 Horizontal Flip# transforms.RandomHorizontalFlip(p=1),# 2 Vertical Flip# transforms.RandomVerticalFlip(p=0.5),# 3 RandomRotation# transforms.RandomRotation(90),# transforms.RandomRotation((90), expand=True),# transforms.RandomRotation(30, center=(0, 0)),# transforms.RandomRotation(30, center=(0, 0), expand=True), # expand only for center rotationtransforms.ToTensor(),transforms.Normalize(norm_mean, norm_std),])valid_transform = pose([transforms.Resize((224, 224)),transforms.ToTensor(),transforms.Normalize(norm_mean, norm_std)])# 构建MyDataset实例train_data = RMBDataset(data_dir=train_dir, transform=train_transform)valid_data = RMBDataset(data_dir=valid_dir, transform=valid_transform)# 构建DataLodertrain_loader = DataLoader(dataset=train_data, batch_size=BATCH_SIZE, shuffle=True)valid_loader = DataLoader(dataset=valid_data, batch_size=BATCH_SIZE)# ============================ step 5/5 训练 ============================for epoch in range(MAX_EPOCH):for i, data in enumerate(train_loader):inputs, labels = data # B C H Wimg_tensor = inputs[0, ...]# C H Wimg = transform_invert(img_tensor, train_transform) #这个函数用来对transform进行逆操作。使得可以观察到模型输入的数据长什么样。plt.imshow(img)plt.show()plt.pause(0.5)plt.close()# bs, ncrops, c, h, w = inputs.shape# for n in range(ncrops):#img_tensor = inputs[0, n, ...] # C H W#img = transform_invert(img_tensor, train_transform)#plt.imshow(img)#plt.show()#plt.pause(1)
后面的只要每次修改标红的地方就行了，就不全写了。
结果：
可以看到生成了196*196的图像。
如果要生成的图像大于224*224呢？比如参数改成256，我们看到程序不报错，而是能正确裁剪出256*256的图片。只不过对超出的部分会填充为0的像素。
2. transforms.RandomCrop()
随机裁剪出大小为size的图片。是随机位置的裁剪。
padding：当为一个数时，上下左右都填充a个像素。当时一个元组(a,b)时，左右填充a个像素，上下填充b个像素。当padding为(a,b,c,d)的元组时，对四边填充不同的值。
例1：对上下左右均进行16像素的padding。然后再在这个大的图片上进行224*224的随机选取。
结果：
对上下左右均进行16像素的padding。然后再在这个大的图片上进行224*224的随机选取。
例2：左右填充16，上下填充64。然后随机选取224*224。
结果：
左右填充16，上下填充64。然后随机选取224*224。
例3：不想填充黑色的时候，可以通过fill进行设置。颜色为RGB。
结果：
例4：当size大于图像尺寸的时候，一定要设pad_if_need为True，否则会报错。
结果报错：
把参数打开：
结果：
例5：由图片边缘的像素填充。
结果：
例6：镜像模式
结果：
例7：镜像
结果：
像不像印钞机！
3. RandomResizedCrop()
相比RandomCrop()多了一个Resized的操作。将给定图像随机裁剪为不同的大小和宽高比，然后缩放所裁剪得到的图像为指定的大小.（即先随机采集，然后对裁剪得到的图像缩放为同一大小）。
该操作的含义：即使只是该物体的一部分，我们也认为这是该类物体。比如 猫的图片别裁剪缩放后，仍然认为这是一个猫。
tatio：长宽比的区间是(3/4,4/3)。
插值方法：由于裁剪之后图片的尺寸可能会小于size，因此要对裁剪出来的图片进行插值，缩放到原始的图片
例1：
结果：
可以看到图片小了很多。
首先根据scale在0.08到1之间随机选取。然后根据长宽比ratio在(3/4,4/3)设定图形的长和宽。然后裁剪图片。裁剪完之后，resize到224*224。
例：将scale设为(0.5,0.5),这样每次都裁剪一半的图像。
结果：
这个图片保存了原有图片的50%的面积。
4. FiveCrop()
5. TenCrop()
FiveCrop()是在图像的左下角、左上角、右上角、右下角以及中心进行裁剪。裁剪出5张图片。【例2】
由于返回的是5张或者10张图片，返回的是一个元组。如果直接使用会报错。【例1】
因此，直接使用是不行的，需要对tuple进行操作。把它变成张量的形式或者PIL image的形式。【例2】
而TenCrop()是在这5张图片的基础上进行镜像得到。代码与FiveCrop()一样。
vertical_flip: True是垂直翻转；False是水平翻转。
例1：
结果：
例2：
lambda是一个匿名函数。冒号之前的是函数的输入，即“crops”。冒号之后的语句就是函数的返回值。
由于上面进行了ToTenser()，下面就不要进行ToTensor()和Normalize()
由于得到的张量不再是一个4维的张量（batchsize, channel, h, w），而是一个5维的张量(batchsize, ncrops, channel, h, w)。所以，不能用上面的代码进行可视化，而是使用下面的循环对5张图片进行可视化。
结果：
左上角：
右上角：
左下角：
右下角：
中间：
三、翻转、旋转
1. RandomHorizontalFlip()
2. RandomVerticalFlip()
只有一个参数p。每次根据一定的概率执行Flip()操作。
什么是水平翻转：
什么是垂直翻转：
例1：水平翻转
结果：
例2：垂直翻转
结果：
有的垂直翻转， 有的没有翻转。
3. RandomRotation()
degrees:旋转角度。【例1】
expand:图片旋转之后，它的四个角有可能超出原始图片的矩形框。超出的部分信息会丢失。如果想保持图片完整。就要吧expand设置为true。【例2】
比如：
左边是旋转了之后不扩大图片。右边是旋转了之后扩大图片。
使用expand的时候，每次图片大小是不一样的。如果batchsize不是1的话，会报错。因为把数据整理成一个batchdata的时候，因为图片的尺寸不一致。
center:旋转点。默认是中心旋转。也可以设置，比如下面第二张是中心旋转，第三张是以左上角旋转。【例3】
不是中心旋转，是不能通过expand=True找回丢失的信息的。【例4】
例1：旋转-90~90度。
例2：旋转-90~90度，中心扩展
结果：
使用expand的时候，每次图片大小是不一样的。
例3：以左上角为中心点，旋转30度。
结果：
例4：
结果：
发现图片还是会丢失，这是因为expand机制是针对centerRotation这个模式计算需要扩大的长度的。而以左上角为中心，扩大的计算方法不一样。所以会出问题。
四、图像变换
1. Pad()
在学习RandomCrop()的时候，就是首先对图片进行填充，然后随机裁剪。
例1：上下左右填充32个像素，填红色。
例2：左右填充8像素，上下64像素。颜色红色。
结果：
例3：四周填充不同的像素值。
结果：
例4：对称填充
2. ColorJitter()
这个方法经常用到，尤其是自然图像。由于自然图像在采集过程中，由于光线或者环境不同，色彩通常会有一些偏差。所以要对其进行调整，以弥补这些偏差带来的扰动。
brightness:亮度。如果brights<1，会变暗；如果>1,会更亮一些。【例1】
contrast：对比度。当对比度降低，会发灰。如果对比度升高，白色的地方会更白，灰色的地方会更灰。【例2】
saturation:饱和度。饱和度降低，图像更暗淡。饱和度升高，图像更鲜艳。【例3】
例1：
首先去掉注释，查看原始图片：
然后放开注释，执行，看效果：
发现变暗了。
例2：对比度
结果：
原图为：
例3:饱和度
结果：
原图：
饱和度降低，图像更暗淡。
例4：色相
结果：
原图：
3. Grayscale()
4. RandomGrayscale()
transforms中提供了两个将彩色图像转换成灰度图像的方法。
RandomGrayscale是依据一定的概率将图片转换成灰度图。Grayscale是RandomGrayscale的一个特例，也就是概率等于1的RandomGrayscale。
我的实验结果是RandomGrayscale()没有num_output_channels这个参数，只有p这个参数。【例2】
例1：
结果：
例2：
结果：
5. RandomAffine()
RandomAffine()方法必须要设置degrees参数。如果不想旋转，就可以把它设置为0.
什么是错切，我们举一个例子：
中间图是进行X轴的错切，可以看到x轴还是平行的；右图是在Y轴进行错切，可以看到y轴还是平行的。
例1：旋转degrees
结果：
可以看到每张图片都是在(-30,30)之间旋转。
例2：平移
结果：
很像RandomCrop()
例3：缩放
结果：
图像还是224*224的，不过进行了缩小。
例4：错切
设置y轴上的错切。
例5：x轴错切
结果：
6. RandomErasing()
往往搜集图片的时候，我们的目标会被遮挡住一部分，但是人类的具有联想的功能，即使我们的物体被遮挡一部分，我们根据联想仍然能够识别出图片中的物体。然而我们的模型就没有这么智能了，他没有联想的功能，所以我们需要对训练集进行人为的遮挡，让我们的模型去见过这些被遮挡的图片。
下面举个例子：
对图片进行了随机大小、随机像素值、随机长宽比的遮挡。
scale：要遮挡多大的面积。
ratio:遮挡的长宽比。
value: 遮挡区间的像素值。
p:依据某一概率确定是否遮挡。
inplace:是否执行原位操作。
需要注意的是，随机遮挡接受的是Tensor，它是在一个张量上进行操作。所以在之前要执行一个ToTensor()。后面的ToTensor()和Normalize可以不要。
例1：
scale=(0.02, 0.33) ration=(0.3, 3.3)是论文推荐的值。因为是Tensor,所以像素值不再是0-255，而是0-1。
例2：如果设置为一个字符串，就会进行随机填充。字符串是个任意的。
结果：
7. transforms.Lambda()
匿名函数。通常用于几个简单的操作的实现。
冒号前面是输入，冒号后面是表达式。
我们上节课的例子：
参数是crops。
首先从crops中拿出crop。然后把crop转换为Tensor。
拼成一个列表。然后把列表拼接成一个向量。返回。
五、transforms方法的选择操作
transforms对图像的具体操作学习完了。现在学习方法的选择操作。通过选择操作方法，可以使得数据增强方法更加灵活、丰富、多样。
1. transforms.RandomChoice()
在一系列方法中随机挑选一个。【例1】
2. transforms.RandomApply()
每次依概率执行还是不执行，执行就执行一组。【例2】
3. transforms.RandomOrder()
打乱顺序再执行。【例3】
例1：图像要么水平翻转要么垂直翻转。
结果：
例2：
结果：
在x轴错切，并变成灰度图。
例3：
结果：
旋转、填充、仿射变换，随机打乱顺序执行。
如果觉得《4.3 pytorch数据预处理：transforms图像增强方法》对你有帮助，请点赞、收藏，并留下你的观点哦！
