PaddleClas--部署并训练自定义数据集
https://github.com/PaddlePaddle/PaddleClas (尝鲜版)分类模型
PaddleClas
图像分类基础知识
训练集（train dataset）：用来训练模型，使模型能够识别不同类型的特征；
验证集（val dataset）：训练过程中的测试集，方便训练过程中查看模型训练程度；
预训练模型
使用在某个较大的数据集训练好的预训练模型，即被预置了参数的权重，可以帮助模型在新的数据集上更快收敛。尤其是对一些训练数据比较稀缺的任务，在神经网络参数十分庞大的情况下，仅仅依靠任务自身的训练数据可能无法训练充分，加载预训练模型的方法可以认为是让模型基于一个更好的初始状态进行学习，从而能够达到更好的性能。
迭代轮数（epoch）
模型训练迭代的总轮数，模型对训练集全部样本过一遍即为一个 epoch。当测试错误率和训练错误率相差较小时，可认为当前迭代轮数合适；当测试错误率先变小后变大时，则说明迭代轮数过大，需要减小迭代轮数，否则容易出现过拟合。
损失函数（Loss Function）
训练过程中，衡量模型输出（预测值）与真实值之间的差异
一、环境配置
环境配置 Python3.7 cuda10.2
git clone https://github.com/PaddlePaddle/PaddleClas.git -b release/2.3
pip install --upgrade -r requirements.txt -i https://mirror.baidu.com/pypi/simple
二、数据准备
目录结构
/dataset
----data_siji
--------train
------------normal
------------abnormal
--------val
------------normal
------------abnormal
----list.txt
----train.txt
----val.txt
train.txt中存储结构—>文件名和类别编号用’\t’隔断 因为有些文件名字中有空格
list.txt中类别标号在前 类别名称在后
cd 到paddleclas项目下
运行 python preparedata.py
显示如下:
更改imagenet_dataset.py中的标签分隔方式
vi ppcls/data/dataloader/imagenet_dataset.py
三、训练
cp –r /ppcls/configs/quick_start/ResNet50_vd.yaml ../ paddleclas/
vi ResNet50_vd.yaml
device： 训练或者推理使用的设备(cpu、 cuda)
class_num： 训练的总类别数（abnormal和normal为2个类别）
epoch： 训练轮数
batch: 每轮训练一次性送入图片数
image_root: 数据集根目录
cls_label_path: 训练集的txt （测试集相应也要更改）
topk 1： 预测结果中概率最大的所在分类正确，则判定为正确
python tools/train.py -c ResNet50_vd.yaml -o Arch.pretrained=True
ResNet50_vd.yaml 自己的配置文件
Arch.pretrained 是否使用预训练模型
显示如下结果：
四、预测
python tools/infer.py -c ResNet50_vd.yaml -o Infer.infer_imgs=dataset/flowers102/jpg/image_00001.jpg -o Global.pretrained_model=output/ResNet50_vd/best_model
ResNet50_vd.yaml 自己的配置文件
Infer.infer_imgs 测试图片
Global.pretrained_model 训练好最佳的模型
preparedata.py 地址
preparedata.py-深度学习文档类资源-CSDN下载
封面如有侵权请联系作者删除