【人工智能】Transformers之Pipeline（六）：图像分类（image-classification）

目录

一、引言 

二、图像分类（image-classification）

2.1 概述

2.2 技术原理

2.3 应用场景

2.4 pipeline参数

2.4.1 pipeline对象实例化参数

2.4.2 pipeline对象使用参数 

2.4 pipeline实战

2.5 模型排名

三、总结

---

一、引言 

 pipeline（管道）是huggingface transformers库中一种极简方式使用大模型推理的抽象，将所有大模型分为音频（Audio）、计算机视觉（Computer vision）、自然语言处理（NLP）、多模态（Multimodal）等4大类，28小类任务（tasks）。共计覆盖32万个模型

今天介绍CV计算机视觉的第二篇，图像分类（image-classification），在huggingface库内有1.3万个图像分类模型。

二、图像分类（image-classification）

2.1 概述

图像分类，顾名思义就是将图片分类的模型，给定图片，返回对应的类别概率值，在计算机视觉CV领域模型最多，应用也最广泛，主要应用场景比如人脸识别、色情图片检测、自动驾驶、医疗影像分析等。

2.2 技术原理

以google在2021年6月3日发布的Vision Transformer (ViT)为例，传统的图片识别通过CNN卷机神经网络提取图片信息，ViT将Transformer技术应用到图片分类上，开启了Transformer应用于计算机视觉的先河。该模型也是image-classification任务的默认模型：google/vit-base-patch16-224

ViT（视觉transformer）主要原理：首先将图片切分成大小相等的块序列（分辨率为16*16），对每个图片块进行线性嵌入添加位置信息，通过喂入一个标准的transfromer encoder结构进行特征交叉后，送入到MLP层，通过增加额外的分类标记构建分类任务，完成网络构造。详细论文

2.3 应用场景

• 社交网络与多媒体管理：自动标记和组织用户上传的照片，如人脸识别、场景识别。
• 安防监控：实时分析监控视频，识别异常行为、人脸认证、车牌识别等。
• 医疗影像分析：辅助医生诊断，如癌症细胞检测、病变识别。
• 自动驾驶：识别道路标志、行人、车辆等，提高安全性和导航准确性。
• 零售与电商：商品识别，用于快速库存管理、顾客行为分析和推荐系统。

2.4 pipeline参数

2.4.1 pipeline对象实例化参数

• model（PreTrainedModel或TFPreTrainedModel）— 管道将使用其进行预测的模型。 对于 PyTorch，这需要从PreTrainedModel继承；对于 TensorFlow，这需要从TFPreTrainedModel继承。
• image_processor (