计算机毕业设计--基于深度学习(PSPNet、空洞卷积Atrous Convolutions)的多类型图像分割通用模型

基于深度学习(PSPNet、空洞卷积Atrous Convolutions)的多类别图像通用分割模型

更多基于深度学习的毕业设计请关注专栏 --- 计算机毕业设计

✨ 动物图分割(使用训练集DIS5K-TR,DIS-TEs,DUTS-TR_TE )

计算机毕业设计--基于深度学习(PSPNet、空洞卷积Atrous Convolutions)的多类型图像分割通用模型_第1张图片

✨自然与人类图像分割(使用训练集P3M-10k,Human、COD )

计算机毕业设计--基于深度学习(PSPNet、空洞卷积Atrous Convolutions)的多类型图像分割通用模型_第2张图片

✨医学病理图像分割(使用训练集 CHEX、Heart Disease Dataset)

  • 作者正忙,稍后上传

✨分割系统视频演示

图像分割演示视频


✨ 图像分割在线体验


Web端在线体验地址:✅访问这里进行图像分割算法在线体验✅
在线体验地址已经集成了训练好的模型,您只需点击选择使用的模型即可!

:我训练时的数据集“TR-DUTS”在这里下载

通过网盘分享的文件:TR-DUTS.zip
链接: https://pan.baidu.com/s/1bZ8GREWbFEFtcDd8j7NV5g?pwd=6633
提取码: 6633

:我训练时的数据集“CHAMELEON”在这里下载

通过网盘分享的文件:CHAMELEON.zip
链接: https://pan.baidu.com/s/1T8BKWvuNWzcgl-cB1tEU1w?pwd=vckd 提取码: vckd

在线体验使用方式:
  打开连接后,左侧图片输入框需要上传待分割的图片。在网页下方提供了几组输入图片样例,点击样例自动填充到相应位置后即可直接点击提交查看效果。

注意: 修复第一张图的时候耗时较长,大约15秒左右。从第二张图开始,速度就会快起来,大约5秒左右一张(这主要是因为第一次启动的时候模型需要加载进显卡中)

计算机毕业设计--基于深度学习(PSPNet、空洞卷积Atrous Convolutions)的多类型图像分割通用模型_第3张图片


模型研究背景

  图像分割是计算机视觉中的一项关键技术,其研究背景涵盖了多个应用领域。在医学影像分析中,图像分割用于自动提取解剖结构、病灶区域以及其他重要特征,从而辅助医生进行诊断和治疗规划。例如,在MRI和CT图像中,精确的器官或肿瘤分割能够帮助确定病变位置、体积和发展趋势,从而提高治疗效果。此外,在自动驾驶领域,图像分割技术用于实时识别道路、车辆、行人等关键元素,确保自动驾驶系统的安全性和可靠性。在卫星遥感领域,图像分割被广泛应用于土地覆盖分类、环境监测、灾害评估等方面,通过对地表图像的精细分割,科研人员能够更好地分析地球环境变化。在工业制造中,图像分割用于产品质量检测,通过精确分割工件边缘和表面特征,可以实现缺陷检测和尺寸测量,提升生产效率和产品质量。随着深度学习技术的快速发展,图像分割技术在各个领域的应用不断扩展,其研究背景涵盖了从基础理论到应用开发的广泛内容,具有重要的科学价值和实际意义。

模型介绍

  本课题构建的图像分割模型基于PSPNet和空洞卷积(Atrous Convolutions),特别是在处理多尺度场景和捕捉细节特征时表现出色。其中,PSPNet(Pyramid Scene Parsing Network)通过引入金字塔池化模块(Pyramid Pooling Module),有效整合了不同尺度下的上下文信息,增强了模型对全局和局部特征的捕捉能力。

  在此基础上,本课题进一步引入空洞卷积来扩展卷积核的感受野,同时保持分辨率不变。通过使用不同扩张率的空洞卷积,我们能够捕捉到更丰富的多尺度特征,而不增加计算量或降低特征图的分辨率。这种结合使得模型不仅能够有效处理复杂的场景和背景,还能够精细分割物体的边缘和细节区域。在整个模型架构中,空洞卷积被应用于主干网络的各个层级,以增强特征提取的广度和深度,而PSPNet则在最终分割阶段综合不同层级的特征信息,输出高精度的分割结果。

  此外,本课题还使用了一种新颖的渐进式网络来处理高分辨率分割任务作为本项目的创新点。该网络包括独立的定位和重建模块。在定位模块中,本课题从视觉Transformer主干中提取分层特征,这些特征在深层中被合并和压缩,从而在低分辨率下获得对目标物精准的预测。

模型性能指标测试

  • 稍后上传

算法模型获取

  • Giuhub链接:GitHub链接

PS:如果通过Github访问项目,需要挂梯子。请不要通过“加速通道”访问,因为我们的代码常有更新,加速通道中的项目版本可能较老

运行要求

  • 运行算法与Web前端需要 Python >= 3.10
  • 我提供在多数据集上训练过的模型文件,建议使用带有Nvidia(英伟达)系列的显卡(例如常见的GeForce 1060、3050、3090、4090、5060等都是Nvidia系列的)
  • 如果电脑没有合适的显卡也可使用该模型(需通过内存加载模型并丢给CPU进行推理计算,推理速度会慢很多)

⚡️模型所需环境配置及使用方法(Windows / Linux 均适用)

环境配置

方式一:使用conda安装环境
# 从github上Clone项目(需要你安装了git工具)
git clone https://github.com/zxx1218/imgsegment.git

# 使用conda创建环境
conda create -n imgsegment python=3.10
conda activate imgsegment

# 安装依赖
pip install -r requirements.txt 
方式二:使用Docker
# 联系作者咨询,联系方式在文末

算法模型使用

方式一:启动Web端应用(Web端框架自带移动端页面自适应)

* 效果同上述在线体验连接

启动web端命令(会启动在127.0.0.1:xxxx的本机环回地址下)

python gradioDemo.py

回车后会自动启动Web服务,在控制台看到如下信息代表成功启动,在浏览器打开弹出的URL即可
Web端启动示意图
注:项目也支持进行基于Python的FastApi后端服务部署(针对Web服务器部署)。如有需要,联系作者,联系方式在文末

方式二:大批量图像批量分割(通过控制台 / cmd / 终端)

执行如下命令:

# 首先cd到算法代码根目录下
cd imgsegment

# 将待修复图片放在指定文件夹,例如./images文件

# 执行脚本文件即可(注意修改脚本文件中待分割图像的存储目录)
python predict.py

算法模型使用演示视频(桌面应用 & Web前端 & 控制台)

1. 访问Web页面进行图像分割

Web端在线体验地址:✅访问这里进行图像分割在线体验✅

  • 视频稍后上传

2. 通过控制台(cmd - 终端)进行修复


如何自己训练模型?

  • 训练自己想要的定制化图像修复模型只需要准备好针对需要修复图片的同类型图片数据即可,具体训练方式请咨询作者

作者联系方式:

  • VX:Accddvva
  • QQ: 1144968929
  • Github中提供训练好的模型文件以及调用该文件进行分割的测试代码(Github开源代码中不含模型定义源码、训练代码以及Web前后端代码,提供可供测试的模型文件,拉取Git代码后安装环境可进行分割测试
  • 该项目完整代码 + 训练好的模型文件+ 详细环境配置(如有需要可提供模型远程部署) + Web端 + 训练方式 == 价格300RMB
  • 如果你的电脑没有合适的GPU,或需要自行训练私有数据而自己的GPU现存或性能不够,作者另提供GPU服务器,4090 24G显卡26T硬盘,128G DDR4内存免费使用,期限到每年6月底毕业季结束

一些模型训练可用的公开数据集

医学图像领域

  • SAT-DS:由上海交通大学与上海人工智能实验室联合团队构建,是目前最大规模的3D医学图像分割数据集之一。它汇集了72个公开数据集,包含来自CT、MR和PET三种模态的22,186例3D图像以及302,033个分割标注,涵盖了人体8个主要部位中的497个分割目标.
  • RRSIS-D:是一个专门指向遥感图像分割的大规模数据集,由17,402个图像-描述-掩码对组成,所有图像的分辨率统一为高800px、宽800px,包含20个遥感场景多个物体类别,图像描述由7种属性组成.

自然图像领域

  • Landscape-Dataset:专注于自然景观图像的开放源代码数据集,包含了大量不同地理环境和天气条件下的自然景观照片,每个图像都有详细的标签,如地点、季节、时间、天气状况等元数据,可用于风景识别、图像分类、场景理解、语义分割等任务.
  • COCO128-seg:是专门为实例分割任务准备的预处理数据集,包含了丰富的图像和标注信息,能够有效支持模型的训练和验证,常与YOLOv8-seg模型结合使用.

通用图像领域

  • SegmentAnything1-billion(SA-1B):由Meta AI发布,是有史以来体量最大的分割数据集,包含从约1100万许可和隐私保护图像上收集到的超11亿个分割掩码,可支持广泛的应用场景,并助力计算机视觉基础模型的进一步研究.
  • PASCAL VOC:是一个经典的图像数据集,包含20个不同的类别,如人、动物、车辆等,可用于图像分类、目标检测和语义分割等任务。其标注信息丰富,图像质量较高,被广泛应用于计算机视觉研究和竞赛中。
  • Cityscapes:专注于城市街景图像的语义理解,包含5000张精细标注的图像及20000张粗略标注的图像,涵盖了街道、建筑物、车辆、行人等30个类别,主要用于城市环境下的语义分割和实例分割研究,对自动驾驶等领域的发展有重要推动作用 。

Advertisement

  • 作者于浙江某985高校就读人工智能方向研究生(CSDN已认证),可以定制模型,并提供相应技术文档以及各种需要,只需要描述需求即可
  • 人工智能、深度学习领域,尤其是计算机视觉(Computer vision,CV)方向的模型or毕业设计,只要你想得出,没有做不出

你可能感兴趣的:(计算机毕业设计,深度学习,人工智能,计算机视觉,毕业设计,图像处理,课程设计)