SwinTransformer

SwinTransformer与Vit细节总结

建议通过标题来快速跳转Vit(VisionTransformer)Vit把图片打成了patch，然后过标准的TransformerEncoder，最后用CLStoken来做分类Vit的位置编码作者在文中试了几种方式，发现这几种在分类上效果差不多1-dimensionalpositionalembedding2-dimensionalpositionalembeddingRelativepositi
taoqick·2023-12-05 15:56

深度学习之图像分类（十五）DINAT: Dilated Neighborhood Attention Transformer理论精简摘要（二）

DilatedNeighborhoodAttentionTransformer摘要局部注意力机制：例如滑动窗口NeighborhoodAttention（NA）或SwinTransformer的ShiftedWindowSelfAttention
哈尔滨张谦蛋·2023-11-29 09:53

【论文阅读】【ViT系列】Swin Transformer：使用移动窗口的多层视觉Transformer

论文：SwinTransformer:HierarchicalVisionTransformerusingShiftedWindows代码：https://github.com/microsoft/Swin-Transformer
naive_learner·2023-11-27 13:32

深度学习之图像分类（十三）Swin Transformer: Hierarchical Vision Transformer using Shifted Windows详解（一）

SwinTransformer:HierarchicalVisionTransformerusingShiftedWindowsAbstract本文提出了一种新的visionTransformer，称为
哈尔滨张谦蛋·2023-11-26 20:17

深度学习之图像分类（十三）Swin Transformer: Hierarchical Vision Transformer using Shifted Windows详解（三）

SwinTransformer总结1.网络整体架构下图是SwinTransformer文章中给出的图1，左边是本文要讲的SwinTransformer，右边边是之前讲的VisionTransformer
哈尔滨张谦蛋·2023-11-26 20:17

深度学习之图像分类（十三）Swin Transformer: Hierarchical Vision Transformer using Shifted Windows详解（二）

S-transformer摘要摘要文章提出一个新的结构叫swintransformer,可以作为计算机视觉的通用骨干。
哈尔滨张谦蛋·2023-11-26 20:47

深度学习之图像分类（十四）CAT: Cross Attention in Vision Transformer详解

和划分的patch数目以及patch的维度计算关系IPSA如何进行localattention、CPSA如何进行globeattentionCAT的代码详细注释---需要学习完TransformerTNT、swintransformer
哈尔滨张谦蛋·2023-11-26 20:15

注意力机制、Transformer模型、生成式模型、目标检测算法、图神经网络、强化学习、深度学习模型可解释性与可视化方法等详解

采用“理论讲解+案例实战+动手实操+讨论互动”相结合的方式，抽丝剥茧、深入浅出讲解注意力机制、Transformer模型（BERT、GPT-1/2/3/3.5/4、DETR、ViT、SwinTransformer
小艳加油·2023-11-15 17:41

python图神经网络，注意力机制、Transformer模型、目标检测算法、强化学习等

为代表的深度学习的快速发展，人工智能迈入了第三次发展浪潮，AI技术在各个领域中的应用越来越广泛本文重点为：注意力机制、Transformer模型（BERT、GPT-1/2/3/3.5/4、DETR、ViT、SwinTransformer
xiao5kou4chang6kai4·2023-11-15 17:27

《Swin Transformer: Hierarchical Vision Transformer using Shifted Windows》阅读笔记

论文标题《SwinTransformer:HierarchicalVisionTransformerusingShiftedWindows》Swin这个词貌似来自后面的ShiftedWindowsShiftedWindows
AncilunKiang·2023-11-12 02:04

基于深度学习的实战项目1000个

视频传送门卷积网路CNN分类的模型一般使用包括alexnet、DenseNet、DLA、GoogleNet、Mobilenet、ResNet、ResNeXt、ShuffleNet、VGG、EfficientNet和Swintransformer
huihuang_8295·2023-11-03 10:08

人工智能-深度学习项目100项

哔哩哔哩视频卷积网路CNN分类的模型一般使用包括alexnet、DenseNet、DLA、GoogleNet、Mobilenet、ResNet、ResNeXt、ShuffleNet、VGG、EfficientNet和Swintransformer
lyx_78932·2023-11-03 10:08

Swin Transformer升级版来了！30亿参数，刷榜多项视觉任务，微软亚研原班人马打造...

视学算法报道编辑：杜伟、陈萍微软亚洲研究院升级了SwinTransformer，新版本具有30亿个参数，可以训练分辨率高达1,536×1,536的图像，并在四个具有代表性的基准上刷新纪录。
视学算法·2023-11-02 10:30

Swin Transformer升级版来了，30亿参数，刷榜多项视觉任务，微软亚研原班人马打造

微软亚洲研究院升级了SwinTransformer，新版本具有30亿个参数，可以训练分辨率高达1,536×1,536的图像，并在四个具有代表性的基准上刷新纪录。欢迎收藏学习，喜欢点赞支持。
机器学习社区·2023-11-02 10:51

Swin Transformer升级版来了！30亿参数，刷榜多项视觉任务

©作者|杜伟、陈萍来源|机器之心微软亚洲研究院升级了SwinTransformer，新版本具有30亿个参数，可以训练分辨率高达1,536×1,536的图像，并在四个具有代表性的基准上刷新纪录。
PaperWeekly·2023-11-02 10:48

[YoloV5修改]基于GnConv卷积模块的yolov5修改

HorNet论文地址：https://arxiv.org/pdf/2207.14284.pdfHorNet是在Swintransformer结构的基础上，结合大核思想提出的新的网络结构模块，使用该模块，
爱改网络的法式小面包·2023-11-01 04:57

YOLO算法改进3【中阶改进篇】：添加HorNet卷积模块

论文地址：https://arxiv.org/pdf/2207.14284.pdf源码地址：https://github.com/raoyongming/HorNet.HorNet是在Swintransformer
梦在黎明破晓时啊·2023-11-01 04:54

Swin-transformer详解

前言这篇论文提出了一个新的VisionTransformer叫做SwinTransformer，它可以被用来作为一个计算机视觉领域一个通用的骨干网络.但是直接把Transformer从NLP用到Vision
@左左@右右·2023-10-23 02:23

Swin Transformer V2 Scaling Up Capacity and Resolution（CVPR2022）

RelatedWorksLanguagenetworksandscalingupVisionnetworksandscalingupTransferringacrosswindow/kernelresolutionSwinTransformerV2SwinTransformer
怎么全是重名·2023-10-22 12:01

玩转MMDetection-MMDetection中的模型框架文件及参数解读（一）

该文主要介绍完整的MMDetection包含的配置文件中的模型文件--model.py以下代码详细逐行解读了模型文件包含的代码含义及使用一、特征提取网络主干采用如上图所示的SwinTransformer
zuoyou-HPU·2023-10-21 15:33

论文精讲目录

ViT论文逐段精读【论文精读】MoCo论文逐段精读【论文精读】对比学习论文综述【论文精读】SwinTransformer论文精读【论文精读】CLIP论文逐段精读【论文精读】双流网络论文逐段精读【论文精读
云淡风轻__·2023-10-19 11:44

【Transformer系列】深入浅出理解ViT(Vision Transformer)网络模型

MobileViT，这个轻量级视觉模型新架构火了ECCV2022丨轻量级模型架构火了，力压苹果MobileViT（附代码和论文下载）再读VIT，还有多少细节是你不知道的二、知识储备1.ViT学习路径ViT；PVT；SwinTransformer
花花少年·2023-10-19 02:54

YOLOv5算法改进（5）— 主干网络介绍（EfficientNetv2、Swin Transformer和PP-LCNet）

YOLOv5算法中的主干网络可以有多种替换方案，为了后面讲解的方便，本篇文章就给大家介绍EfficientNetv2、SwinTransformer和PP-LCNet主干网络。
小哥谈·2023-10-18 20:28

Swin Transformer V2：将SwinTransformer扩展到30亿参数

arXiv:2111.09883[pdf,other]cs.CVSwinTransformerV2:ScalingUpCapacityandResolutionAuthors:ZeLiu,HanHu,YutongLin,ZhuliangYao,ZhendaXie,YixuanWei,JiaNing,YueCao,ZhengZhang,LiDong,FuruWei,BainingGuoAbstrac
Valar_Morghulis·2023-10-16 01:09

VIT、CILP、Swin Transformer、MAE模型论文阅读笔记

主要是VIT、SwinTransformer、MAE、CILP这四篇。有一句话说的很有道理，因此放在这篇博客最前面。为什么NLP领域的预训练模型很好用，但是图像领域的预训练模型就很一般？
ASS-ASH·2023-10-13 08:21

PyTorch深度学习（26）网络结构Swin-Transformer

SwinTransformer：HierarchicalVisionTransformerusingShiftedWindowsICCV2021论文地址：0源码地址：https://gitbub.com
JYliangliang·2023-10-12 08:01

Pytorch之SwinTransformer图像分类

文章目录前言一、SwinTransformer1.SwinTransformer概览2.PatchPartition3.PatchMerging4.W-MSA5.SW-MSA(滑动窗口多头注意力机制)6
风间琉璃•·2023-10-12 08:59

044基于深度学习的鱼类检测

卷积网路CNN分类的模型一般使用包括alexnet、DenseNet、DLA、GoogleNet、Mobilenet、ResNet、ResNeXt、ShuffleNet、VGG、EfficientNet和Swintransformer
lyx_78932·2023-10-09 18:03

现状 - Swin Transformer

SwinTransformer:HierarchicalVisionTransformerusingShiftedWindowshttps://github.com/microsoft/Swin-Transformer
金中衣谷·2023-10-08 20:37

目标检测算法改进系列之Backbone替换为Swin Transformer

SwinTransformer简介《SwinTransformer:HierarchicalVisionTransformerusingShiftedWindows》作为2021ICCV最佳论文，屠榜了各大
我悟了-·2023-10-06 21:08

Deep Network with Stochastic Depth（阅读笔记）一种随机深度的正则化方法

题记：最近SwinTransformer在计算机视觉上大放异彩，成为许多视觉榜单上的霸主，然而传统的Conv卷积如Resnet就真的不行了吗？
Wisley.Wang·2023-10-02 03:04

Swin Transformer

SwinTransformer1.网络架构2.参数意义与设置3.将图像分割成不重叠的图像块（splitimageintonon-overlappingpatches）1.网络架构先放一张网络架构图，看着方便
坐在墙上的猫·2023-10-01 11:54

YOLOv5与Swin Transformer相结合的分层视觉转换器——计算机视觉进阶

YOLOv5与SwinTransformer相结合的分层视觉转换器——计算机视觉进阶近年来，计算机视觉技术发展迅速，针对目标检测领域的研究也日益深入。
编码实践·2023-10-01 02:59

AI项目十：Swin Transformer目标检测环境搭建

SwinTransformer是做什么的这里不做介绍，主要是记录下学习的全过程，SwinTransformer在搭建和训练的过程中，折腾了很久，主要是在折腾环境。
殷忆枫·2023-09-29 03:23

YOLOv8改进Swin Transformer：在基础SwinTransformer结构的基础上进行多种改进结构，集成Transformer和CNN的优势

本篇内容：YOLOv8改进SwinTransformer：在基础SwinTransformer结构的基础上进行多种改进结构本博客改进源代码改进适用于YOLOv8按步骤操作运行改进后的代码即可本文提出改进原创方式
芒果汁没有芒果·2023-09-28 08:44

【已解决】TypeError: meshgrid() got an unexpected keyword argument ‘indexing‘

问题训练swintransformer模型的时候报以下错误：报错信息：TypeError:meshgrid()gotanunexpectedkeywordargument'indexing'原因torch
GarsonW·2023-09-27 18:11

【计算机视觉】Vision Transformers算法介绍合集（一）

文章目录一、VisionTransformer二、SwinTransformer三、DetectionTransformer四、Data-efficientImageTransformer五、self-DIstillationwithNOlabels
旅途中的宽~·2023-09-17 08:03

Transformer

Transformer一、资料链接[1.Attentionisallyouneed]点乘的几何意义2.VisionTransformer3.Swintransformer一、资料链接[1.Attentionisallyouneed
坐在墙上的猫·2023-09-16 12:32

STViT-R 代码阅读记录

目录一、SwinTransformer1、原理2、代码二、STViT-R1、中心思想2、代码与原文本次不做具体的训练。只是看代码。所以只需搭建它的网络，执行一次前向传播即可。
匿名的魔术师·2023-09-14 21:56

第十五章 Swin-Transformer——基于移动窗口的分层视觉Transformer网络详解

原文信息原文名称：《SwinTransformer:HierarchicalVisionTransformerusingShiftedWindows》文章标题：SwinTransformer:HierarchicalVisionTransformerusingShiftedWindows
Joney Feng·2023-09-12 10:57

YOLOv5算法改进（12）— 替换主干网络之Swin Transformer

SwinTransformer是一种基于Transformer的深度学习模型，它在视觉任务中表现出色。
小哥谈·2023-09-02 14:26

【论文精读】Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

SwinTransformer:HierarchicalVisionTransformerusingShiftedWindows前言Abstract1.Introduction2.RelatedWork3
HERODING77·2023-08-31 14:34

Swintransformer模型的优化

SwinTransformer模型优化文章目录SwinTransformer模型优化1.SwinTransformer概述2.性能瓶颈分析3.模型优化3.1.transpose消除3.2.更好的layergroup3.1.1
算能开发者社区·2023-08-31 07:07

OnnxRuntime部署SwinTransformer

一、概述实测SwinTransformer真的是涨点神器，刷榜秘籍，用SwinTransformer作为模型主干网络来微调下游任务对比ResNet50保守能够带来2~5个点的提升，当然模型参数量是大了点
RunningJiang·2023-08-24 04:31

基础论文学习（3）——SwinTransformer

针对上述问题，我们提出了一种包含滑窗操作，具有层级设计的SwinTransformer，逐层合并tokens。其中滑窗操作包括不重叠的localwindow+重叠的c
Yuezero_·2023-08-22 10:14

End-to-End Object Detection with Transformers

DERT目标检测基于卷积神经网络的目标检测回顾DETR对比SwinTransformer摘要检测网络流程DERT网络架构编码器概述解码器概述整体结构objectqueries的初始化Decoder中的Muiti-HeadSelf-AttentionDecoder
计算机CV民工·2023-08-18 08:50

模型特征蒸馏:Contrastive Learning Rivals Masked Image Modeling in Fine-tuning via Feature Distillation

https://github.com/SwinTransformer/Feature-Distillation.在FeatureWhitening中使用不带参数的LayerNorm:nn.LayerNorm
xinfeng2005·2023-07-30 23:46

【已解决】ERROR:The testing results of the whole dataset is empty

问题描述使用MMdetection复现论文swinTransformer，显示错误：ERROR:Thetestingresultsofthewholedatasetisempty，与此同时，各项评价指标如
SurpassMs·2023-07-29 06:59

Swin Transformer：最佳论文，准确率和性能双佳的视觉Transformer | ICCV 2021

论文提出了经典的VisionTransormer模型SwinTransformer，能够构建层级特征提高任务准确率，而且其计算复杂度经过各种加速设计，能够与输入图片大小成线性关系。
VincentTeddy·2023-07-21 00:05

Swin Transformer

论文名称：SwinTransformer:HierarchicalVisionTransformerusingShiftedWindows一、PatchEmbed（对应结构图中patchpartition
有温度的AI·2023-07-20 10:56
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他