SwinTransformer 第5页

MSRA的Transformer跨界超越CNN，还解决了计算复杂度难题

OpenCV中文网公众号·2022-12-29 11:57

YOLOV5融合SE注意力机制和SwinTransformer模块开发实践的中国象棋检测识别分析系统

本文紧接前文：《基于yolov5s实践国际象棋目标检测模型开发》《yolov5s融合SPD-Conv用于提升小目标和低分辨率图像检测性能实践五子棋检测识别》首先来看下最终效果：在我棋类检测系统开发之——五子棋检测那篇博文写完之后就萌生了想做一下基于目标检测模型实现中国象棋检测的项目，但是后来苦于没有找到合适的数据集一直没法去做，在查资料的时候了解到了还有国际象棋，后面爬取了一部分的国际象棋数据集做

Together_CZ·2022-12-27 23:51

ETH联合Meta和鲁汶大学提出视频恢复算法VRT，在视频超分辨率、去模糊和去噪性能达到SOTA...

关注公众号，发现CV技术之美✎编者言该论文为将SwinTransformer应用于单图超分中的SwinIR的视频扩展版本，在视频复原的各领域中都有很大的提升，本文将从视频超分方向来解读VRT。

我爱计算机视觉·2022-12-27 21:34

[Video Transformer] Video Swin Transformer

代码：GitHub-SwinTransformer/Video-Swin-Transformer:Thisisanofficialimplementationfor"VideoSwinTransformers

Cherry_qy·2022-12-27 14:06

Swim-Transform V2：用于目标检测，视觉大模型不再是难题（附源代码）

pdf/2111.09883.pdf源代码：https://github.com/microsoft/Swin-Transformer计算机视觉研究院专栏作者：Edison_GMSRA时隔大半年放出了SwinTransformer2.0

计算机视觉研究院·2022-12-27 14:25

Swin Transformer 中的 shift window attention

将一幅8*8的图片，运用4*4的windowsize分为四个窗口，在swintransformer第一层的W-MSA即上图的四块自身进行MSA（Multiheadselfattention），这个比较好理解

zuoyou-HPU·2022-12-27 08:47

SwinTransformer：使用shifted window的层级Transformer(ICCV2021)

目录摘要1.Introduction2.RelatedWork2.1.CNNandvariants2.2.Self-attentionbasedbackbonearchitecture2.3.Self-attention/TransformerstocomplementCNNs2.4.Transformerbasedvisionbackbones3.Method3.1.OverallArchite

tzc_fly·2022-12-27 08:46

Swin-Transformer:基于移位窗口（Shifted Windows）的分层视觉Transformer

论文链接：SwinTransformer论文代码：https://github.com/microsoft/Swin-Transformer目录1、摘要和背景介绍2、整体框架2.1、基于移位窗口的自注意力

Chukai123·2022-12-27 08:44

The Devil Is in the Details: Window-based Attention for Image Compression【论文翻译】

受视觉转换器（ViT）和SwinTransformer最新进展的启发，我

attacking tiger·2022-12-25 18:05

Swin Transformer猫狗分类

前言早上看了一下SwinTransformer的论文，觉得还不错，就看了看代码，还挺简洁。

Andy Dennis·2022-12-25 08:02

MiXFormer--PyTorch复现

MixFormer:MixingFeaturesacrossWindowsandDimensions(CVPR2022Oral)原文章的代码实现是在paddlepaddle平台上；我在@太阳花的小绿豆的SwinTransformer

雪月圣雕·2022-12-24 23:05

【文字识别】TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models

TrOCR使用与ViT/swinTransformer相同的图像Transformer方法，它首先

阿飞大魔王·2022-12-24 11:16

Swin Transformer基于windows 10复现源码实现图像分类

小编在做毕设过程中也复现了SwinTransformer的源码实现了图像分类模型的预训练，预训练的模型是Swin-T。如果也有想要复现源码的小伙伴，希望小编的这篇小小之作能够在看的读者带来帮助。

时芷_·2022-12-24 11:59

【论文精读 02】Swin Transformer

SwinTransformer——使用移位窗口的层级VisionTransformerICCV2021最佳论文资料参考：https://www.bilibili.com/video/BV1pL4y1v7jC

不菜不菜·2022-12-24 11:57

精读Swin Transformer

SwinTransformer:Hiaerarchical(层级式)VIsionTransformerusingShiftedWindows(MSRA研究领域的黄埔军校)选自8.17号的更新版本摘要swintransformer

肖屁屁·2022-12-24 11:56

【SwinTransformer源码阅读一】build_loader部分代码

最近打算认真看下SwinTransformer算法，这里记录下今天看的build_loader部分的代码，步骤均加了汉语注释，希望可以帮到一些正在学习的朋友。

qq_29750461·2022-12-24 11:25

windows11下运行swin-transformer算法

swin-transformer的github地址为：https://github.com/microsoft/Swin-Transformer本文参考：SwinTransformer实战：使用SwinTransformer

benben044·2022-12-24 11:22

windows系统配置swin transformer环境

由于之前装双系统的时候给ubuntu分配的内存比较小，装了各种环境之后就不够用了，所以想在windows环境下配置swintransformer，本以为是个简单的环境配置，但是出现了各种意外的错误，比如

athrunsunny·2022-12-24 11:52

【SwinTransformer】GitHub源码，main.py，swin_transformer.py...

Contents数据与环境配置解读main.pyswin_transformer.py数据与环境配置解读来看SwinTransformer的github官网。已经开源了。

追光者♂·2022-12-24 11:20

【SwinTransformer】“分层”的概念；SwinTransformer中的“窗口”的概念；一个block要完成的任务；获取各窗口的输入特征；基于窗口的注意力机制；

声明：仅学习使用~目录1.SwinTransformer整体概述2.要解决的问题及其优势分析3.一个block要完成的任务：窗口注意力机制、滑动窗口注意力机制4.获取各窗口输入特征5.基于窗口的注意力机制解读

追光者♂·2022-12-24 11:50

从零学习SwinTransformer

论文信息论文名称：SwinTransformer:HierarchicalVisionTransformerusingShiftedWindows原论文地址：https://arxiv.org/abs/

饿了就干饭·2022-12-23 13:11

transformer中的相对位置偏置的介绍（relative position bias）

笔者第一次看到该词是在swintransformer。后来在focaltransformer和LG-transformer中都看到它。relativ

咆哮的阿杰·2022-12-23 12:40

ICCV2021 Best Paper : Swin Transformer (二）

三、Supplement1.RelativePositionBias在SwinTransformer(一)中呢已经结束了主干部分，接下来呢，就是剩余的一些边边角角，不过重要的呢，是对源码的解析。

深度科研·2022-12-23 12:08

Transformer中Relative Position Bias以及DropPath细节梳理

transformer以及ViT中使用原生的sine-cosine周期绝对位置编码(periodicabsolutepositionencoding)；而在最近的transformer变体工作中，e.g.SwinTransformer

AmibitionWei·2022-12-23 12:07

论文阅读——Swin Transformer

SwinTransformer:HierarchicalVisionTransformerusingShiftedWindows1.Motivation2.Contribution3.Method3.1ShiftedWindow

猫猫头不写bug·2022-12-23 08:27

李沐精读论文：Swin transformer: Hierarchical vision transformer using shifted windows

论文地址：Swintransformer:Hierarchicalvisiontransformerusingshiftedwindows代码：官方源码pytorch实现SwinTransformerAPI

iwill323·2022-12-23 08:50

Swin_transformer网络

#打印出来的网络结构ft_net_swin((model):SwinTransformer((patch_embed):PatchEmbed((proj):Conv2d(3,128,kernel_size

多笑一笑啊·2022-12-22 18:47

Swin Transformer目标检测—训练自己数据集

1）安装VS2019（2）创建Conda虚拟环境（3）安装mmcv（4）安装mmdetection（5）安装apex二、工程修改三、踩坑记录一、环境配置Code：https://github.com/SwinTransformer

七分熟少女·2022-12-22 04:45

Swin-Transformer

SwinTransformer:HierarchicalVisionTransformerusingShiftedWindows论文地址：https://arxiv.org/abs/2103.14030

唐小星小宇宙·2022-12-21 07:02

SwinTransformer

解决Vit的计算复杂度问题：传统的Vit:假设图像切成4x4=16的patch，每个patch为16x16=2^8大小，则算selfattention时，复杂度为n2∗d=(24)2∗28=216n^2*d=(2^4)^2*2^8=2^{16}n2∗d=(24)2∗28=216本来Vit可以通过减少patch数量的方式来减少计算量，但ViT的patch内部是没有做attention的，patch越

Rainylt·2022-12-19 13:53

Swin Transformer实战： timm使用、Mixup、Cutout和评分一网打尽，图像分类任务

摘要本例提取了植物幼苗数据集中的部分数据做数据集，数据集共有12种类别，演示如何使用timm版本的SwinTransformer图像分类模型实现分类任务已经对验证集得分的统计，本文实现了多个GPU并行训练

Dove_1234·2022-12-17 11:42

[ICCV2021]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

标题：SwinTransformer:HierarchicalVisionTransformerusingShiftedWindows链接：https://arxiv.org/pdf/2103.14030

深蓝蓝蓝蓝蓝·2022-12-17 07:37

Swin Transformer：Hierarchical Vision Transformer using Shifted Windows——论文分析

SwinTransformer为了减少序列长度，在小窗口内做自注意力，用了locality的归纳偏置，节省资源。patchmerging，相邻小patch合成大patch，类似池化。

gongyuandaye·2022-12-17 07:59

论文阅读【Swin Transformer: Hierarchical Vision Transformer using ShiftedWindows】

SwinTransformer:HierarchicalVisionTransformerusingShiftedWindows发表：2021ICCVidea：主要是想改进transformer在视觉方向的速度

hei_hei_hei_·2022-12-17 07:24

论文解析[9] Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

https://github.com/microsoft/Swin-Transformer文章目录摘要3方法3.1总体框架3.2基于自注意力的移动窗口3.3结构变形5结论摘要这篇论文提出了一个新的ViT叫作SwinTransformer

默_silence·2022-12-17 07:22

论文阅读-主干网络(2022)-ConvNext:下一代卷积网络

a-convnet-for-the-2020s论文阅读 ConvNext指出虽然ViTs在分类任务中表现优异屡次刷新SOTA，但是应用于其他计算机视觉任务比如目标检测和语义分割却存在问题，直到分层Transformers比如SwinTransformer

不会算命的赵半仙·2022-12-15 21:37

论文阅读笔记：Swin-Transformer

“Swintransformer:Hierarchicalvisiontransformerusingshiftedwindows.”ProceedingsoftheIEEE/CVFInternationalConferenceonComputerVision

loki2018·2022-12-14 14:28

Swin-Transformer论文笔记

2021ICCV最佳论文：SwinTransformer:HierarchicalVisionTransformerusingShiftWindowsarxiv摘要：本文介绍了一种新的视觉Transformer

滴嘟滴嘟dzj·2022-12-14 14:25

SwinIR: Image Restoration Using Swin Transformer论文阅读

所以本文主要是基于Swintransformer建立了一个基准模型。这个模型包含三个部分：浅层特征提取、深层特征提取、图像重建。特别是，深度特征提取模块由几个残差Swintra

南妮儿·2022-12-14 06:20

继 Swin Transformer 之后，MSRA 开源 Video Swin Transformer，在视频数据集上SOTA

关注公众号，发现CV技术之美继上半年分享的『基于Transformer的通用视觉架构：Swin-Transformer带来多任务大范围性能提升』、『SwinTransformer为主干，清华等提出MoBY

我爱计算机视觉·2022-12-14 06:19

文献阅读（59）CVPR2021-Swin Transformer-Hierarchical Vision Transformer using Shifted Windows

本文是对《SwinTransformer-HierarchicalVisionTransformerusingShiftedWindows》一文的浅显翻译与理解，如有侵权即刻删除。

学徒刘猛·2022-12-14 06:47

经典文献阅读之--Swin Transformer

最近几年已经霸榜了各个领域，之前我们在《经典文献阅读之–DeformableDETR》这篇博客中对DETR这个系列进行了梳理，但是想着既然写了图像处理领域的方法介绍，正好也按照这个顺序来对另一个非常著名的SwinTransformer

敢敢のwings·2022-12-14 06:43

NLP领域的ELECTRA在符号预测上的应用

基于ELECTRA的标点符号预测1.资源更多CV和NLP中的transformer模型(BERT、ERNIE、ViT、DeiT、SwinTransformer等)、深度学习资料，请参考：awesome-DeepLearning

飞桨PaddlePaddle·2022-12-14 03:01

Swin Transformer进行语义分割，Ubuntu系统，解决RuntimeError: one of the variables needed for gradient computation

1、问题描述最近在用SwinTransformer做语义分割的任务，基本的配置环境参考的是GitHub的基础安装步骤，主要的是环境的配置问题，mmcv的配置要求，不允许高于1.4.0，所以，在train.py

hacker_NO_007·2022-12-13 17:48

附代码 Swin Transformer

SwinTransformer:HierarchicalVisionTransformerusingShiftedWindows论文解读参考链接：https://blog.csdn.net/qq_37541097

向上的阿鹏·2022-12-12 12:26

Swin Transformer解读

SwinTransformer详细解读这里以Swin-T（imagenet-1k）为例。PPL如下图：SwinTransformer的解读按PPL的流程主要包括4个部分。

O zil·2022-12-12 12:55

PyTorch Swin-Transformer 各层特征可视化

华南农大-郭庆文·2022-12-12 11:53

Swin Transformer各层特征可视化

这是我在可视化transformer各层特征图时总结的经验，以SwinTransformer为例，有不足之处欢迎批评指正。

不高兴与没头脑Fire·2022-12-12 11:46

附代码 ConvNeXts：A ConvNet for the 2020s

论文解读代码链接：https://github.com/facebookresearch/ConvNeXt参考链接：https://zhuanlan.zhihu.com/p/458016349摘要：卷积网络和SwinTransformer

向上的阿鹏·2022-12-09 12:08

DAT:Vision Transformer with Deformable Attention详解

VisionTransformerwithDeformableAttention源码:https://github.com/LeapLabTHU/DAT1.解决问题每个queriespatch要参加的keys过多，会导致计算成本高，收敛速度慢，并增加了过拟合的风险swintransformer

樱花的浪漫·2022-12-09 08:00

推荐频道

SwinTransformer

MSRA的Transformer跨界超越CNN，还解决了计算复杂度难题

YOLOV5融合SE注意力机制和SwinTransformer模块开发实践的中国象棋检测识别分析系统

ETH联合Meta和鲁汶大学 提出视频恢复算法VRT，在视频超分辨率、去模糊和去噪性能达到SOTA...

[Video Transformer] Video Swin Transformer

Swim-Transform V2：用于目标检测，视觉大模型不再是难题（附源代码）

Swin Transformer 中的 shift window attention

SwinTransformer：使用shifted window的层级Transformer(ICCV2021)

Swin-Transformer:基于移位窗口（Shifted Windows）的分层视觉Transformer

The Devil Is in the Details: Window-based Attention for Image Compression【论文翻译】

Swin Transformer猫狗分类

MiXFormer--PyTorch复现

【文字识别】TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models

Swin Transformer基于windows 10复现源码实现图像分类

【论文精读 02】Swin Transformer

精读Swin Transformer

【SwinTransformer源码阅读一】build_loader部分代码

windows11下运行swin-transformer算法

windows系统配置swin transformer环境

【SwinTransformer】GitHub源码，main.py，swin_transformer.py...

【SwinTransformer】“分层”的概念；SwinTransformer中的“窗口”的概念；一个block要完成的任务；获取各窗口的输入特征；基于窗口的注意力机制；

从零学习SwinTransformer

transformer中的相对位置偏置的介绍（relative position bias）

ICCV2021 Best Paper : Swin Transformer (二）

Transformer中Relative Position Bias以及DropPath细节梳理

论文阅读——Swin Transformer

李沐精读论文：Swin transformer: Hierarchical vision transformer using shifted windows

Swin_transformer网络

Swin Transformer目标检测—训练自己数据集

Swin-Transformer

SwinTransformer

Swin Transformer实战： timm使用、Mixup、Cutout和评分一网打尽，图像分类任务

[ICCV2021]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

Swin Transformer：Hierarchical Vision Transformer using Shifted Windows——论文分析

论文阅读【Swin Transformer: Hierarchical Vision Transformer using ShiftedWindows】

论文解析[9] Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

论文阅读-主干网络(2022)-ConvNext:下一代卷积网络

论文阅读笔记：Swin-Transformer

Swin-Transformer论文笔记

SwinIR: Image Restoration Using Swin Transformer论文阅读

继 Swin Transformer 之后，MSRA 开源 Video Swin Transformer，在视频数据集上SOTA

文献阅读（59）CVPR2021-Swin Transformer-Hierarchical Vision Transformer using Shifted Windows

经典文献阅读之--Swin Transformer

NLP领域的ELECTRA在符号预测上的应用

Swin Transformer进行语义分割，Ubuntu系统，解决RuntimeError: one of the variables needed for gradient computation

附代码 Swin Transformer

Swin Transformer解读

PyTorch Swin-Transformer 各层特征可视化

Swin Transformer各层特征可视化

附代码 ConvNeXts：A ConvNet for the 2020s

DAT:Vision Transformer with Deformable Attention详解

ETH联合Meta和鲁汶大学提出视频恢复算法VRT，在视频超分辨率、去模糊和去噪性能达到SOTA...