SwinTransformer 第4页

OpenMMLab AI 实战营 Day 2

ConvNeXt，将很多视觉神经网络设计中的工程技法运用回卷积神经网络的设计，大大引导出了卷积网络的天资，超越了SwinTransformer，让CNN重焕生机。EfficientN

钢之乐学·2023-02-03 11:49

MMDetection自定义双主干Transformer模型（一）

今天的想法是构建如下的双主干网络，主干网络采用SwinTransformer，直接开始记录。

开始学AI·2023-02-02 10:09

ConvNeXt：A ConvNet for the 2020s——模型简述

一、摘要这篇论文对标去年的bestpaper：SwinTransformer，在相同的flops下具有更高的准确率和推理速度，它从各个方面借鉴了Swin的设计模式和训练技巧（如AdamW优化器），并一步步的将

gongyuandaye·2023-02-01 18:47

CVPR 2022|从原理和代码详解FAIR的惊艳之作：全新的纯卷积模型ConvNeXt...

https://github.com/jinfagang/yolov7_d2ConvNeXt可以看做是把SwinTransformer包括ViT的所有特殊的设计集于一身之后的卷积网络进化版，升级了ResNet

AI视觉网奇·2023-02-01 18:46

2021：Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

摘要本文提出一种新的视觉Transformer----SwinTransformer，它可以成为计算机视觉的通用主干。

weixin_42653320·2023-01-31 23:12

MixMIM 创建混合图像，提出新型掩码方案

MixMIM可以有效地学习高质量的视觉表示，也能被广泛应用于预训练的层次化视觉Transformer，比如SwinTransformer、PVT等。

·2023-01-31 19:12

Swin-Transformer算法解析

本文参考：SwinTransformer：使用shiftedwindow的层级Transformer(ICCV2021)_tzc_fly的博客-CSDN博客https://zhuanlan.zhihu.com

benben044·2023-01-31 01:08

WDK_学习笔记_区块链+ViT和Swin transformer

文章目录摘要一、項目：Hyperledger-fabric技术的深入学习1.1安装-2.2.0（只记录问题，其余按文档操作即可）二、深度学习：VersionTransformer(ViT)和SwinTransformer2.1ViT2.1

原来如此-·2023-01-30 07:04

Hugging News 年度特刊: Transformers & Gradio 年终大事件总结

最近的一周用户超过100万，平均每日pip安装量为30万我们在音频、文本、视觉️、多模态甚至时间序列和蛋白质折叠场景下支持的模型架构数量增加了一倍（89到167）以下是这些新模型中的一些亮点一月份，我们支持了SwinTransformer

·2023-01-29 17:42

【Swin Transformer】Win10使用Swin Transformer做目标检测 (使用自己的数据集 + 图解超详细)

文章目录SwinTransformer环境搭建VS2019配置conda虚拟环境Pytorch安装mmcv安装查看匹配版本安装mmcvmmdet安装apex安装下载权重demo测试代码训练自己的数据集需要修改的部分修改标签种类数修改标签类别配置权重信息修改尺寸大小配置数据集路径修改

莫余·2023-01-29 08:43

基于Pytorch的图像分类总结：Swin Transformer

SwinTransformer论文详解及程序解读-知乎(zhihu.com)SwinTransformer论文详解及程序解读-知乎(zhihu.com)机器学习_详解SwinTransformer(SwinT

稳健的不高冷的强哥·2023-01-29 08:12

Swin Transformer模型——pytorch实现

论文传送门：SwinTransformer:HierarchicalVisionTransformerusingShiftedWindows前置文章：ViT模型——pytorch实现SwinTransformer

CV_Peach·2023-01-29 08:08

第6周学习：Vision Transformer & Swin Transformer

1VisionTransformer1.1ViT模型架构1.2Embedding层1.3TransformerEncoder层1.4MLPHead层1.5ViTB/161.6ViT模型参数1.7Hybrid混合模型2SwinTransformer2.1SwinTransformer

苍茆之昴·2023-01-28 14:44

swin transformer理解要点

这是跑通的分类以及分割源码介绍，大家有需要可以参考一下：1、Swin-Transformer分类源码(已跑通)2、Swin-Transformer分割源码(已跑通)3、Swin-Unet(分割改编)一.概要关于swintransformer

炼己者·2023-01-28 14:20

Congested Crowd Instance Localization with Dilated Convolutional Swin Transformer

在SwinTransformer主干中，在不同阶段插入两个扩展卷积块以扩大感受野，这有效地提高了特征提取的能力，尤其是对于人群场景中

Yunpeng1119·2023-01-28 09:38

Hugging News 年度特刊: Transformers & Gradio 年终大事件总结、红包封面补货 & 春节放假通知...

最近的一周用户超过100万，平均每日pip安装量为30万我们在音频、文本、视觉️、多模态甚至时间序列和蛋白质折叠场景下支持的模型架构数量增加了一倍（89到167）以下是这些新模型中的一些亮点一月份，我们支持了SwinTransformer

Hugging Face·2023-01-27 10:04

深度学习——（13）Swintransformer

深度学习——（13）Swintransformer文章目录深度学习——（13）Swintransformer一、理论知识二、coding1.debug2.上代码三、自己的理解一、理论知识二、coding1

柚子味的羊·2023-01-27 07:25

Swin Transformer——细节详解

SwinTransformer——细节详解划分窗口与合并窗口举例：默认情况下window_size=7划分窗口：将输入数据shape=[4,224,224,196]的数据reshape成[4*num_windows

Jokic_Rn·2023-01-27 07:24

主干网络的输入通道数从3改为1，同时保证预训练权重输出

然而一些优秀的主干特征提取网络例如ResNet、VGGNet、DenseNet，以及近几年推出的SwinTransformer、ConvNeXt等，它们都是基于RGB三通道数据进行预训练。

AbaK1r·2023-01-26 12:45

Swin Transformer

论文原文：SwinTransformer:HierarchicalVisionTransformerusingShiftedWindows官方开源代码：Swin-Transformer用于语义分割的官方代码为

是七叔呀·2023-01-17 20:45

手把手教你Swin-Transformer-Semantic-Segmentation(语义分割）训练自己的数据集

显卡不太行的同学一般跑不动哦，我用的工作站显卡2080ti勉强才跑通4batch_size代码地址：https://github.com/SwinTransformer/Swin-Transformer-Semantic-Segmentation

寒天源·2023-01-17 20:15

论文笔记：ConvNeXt ：A ConvNet for the 2020s

一、训练技巧第一部分模仿的是swintransformer的训练技巧方面，主要是对res50这个backbone的训练技巧。首先是把90个epoch训练res50变成300epoch进行训练。

林君恒·2023-01-17 09:28

【论文速递】ECCV2022 - 开销聚合与四维卷积Swin Transformer_小样本分割

【论文速递】ECCV2022-开销聚合与四维卷积SwinTransformer_小样本分割【论文原文】：CostAggregationwith4DConvolutionalSwinTransformerforFew-ShotSegmentation

凤⭐尘·2023-01-16 06:43

kaggle论文阅读

文章目录SwinTransformer优点缺点缺点&改进SwinTransformerhttps://arxiv.org/abs/2103.14030优点bringsgreaterefficiencywithlinearcomplexitybylimitingself-attentioncomputationtonon-overlappinglocalwindowswhilealsoprovidi

qq_43380015·2023-01-14 09:36

Swin Transformer, SwinIR, SwinFIR

SwinTransformer痛点：尺度变化–提出Hieracicalattention的变化：slidingwindowattention，减少了attention的计算复杂度，同时通过sliding

yyyang404·2023-01-14 07:50

【SwinTransformer】大杀四方的 Swin Transformer 详解及改进

文章目录SwinTransformerBackBoneStage0Stage1Stage2Stage3Stage4PatchMerging操作SwinTransformerBlocks计算单元基于窗口自注意力计算复杂度推导掩码操作改进SwinTransformerShiftedWindow窗口自注意力到全局自注意力，窗口建模到全局建模。BackBone上图为Swin-Tiny的网络架构图。Swin

零碎@流年絮语·2023-01-13 08:49

Swin Transformer Hierarchical Vision Transformer using Shifted Windows论文解读

SwinTransformer:HierarchicalVisionTransformerusingShiftedWindowspaper：2103.14030.pdf(arxiv.org)code：microsoft

Trouble..·2023-01-13 06:54

【读论文】Swin Transformer

SwinTransformer介绍网络架构总体架构swintransformerblock总结参考论文：https://arxiv.org/abs/2103.14030如有侵权请联系博主介绍前几天读TCPMFNet

小王不头秃·2023-01-12 08:14

Swin Transformer阅读笔记

SwinTransformer使用了移动窗口的层级式的Vit（HierarchicalVisionTransformerusingShiftedWindows）总体来说：SwinTransformer想让

Mrwei_418·2023-01-11 07:50

ConvNeXt

SwinTransformer中stage3的比例更高，故将ResNet的堆叠次数从（3，4，6，3）调

重学CS·2023-01-08 16:02

Swin Transformer V2 的改进和源码分析

SwinTransformerV2论文地址SwinTransformerV2源码地址对SwinTransformer还不太熟悉的可以先移步到我的SwinTransformer源码分析就如论文标题SwinTransformerV2

那时那月那人·2023-01-06 11:58

Swin transformer v2和Swin transformer v1源码对比

swintransformerv1源码见我的博客:swin_transformer源码详解_樱花的浪漫的博客-CSDN博客_swintransformer代码解析在此只解析v1和v2的区别1.q,k,v

樱花的浪漫·2023-01-06 11:54

ConvNeXt网络介绍,搭建以及训练

)一月份，FacebookAIResearch和UCBerkeley一起发表了一篇文章AConvNetforthe2020s，在文章中提出了ConvNeXt纯卷积神经网络，它对标的是2021年非常火的SwinTransformer

宁静与致远·2023-01-06 07:37

课程八学习笔记：卷积和Transformer结合的ViT

课程八学习笔记：卷积和Transformer结合的ViT1.回顾SwinTransformer2.卷积和Transformer结合——MobileViT3.实践SwinTransformer4.实践数据加载

Laura_Wangzx·2023-01-05 14:09

图学习？Transformer：我也行！

同时，Transformer在CV领域也逐渐显示出其超强的能力，诸如ViT、SwinTransformer、BEiT等VisionTransformer模型验证了Transformer同样适用于图像领域

zenRRan·2023-01-05 14:39

图学习？Transformer：我也行

同时，Transformer在CV领域也逐渐显示出其超强的能力，诸如ViT、SwinTransformer、BEiT等VisionTransformer模型验证了Transformer同样适用于图像领域

fareise·2023-01-05 14:36

旋转框目标检测mmrotate v0.3.1 训练DOTA数据集（三）——配置文件优化技巧

1、目标检测比赛中的tricksDOTAv2遥感图像旋转目标检测竞赛经验分享（SwinTransformer+Anchorfree/based方案）目标检测比赛中的tricks（已更新更多代码解析）水下目标检测算法赛解决方案分享

qq_41627642·2023-01-05 12:58

专栏目录汇总

InceptionV2【第4篇】InceptionV3【第62篇】Inception-v4ResNet【第5篇】ResNetDenseNet【第10篇】DenseNetSwinTransformer【第16篇】SwinTransformer

AI浩·2023-01-05 03:09

Swin Transformer中的数据形状梳理

SwinTransformer中的数据形状梳理关键零件内部数据形状PatchEmbed层Swin-transformer层PatchMerging层整体结构关键零件内部数据形状PatchEmbed层原始输入

Libertaz·2023-01-04 20:06

Swin Transformer与Vision Transformer的不同设计

SwinTransformer与VisionTransformer的不同设计图片分割cls_token位置编码attention层图片分割Swin使用一个卷积层进行分割，卷积层的滑动补偿等于核的尺寸，因此图片每个像素不会重复框选

Libertaz·2023-01-04 20:06

SwinTransformer中SW-MSA中attn_mask生成逻辑纪录

令input_resolution=(12,12)window_size=6shift_size=3生成部分的源码如下:ifself.shift_size>0:#calculateattentionmaskforSW-MSAH,W=self.input_resolutionimg_mask=torch.zeros((1,H,W,1))#1HW1#对[H,W]大小进行分区#分区的目的在于，shift

Curya·2023-01-04 20:30

Swin Transformer代码中对relative_bias-index的理解（pytorch）

在查看pytorch实现的SwinTransformer源码中，对relative_bias-index编程部分有些不太理解，可能是因为自己python基础差的原因，导致有些代码看不懂。

桂花酿55·2023-01-03 10:56

Swin学习笔记

SwinTransformer训练设置：1.RegularImageNet-1Ktrainingoptimizer:AdamWfor300epochsfromtorchimportoptimasoptimoptimizer

小机灵鬼~·2023-01-01 14:55

论文：DS-TransUNet 医学图像分割

DS-TransUNet:DualSwinTransformerU-NetforMedicalImageSegmentation论文：https://arxiv.org/abs/2106.06716SwinTransformer

cztAI·2023-01-01 14:51

Dive into Deep Learning笔记——下

attentionself-attentionTransformer多头注意力multi-headattentionMaskedmulti-headattentionfeedforwardResidual和Norm代码#ViT#swintransformer

星尘逸风·2022-12-29 21:09

SwinTransformer搭建及一些问题

Swin装环境打开AnacondaPowershellPrompt！！！创建环境：1660TI，cuda11.0，pytorch1.7.1注意：cmd先nvcc-V看看，是不是cuda11创建环境condacreate-nswtfpython=3.8激活环境condaactivateswtf安装pytorch#1660Ticondainstallpytorch=1.7.1torchvisioncu

青柠味的脉动·2022-12-29 20:26

SwinIR: Image Restoration Using Swin Transformer论文笔记

前言该算法将SwinTransformer应用于图像复原的领域，主要网络结构分为三个部分：①浅层特征提取②深层特征提取③高质量图像重建。

Unsunshine_Bigboy_?·2022-12-29 19:19

论文阅读：Spatial Transformer Networks

即使是现在火热的transformer搭建的图像模型(swintransformer,vi

zjuPeco·2022-12-29 15:32

论文笔记：Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

的尺寸有大有小如果是像素级别的Transformer，那么resolution太大为了解决上述的两个挑战，提出了swintransformer将self-attention约束在移动窗口内部的各个pixel

UQI-LIUWJ·2022-12-29 13:08

Transformer跨界超越CNN，还解决了计算复杂度难题

喜欢打酱油的老鸟·2022-12-29 11:29

推荐频道

SwinTransformer