Swin

which is output 0 of AsStridedBackward0, is at version 1； expected version 0 instead

aceback(mostrecentcalllast):File"D:\my_codeworkspace\bishe_new\jiaoben\train_KINN_NonFEM_based_swin_freezebone.py
构建的乐趣·2023-01-28 10:10

Congested Crowd Instance Localization with Dilated Convolutional Swin Transformer

DCST（人群定位）提出问题：微小物体&相互遮挡和模糊区域如何在高密度人群场景中实现精确的实例定位，并缓解传统模型的特征提取能力因目标遮挡、图像模糊等而降低的问题。解决方法：提出了一种将transformer和传统卷积网络方法相结合的方法来解决人群定位的密集预测问题。在SwinTransformer主干中，在不同阶段插入两个扩展卷积块以扩大感受野，这有效地提高了特征提取的能力，尤其是对于人群场景中
Yunpeng1119·2023-01-28 09:38

《预训练周刊》第10期：基于Swin变换器的自监督学习、基于锐度感知最小化的泛化性提升...

No.10智源社区预训练组预训练研究观点资源活动关于周刊超大规模预训练模型是当前人工智能领域研究的热点，为了帮助研究与工程人员了解这一领域的进展和资讯，智源社区整理了第10期《预训练周刊》，从论文推荐、研究动态等维度推荐近期发生在预训练模型领域值得关注的信息。本期周刊，我们选择了11篇预训练相关的论文，涉及模型压缩、零样本检测、自监督学习、模型减枝、文本位置编码、符号傅里叶变换、架构优化、损失函数
智源社区·2023-01-28 08:41

# enumerate(data_loader)处报错

codeccan’tdecodebytesinposition1022-1023:unexpectedendofdataenumerate(data_loader)报错num_workers设置为大于1报错在训练Swin-Transformer
a493001894·2023-01-28 07:26

swin transformer v1 v2精讲

ShiftedWindow算法详解-巴蜀秀才-博客园SwinTransformerV2-巴蜀秀才-博客园
流浪德意志·2023-01-27 07:25

Swin Transformer——细节详解

SwinTransformer——细节详解划分窗口与合并窗口举例：默认情况下window_size=7划分窗口：将输入数据shape=[4,224,224,196]的数据reshape成[4*num_windows,7,7,196]合并窗口：将输入数据shape=[4*num_windows,7,7,196]的数据reshape成[4,224,224,196]defwindow_partition
Jokic_Rn·2023-01-27 07:24

【神经网络架构】Swin Transformer细节详解-2

图12个MSA。对应下面depth中的2。图2SW-MSA流程1.cyclicshift+reversecyclicshift图3cyclicshift，shift_size=7//2=3depth=[2,2,6,2]#MSA的个数[SwinTransformerBlock(...,shift_size=0if(i%2==0)elsewindow_size//2,...)foriinrange(d
理心炼丹·2023-01-27 07:24

swin transformer

vit模型要求处理图片的像素不能太大（vit论文中给定的图片为224*224），但是针对于更高像素的图片，vit还是无法处理，并且vit模型无法在物体检测等领域发挥较好效果。swintransfomer就很好的解决了这些问题。swintransfomer收到了CNN中卷积操作的启发，将图片划分成一个个小patch块，并且以patch块为基本单位，在一个个window窗口内部进行注意力学习。patc
v1dv1dv1d·2023-01-26 12:12

NeurIPS 22｜Sequencer：完美超越Swin与ConvNeXt等前沿算法

本文提出Sequencer，一个全新且具有竞争性的架构，可以替代ViT，为分类问题提供了一个全新的视角。实验表明，Sequencer2D-L在ImageNet-1K上仅使用54M参数，实现84.6%的top-1精度。不仅如此，作者还证明了它在双分辨率波段上具有良好的可迁移性和稳健性。论文链接：https://arxiv.org/abs/2205.01972在最近的计算机视觉研究中，ViT的出现迅速
MrRoose·2023-01-21 08:47

Transformer 再添一员，比 Swin 更强的 DiNAT

出品人：Towhee技术团队张晨、顾梦佳在视觉领域，除了常规Transformer的持续发展，分层的Transformer结构也因为其性能和易集成性获得了极大的关注。DiNA注意力机制是NeighborhoodAttention（NA）的拓展，更加自然、灵活、高效。它可以捕获更多的全局上下文并以指数方式扩展感受域，而无需额外成本。DiNATransformer是基于两种注意力的新型分层视觉模型。相
·2023-01-19 17:39

Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation论文解读

Swin-Unet:Unet-likePureTransformerforMedicalImageSegmentation论文：[2105.05537]Swin-Unet:Unet-likePureTransformerforMedicalImageSegmentation
Trouble..·2023-01-18 12:13

swin-transformer 细节理解之整体架构

swin-transformer整体架构文章目录swin-transformer整体架构前言一、整体介绍二、整体流程解读与卷积网络的对比（仅个人理解）总结参考链接前言这篇博客会大致介绍swin-transformer
超级电冰箱·2023-01-18 12:38

34 - Swin-Transformer论文精讲及其PyTorch逐行复现

文章目录1.结构图2.两种方法实现Patch_Embedding2.1imag2embed_naive通过unfold展开函数2.2imag2embed_conv通过conv卷积函数3.多头自注意力(Multi_Head_Self_Attention)3.1如何计算多头自注意力机制复杂度3.2构建WindowMHSA并计算其复杂度3.3基于窗口的多头自注意力4.ShiftwindowMHSA及其M
取个名字真难呐·2023-01-17 20:45

Swin Transformer

论文原文：SwinTransformer:HierarchicalVisionTransformerusingShiftedWindows官方开源代码：Swin-Transformer用于语义分割的官方代码为
是七叔呀·2023-01-17 20:45

手把手教你Swin-Transformer-Semantic-Segmentation(语义分割）训练自己的数据集

显卡不太行的同学一般跑不动哦，我用的工作站显卡2080ti勉强才跑通4batch_size代码地址：https://github.com/SwinTransformer/Swin-Transformer-Semantic-Segmentation
寒天源·2023-01-17 20:15

pytorch学习之swin-transformer算法读后感

目录1、下采样/上采样（1）下采样的作用？通常的方式（2）上采样的原理和常用方式2、self.register_buffer()3、torch运算符@和*4、nn.ModuleList()以及与nn.Sequential的区别（1）nn.ModuleList（2）与nn.Sequential的区别5、nn.Module.apply方法6、torch.roll函数7、torchvision数据处理（
benben044·2023-01-17 15:48

【论文速递】ECCV2022 - 开销聚合与四维卷积Swin Transformer_小样本分割

【论文速递】ECCV2022-开销聚合与四维卷积SwinTransformer_小样本分割【论文原文】：CostAggregationwith4DConvolutionalSwinTransformerforFew-ShotSegmentation获取地址：https://arxiv.org/pdf/2207.10866.pdf博主关键词：小样本学习，语义分割，Transformer，聚合推荐相关
凤⭐尘·2023-01-16 06:43

Swin Transformer, SwinIR, SwinFIR

SwinTransformer痛点：尺度变化–提出Hieracicalattention的变化：slidingwindowattention，减少了attention的计算复杂度，同时通过sliding增强connection，实现全局attention和ViT的区别：ViT16*下采样，尺寸单一；SwinTransformer多尺度local的思维：在一个小范围算attention是基本够用的，
yyyang404·2023-01-14 07:50

基于OpenVINO工具套件简单实现YOLOv7预训练模型的部署

一、YOLOv7简介官方版的YOLOv7相同体量下比YOLOv5精度更高，速度快120%（FPS），比YOLOX快180%（FPS），比Dual-Swin-T快1200%（FPS），比ConvNext快
OpenVINO 中文社区·2023-01-13 12:01

【SwinTransformer】大杀四方的 Swin Transformer 详解及改进

BackBone上图为Swin-Tiny的网络架构图。Swin
零碎@流年絮语·2023-01-13 08:49

transformer概述和swin-transformer详解

注意力机制1.2.3多头注意力机制1.2.4前馈全连接层1.2.5规范化层1.2.6子层连接层1.2.7编码器层1.2.8编码器1.3解码器部分实现1.3.1解码器层1.3.2解码器1.4输出部分实现2.swin-transformer1
我是要成为linux驱动开发的man·2023-01-13 08:45

Swin Transformer Hierarchical Vision Transformer using Shifted Windows论文解读

SwinTransformer:HierarchicalVisionTransformerusingShiftedWindowspaper：2103.14030.pdf(arxiv.org)code：microsoft/Swin-Transformer
Trouble..·2023-01-13 06:54

YOLOv7：面向实时检测的目标检测器 | 附结构图

YOLOv7-E6目标检测器（56FPSV100，55.9%AP）比基于Transformer的检测器SWIN-LCascade-MaskR-CNN（9.2FPSA100，53.9%AP）的速度和准确度分别高出
迪菲赫尔曼·2023-01-12 15:35

【读论文】Swin Transformer

SwinTransformer介绍网络架构总体架构swintransformerblock总结参考论文：https://arxiv.org/abs/2103.14030如有侵权请联系博主介绍前几天读TCPMFNet时了解到了Transformer还可以应用到图像领域，这就激起了我的兴趣，刚好有了解到了VIT之后又推出了SwinTransformer，接下来我们就来一起看看吧。网络架构总体架构总体的
小王不头秃·2023-01-12 08:14

关于Pytorch 分布式训练local_rank的坑

先是说明一下这个问题：我们在看很多大佬写的代码时候，特别是涉及到分布式训练的时候会发现他们在argsparse中添加了这样一个参数“--loacl_rank”，比如下面是Swin-Transformer
轲轲轲轲v·2023-01-11 07:32

CVPR| 2021 Video Swin Transformer阅读笔记

VideoSwinTransformer阅读笔记论文代码研究背景在计算机视觉领域，模型正在从CNN向Transformer转变，并且纯transformer架构在主要的视频识别方向获得了最高的精度，这些模型建立在能够在时间和空间维度上将patches全局连接起来的transformer层上。CNN向transformer的转变开始于visiontransformer(ViT),它通过transfo
ycolourful·2023-01-11 07:57

Congested Crowd Instance Localization with Dilated Convolutional Swin Transformer阅读笔记

Abstract研究如何在高密度人群场景中实现精准的实例定位，以及如何缓解传统模型由于目标遮挡、图像模糊等而降低特征提取能力的问题。为此，我们提出了一DilatedConvolutionalSwinTransformer（DCST）对于拥挤的人群场景Specifically，awindow-basedvisiontransformerisintroducedintothecrowdlocaliza
给个编制·2023-01-11 07:26

第6周学习笔记：Vision Transformer Swin Transformer

一.VisionTransformer对比ViT(“纯"Transformer模型)、Resnet网络和Hybrid(传统CNN和Transformer混合模型)1模型架构输入一张图片，会把它分成一个一个patches，然后把每个patches输入进Embedding层，然后会得到一个个向量（token），之后在这些token前面加一个classtoken用于分类，接着需要加上位置信息（Posit
冷鲜肉·2023-01-11 07:55

Swin Transformer阅读笔记

SwinTransformer使用了移动窗口的层级式的Vit（HierarchicalVisionTransformerusingShiftedWindows）总体来说：SwinTransformer想让Transformer像卷积神经网络一样，可以分为多个block，可以做层级式特征提取，从而提取得到的特征具有多尺度的概念。1、Abstract难点：1、尺度问题，eg：一张街景图片，有很多的车和
Mrwei_418·2023-01-11 07:50

第6周学习：Vision Transformer； Swin Transformer

VisionTransformerTransformer最初是应用在NLP领域的，这个模型尝试将Transformer应用到CV领域，通过这篇文章的实验，给出的最佳模型在ImageNet1K上能够达到88.55%的准确率（先在Google自家的JFT数据集上进行了预训练），说明Transformer在CV领域确实是有效的，而且效果还挺惊人。Embedding这个是对数据进行变换，将一个3维的矩阵化
_盐焗鸡·2023-01-10 16:45

【Swin Transformer 论文笔记】Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

目录Abstract&IntroductionRelatedWorkMethod“OverallArchitecture”“ShiftedWindowbasedSelf-Attention”“Self-attentioninnon-overlappedwindows”“Shiftedwindowpartitioninginsuccessiveblocks”“Efficientbatchcomput
bulibuli蛋·2023-01-10 16:41

Swin Transformer原理详解篇

作者简介：秃头小苏，致力于用最通俗的语言描述问题往期回顾：CV攻城狮入门VIT(visiontransformer)之旅——近年超火的Transformer你再不了解就晚了！CV攻城狮入门VIT(visiontransformer)之旅——VIT原理详解篇CV攻城狮入门VIT(visiontransformer)之旅——VIT代码实战篇近期目标：写好专栏的每一篇文章支持小苏：点赞、收藏⭐、留言文章
秃头小苏·2023-01-10 16:10

mmsegmentation训练自定义数据集（语义分割，Upernet，Swin-T）

mmsegmentation训练自定义数据集（语义分割，Upernet，Swin-T）1.论文复现1.1.原文结果1.2.复现结果1.3.Test阶段速度：2.MmsegmentationTrick2.1
凌青羽·2023-01-08 09:03

Swin Transformer V2 的改进和源码分析

SwinTransformerV2论文地址SwinTransformerV2源码地址对SwinTransformer还不太熟悉的可以先移步到我的SwinTransformer源码分析就如论文标题SwinTransformerV2:ScalingUpCapacityandResolution一个字就是大模型大尺寸大如论文所述Tobetterscaleupmodelcapacityandwindowr
那时那月那人·2023-01-06 11:58

Swin transformer v2和Swin transformer v1源码对比

swintransformerv1源码见我的博客:swin_transformer源码详解_樱花的浪漫的博客-CSDN博客_swintransformer代码解析在此只解析v1和v2的区别1.q,k,v
樱花的浪漫·2023-01-06 11:54

Swin Transformer中torch.roll()详解

torch.roll()这个函数看官方解释很懵，直接对照可视化来理解参考：torch.roll函数的理解torch.roll(x,shifts=(40,40),dims=(1,2))这里img的shape是[1,56,56,96],即[B,H,W,C]格式。dim=1,shift=40指的就是数据沿着H维度，将数据朝正反向滚动40，超出部分循环回到图像中dim=2,shift=40指的就是数据沿着
Jokic_Rn·2023-01-06 11:16

MMSegmentation V0.27.0训练与推理自己的数据集（二）

1、官方模型转换MMSegmentation风格如果你想自己转换关键字使用官方存储库的预训练模型，我们还提供了一个脚本swin2mmseg.py在toolsdirectory，将模型的关键字从官方的repo
qq_41627642·2023-01-05 12:28

论文阅读CVPR Maskformer和Mask2former

碎碎念）：七月初学完最原始的transformer之后，一直感觉对attention和transformer的理解云里雾里的，似懂非懂，后来又学习了关于visualtransformer，像是ViT、Swin
咯吱咯吱咕嘟咕嘟·2023-01-05 01:14

Swin Transformer中的数据形状梳理

SwinTransformer中的数据形状梳理关键零件内部数据形状PatchEmbed层Swin-transformer层PatchMerging层整体结构关键零件内部数据形状PatchEmbed层原始输入
Libertaz·2023-01-04 20:06

Swin Transformer与Vision Transformer的不同设计

SwinTransformer与VisionTransformer的不同设计图片分割cls_token位置编码attention层图片分割Swin使用一个卷积层进行分割，卷积层的滑动补偿等于核的尺寸，因此图片每个像素不会重复框选
Libertaz·2023-01-04 20:06

Swin transformer里的mask操作

实现批量操作问题：经shiftedwindows,特征图被划分成大小不一的小窗口，显然这样就无法进行批量操作，Swintrans提出使用循环移位方式cyclicshift,又分成了4个小窗口。相关性不大的窗口做自注意力问题：如果直接循环移位后的各窗口进行自注意力操作，对于像上图C是天上的，与地上的（g）进行自注意力操作的话，两者本来就没大关系，没必要做自注意力。此时引入掩码操作：可以看到，将循环移
weixin_44940947·2023-01-04 20:32

Swin transformer讲解

基于自注意力机制的Transformer模型在自然语言处理领域的成功引起了计算机视觉研究者的注意。近年来，有越来越多的研究者正试图将Transformer应用于视觉领域。但Transformer终究还是为了解决NLP领域的问题而设计的，将其应用到视觉领域会遇到两个需要解决的问题：在NLP领域，具有完整语义信息的一个个体通常仅为一个单词或几个词元的组合体，尺度较小且较为固定，而视觉领域中，一个完整的
我们教练不会签到·2023-01-04 20:02

swin-transformer学习笔记1——window_partition函数的理解

swin-transformer学习笔记1——window_partition函数的理解功能如下所示原文关于这部分的代码如下defwindow_partition(x,window_size):"""Args
随风吟唱·2023-01-04 20:02

[2021ICCV]Swin Transformer模型的一些模块

GitHubCSDNPatchEmbed:将输入的图片进行切分classPatchEmbed(nn.Module):"""2DImagetoPatchEmbedding"""def__init__(self,patch_size=4,in_c=3,embed_dim=96,norm_layer=None):super().__init__()patch_size=(patch_size,patch
清欢年岁~·2023-01-04 20:01

史上最详细的Swin-Transformer 掩码机制(mask of window attentation)————shaoshuai

0、前言最近几天看了Swin-Transformer这篇论文，在看代码时对其中的掩码机制不解，尤其是看不懂代码的理解，而Swin的掩码机制又是论文的亮点之一，在查阅各方资料后终于弄懂了原理。
cfsongbj·2023-01-04 20:29

Swin Transformer Object Detection 目标检测-4——数据集标注（LabelImg、LabelMe使用方法）

文章目录一、简介二、安装三、使用1.LabelImg2.LabelMe:视频教程完整版：我在B站录的教学视频一、简介常用数据集格式：VOC、COCOLabelImg：能标注VOC、YOLO格式数据集，标注VOC数据集尤其推荐LabelMe：格式为LabelMe，提供了转VOC、COCO格式的脚本，可以标注矩形、圆形、线段、点。标注语义分割、实例分割数据集尤其推荐。二、安装LabelImg：pipi
Beyonderwei·2023-01-04 10:38

[2103] [ICCV 2021] Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

papercodeContentAbstractMethodmodelarchitectureshiftedwindow(Swin)attentionefficientbatchcomputationforshiftedwindowcomputationalcomplexityrelativepositionalencoding
koukouvagia·2023-01-03 14:51

Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

研究摘要ThispaperpresentsanewvisionTransformer,calledSwinTransformer,thatcapablyservesasageneral-purposebackboneforcomputervision.ChallengesinadaptingTransformerfromlanguagetovisionarisefromdifferencesbet
南北封魏晋.·2023-01-03 13:38

Swin Transformer代码中对relative_bias-index的理解（pytorch）

我查看的是B站up主霹雳吧啦Wz视频中提供的代码，代码网址如下：pytorch_classification/swin_transformer。在源码的第218-
桂花酿55·2023-01-03 10:56

Swin UNETR: Swin Transformers for Semantic Segmentation of Brain Tumors in MRI Images

摘要卷积神经网络因为其卷积核的固有属性，其在远程建模方面存在着较大的问题。这可能导致对可变大小的肿瘤进行分割时存在不足。另一方面，Transformer在多个领域在捕获远程依赖信息方面表现出了出色的能力。本文提出了一个新的分割模型,称为SwinUNETR，具体来说，3D脑肿瘤语义分割被重新定义为一个序列到序列的预测问题，其中多模态输入数据被投影到一个1D嵌入序列当中，并用作分层SwinTransf
不想敲代码的小杨·2023-01-01 14:28
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他