ResNet改进(48)：融合CoTAttention的ResNet模型

1.创新点介绍

今天我将带大家深入分析一个结合了Contextual Transformer (CoT)注意力机制的自定义ResNet模型实现。这个模型在标准ResNet34的基础上进行了创新性改进，通过引入注意力机制来增强特征提取能力。

模型架构概述

这个自定义模型主要包含以下几个核心组件：

1. 基础ResNet34骨架

2. 两个CoTAttention注意力模块

3. 自定义的初始卷积层

4. 分类头部

让我们逐部分深入解析。

1. CoTAttention模块

class CoTAttention(nn.Module):
    def __init__(self, dim=512, kernel_size=3):
        super().__init__()
        self.dim = dim
        self.kernel_size = kernel_size
        
        self.key_embed = nn.Sequential(
            nn.Conv2d(dim, dim