Python训练营打卡DAY47

DAY 47 注意力热图可视化

昨天代码中注意力热图的部分顺移至今天

知识点回顾：

热力图

作业：对比不同卷积层热图可视化的结果

前面代码看前一天，这里是不同卷积层可视化注意力热图的代码。

#对比不同卷积层热图可视化的结果
import torch
import numpy as np
import matplotlib.pyplot as plt
from scipy.ndimage import zoom

def visualize_multi_layer_attention(model, test_loader, device, class_names, num_samples=3):
    """
    可视化模型不同卷积层的注意力热力图，对比浅层和深层的特征关注区域
    Args:
        model: 已加载的PyTorch模型
        test_loader: 测试数据加载器
        device: 计算设备 (cuda/cpu)
        class_names: 类别名称列表
        num_samples: 可视化样本数
    """
    model.eval()
    
    # 定义需要可视化的卷积层名称（根据模型结构修改）
    target_layers = ['conv1', 'conv2', 'conv3']  # 示例：浅层->中层->深层
    
    with torch.no_grad():
        for i, (images, labels) in enumerate(test_loader):
            if i >= num_samples:
                break
                
            images, labels = images.to(device), labels.to(device)
            
            # 存储各层的激活图
            layer_activations = {name: [] for name in target_layers}
            
            # 注册钩子函数
            hooks = []
            for name, layer in model.named_modules():
                if name in target_layers:
                    def hook(module, input, output, name=name):
                        layer_activations[name].append(output.cpu())
                    hooks.append(layer.register_forward_hook(hook))
            
            # 前向传播
            outputs = model(images)
            
            # 移除钩子
            for hook in hooks:
                hook.remove()
            
            # 获取预测结果
            _, predicted = torch.max(outputs, 1)
            
            # 反标准化原始图像
            img = images[0].cpu().permute(1, 2, 0).numpy()
            img = img * np.array([0.2023, 0.1994, 0.2010]) + np.array([0.4914, 0.4822, 0.4465])
            img = np.clip(img, 0, 1)
            
            # 创建对比图
            fig, axes = plt.subplots(len(target_layers)+1, 3, figsize=(15, 5*(len(target_layers)+1)))
            fig.suptitle(
                f"真实标签: {class_names[labels[0]]} | 预测: {class_names[predicted[0]]}\n"
                "不同卷积层的注意力热力图对比",
                fontsize=14
            )
            
            # 显示原始图像
            for j in range(3):
                axes[0, j].imshow(img)
                axes[0, j].set_title('原始图像' if j==1 else '')
                axes[0, j].axis('off')
            
            # 显示各层热力图
            for k, layer_name in enumerate(target_layers, start=1):
                # 获取该层的特征图（第一个样本）
                feature_map = layer_activations[layer_name][0][0]  # shape: [C, H, W]
                
                # 选择最具代表性的3个通道（按平均激活强度排序）
                channel_weights = torch.mean(feature_map, dim=(1, 2))
                top3_channels = torch.argsort(channel_weights, descending=True)[:3]
                
                # 可视化每个通道
                for j, channel_idx in enumerate(top3_channels):
                    # 获取单通道热力图并归一化
                    heatmap = feature_map[channel_idx].numpy()
                    heatmap = (heatmap - heatmap.min()) / (heatmap.max() - heatmap.min() + 1e-8)
                    
                    # 调整热力图尺寸匹配输入图像
                    h_ratio = img.shape[0] / heatmap.shape[0]
                    w_ratio = img.shape[1] / heatmap.shape[1]
                    heatmap = zoom(heatmap, (h_ratio, w_ratio))
                    
                    # 绘制叠加图
                    axes[k, j].imshow(img)
                    axes[k, j].imshow(heatmap, alpha=0.5, cmap='jet')
                    axes[k, j].set_title(
                        f"{layer_name} 通道 {channel_idx}\n"
                        f"均值: {channel_weights[channel_idx]:.2f}"
                    )
                    axes[k, j].axis('off')
            
            plt.tight_layout()
            plt.show()

# 使用示例
visualize_multi_layer_attention(model, test_loader, device, class_names, num_samples=3)

浙大疏锦行-CSDN博客