flash attention的CUDA编程流水并行加速-V6

flash attention的CUDA编程流水并行加速-V6_第1张图片
之前关于flash attention的介绍可以继续参考链接添加链接描述

矩阵乘法的优化

参考添加链接描述,我们发现矩阵乘法的最优配置为:BLOCK_DIM_x=BLOCK_DIM_y=16,同时每个线程处理一个8×8的子矩阵。线程网格设置如下所示:

const int Rq = 8;
const int Rv 

你可能感兴趣的:(高性能计算,redis,数据库,缓存)