矩阵乘法

【北上广深杭大厂AI算法面试题】人工智能大模型篇...矩阵乘法GEMM！以及为什么说GEMM是深度学习的核心？

【北上广深杭大厂AI算法面试题】人工智能大模型篇…矩阵乘法GEMM！以及为什么说GEMM是深度学习的核心？【北上广深杭大厂AI算法面试题】人工智能大模型篇…矩阵乘法GEMM！

不想努力的小土博·2025-07-26 15:54

NumPy-@运算符详解

NumPy-@运算符详解一、@运算符的起源与设计目标1.从数学到代码：符号的统一2.设计目标二、@运算符的核心语法与运算规则1.基础用法：二维矩阵乘法2.一维向量的矩阵语义3.高维数组：批次矩阵运算4.

GG不是gg·2025-07-12 08:53

GNN--知识图谱（逐步贯通基础到项目实践）

框架交叉理解前向理解定义：前向理解：A–>B，A为B的基础铺垫知识，通过深入学习A对B有更好的理解01.LinearAlgebraforLinearLayerofNN从线性代数行列变换的角度看神经网络中的线性层线性代数矩阵乘法

峙峙峙·2025-07-08 11:41

机器学习的数学基础-线性代数

线性代数线性方程组矩阵矩阵的加法与乘法矩阵加法矩阵乘法单位矩阵与标量相乘逆与转置逆转置解决线性方程组特解与通解高斯消元法初级变换应用：“-1”trick应用：求逆总结-如何解决线性方程组？

·2025-07-08 11:10

什么是深度学习框架中的计算图？

操作：数学运算，如加法(+)、乘法(*)、矩阵乘法(matmul)、激活函数(ReLU,sigmoid)、卷积(conv2d)、损失函数(cross_entropy)等。变量：通常是张量，即存储数据

杰瑞学AI·2025-07-07 20:17

NumPy-核心函数np.matmul()深入解析

NumPy-核心函数np.matmul深入解析一、矩阵乘法的本质与`np.matmul()`的设计目标1.数学定义：从二维到多维的扩展2.设计目标二、`np.matmul()`核心语法与参数解析函数签名核心特性三

GG不是gg·2025-07-06 00:58

数据处理与统计分析——03-Numpy的np.dot()方法&点积与矩阵乘法

np.dot()np.dot()在NumPy中既可以用于向量的点积，也可以用于矩阵乘法，这两种运算的本质不同，取决于输入是向量还是矩阵。

零光速·2025-07-05 10:14

从零实现Llama3：深入解析Transformer架构与实现细节

从零实现Llama3：深入解析Transformer架构与实现细节llama3-from-scratchllama3一次实现一个矩阵乘法。

祁婉菲Flora·2025-07-04 00:05

pytorch小记（二十六）：全面解读 PyTorch 的 `torch.matmul`

全面解读PyTorch的`torch.matmul`PyTorch中的`torch.matmul`详解与使用指南一、什么是`torch.matmul`二、基本用法示例1.向量点积（1-D×1-D）2.二维矩阵乘法

·2025-07-04 00:33

从 O(n³) 到按需计算：Swift 玩转稀疏矩阵乘法

示例测试与输出结果时间复杂度空间复杂度总结摘要在大多数算法题里，矩阵乘法都不算太陌生了。但一旦题目提示“稀疏矩阵”——也就是大部分值都是0的那种，这就提示我们：有优化空间。

网罗开发·2025-06-30 13:13

【分治算法】【Python实现】Strassen矩阵乘法

文章目录@[toc]问题描述基础算法时间复杂性Strassen算法时间复杂性问题时间复杂性Python实现个人主页：丷从心·系列专栏：分治算法学习指南：算法学习指南问题描述设AAA和BBB是两个n×nn\timesnn×n矩阵，AAA和BBB的乘积矩阵CCC中元素cij=∑k=1naikbkjc_{ij}=\displaystyle\sum\limits_{k=1}^{n}{a_{ik}b_{kj

「已注销」·2025-06-30 07:06

【算法设计与分析】（四）Strassen 矩阵

【算法设计与分析】（四）Strassen矩阵前言一、传统矩阵乘法二、Strassen矩阵乘法1.算法步骤2.效率提升三、实际应用场景四、算法的局限性与改进前言上一篇博客我们以生动形象的例子和清晰的步骤，

珹洺·2025-06-30 07:04

多头注意力机制中全连接函数

它本质上是一个矩阵乘法加上偏置（bias）的操作，用于对输入数据进行线性变换。1.全连接函数（nn.Linear）是什么？nn.Linear(d_model,d_model)表示一个全连接层，它的

不知更鸟·2025-06-25 23:05

GNU Octave 基础教程（8）：GNU Octave 常用数学函数

*A*B（矩阵乘法），A.*B（逐元素）除法

方博士AI机器人·2025-06-22 21:03

数学基础（线性代数、概率统计、微积分）缺乏导致概念难以理解问题大全

数学基础（线性代数、概率统计、微积分）缺乏导致概念难以理解问题大全机器学习/深度学习的核心算法背后，往往需要用到矩阵运算、特征向量、梯度下降等；如果连矩阵乘法、特征值、偏导数都没搞懂，就很难理解模型原理

猫头虎技术团队·2025-06-20 12:56

C语言实现4x4矩阵乘法的详细教程

本文还有配套的精品资源，点击获取简介：矩阵乘法是线性代数的基本操作，在计算机科学的多个领域中有广泛应用。本文详细解释了如何用C语言编写程序来实现两个4x4矩阵的乘法。

Kimgoeunlaogong·2025-06-20 06:05

MIT线性代数第三讲笔记

v=FX4C-JpTFgY3.1矩阵乘法以A∗B=CA*B=CA∗B=C为例，其中矩阵A是m∗nm*nm∗n,矩阵B是n∗pn*pn∗p,矩阵C则是m∗pm*pm∗p单个元素求矩阵C中的每一个元素，公式如下

可耳（keer）·2025-06-19 02:25

CUDA核函数优化进阶：利用Shared Memory实现矩阵计算10倍加速

在NVIDIAA100上优化1024×1024矩阵乘法时，共享内存策略将计算速度从3.2TFLOPS提升至31.5TFLOPS——本文将揭示如何通过内存访问优化突破GPU计算瓶颈。

AI咸鱼保护协会·2025-06-18 10:57

【AI大模型】14、Transformer架构深度解析：从并行计算到千亿参数模型的扩展密码

例如，LSTM处理512长度文本需512次递归计算，而Transformer仅需一次矩阵乘法。长距离依赖困境：通过隐藏状态传递信息的

无心水·2025-06-16 14:32

算法导论第四章：分治策略的艺术与科学

包含最大子数组、矩阵乘法、最近点对等经典问题的完整实现与优化技巧。

W说编程·2025-06-15 00:22

机器学习四剑客：Numpy、Pandas、PIL、Matplotlib 完全指南

多维数组操作与数值计算importnumpyasnp#创建数组arr=np.array([[1,2,3],[4,5,6]])#数学运算sines=np.sin(arr)#每个元素求正弦[email protected]#矩阵乘法

摘取一颗天上星️·2025-06-13 14:31

拉力测试cuda pytorch 把 4070显卡拉满

importtorchimporttimedefstress_test_gpu(matrix_size=16384,duration=300):"""对GPU进行压力测试，通过持续的矩阵乘法来最大化GPU

MYH516·2025-06-11 06:00

矩阵乘法--Python

矩阵乘法一、问题引入二、解题步骤1.思维导图2.解题步骤三、代码实现四、个人小结一、问题引入输入格式:第一行为n,m,k，表示A矩阵是n行m列，B矩阵是m行k列，n,m,k均小于20然后先后输入A和B两个矩阵

bj3281·2025-06-10 02:10

TPU结构总结

右上角的矩阵乘法单元是TPU

枫溪夜影·2025-06-08 15:37

MIT线性代数笔记03-矩阵乘法和逆矩阵

LinearAlgebra-Lecture03矩阵乘法和逆矩阵GilbertStrang矩阵乘法对于矩阵乘法AB=C\bold{AB=C}AB=C主要有5种方法可用于计算：【前提条件】：A,B\bold

loneux·2025-06-07 21:58

线性代数学习笔记3-2：矩阵乘法的理解

矩阵向量乘法计算矩阵乘法，有多种理解方式矩阵与向量的乘法，可以理解为矩阵各个列向量的线性组合[abcd][xy]=[ax+bycx+dy]=x[ac]+y[bd]\begin{bmatrix}a&b\\

Insomnia_X·2025-06-07 20:52

【PyTorch】CUDA基础知识

NVIDIACUDA显卡中包含一个GPU，它能够以高度并行化的方式实现矩阵乘法。在很长一段时间，英伟达（NVIDIA）的GPU市场份额一直保持领先。他们有一套成熟的软件工具，可以充分利用硬件加速。

沐兮Krystal·2025-06-07 05:08

GPU深度学习性能的三驾马车：Tensor Core、内存带宽与内存层次结构

目录01TensorCore（张量计算核心）1.1在没有张量计算核心的情况下进行矩阵乘法运算1.2使用张量计算核心进行矩阵乘法运算1.3使用张量计

m0_70960708·2025-06-02 07:34

爆肝优化！FlashAttention-2性能飙升实战：从原理解析到PyTorch 2.2深度优化（附代码与Benchmark）

时代的注意力性能革命1.1传统注意力机制的性能瓶颈在大模型训练中，标准Transformer注意力面临三大痛点：内存爆炸：序列长度L=4096时，注意力内存占用达O(L²)，A100显存仅能支持批量大小16计算低效：矩阵乘法占比超

游戏人生的NPC·2025-06-01 13:26

优化异构计算平台：hStreams框架的深度解析

本章节通过介绍hStreams框架，深入探讨了在异构计算平台中如何通过控制流并发和资源分配来提升矩阵乘法等计算任务的效率。异构计算与流并发异构计算通常涉及多种类型的处理器和加速器，如CPU和协处理器。

你好像一条狗啊·2025-06-01 01:04

flash attention的CUDA编程流水并行加速-V6

之前关于flashattention的介绍可以继续参考链接添加链接描述矩阵乘法的优化参考添加链接描述，我们发现矩阵乘法的最优配置为：BLOCK_DIM_x=BLOCK_DIM_y=16，同时每个线程处理一个

谨慎付费（看不懂试读博客不要订阅）·2025-05-29 16:09

PyTorch 中mm和bmm函数的使用详解

torch.mm是PyTorch中用于二维矩阵乘法（matrix-matrixmultiplication）的函数，等价于数学中的A×B矩阵乘积。

点云SLAM·2025-05-28 21:47

学习大模型路线图：从菜鸟到造物主的通关秘籍

第一关：筑基期——数学与代码的“扎马步”目标：用30天打造AI思维的基础骨骼核心装备：-数学三件套：-线性代数：矩阵是AI的乐高积木（重点：矩阵乘法、特征值）-概率统计：让AI学会“赌概率”（贝叶斯定理

天学林总·2025-05-25 19:18

AI要掌握的知识

应用场景：数据降维、神经网络中的矩阵运算（如权重矩阵乘法）、图像变换（如旋转、缩放的矩阵表示

杰克逊的日记·2025-05-25 07:30

【动手学深度学习】2.1. 数据操作

线性代数：矩阵运算是处理多维数据的基础，重点理解基本原理与实现，如矩阵乘法与操作。优化与微积分：通过调整

XiaoJ1234567·2025-05-24 06:44

【动手学深度学习】2.3. 线性代数

目录2.3.线性代数1）标量2）向量3）矩阵4）张量5）张量的基本性质6）降维7）点积8）矩阵-向量积9）矩阵-矩阵乘法10）范数11）小结2.3.线性代数本节将介绍线性代数中的基本数学对象、算术和运算

XiaoJ1234567·2025-05-24 06:40

DeepSeek源码解构：从MoE架构到MLA的工程化实现

动态路由与稀疏激活的工程化实践****1.专家路由机制（带负载均衡）****数学原理：负载均衡损失推导****三、MLA注意力机制：低秩压缩与解耦旋转位置编码****核心代码实现（含数学优化）****数学优化：低秩矩阵乘法的复杂度分析

程序边界·2025-05-23 11:36

torch.matmul() VS torch.einsum()

torch.matmul():标准的矩阵乘法向量-向量（点积）a=torch.randn(3)#[3]b=torch.randn(3)#[3]c=torch.matmul(a,b)#点积，标量输出矩阵-

YuSun_WK·2025-05-22 14:23

谷歌 DeepMind 发布 AlphaEvolve，解决 300 年数学难题，为近 40 个数学问题找到更优解决方案

据官方介绍，AlphaEvolve提升了谷歌数据中心、芯片设计以及AI训练流程的效率，还帮助设计了更快的矩阵乘法算法，并找到了一些数学

·2025-05-22 06:02

strassen算法 DeepMind的AlphaZero最快矩阵乘法的前身

strassen算法DeepMind的AlphaZero最快矩阵乘法的前身矩阵乘法是线性代数中最基础也是最重要的操作之一，广泛应用于科学计算、工程、计算机图形学、机器学习等领域。

中堂李1027·2025-05-21 02:19

计算图存储采用矩阵吗，和张量关系

计算图存储采用矩阵吗，和张量关系计算图的存储方式与张量的关系一、计算图的存储方式计算图（ComputationalGraph）是一种用于描述数学运算的有向无环图（DAG），其节点代表运算（如加减乘除、矩阵乘法

ZhangJiQun&MXP·2025-05-18 02:17

3337. 字符串转换后的长度 II

MOD=1_000_000_007#矩阵乘法muldefmul(a:List[List[int]],b:List[List[int]])->List[List[int]]:#输入两个矩阵a和b，返回它们的矩阵乘积

追逐此刻·2025-05-15 00:04

近似矩阵乘法

近似矩阵乘法矩阵乘法是线性代数中的基本运算，也是众多科学计算和机器学习算法的核心操作。然而，随着数据规模的增长，精确矩阵乘法的计算复杂度变得难以承受。

DuHz·2025-05-13 00:23

PyTorch 中如何针对 GPU 和 TPU 使用不同的处理方式

一个简单的矩阵乘法例子来演示在PyTorch中如何针对GPU和TPU使用不同的处理方式。这个例子会展示核心的区别在于如何获取和指定计算设备，以及（对于TPU）可能需要额外的库和同步操作。

frostmelody·2025-05-12 10:43

python的@运算符

@运算符的作用@运算符用于两个数组（或矩阵）之间的矩阵乘法。它的行为类似于数学中的矩阵乘法规则。

自渡&自给·2025-05-10 12:46

青少年编程与数学 02-018 C++数据结构与算法 22课题、并行算法

青少年编程与数学02-018C++数据结构与算法22课题、并行算法一、GPU并行计算矩阵乘法示例二、MPI并行计算allgather操作示例三、C++中的并行计算多线程并行计算多进程并行计算四、SIMD

明月看潮生·2025-05-05 00:13

CUDA Toolkit 12.9 与 cuDNN 9.9.0 发布，带来全新特性与优化

新特性概览CUDAToolkit12.9引入了针对特定GPU架构的特性，增强了矩阵乘法的速度和灵活性。例如，该版本对NVIDIAHopper和AdaLo

love530love·2025-05-04 13:30

python常用科学计算库及使用示例

创建数组arr=np.array([1,2,3,4])matrix=np.array([[1,2],[3,4]])#数学运算print(arr+1)#[2345]print(matrix@matrix)#矩阵乘法

code_shenbing·2025-05-02 22:46

CUDA编程优化：如何实现矩阵计算的100倍加速

通过系统化优化策略，我们成功将1024×1024矩阵乘法从初始的212ms优化至2.1ms，实现101倍加速（测试平台：NVIDIARTX3090）。二、

学术猿之吻·2025-05-02 12:38

PyTorch线性代数操作详解：点积、矩阵乘法、范数与轴求和

本文通过代码示例详细讲解PyTorch中常用的线性代数操作，包括点积、矩阵乘法、范数计算以及按轴求和等操作，帮助读者掌握张量运算的核心方法。

意.远·2025-05-02 11:27

推荐频道