高性能计算开发软件培训班-选猿代码科技IT培训机构!

高性能计算开发软件培训班-选猿代码科技IT培训机构!_第1张图片

 

学习CPU并行程序性能优化的意义:

学习CPU计算是现代计算机科学中不可或缺的一部分。掌握CPU计算原理和应用,能够提高我们的编程技能和解决问题的能力,帮助我们更好地应对计算机科学领域中的挑战和机遇。此外,CPU计算在计算机体系结构、算法设计、软件工程等方面都有广泛的应用,是我们理解计算机系统和编程语言的基础。因此,学习CPU计算对于我们的职业发展和个人成长都具有重要的意义。

比如在训练大型生成式语言模型(如 GPT-3)时,CPU 和 GPU 都扮演着不同的角色。CPU 主要负责数据的预处理和模型参数的更新。在训练过程中,大量的数据需要被加载、预处理和转换成适合模型输入的形式。这些任务通常由 CPU 来完成。此外,在模型的训练过程中,参数需要被不断更新,这也是 CPU 所必需的。GPU 则主要负责模型的计算和优化。如在训练深度神经网络时,需要进行大量的矩阵计算、梯度计算等计算密集型任务。在训练大型生成式语言模型时,需要使用数千个甚至数万个 CPU 和 GPU,将计算任务分配到多个节点上,以实现分布式训练。这样可以大大加快训练速度,缩短模型训练的时间。

CPU并行程序优化课程简介

"CPU并行程序优化课程"是一门专注于提升CPU程序运行效率的课程。在这门课程中,学员将学习到如何通过并行化算法和数据结构设计、优化内存访问模式、优化编译器选项等手段来提高程序的性能表现。

通过本课程的学习,学员将掌握如何在多核CPU上充分发挥其计算能力,提高程序的运行速度和效率,同时还能够应对大规模数据处理和高并发计算等场景的需求。无论您是从事科研、软件开发、数据分析等领域,本课程都将帮助您更好地应对各种CPU性能优化挑战,提高工作效率,进一步提升您的职业能力。



CPU并行程序优化课程特色

实用性强:本课程重点针对CPU程序优化的实践需求,课程内容丰富实用,帮助学员快速掌握各种CPU优化技巧,提高程序性能表现。导师以自身参与的实际项目作为案例,在课程中再现亲身管理、实施的项目,利用天河超算实验室环境带领学员重新经历每一个环节及细节,帮助学员提升职场经验及求职竞争力。

专业性强:本课程由国内知名高性能计算专家倾情打造,结合多年从事CPU/GPU性能优化的经验,教授最新、最实用的优化技术和方法。超算导师团熟悉国产先进计算生态,掌握从芯片体系架构、系统环境、编译环境、算法到应用的全流程关键技术。在多核CPU、GPUMIC/KNL、DSP等芯片平台有深入研究,具备人工智能、数值仿真、信号处理、三维可视化、图像处理等算法方面专利30余项。

适用性强:本课程适合不同领域的技术人员学习,无论您是从事科研、软件开发、数据分析等领域,或在校大学生都能够受益于本课程。

实用性强:本课程内容会根据最新的CPU技术和优化经验进行更新,保证学员始终掌握最前沿的CPU性能优化技术。6小时的编程马拉松更是全面考察考生独立工作能力,期间考生通过真人出镜、全程录屏等方式,在国家超级计算天津中心新一代超级计算天河平台(ARM aarch64架构,单节点64个CPU核)上检验考生在程序性能分析、软件编译、OpenMP多线程优化、SIMD多数据优化、作业管理系统使用等方面的综合能力。

互动性强:本课程设置有丰富的案例分析、实战演练和互动答疑环节,帮助学员在课程中深度掌握优化技术,同时与专家和同行交流互动,加深学习效果。

课程采用师徒制小班教学,采用先进的任务式学习方式,借助学习系统让学员能随时随地学习、随心进行答疑,此外根据学习进度设置固定的直播答疑串讲环节,加深学员学习效果。

适用人群

全日制一本及以上大学生

社会上有志从事超算/高性能计算/先进计算行业的年轻人

各大中小芯片公司技术人员进修、国家超算中心技术人员进修

报名流程

咨询——报名——缴费——学习——就业

课程大纲

一级模块名称 二级模块名称 二级模块名称
超算平台开发环境与基础优化技术 超级计算机平台简介 超级计算机体系结构
天河超算平台登录使用
Linux操作系统开发环境 Linux常用命令
编辑器VIM/编译器GCC/工程构建工具Make/调试器GDB入门
超算平台任务管理系统slurm
高性能算法 稀疏矩阵压缩存储格式
稀疏矩阵向量乘算法SpMV优化
基础性能分析 静态分析工具understand
动态分析工具gprof
计时函数辅助方式
基础性能优化 流水线
循环展开
循环分块
连续访存
并行编程模型简介 分布式并行模型-MPI
共享内存式并行模型-OpenMP
单指令多数据并行模型-SIMD
MPI MPI基本概念 进程与MPI程序基本编程方式、编译、运行
MPI四个基本接口
并行模式
点对点通信(阻塞式) 发送MPI_Send与接收MPI_Recv
消息标签tag及MPI_ANY_TAG和MPI_ANY_SOURCE
jacobi并行化-阻塞消息通信版本
组织进程通信避免死锁
接口MPI_Sendrecv
jacobi并行化-基于捆绑消息发送接收版本
点对点通信(非阻塞式) 接口MPI_Isend与MPI_Irecv
非阻塞通信的等候与检测
jacobi并行化-非阻塞消息通信版本
重复非阻塞通信
jacobi并行化-重复非阻塞消息通信版本
集合通信 广播bcast
分散scatter
收集gather
规约reduce
全互换alltoall
路障barrier
通信模式和虚拟进程拓扑 四类通信模式
虚拟进程拓扑
OpenMP OpenMP基本概念 线程概念
OpenMP基本编程方式、编译、运行
OpenMP并行程序基础设计 openMP并行域与指令parallel
变量作用域与私有、共享属性
线程竞争、临界区和指令critical
OpenMP的循环体for结构 循环迭代并行和指令for
循环调度策略与子句schedule
变量作用域属性与子句private、shared、default
变量规约属性与子句reduction
嵌套循环与子句collapse
OpenMP的分段section与task结构 代码段并行和指令section
任务池并行和指令task
OpenMP的其他指令 单线程指令single、master
路障指令barrier
原子指令atomic
缓存一致性 缓存、缓存一致性与伪共享
SIMD SIMD基本概念及编程入门 SIMD与向量化概念
程序向量化思路与编程基础方式
向量寄存器、ARM架构与NEON
自动向量化 编译选项自动向量化
编译指导语句自动向量化
NEON-intrinsic指令集(命名规则及存取操作) intrinsic的向量数据类型和函数命名规范
向量寄存器初始化函数
交叉存取技术-以RGB转换为例
存储、加载操作函数
NEON-intrinsic指令集(算术、比较、逻辑及其他操作) 算术操作函数
比较操作函数
逻辑操作函数
其他操作函数
SVE指令集简介(选修) Z、P寄存器
命名规则及常见intrinsic函数
聚集加载和分散存储

你可能感兴趣的:(高性能计算,科技,高性能计算,并行计算,HPC,人工智能)