AI算力集群

如何规模和部署一个AI算力集群,需要准备哪些软硬件设备,这是一个网友的提问。下面说说这件事。

一个标准的AI算力集群主要由以下4部分组成:

1. 集群网络:RDMA网络。

2. 算力服务器:DGX/HGX、或者其它算力服务器。

3. 操作系统:Linux操作系统 / Laxcus分布式操作系统。

4. 应用软件:AI大模型、向量数据库、其它辅助软件。

以下是这些软硬件基础设施的选型和其它情况。

1. 集群网络

AI算力集群一定要选择RDMA网络。RDMA是Remote Direct Memory Access的缩写,这是一种高带宽低延迟的大规模通信网络,非常适合用在AI算力集群和大数据通信计算上。RDMA网络现在主要有两个分支:IB网络、RoCE网络。二者主要的区别在于前者的硬件设备价格贵,成本高,但是传输速率高通信效率好。RoCE网络的通信效果差一点,但是它的硬件设备价格会便宜一点。个人意见,如果是大规模生产型的AI算力集群,且不差钱的情况下,建议选择IB网络。如果是小型的或者实验室性质的AI算力集群,对时延没有太多要求,可以采用RoCE网络。

2. 算力服务器

由于现在AI计算完全依赖GPU,实际上现在的算力服务器等同于GPU服务器。目前在GPU领域,是英伟达一家独大,它的DGX服务器也是各大算力服务商、云服务商的首选设备,其次是HGX服务器。DGX和HGX的区别是:DGX是英伟达原厂出产的服务器,各方面的性能都是业内最好的,当然价格也最贵。HGX是其它服务器厂商使用英伟达算力卡OEM出来的服务器,性能相对会差一点,但是好在价格会便宜一点。还有一项区别是:DGX服务器使用了英伟达自家的NVLink协议实现机器内的GPU算力卡通信,HGX服务器则通常采用PCIe协议实现机器内GPU算力卡通信。目前英伟达的算力卡有A100、H100、L40S,今年还要再发布H200,性能又会提升一大截。不过由于禁售原因,这些算力卡在国内已经买不到,阉割版本的A800、H800也是处于缺货状态。目前国内算力卡厂商,包括华为、摩尔线程、壁仞等一票国内厂商也在加大力度投入研发,进入这个领域,实现基础算力硬件自主可控。但是不得不说,在实际性能上,国产算力卡和英伟达的算力卡还是有很多差距,希望未来能快点赶上吧。除此之外,更重要的区距在于应用生态,目前国内外的AI大模型基本都是英伟达算力卡上的开发,如果改用其它厂商的算力卡,软件迁移会是一个巨大的成本。考虑到去年国内冒出了200+大模型,很多公司都有抄近路,短平快上项目的习惯,有多少公司能够熬得住寂寞,肯为软件迁移付出时间和资金成本,目前值得商榷。

3. 操作系统:Linux/Laxcus

操作系统在AI算力集群起到承上启下的作用,对下它管理着包括CPU、GPU、内存、磁盘等硬件,对上为应用软件提供算力支撑。现在能够提供大规模算力的操作系统有两款:Linux/Laxcus。Linux咱们基本都知道,这里就不详细介绍了,但是Linux主要缺点并不是为AI和大规模算力集群准备的,所以咱们着重说说Laxcus分布式操作系统。与Linux不同,Laxcus是专门为大规模和分布式算力集群准备的操作系统。Laxcus和Linux区别是:Laxcus一个多机操作系统,Linux属于单机操作系统,Laxcus从系统内核和编程接口层面支持多机分布式并行计算,Linux不提供这个能力。也与一般分布式软件不同,Laxcus是从底层把海量的计算机资源聚合起来,形成一个逻辑统一的整体,再对外输出算力,而对于普通用户来说,无论你的计算机集群里有多少计算机,操作起来就象是一台计算机一样。Laxcus另外一个特点是完全兼容Linux,就是说Linux里面有的功能,Laxcus完全提供,而Laxcus提供的分布式相关功能,Linux却不具备。就是说如果Linux能够提供的功能是“1”,那么Laxcus能够提供的功能就是“2”。根据之前在IB网络的测试,Laxcus在单集群环境里,能够支持的节点规模超过10,000台。如果考虑GPU算力卡,以HGX服务器标准版的8卡计量,Laxcus通常能做到管理80,000至100,000片算力卡。这是一个非常庞大的规模,远远超过很多企业和算力服务商追求的万卡集群算力。如果再进一步延伸,让Laxcus实现二级集群管理机制(即叠加状态的计算机集群),Laxcus能够管理的算力集群节点规模将超过1,000,000台,算力卡规模会达到恐怖的8,000,000 - 10,000,000片,这已经远远超过OpenAI CEO山姆.奥特曼对AI算力集群的最大需求。

4. 应用软件

现在AI算力集群基本跑的就是三大样:AI大模型、向量数据库、其它相关软件(主要是管理维护软件)。这里就没有太多的介绍了,因为各家在部署AI算力集群时基本都有了自己的预案, 用户把它们部署上去就是了。

你可能感兴趣的:(LAXCUS分布式操作系统,人工智能,操作系统,服务器,GPU)