E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
RDMA
论文阅读-Hydra: 用于持久内存和
RDMA
网络的分散文件系统
结合高速
RDMA
网络,分布式基于PM的存储系统提供了通过紧密耦合PM和
RDMA
特性来实现存储性能大幅提升的机会。然而,现有的分布式文件系统采用为传统磁盘设计的传统集中式客户端-服务器架构,导致访问延迟
向来痴_
·
2024-02-20 07:26
负载均衡论文
网络
计算机的构成CPU/GPU内存显存
654417967GPU内存(显存)的理解与基本使用:https://zhuanlan.zhihu.com/p/4621914211CPU处理器+内存GPU处理器+显存2单机多卡,NVLink多机多卡,
RDMA
愚昧之山绝望之谷开悟之坡
·
2024-02-07 20:22
笔记
术语
人工智能
笔记
稀疏场景高性能训练方案演变|京东广告算法架构体系最佳实践
为了应对模型规模和算力升级带来的存储、IO和计算挑战,京东零售广告技术团队基于新型硬件,充分利用硬件优势,提出新一代多机多卡全GPU计算全同步训练架构,参数通信基于GPU-
RDMA
硬件带来的高速带宽优势
京东零售技术
·
2024-02-01 12:18
算法
算法
架构
gpu算力
高性能网络建设指南,《智算中心网络架构白皮书》开放下载
不过,高性能网络
RDMA
和
百度智能云技术站
·
2024-01-30 06:31
百度百舸·AI
异构计算平台
高性能网络
RDMA
百度
AIGC
AI算力集群
一个标准的AI算力集群主要由以下4部分组成:1.集群网络:
RDMA
网络。2.算力服务器:DGX/HGX、或者其它算力服务器。3.操作系统:Linux操作系统/Laxcus分布式操作系统。
LAXCUS分布式操作系统
·
2024-01-29 15:22
LAXCUS分布式操作系统
人工智能
操作系统
服务器
GPU
【
RDMA
】23.
RDMA
之基于CM API的QP间建链--未消化
【
RDMA
】
RDMA
学习资料总目录_bandaoyu的博客-CSDN博客SavirRDMA分享1.
RDMA
概述https://blog.csdn.net/bandaoyu/article/details
bdview
·
2024-01-27 19:49
网络
java
开发语言
RDMA
技术赋能:构建高速网络基础设施,加速大型模型高效训练
深入剖析
RDMA
在高速网络环境中的应用价值与实现方式远程直接内存访问(
RDMA
)作为超高速网络内存访问技术的领军者,彻底颠覆了传统程序对远程计算节点内存资源的访问模式。
audrey-luo
·
2024-01-27 19:13
网络
深度解读RoCE v2网络技术
在日新月异的网络技术领域中,远程直接内存访问(
RDMA
)技术已成为优化数据传输流程、提升整体网络效能的关键驱动力。
audrey-luo
·
2024-01-27 19:41
网络
运维
Doubling Network File System Performance with
RDMA
-Enabled Networking
ThispostwasoriginallypublishedontheMellanoxblog.NetworkFileSystem(NFS)isaubiquitouscomponentofmostmodernclusters.Itwasinitiallydesignedasawork-groupfilesystem,makingacentralfilestoreavailabletoandshar
大隐隐于野
·
2024-01-27 07:09
#
NFS专栏
nfs
RDMA
加速集群性能提升
为应对这一问题,
RDMA
(RemoteDirectMemoryAccess)技术应运而生,并
audrey-luo
·
2024-01-26 09:32
服务器
RDMA
在KVM实现条件
KVM支持VFpassthrough条件CPU必须支持IntelVT-d或AMD-Vi(IOMMU)技术demsg要包含下述两部分DMAR:Intel(R)VirtualizationTechnologyforDirectedI/ODMAR:IOMMUenabled检查CPU是否支持VT-d或AMD-Vi#dmesg|grep-e"DMAR"-e"IOMMU"|grep-e"Virtualizat
redhat7890
·
2024-01-25 06:44
linux
服务器
数据库
基于KVM两个
RDMA
端口通信测试 - RoCE传输模式下
目的为验证KVM的
RDMA
两个节点node1-node2之间能正常RoCE通信传输,检查三个nodes的集群网,能ping通是测试继续的基础条件验证步骤Server和Client进行ib_send_bw
redhat7890
·
2024-01-25 06:44
服务器
linux
网络
RDMA
vs InfiniBand 网卡接口如何区分?
新RoCEv2标准可实现
RDMA
路由在第三层以太网网络中的传输。RoCEv2规范将用以太网链路层上的IP报头和UDP报头替代InfiniBand网络层。
redhat7890
·
2024-01-25 06:36
网络
centos
linux
Scaling Up Memory Disaggregated Applications with Smart——论文泛读
ASPLOS2024Paper论文阅读笔记整理问题近期在
RDMA
网络方面的发展导致了内存分解的趋势。然而,每个计算节点的性能仍然受到网络的限制,特别是当它需要执行大量并发的细粒度远程访问时。
妙BOOK言
·
2024-01-23 11:28
论文阅读
论文阅读
分离式内存
ROLEX: A Scalable
RDMA
-oriented Learned Key-Value Store for Disaggregated Memory Systems——论文泛读
通过利用高性能的
RDMA
(远程直接内存访问),计算节点可以直接访问远程内存池,而无需涉及远程CPU。有序键-值(KV)存储(例如B树和学习索引)将所有数据排序以通过高性能网络提供范围查询服务。
妙BOOK言
·
2024-01-23 11:27
论文阅读
论文阅读
论文阅读笔记整理(持续更新)
作者提出提出了ROLEX,一种可扩展的面向
RDMA
的有序键值存储,使用分解存储系统的学习索引
妙BOOK言
·
2024-01-23 11:56
论文阅读
论文阅读
笔记
KV存储
分离式内存
P2P DMA发展全景分析解读
历史和发展:P2PDMA的概念早在NVMeSSD和
RDMA
技术发展的初期就已出现。大约在2012年左右,StephenBates等人在研究N
古猫先生
·
2024-01-22 06:56
PCIe
p2p
人工智能
大数据
服务器
virt-install支持VF
原始CentOS自带QEMU是不支持
RDMA
的,需要重新编译,可以参考我的上一篇文档:QEMU源码编译CentOS物理机BIOS已开启SR-IOV,就开始使用SR-IOVSR-IOV创建出的虚拟网卡称为
redhat7890
·
2024-01-20 08:14
KVM
虚拟化
RDMA
服务器
centos
Linux
RDMA
Send Receive操作详解
1.前言
RDMA
指的是远程直接内存访问,这是一种通过网络在两个应用程序之间搬运缓冲区里的数据的方法。
RDMA
与传统的网络接口不同,因为它绕过了操作系统。
大隐隐于野
·
2024-01-19 16:27
#
网络专栏
rdma
RDMA
原理浅析
1.DMA和
RDMA
概念1.1DMADMA(直接内存访问)是一种能力,允许在计算机主板上的设备直接把数据发送到内存中去,数据搬运不需要CPU的参与。
大隐隐于野
·
2024-01-19 16:57
#
网络专栏
rdma
RDMA
Scatter Gather List详解
1.前言在使用
RDMA
操作之前,我们需要了解一些RDMAAPI中的一些需要的值。
大隐隐于野
·
2024-01-19 16:56
#
网络专栏
rdma
sgl
RDMA
编程实践-SEND-RECEICVE原语应用
RDMA
编程实践本文描述了
RDMA
编程过程中的SEND-RECEIVE双边原语的代码实现。
hhyy_d
·
2024-01-16 09:04
RDMA
RDMA
send-receive
c
NVMe-oF
RDMA
vs. TCP延时测试对比:端到端SPDK的意义
测试结果包括TCP和RoCE(
RDMA
)两部分,上图是第一部分。我们看到,用户态SPDKtoSPDK的512Byte小块读测试达到
大隐隐于野
·
2024-01-12 18:07
#
介质专栏
tcp/ip
网络协议
网络
spdk
nvmeof
【SPDK】【NoF】使用SPDK实现NVMe over Fabrics Target
首先使用SoftRoCE来实现底层的
rdma
传输,然后使用SPDK来实现NVMeoverFabricsTarget。
大隐隐于野
·
2024-01-12 18:06
#
介质专栏
nof
spdk
Remote Direct Memory Access Transport for Remote Procedure Call
RemoteDirectMemoryAccessTransportforRemoteProcedureCallAbstractThisdocumentdescribesaprotocolprovidingRemoteDirectMemoryAccess(
RDMA
大隐隐于野
·
2024-01-10 12:23
#
网络专栏
rdma
rpc
【
RDMA
】
RDMA
完成队列 Completion Queue
基本概念我们先回顾下CQ的作用。CQ意为完成队列,它的作用和WQ(SQ和RQ)相反,硬件通过CQ中的CQE/WC来告诉软件某个WQE/WR的完成情况。再次提醒读者,对于上层用户来说一般用WC,对于驱动程序来说,一般称为CQE,本文不对两者进行区分。CQE可以看作一份“报告”,其中写明了某个任务的执行情况,其中包括:本次完成了哪个QP的哪一个WQE指定的任务(QPNumber和WRID)本次任务执行
大隐隐于野
·
2024-01-10 12:22
#
网络专栏
rdma
阿里云
RDMA
通信库XRDMA论文详解
RDMA
(remotedirectmemoryaccess)即远端直接内存访问,是一种高性能网络通信技术,具有高带宽、低延迟、无CPU消耗等优点。
大隐隐于野
·
2024-01-10 12:47
#
理论专栏
rdma
【
RDMA
】
RDMA
事件通知机制详解
RDMA
通过kernel-bypass和协议栈offload两大核心技术,实现了远高于传统TCP/IP的网络通信性能。
大隐隐于野
·
2024-01-10 10:12
#
网络专栏
rdma
rdmacm
ibverbs
【SPDK】【NoF】使用SPDK部署NVMe over TCP
SPDKNVMeoverFabricsTarget是一个用户空间应用程序,通过以太网,Infiniband或光纤通道等结构呈现块设备,SPDK目前支持
RDMA
和TCP传输。
大隐隐于野
·
2024-01-10 08:38
#
介质专栏
spdk
nof
tensorflow环境安装配置
Ubuntu20.04includingPython3.8NVIDIACUDA11.6.0cuBLAS11.8.1.74NVIDIAcuDNN8.3.2.44NVIDIANCCL2.11.4(optimizedforNVLink™)
rdma
-core36.0NVIDIAHPC-X2.10OpenMPI4.1.2rc4
weixin_43870390
·
2024-01-06 18:34
网络
【
RDMA
】无损网络和PFC(基于优先级的流量控制)|ECN
目录前言一、为什么会产生拥塞二、PFC如何实现流控三、PFC存在的问题四、利用ECN实现端到端的拥塞控制五、ECN交互过程QC-QCN(网络工程师必会)(待续)PFC和ECN对比*总结PFC的水线设置无损网络测试规范网络要求Ref文档@bandaoyu持续更新,链接:https://blog.csdn.net/bandaoyu/article/details/115346857原文:《我们为什么需
bandaoyu
·
2024-01-02 06:00
存储
ceph
RDMA
tcp/ip
udp
【网络】TCP抓包|
RDMA
抓包|ibdump、tcpdump用法说明
目录一、抓包命令ibdump抓包命令tcpdump抓包命令二、
RDMA
抓包Mellanox网卡1.ibdump2.tcpdump(docker,Linux内核从4.9以上)3.OffloadedTrafficSniffer
bandaoyu
·
2024-01-02 06:00
存储
ceph
RDMA
linux
网络
运维
【
RDMA
】mellanox
RDMA
网卡驱动安装和查看状态
目录1.基础知识一、诊断工具--翻译中2.驱动安装3.配置IP4.性能测试5.其他问题
RDMA
、InfiniBand、IB卡、IB驱动的关系问题记录2.驱动安装下载驱动,进入网站选择相应系统和软件版本,
bandaoyu
·
2024-01-02 06:00
存储
ceph
RDMA
缓存
数据结构
c语言
【
RDMA
】技术详解(四):
RDMA
之Verbs和编程步骤
目录
RDMA
编程基础什么是Verbs相关名词解释VerbsAPIVerbsAPI是什么设计VerbsAPI的原因VerbsAPI所包含的内容使用VerbsAPI编写
RDMA
应用程序查看接口定义包含头文件编写应用编译
bandaoyu
·
2024-01-02 06:29
存储
ceph
RDMA
windows
【
RDMA
】
rdma
-core驱动源码包|ibverbs|rdmacm
目录源码包编译用法驱动包内的例子其他源码包mellanox的
rdma
驱动源码包形式如下:MLNX_OFED_LINUX-5.8-1.1.2.1-rhel9.0-ext/src/MLNX_OFED_SRC
bandaoyu
·
2023-12-31 19:33
RDAM
重新定义数据库的时刻,阿里云数据库专家带你了解POLARDB
摘要:POLARDB是阿里云ApsaraDB数据库团队研发的基于云计算架构的下一代关系型数据库,其最大的特色是计算节点与存储节点分离,借助优秀的
RDMA
网络以及最新的块存储技术。
maoreyou
·
2023-12-20 07:53
数据库
RDMA
学习笔记-编程(Verbs API)
RDMA
学习笔记-编程非原创,基于网上资料的学习和整理文章目录VerbsAPI设备管理接口资源管理(PD/MR/QP/CQ...)中断处理连接管理数据面Example参考资料VerbsAPI设备管理接口
预言家的风筝
·
2023-12-16 22:06
RDMA
网络
rdma
RDMA
Mellanox官方使用VPI verbs API的例子
来源:MellanoxRDMA文档中的样例编译库的需求:libibverbs编译参数:GCC-oservice-libverbs运行方式:1.有IB网络支持:服务端:./service客户端:./service服务端IP2.走ROCE:服务端:./service-g0客户端:./service-g0服务端IP关于代码中出现的问题请到github中添加issue博主github:https://gi
fruit_dish
·
2023-12-16 22:35
linux系统
RDMA
RDMA
【
RDMA
】High Performance Network Programming with OFI
layouttitletaglinepageHighPerformanceNetworkProgrammingwithOFILibfabric(v1.4)Programmer'sGuide{%includeJB/setup%}IntroductionOpenFabricsInterfaces,orOFI,isaframeworkfocusedonexportingfabriccommunicati
大隐隐于野
·
2023-12-14 21:03
#
RDMA专栏
rdma
基于Java的
RDMA
高性能通信库(二):Java Socket Over
RDMA
目录1.ComparingJSORwithJavaTCPcommunications2.ComparingJSORtoJavaSocketsDirectProtocol(SDP)communications3.JSORfeaturesanddesign3.1JSORDesgin3.2JSORZerocopyfunction4.JSORlimitionsJSOR为现有的Java™Socket应用程序
MasterT-J
·
2023-12-03 18:33
RDMA技术博客
RDMA
RDMA
大数据
计算网络
计算机
高性能网络通信
RDMA
之iWARP & Soft-iWARP
转自:https://zhuanlan.zhihu.com/p/449189540说到
RDMA
,自然绕不开现在流行的三大协议:Infiniband、RoCE以及iWARP。
尚先生的博客
·
2023-11-30 20:24
RDMA
Linux
网络
【
RDMA
】19.
RDMA
之iWARP & Soft-iWARP
【
RDMA
】
RDMA
学习资料总目录_bandaoyu的博客-CSDN博客SavirRDMA分享1.
RDMA
概述https://blog.csdn.net/bandaoyu/article/details
bdview
·
2023-11-30 20:24
网络
microsoft
tcp/ip
网络协议
iRDMA流量控制总结 - 1
Ethernet800SeriesNetworkAdapterswithRDMAdriver-iRDMA,withafocusonbestpracticesforLinuxRDMAtraffic.我们将介绍英特尔®以太网800系列网络适配器上的以太网流量控制与
RDMA
mounter625
·
2023-11-30 20:22
kernel
linux
iRDMA流量控制总结 - 4
5.2.4Example4-PCPPFCwithMultipleTCs(1forRDMA,1forLAN)–NoVLANs例4-具有多个TC(1个用于
RDMA
,1个用于LAN)的PCPPFC-无VLANThisexampledescribeshowtorunbothRDMAandLANtrafficonthesamelinkusingtheparentinterface
mounter625
·
2023-11-30 20:22
linux
kernel
【
RDMA
】RoCE网络QoS|应用层设置PFC等级|Tos|Priority|TC
目录1.什么是QoS2.为什么RoCE网络需要QoS3.为了实现每个流有不同的优先级,硬件层如何对流量分类4.应用层如何对流量分类5.应用层对流量的分类是怎么映射到硬件层上的分类6.映射完成之后硬件是怎么针对优先级对网络流进行调度的6.1严格优先级6.2最小带宽保证(EnhancedTransmissionSelection增强传输选择,ETS)6.3速率限制Incast和PFCPFC和globa
bandaoyu
·
2023-11-30 20:21
RDMA
网络
服务器
运维
OSDI文章分享,论文(Fast
RDMA
-based Ordered Key-Value Store using Remote Learned Cache)的结构化文摘
Authors:XingdaWei,RongChen,andHaiboChen,ShanghaiJiaoTongUniversityAbstract:
RDMA
(RemoteDirectMemoryAccess
结构化文摘
·
2023-11-26 19:32
十分钟看懂一篇OSDI论文
操作系统
rdma
机器学习
缓存
玩转人工智能(11)使用Pyspark上手机器学习
GlusterFS通过
RDMA
和TCP/IP方式将分布到不同服务器上的存储空间汇集成一个大的网络化并行文件系统。
Moscar_M
·
2023-11-25 07:10
DAOS低时延与高性能
RDMA
网络
与基于本地的直接内存访问(DMA)一样,
RDMA
提高了吞吐量和性能,因为它可以释放资源(如cpu),从而加快数据传输速率并降低延迟。在大规模并行计算机集群中特别有用,比如分布式存储,超算中心。
大隐隐于野
·
2023-11-24 20:04
存储专栏
libfabric
bRPC works with iRDMA && ICE on Fedora 37
1.
rdma
-corecommit0bffa5d9be9b0ede538f395bf40eb25a84003a49(HEAD->master,origin/master,origin/HEAD)Merge
mounter625
·
2023-11-22 16:45
kernel
linux
RoCE、IB和TCP等网络的基本知识及差异对比
目前有三种
RDMA
网络,分别是Infiniband、RoCE(RDMAoverConvergedEthernet)、iWARP。
愚昧之山绝望之谷开悟之坡
·
2023-11-22 01:53
笔记
术语
大模型
网络
tcp/ip
网络协议
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他