CentOS上安装Mellanox OFED
打开Mellanox官网下载驱动 Linux InfiniBand Drivers
点击下载链接跳转至
Tgz解压缩执行 ./mlnxofedinstall发现缺少模块
# ./mlnxofedinstall
Logs dir: /tmp/MLNX_OFED_LINUX.11337.logs
General log file: /tmp/MLNX_OFED_LINUX.11337.logs/general.log
Verifying KMP rpms compatibility with target kernel...
Error: One or more required packages for installing MLNX_OFED_LINUX are missing.
Please install the missing packages using your Linux distribution Package Management tool.
Run:
yum install kernel-modules-extra tk先安装 kernel modules
# yum install kernel-modules-extra tk
Last metadata expiration check: 0:41:59 ago on Fri 19 Jan 2024 08:46:46 PM CST.
Dependencies resolved.
=====================================================================================================================================================================================================================
Package Architecture Version Repository Size
=====================================================================================================================================================================================================================
Installing:
tk x86_64 1:8.6.8-1.el8 CentOS8.4-0 1.6 M
kernel-modules-extra x86_64 4.18.0-305.19.1.el8_4 CentOS8.4-1 6.6 M
Upgrading:
dracut x86_64 049-135.git20210121.el8 CentOS8.4-1 372 k
dracut-config-rescue x86_64 049-135.git20210121.el8 CentOS8.4-1 58 k
dracut-network x86_64 049-135.git20210121.el8 CentOS8.4-1 105 k
dracut-squash x86_64 049-135.git20210121.el8 CentOS8.4-1 58 k
iptables x86_64 1.8.4-17.el8 CentOS8.4-1 586 k
iptables-ebtables x86_64 1.8.4-17.el8 CentOS8.4-1 71 k
iptables-libs x86_64 1.8.4-17.el8 CentOS8.4-1 107 k
kexec-tools x86_64 2.0.20-46.el8_4.2 CentOS8.4-1 508 k
libnftnl x86_64 1.1.5-4.el8 CentOS8.4-1 83 k
linux-firmware noarch 20201218-102.git05789708.el8 CentOS8.4-1 123 M
systemd x86_64 239-45.el8_4.3 CentOS8.4-1 3.6 M
systemd-container x86_64 239-45.el8_4.3 CentOS8.4-1 744 k
systemd-libs x86_64 239-45.el8_4.3 CentOS8.4-1 1.1 M
systemd-pam x86_64 239-45.el8_4.3 CentOS8.4-1 469 k
systemd-udev x86_64 239-45.el8_4.3 CentOS8.4-1 1.4 M
Installing dependencies:
kernel-core x86_64 4.18.0-305.19.1.el8_4 CentOS8.4-1 36 M
kernel-modules x86_64 4.18.0-305.19.1.el8_4 CentOS8.4-1 28 M
Installing weak dependencies:
memstrack x86_64 0.1.11-1.el8 CentOS8.4-1 48 k
Transaction Summary
=====================================================================================================================================================================================================================
Install 5 Packages
Upgrade 15 Packages
Total download size: 204 M
Is this ok [y/N]: y
Downloading Packages:再安装OFED
# ./mlnxofedinstall
Logs dir: /tmp/MLNX_OFED_LINUX.33933.logs
General log file: /tmp/MLNX_OFED_LINUX.33933.logs/general.log
Verifying KMP rpms compatibility with target kernel...
This program will install the MLNX_OFED_LINUX package on your machine.
Note that all other Mellanox, OEM, OFED, RDMA or Distribution IB packages will be removed.
Those packages are removed due to conflicts with MLNX_OFED_LINUX, do not reinstall them.
Do you want to continue?[y/N]:y
Uninstalling MLNX_EN driver
rpm --nosignature -e --allmatches --nodeps libibverbs libibverbs-utils libibumad ibacm librdmacm opensm opensm-libs infiniband-diags opensm opensm-libs libibumad ibacm libibverbs libibverbs-utils librdmacm infiniband-diags
Starting MLNX_OFED_LINUX-23.10-1.1.9.0 installation ...
Verifying... ########################################
Preparing... ########################################
Verifying... ########################################
Preparing... ########################################
Installing mlnx-ofa_kernel RPM
Verifying... ########################################
Preparing... ########################################
Updating / installing...
mlnx-ofa_kernel-23.10-OFED.23.10.1.1.9########################################
Configured /etc/security/limits.conf
Installing kmod-mlnx-ofa_kernel 23.10 RPM
Verifying... ########################################
Preparing... ########################################
Installing mlnx-ofa_kernel-devel RPM
Verifying... ########################################
Preparing... ########################################
Updating / installing...
mlnx-ofa_kernel-devel-23.10-OFED.23.10########################################
Installing mlnx-ofa_kernel-source RPM
Verifying... ########################################
Preparing... ########################################
Updating / installing...
mlnx-ofa_kernel-source-23.10-OFED.23.1########################################
Installing kmod-kernel-mft-mlnx 4.26.1 RPM
Verifying... ########################################
Preparing... ########################################
Installing knem RPM
Verifying... ########################################
Preparing... ########################################
Updating / installing...
knem-1.1.4.90mlnx3-OFED.23.10.0.2.1.1.########################################
Installing kmod-knem 1.1.4.90mlnx3 RPM
Verifying... ########################################
Preparing... ########################################
Installing xpmem RPM
Verifying... ########################################
Preparing... ########################################
Updating / installing...
xpmem-2.7.3-1.2310055.rhel8u1 ########################################
Installing kmod-xpmem 2.7.3 RPM
Verifying... ########################################
Preparing... ########################################
Installing kmod-iser 23.10 RPM
Verifying... ########################################
Preparing... ########################################
Installing kmod-srp 23.10 RPM
Verifying... ########################################
Preparing... ########################################
Installing kmod-isert 23.10 RPM
Verifying... ########################################
Preparing... ########################################
Installing libxpmem 2.7.3 RPM
Verifying... ########################################
Preparing... ########################################
Updating / installing...
libxpmem-2.7.3-1.2310055.rhel8u1 ########################################
Installing user level RPMs:
Verifying... ########################################
Preparing... ########################################
Verifying... ########################################
Preparing... ########################################
Verifying... ########################################
Preparing... ########################################
Verifying... ########################################
Preparing... ########################################
Verifying... ########################################
Preparing... ########################################
Verifying... ########################################
Preparing... ########################################
Verifying... ########################################
Preparing... ########################################
Verifying... ########################################
Preparing... ########################################
Verifying... ########################################
Preparing... ########################################
Verifying... ########################################
Preparing... ########################################
Verifying... ########################################
Preparing... ########################################
Verifying... ########################################
Preparing... ########################################
Verifying... ########################################
Preparing... ########################################
Verifying... ########################################
Preparing... ########################################
Verifying... ########################################
Preparing... ########################################
Verifying... ########################################
Preparing... ########################################
Verifying... ########################################
Preparing... ########################################
Verifying... ########################################
Preparing... ########################################
Verifying... ########################################
Preparing... ########################################
Verifying... ########################################
Preparing... ########################################
Verifying... ########################################
Preparing... ########################################
Verifying... ########################################
Preparing... ########################################
Verifying... ########################################
Preparing... ########################################
Verifying... ########################################
Preparing... ########################################
Verifying... ########################################
Preparing... ########################################
Verifying... ########################################
Preparing... ########################################
Verifying... ########################################
Preparing... ########################################
Verifying... ########################################
Preparing... ########################################
Verifying... ########################################
Preparing... ########################################
Verifying... ########################################
Preparing... ########################################
Verifying... ########################################
Preparing... ########################################
Verifying... ########################################
Preparing... ########################################
Verifying... ########################################
Preparing... ########################################
Verifying... ########################################
Preparing... ########################################
Verifying... ########################################
Preparing... ########################################
Verifying... ########################################
Preparing... ########################################
Verifying... ########################################
Preparing... ########################################
Device (0000:2f:00.0):
0000:2f:00.0 Ethernet controller: Mellanox Technologies MT28908 Family [ConnectX-6]
Link Width: x16
PCI Link Speed: 8GT/s
Device (0000:2f:00.1):
0000:2f:00.1 Ethernet controller: Mellanox Technologies MT28908 Family [ConnectX-6]
Link Width: x16
PCI Link Speed: 8GT/s
Installation finished successfully.
Verifying... ################################# [100%]
Preparing... ################################# [100%]
Updating / installing...
1:mlnx-fw-updater-23.10-1.1.9.0 ################################# [100%]
Added 'RUN_FW_UPDATER_ONBOOT=no to /etc/infiniband/openib.conf
Initializing...
Attempting to perform Firmware update...
The firmware for this device is not distributed inside Mellanox driver: 0000:2f:00.0 (PSID: LNV0000000017)
To obtain firmware for this device, please contact your HW vendor.
Failed to update Firmware.
See /tmp/MLNX_OFED_LINUX.33933.logs/fw_update.log
To load the new driver, run:
/etc/init.d/openibd restart
# /etc/init.d/openibd restart
Unloading rdma_cm [FAILED]
rmmod: ERROR: Module rdma_cm is in use by: rpcrdma ib_srpt ib_isert
# modprobe -r rdma_cm
modprobe: FATAL: Module rdma_cm is in use.
# rmmod rdma_cm
rmmod: ERROR: Module rdma_cm is in use by: rpcrdma ib_srpt ib_isert
# cat /tmp/MLNX_OFED_LINUX.33933.logs/fw_update.log
The firmware for this device is not distributed inside Mellanox driver: 0000:2f:00.0 (PSID: LNV0000000017)
To obtain firmware for this device, please contact your HW vendor.
EXIT_STATUS: 2
# yum install opensm
new_perftrace 602 kB/s | 2.9 kB 00:00
new_brpc_rel 728 kB/s | 2.9 kB 00:00
new_lnpfa 774 kB/s | 2.9 kB 00:00
new_ftp 799 kB/s | 2.9 kB 00:00
new_lnutil 808 kB/s | 2.9 kB 00:00
new_deploy_frontend 815 kB/s | 2.9 kB 00:00
new_recoverymode 834 kB/s | 2.9 kB 00:00
new_dnsmasq 584 kB/s | 2.9 kB 00:00
new_nas_setup 732 kB/s | 2.9 kB 00:00
new_bootstrap 776 kB/s | 2.9 kB 00:00
new_eagle_eye 811 kB/s | 2.9 kB 00:00
new_ngds 819 kB/s | 2.9 kB 00:00
centos8.4_0 1.5 MB/s | 4.3 kB 00:00
centos8.4_1 1.2 MB/s | 3.9 kB 00:00
centos8.4_2 1.3 MB/s | 3.8 kB 00:00
centos8.4_3 1.4 MB/s | 3.9 kB 00:00
centos8.4_4 1.7 MB/s | 4.3 kB 00:00
centos8.4_5 1.5 MB/s | 4.3 kB 00:00
centos8.4_6 1.3 MB/s | 3.9 kB 00:00
centos8.4_7 1.3 MB/s | 3.9 kB 00:00
centos8.4_8 1.3 MB/s | 3.8 kB 00:00
centos8.4_9 1.5 MB/s | 3.9 kB 00:00
centos8.4_10 1.4 MB/s | 3.9 kB 00:00
centos8.4_11 1.1 MB/s | 2.9 kB 00:00
centos8.4_12 1.5 MB/s | 4.3 kB 00:00
centos8.4_13 551 kB/s | 1.5 kB 00:00
centos8.4_15 991 kB/s | 3.0 kB 00:00
centos8.4_16 1.0 MB/s | 3.0 kB 00:00
centos8.4_17 1.0 MB/s | 3.0 kB 00:00
centos8.4_18 1.1 MB/s | 3.0 kB 00:00
centos8.4_19 610 kB/s | 1.5 kB 00:00
centos8.4_20 628 kB/s | 1.5 kB 00:00
centos8.4_21 1.2 MB/s | 3.0 kB 00:00
centos8.4_22 1.2 MB/s | 3.0 kB 00:00
centos8.4_23 1.2 MB/s | 3.0 kB 00:00
centos8.4_24 1.2 MB/s | 3.0 kB 00:00
centos8.4_25 1.2 MB/s | 3.0 kB 00:00
centos8.4_26 1.3 MB/s | 3.0 kB 00:00
centos8.4_27 1.2 MB/s | 3.0 kB 00:00
centos8.4_28 1.1 MB/s | 3.0 kB 00:00
centos8.4_29 1.2 MB/s | 3.0 kB 00:00
centos8.4_30 1.2 MB/s | 3.0 kB 00:00
centos8.4_31 1.3 MB/s | 3.0 kB 00:00
centos8.4_32 1.2 MB/s | 3.0 kB 00:00
centos8.4_41 1.2 MB/s | 3.0 kB 00:00
centos8.4_47 1.1 MB/s | 3.0 kB 00:00
centos8.4_48 1.2 MB/s | 3.0 kB 00:00
centos8.4_49 1.3 MB/s | 3.0 kB 00:00
Centos_samba_build 1.2 MB/s | 2.9 kB 00:00
Package opensm-5.17.0.MLNX20231105.d437ae0a-0.1.2310055.x86_64 is already installed.
Dependencies resolved.
Nothing to do.
Complete!
# systemctl restart opensm.service
Failed to restart opensm.service: Unit opensm.service not found.
# mst start
Starting MST (Mellanox Software Tools) driver set
Loading MST PCI module - Success
[warn] mst_pciconf is already loaded, skipping
Create devices
Unloading MST PCI module (unused) - Success
mt4123_pciconf0 mt4123_pciconf0.1
# mlxconfig -d /dev/mst/mt4123_pciconf0 set SRIOV_EN=1 NUM_OF_VFS=8 FPP_EN=1
Device #1:
----------
Device type: ConnectX6
Name: SC57A40944_Ax
Description: ThinkSystem Mellanox ConnectX-6 HDR100/100GbE QSFP56 2-port VPI Adapter
Device: /dev/mst/mt4123_pciconf0
Configurations: Next Boot New
-E- The Device doesn't support FPP_EN parameter
# mlxconfig -d /dev/mst/mt4123_pciconf0 set SRIOV_EN=1 NUM_OF_VFS=8 FPP_EN=1
Device #1:
----------
Device type: ConnectX6
Name: SC57A40944_Ax
Description: ThinkSystem Mellanox ConnectX-6 HDR100/100GbE QSFP56 2-port VPI Adapter
Device: /dev/mst/mt4123_pciconf0
Configurations: Next Boot New
-E- The Device doesn't support FPP_EN parameter
# mlxfwreset --device /dev/mst/mt4123_pciconf0
mt4123_pciconf0 mt4123_pciconf0.1
# mlxfwreset --device /dev/mst/mt4123_pciconf0 reset
Minimal reset level for device, /dev/mst/mt4123_pciconf0:
3: Driver restart and PCI reset
Continue with reset?[y/N] y
-I- Sending Reset Command To Fw -Done
-I- Resetting PCI -Done
-I- Restarting MST -Done
-I- FW was loaded successfully.
# ibdev2netdev
-bash: /usr/bin/ibdev2netdev: No such file or directory
# lspci|grep Mellanox
0000:2f:00.0 Ethernet controller: Mellanox Technologies MT28908 Family [ConnectX-6]
0000:2f:00.1 Ethernet controller: Mellanox Technologies MT28908 Family [ConnectX-6]继续安装OFED，但是kernel不支持，先增加kernel模块，缺少装啥即可
# yum install kernel-devel-4.18.0-305.19.1.el8_4.x86_64 kernel-rpm-macros
# bash mlnx_add_kernel_support.sh -m ./
Note: This program will create MLNX_OFED_LINUX TGZ for rhel8.1 under /tmp directory.
Do you want to continue?[y/N]:y
See log file /tmp/mlnx_iso.20469_logs/mlnx_ofed_iso.20469.log
Checking if all needed packages are installed...
/lib/modules/4.18.0-305.19.1.el8_4.x86_64/build//scripts is required to build mlnx-ofa_kernel-modules RPM.
Please install the corresponding kernel-devel RPM.
Error: One or more required packages for installing OFED-internal are missing.
Please install the missing packages using your Linux distribution Package Management tool.
Run:
yum install kernel-devel-4.18.0-305.19.1.el8_4.x86_64 kernel-rpm-macros
再继续安装
./mlnxofedinstall --add-kernel-support