银河麒麟服务器系统sp2-arm版本安装mlnx网卡驱动
- 一、基本环境
- 1.1 操作系统版本信息
- 1.2 驱动版本信息
- 1.3 网卡型号
- 二、未升级内核驱动安装步骤
- 2.1 安装依赖包
- 2.2 挂载官网下载的iso驱动文件到/mnt目录
- 2.3 执行安装脚本
- 三、升级过内核驱动安装步骤
- 3.1 安装依赖包
- 3.2 挂载官网下载的iso驱动文件到/mnt目录
- 3.3 直接执行安装脚本，会有报错
- 3.4 重新编译驱动文件并安装
- 四、安装过程中遇到的问题汇总
- 4.1 tmp目录过小
- 4.2 参数注解
一、基本环境
1.1 操作系统版本信息
############## Kylin Linux Version #################Release:Kylin Linux Advanced Server release V10 (Sword)Kernel:4.19.90-24.4.v2101.ky10.aarch64Build:Kylin Linux Advanced Serverrelease V10 (SP2) /(Sword)-aarch64-Build09/20210524#################################################1.2 驱动版本信息
5.4-3.7.5.0驱动下载地址：https://network.nvidia.com/products/infiniband-drivers/linux/mlnx_ofed/下载对应系统版本以及架构的驱动包，下面示例是下载的银河麒麟V10-SP2-0524-arm版本对应的驱动iso文件：
1.3 网卡型号
华为SP380/SP333
二、未升级内核驱动安装步骤
2.1 安装依赖包
yum install tcsh rpm-build elfutils-devel createrepo -y2.2 挂载官网下载的iso驱动文件到/mnt目录
[root@localhost ~]# mount MLNX_OFED_LINUX-5.4-3.7.5.0-kylin10sp2-aarch64.iso /mntmount: /mnt: WARNING: source write-protected, mounted read-only.[root@localhost ~]# cd /mnt/[root@localhost mnt]# lscommon_installers.pl create_mlnx_ofed_installers.pl docs LICENSE mlnxofedinstall RPMS uninstall.shcommon.pl distro is_kmp_compat.sh mlnx_add_kernel_support.sh RPM-GPG-KEY-Mellanox src2.3 执行安装脚本
[root@localhost mnt]#./mlnxofedinstall --skip-distro-check --without-fw-updateLogs dir: /tmp/MLNX_OFED_LINUX.7290.logsGeneral log file: /tmp/MLNX_OFED_LINUX.7290.logs/general.logThis program will install the MLNX_OFED_LINUX package on your machine.Note that all other Mellanox, OEM, OFED, RDMA or Distribution IB packages will be removed.Those packages are removed due to conflicts with MLNX_OFED_LINUX, do not reinstall them.Do you want to continue?[y/N]:yStarting MLNX_OFED_LINUX-5.4-3.7.5.0 installation ...Verifying... ########################################Preparing... ########################################Verifying... ########################################Preparing... ########################################Installing mlnx-ofa_kernel 5.4 RPMVerifying... ########################################Preparing... ########################################Updating / installing...mlnx-ofa_kernel-5.4-OFED.5.4.3.7.5.1.k########################################Configured /etc/security/limits.conf/sbin/ldconfig: /usr/lib64/libLLVM-7.so is not a symbolic linkInstalling mlnx-ofa_kernel-modules 5.4 RPMVerifying... ########################################Preparing... ########################################Updating / installing...mlnx-ofa_kernel-modules-5.4-OFED.5.4.3########################################/sbin/ldconfig: /usr/lib64/libLLVM-7.so is not a symbolic linkInstalling mlnx-ofa_kernel-devel 5.4 RPMVerifying... ########################################Preparing... ########################################Updating / installing...mlnx-ofa_kernel-devel-5.4-OFED.5.4.3.7########################################Installing kernel-mft 4.21.0 RPMVerifying... ########################################Preparing... ########################################Updating / installing...kernel-mft-4.21.0-102.kver.4.19.90_24.########################################/sbin/ldconfig: /usr/lib64/libLLVM-7.so is not a symbolic linkInstalling knem 1.1.4.90mlnx2 RPMVerifying... ########################################Preparing... ########################################Updating / installing...knem-1.1.4.90mlnx2-OFED.23.04.0.5.2.1.########################################/sbin/ldconfig: /usr/lib64/libLLVM-7.so is not a symbolic linkInstalling knem-modules 1.1.4.90mlnx2 RPMVerifying... ########################################Preparing... ########################################Updating / installing...knem-modules-1.1.4.90mlnx2-OFED.23.04.########################################/sbin/ldconfig: /usr/lib64/libLLVM-7.so is not a symbolic linkVerifying... ########################################Preparing... ########################################Installing user level RPMs:Verifying... ########################################Preparing... ########################################Verifying... ########################################Preparing... ########################################Verifying... ########################################Preparing... ########################################Verifying... ########################################Preparing... ########################################Verifying... ########################################Preparing... ########################################Verifying... ########################################Preparing... ########################################Verifying... ########################################Preparing... ########################################Verifying... ########################################Preparing... ########################################Verifying... ########################################Preparing... ########################################Verifying... ########################################Preparing... ########################################Verifying... ########################################Preparing... ########################################Verifying... ########################################Preparing... ########################################Verifying... ########################################Preparing... ########################################Verifying... ########################################Preparing... ########################################Verifying... ########################################Preparing... ########################################Verifying... ########################################Preparing... ########################################Verifying... ########################################Preparing... ########################################Verifying... ########################################Preparing... ########################################Verifying... ########################################Preparing... ########################################Verifying... ########################################Preparing... ########################################Verifying... ########################################Preparing... ########################################Verifying... ########################################Preparing... ########################################Verifying... ########################################Preparing... ########################################Verifying... ########################################Preparing... ########################################Verifying... ########################################Preparing... ########################################Verifying... ########################################Preparing... ########################################Verifying... ########################################Preparing... ########################################Verifying... ########################################Preparing... ########################################Verifying... ########################################Preparing... ########################################Verifying... ########################################Preparing... ########################################Verifying... ########################################Preparing... ########################################Verifying... ########################################Preparing... ########################################Verifying... ########################################Preparing... ########################################Verifying... ########################################Preparing... ########################################Verifying... ########################################Preparing... ########################################Verifying... ########################################Preparing... ########################################Verifying... ########################################Preparing... ########################################Verifying... ########################################Preparing... ########################################Verifying... ########################################Preparing... ########################################Installation finished successfully.Verifying... ################################# [100%]Preparing... ################################# [100%]Updating / installing... 1:mlnx-fw-updater-5.4-3.7.5.0 ################################# [100%]Added 'RUN_FW_UPDATER_ONBOOT=no to /etc/infiniband/openib.confInitializing...Attempting to perform Firmware update...No devices found!You may need to update your initramfs before next boot. To do that, run: dracut -fTo load the new driver, run:/etc/init.d/openibd restart三、升级过内核驱动安装步骤
如果升级过内核的话，直接执行安装脚本是不可行的，因为里面的rpm包是在安装完毕的默认内核版本上（kernel-4.19.90-24.4.v2101.ky10.aarch64）编译的
下面示例中我将内核升级到了外网源中25.29版本：kernel-4.19.90-25.29.v2101.ky10.aarch64
rpm -qa | grep kernel-4.19kernel-4.19.90-24.4.v2101.ky10.aarch64kernel-4.19.90-25.29.v2101.ky10.aarch64uname -rkernel-4.19.90-25.29.v2101.ky10.aarch643.1 安装依赖包
yum install tcsh rpm-build elfutils-devel createrepo -y3.2 挂载官网下载的iso驱动文件到/mnt目录
[root@localhost ~]# mount MLNX_OFED_LINUX-5.4-3.7.5.0-kylin10sp2-aarch64.iso /mntmount: /mnt: WARNING: source write-protected, mounted read-only.[root@localhost ~]# cd /mnt/[root@localhost mnt]# lscommon_installers.pl create_mlnx_ofed_installers.pl docs LICENSE mlnxofedinstall RPMS uninstall.shcommon.pl distro is_kmp_compat.sh mlnx_add_kernel_support.sh RPM-GPG-KEY-Mellanox src3.3 直接执行安装脚本，会有报错
以上报错：已安装kernel-4.19.90-25.29.v2101.ky10.aarch64内核，MLNX_OFED_LINUX没有可用于该内核的驱动程序。
问题原因：1.系统版本不一致；2.内核版本不支持
3.4 重新编译驱动文件并安装
镜像中有提供编译适合当前系统内核版本的驱动的sh脚本（mlnx_add_kernel_support.sh）
执行./mlnx_add_kernel_support.sh -m ./命令添加针对当前内核版本的驱动；
./mlnx_add_kernel_support.sh -m ./
编译完成后的驱动默认存放在/tmp目录，编译完成后进入到/tmp目录，执行tar命令进行解压，在执行./mlnxofedinstall --skip-distro-check --without-fw-update命令进行驱动安装
四、安装过程中遇到的问题汇总
4.1 tmp目录过小
编译生成的文件和日志在/tmp目录下产生，/tmp目录过小的话需要执行mount命令重新将tmpfs进行挂载。如果/tmp目录在系统安装过程中有分配具体的分区挂载到/tmp目录，空间不够则需要进行扩容
mount -o remount,size=4G tmpfs /tmp4.2 参数注解
执行./mlnxofedinstall --skip-distro-check --without-fw-update进行驱动安装
--skip-distro-check跳过distro匹配检查--without-fw-update跳过固件升级
