【硬件相关】LSI MegaRAID阵列卡配置管理

一、前言

官方手册说明:StorCLI Reference Manual
华为服务器操作维护说明:华为V2&V3服务器 RAID控制卡 用户指南 49

目前市面常见的RAID卡主要是LSI MegaRAID和PMC Adaptec,前者使用命令行工具为storcli,后者使用命令行工具为arcconf
示例使用的RAID卡为LSI MegaRAID,基于storcli工具介绍raid卡配置管理实践过程。
注:如不清楚RAID卡类型,可通过lspci |grep -i "raid"查询

二、安装

由于LSI于2013年被Broadcom收购,相关软件下载可从Broadcom官网产品支持页面搜索下载
示例使用Latest StorCLI MR7.20软件版本,压缩包包含了Storcli所支持的所有系统软件包

  • 下载storcli软件包
wget https://docs.broadcom.com/docs-and-downloads/raid-controllers/raid-controllers-common-files/007.2007.0000.0000_Unified_StorCLI.zip
unzip 007.2007.0000.0000_Unified_StorCLI.zip
  • 根据当前使用的操作系统(示例使用CentOS7.6),安装对应软件包
cd Unified_storcli_all_os/
rpm -ivh Linux/storcli-007.2007.0000.0000-1.noarch.rpm
ln -s /opt/MegaRAID/storcli/storcli64 /usr/bin/storcli
  • 查看storcli版本号
[root@node127 ~]# storcli -v

      StorCli SAS Customization Utility Ver 007.2007.0000.0000 Feb 11, 2022

    (c)Copyright 2022, Broadcom Inc. All Rights Reserved.

三、部署使用

1、基础语法

storcli基础语法为:storcli <[object identifier]> <[adverb | attributes | properties] > <[key=value]>

  • 参数表1(object identifier)
object identifier description
当参数为空时,该命令为系统命令
/cx 控制器(RAID卡)特定指令(/controller x),当服务器存在多张raid卡时,可通过指定不同控制器ID切换不同raid卡配置
/cx/vx 虚拟磁盘特定指令(/controller x/virtual driver x),可以选择指定控制器下的指定虚拟磁盘
/cx/ex 机箱面板特定指令(/controller x/enclosure x),可以选择指定控制器下的指定机箱面板如36盘位服务通常有两个机箱面板,前面板一根SAS线拖24块盘,后面板一根SAS线拖12块盘
/cx/ex/sx 插槽/物理磁盘特定指令(/controller x/enclosure x/slot x),可以选择指定控制器下的指定机箱面板的指定磁盘
/cx/fx 外部配置特定指令(/controller x/foreign configuration x),可以选择指定控制器下的指定外部配置如磁盘残留有之前的RAID配置信息,可以选择对应磁盘进行配置清理或者导入操作

注:x代表数字编号,当x为all时表示所有,如/c0/vall表示控制器0下所有的虚拟磁盘

  • 参数表2(verb)
verb description
add 增加配置,如虚拟磁盘(VD)、热备盘(spare)等
del 删除配置,如虚拟磁盘(VD)、热备盘(spare)等
set 为属性设置特定值
show 查看选定对象所有的属性信息
start 开始一个操作
pause 暂停正在进行的操作
resume 恢复已暂停的操作
suspend 中止正在进行的操作,已中止的操作不能恢复
compare 比较输入值与系统值差异
flush 下刷控制器或者磁盘缓存
import 将外部配置导入到驱动器
expand 扩展虚拟磁盘容量

2、系统查看命令

  • storcli show help
    查看命令帮助信息

  • storcli show [all]
    该命令显示系统的控制器以及控制器相关摘要信息,包括控制器个数、主机名、操作系统信息和现有配置概述

[root@node174 ~]# storcli show
Status Code = 0
Status = Success
Description = None

Number of Controllers = 2
Host Name = node174
Operating System  = Linux3.10.0-1160.62.1.el7.x86_64

System Overview :
===============

-------------------------------------------------------------------------------------
Ctl Model                   Ports PDs DGs DNOpt VDs VNOpt BBU  sPR DS  EHS ASOs Hlth 
-------------------------------------------------------------------------------------
  0 AVAGOMegaRAIDSAS9361-8i     8  36   6     0   6     0 Msng On  1&2 Y      3 Opt  
  1 AVAGOMegaRAIDSAS9361-8i     8  36   6     0   6     0 Msng On  1&2 Y      3 Opt  
-------------------------------------------------------------------------------------

输出信息对照表

参数 解释
Ctrl 控制器索引,一个编号对应一个RAID卡,编号从0开始
Model RAID卡型号
PDs 物理驱动器,表示当前RAID卡连接硬盘个数
DGs 驱动器组,表示当前驱动器组个数,一般与VDs个数一致
VDs 虚拟驱动器,表示当前虚拟驱动器个数
  • storcli /cx show [all]
    查看控制器相关配置信息
    注:x为控制器索引,如需查看第一个控制器配置信息,可执行命令storcli /c0 show;当x为all时表示为所有,如查看所有控制器配置信息,则执行命令storcli /call show

  • storcli /cx/vx show [all]
    查看/指定控制器/指定虚拟驱动器配置信息

[root@node174 ~]# storcli /c0/vall show
Controller = 0
Status = Success
Description = None


Virtual Drives :
==============

--------------------------------------------------------------
DG/VD TYPE  State Access Consist Cache Cac sCC      Size Name 
--------------------------------------------------------------
0/0   RAID6 Optl  RW     No      RWTD  -   OFF 21.830 TB      
1/1   RAID6 Optl  RW     No      RWTD  -   OFF 21.830 TB      
2/2   RAID6 Optl  RW     No      RWTD  -   OFF 21.830 TB      
3/3   RAID6 Optl  RW     No      RWTD  -   OFF 21.830 TB      
4/4   RAID6 Optl  RW     No      RWTD  -   OFF 21.830 TB      
5/5   RAID6 Optl  RW     No      RWTD  -   OFF 21.830 TB      
--------------------------------------------------------------

输出信息对照表

参数 解释
DG/VD 磁盘组编号/虚拟驱动器编号
TYPE 虚拟驱动器类型,可选参数为JBODRAID0RAID1RAID5RAID6
State 虚拟驱动器状态,可选参数为Optl(Optimal,表示正常状态)、Dgrd(Degraded,表示降低状态,如虚拟驱动器出现磁盘损坏)
  • storcli /cx/ex/sx show [all]
    查看/指定控制器/指定机箱面板/指定磁盘插槽配置信息
[root@node174 ~]# storcli /c0/eall/sall show
Controller = 0
Status = Success
Description = Show Drive Information Succeeded.


Drive Information :
=================

-------------------------------------------------------------------------------
EID:Slt DID State DG     Size Intf Med SED PI SeSz Model               Sp Type 
-------------------------------------------------------------------------------
6:1      21 Onln   0 5.457 TB SATA HDD N   N  512B ST6000NM0115-1YZ110 U  -    
6:2     104 Onln   0 5.457 TB SATA HDD N   N  512B ST6000NM0115-1YZ110 U  -    
10:1    231 Onln   2 5.457 TB SATA HDD N   N  512B ST6000NM0115-1YZ110 U  -    
10:2    158 Onln   2 5.457 TB SATA HDD N   N  512B ST6000NM0115-1YZ110 U  -    

输出信息对照表

参数 解释
EID:Slt 机箱面板编号:磁盘插槽编号
State 磁盘状态,可选参数为Onln(磁盘上线,即加入RAID组)、Offln(磁盘离线,即脱离RAID组)、JBOD(磁盘直通)、UGood(此状态下可用于创建RAID或热备盘) 、UBad(磁盘存在其他RAID配置,需手动设置为UGood状态)、Rbld(此状态下磁盘处于重建状态)
DG 磁盘组编号,表示哪些磁盘属于同一组RAID
Size 磁盘容量大小
Intf 磁盘接口类型,可选参数为SATASAS
Med 磁盘存储介质类型,可选参数为HDDSSD
SeSz 磁盘扇区大小
Model 磁盘型号

3、RAID配置

3.1、处理异常状态

RAID配置之前,涉及磁盘需还原为初始状态(State为UGood,DG为-)

  • 磁盘State为RAIDx
    手动删除所有的虚拟驱动器:storcli /cx/vx del

  • 磁盘State为Ubad
    手动更改指定磁盘状态为UGood:storcli /cx/ex/sx set good

storcli /c0/e10/s14 set good

-------------------------------------------------------------------------------
EID:Slt DID State DG     Size Intf Med SED PI SeSz Model               Sp Type 
-------------------------------------------------------------------------------
10:14   233 UGood  F 5.457 TB SATA HDD N   N  512B ST6000NM0115-1YZ110 U  -    
-------------------------------------------------------------------------------
  • 磁盘State为UGood,DG为F
    手动删除所有磁盘外部配置:storcli /cx/fall del
storcli /c0/fall del

-------------------------------------------------------------------------------
EID:Slt DID State DG     Size Intf Med SED PI SeSz Model               Sp Type 
-------------------------------------------------------------------------------
10:14   233 UGood  - 5.457 TB SATA HDD N   N  512B ST6000NM0115-1YZ110 U  -    
-------------------------------------------------------------------------------
3.2、配置RAID模式
  • 手动创建RAID:storcli /cx add vd type=raid[0|1|5|6|10|50|60][Size=,,..|*all][name=,..] drives=e:s|e:s-x|e:s-x,y;e:s-x,y,z
storcli /c0 add vd type=raid5  drives=6:11-12,10:1-3
3.2.1、逻辑磁盘管理
  • 显示逻辑磁盘信息:storcli /cx/vx show

  • 显示更详细的逻辑磁盘信息:storcli /cx/vx show all

  • 手动删除逻辑磁盘:storcli /cx/vx del

  • 设置逻辑磁盘写策略:storcli /cx/vx set wrcache=wt/wb/awb
    注:默认为RWTD模式,参考华为文档:开启RAID卡Cache

3.2.2、热备盘管理
  • 设置磁盘为全局热备盘:storcli /cx/ex/sx add hotsparedrive

  • 删除某块全局热备盘:storcli /cx/ex/sx del hostsparedrive

  • 设置磁盘为某个磁盘组的局部热备盘:storcli /cx/ex/sx add hotsparedrive dgs=x

  • 删除某个磁盘组的某块局部热备盘:storcli /cx/ex/sx del hostsparedrive dgs=x

3.3、配置JBOD模式
  • 开启RAID卡直通功能:storcli /cx set jbod=on
    查看配置是否设置成功:storcli /c0 show jbod

  • 手动设置控制器所有磁盘为JBOD模式:storcli /cx/eall/sall set jbod

  • 取消JBOD模式设置:storcli /cx/eall/sall set good force

4、RAID重构

  • 设置RAID重构速率:storcli /cx set rebuildrate=x
    注:以百分比为单位,取值范围为0~100

  • 查看RAID重构速率:storcli /cx show rebuildrate

  • 查看某块磁盘的重构情况:storcli /cx/ex/sx show rebuild
    注:当RAID降级,对应RAID组冗余磁盘会启动数据重构操作,可通过storcli /c0/eall/sall show | grep -i Rbld查找处于重构状态磁盘的插槽ID

  • 暂停某块磁盘的重构任务:storcli /cx/ex/sx pause rebuild

5、硬盘定位

点亮硬盘定位指示灯:storcli /cx/ex/sx start locate
关闭硬盘定位指示灯:storcli /cx/ex/sx stop locate
注:执行以上操作,需要先找到磁盘对应插槽位置ID,可通过以下方式查找

5.1、RAID模式
  • 查找磁盘对应scsi_id
    可通过lsscsi --scsi_id -g查找磁盘对应scsi_id,如示例sda磁盘scsi_id为600062b007a78de229f4c51c4adff9b7
[root@node174 ~]# lsscsi  --scsi_id -g | grep sda
[0:2:0:0]    disk    AVAGO    MR9361-8i        4.68  /dev/sda   3600062b007a78de229f4c51c4adff9b7  /dev/sg2 
  • 查找scsi_id对应RAID组及所属磁盘列表
    可通过storcli /call/vall show all查看所有RAID组的SCSI NAA Id,如示例sda磁盘scsi_id为600062b007a78de229f4c51c4adff9b7,所属raid组为/c0/v0,所属磁盘插槽为6:1-6
[root@node174 ~]# storcli /call/vall show all 
/c0/v0 :
======

--------------------------------------------------------------
DG/VD TYPE  State Access Consist Cache Cac sCC      Size Name 
--------------------------------------------------------------
0/0   RAID6 Optl  RW     No      RWTD  -   OFF 21.830 TB      
--------------------------------------------------------------
PDs for VD 0 :
============

-------------------------------------------------------------------------------
EID:Slt DID State DG     Size Intf Med SED PI SeSz Model               Sp Type 
-------------------------------------------------------------------------------
6:1      21 Onln   0 5.457 TB SATA HDD N   N  512B ST6000NM0115-1YZ110 U  -    
6:2     104 Onln   0 5.457 TB SATA HDD N   N  512B ST6000NM0115-1YZ110 U  -    
6:3      20 Onln   0 5.457 TB SATA HDD N   N  512B ST6000NM0115-1YZ110 U  -    
6:4     123 Onln   0 5.457 TB SATA HDD N   N  512B ST6000NM0115-1YZ110 U  -    
6:5      23 Onln   0 5.457 TB SATA HDD N   N  512B ST6000NM0115-1YZ110 U  -    
6:6      84 Onln   0 5.457 TB SATA HDD N   N  512B ST6000NM0115-1YZ110 U  -    
-------------------------------------------------------------------------------
VD0 Properties :
==============
Strip Size = 256 KB
Number of Blocks = 46879735808
VD has Emulated PD = Yes
Span Depth = 1
Number of Drives Per Span = 6
Write Cache(initial setting) = WriteBack
Disk Cache Policy = Disk's Default
Encryption = None
Data Protection = Disabled
Active Operations = None
Exposed to OS = Yes
Creation Date = 22-04-2022
Creation Time = 01:45:00 AM
Emulation type = default
Cachebypass size = Cachebypass-64k
Cachebypass Mode = Cachebypass Intelligent
Is LD Ready for OS Requests = Yes
SCSI NAA Id = 600062b007a78de229f4c51c4adff9b7
5.2、JBOD模式
  • 查看磁盘对应SN号
    可通过smartctl -a /dev/sdx | grep -i "Serial Number"查找磁盘对应SN号,如示例磁盘SN号为ZAD1C133
[root@node174 ~]# smartctl -a /dev/sda  | grep -i "Serial Number"
Serial Number:    ZAD1C133
  • 查看SN号对应磁盘插槽ID
    可通过storcli /call/eall/sall show all | grep -B 2 '{Serial Number}'查找对应SN号所属磁盘插槽ID,如示例磁盘SN号ZAD1C133所属插槽ID为6:3
[root@node174 ~]# storcli /call/eall/sall show all | grep -B 2 'ZAD1C133'
Drive /c0/e6/s3 Device attributes :
=================================
SN =             ZAD1C133

你可能感兴趣的:(硬件相关,服务器)