【ceph】坏盘更换，osd的具体操作

 本站以分享各种运维经验和运维所需要的技能为主

《python零基础入门》：python零基础入门学习

《python运维脚本》： python运维脚本实践

《shell》：shell学习

《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战

《k8》暂未更新

《docker学习》暂未更新

《ceph学习》ceph日常问题解决分享

《日志收集》ELK+各种中间件

《运维日常》运维日常

《linux》运维面试100问

 【ceph】坏盘更换，osd的具体操作

1、调整osd的pg迁移速度 sudo ceph tell osd.* injectargs '--osd_recovery_max_single_start 1 --osd_recovery_sleep_hdd 0.1 --osd_recovery_max_active 1 --osd_max_backfills 1'

2、调整reweight ceph osd reweight osd.x 0

3、先停掉服务 systemctl stop ceph-osd@X （或者ceph osd out xxx）

4、destroy掉osd ceph osd destroy xxx --yes-i-really-mean-it

如果没有destroy，会报错：已存在

5、（如果需要）清楚旧盘的lvm信息---（如果没有清理逻辑卷之前就更换盘了，需要用dmsetup）

  /dev/ceph-5f022267-d2f4-42bb-b11d-7ea3df3ba246/osd-block-0ba6ef68-e451-4cfa-b3d1-eb883a38c03f: read failed after 0 of 4096 at 4096: Input/output error
  
  [root@gz-ceph-52-202 ~]# dmsetup remove /dev/ceph-5ea2c843-dd18-484a-85f2-d61e2ebcaba2/osd-block-0d5d36d6-cc80-499a-9600-227263d137ba
​

6、（如果需要）给新盘分区

7、新建osd，指定osd.id /usr/sbin/ceph-volume --cluster ceph lvm prepare --bluestore --data /dev/disk/by-id/xxx —-block.wal /dev/sdx -—block.db /dev/sdx —-osd-id x

指定id创建osd，前面的文章有提到：

【ceph】ceph-osd重建流程（手工起并且指定id为完成并行批量创建osd打下基础）_ceph重组osd-CSDN博客

8、激活osd ceph-volume lvm activate osdid fsid

脚本：

# cat build_osd.sh 
#!/bin/bash
ceph-volume --cluster ceph lvm prepare --bluestore --data /dev/disk/by-id/$1 --osd-id $4 --osd-fsid `uuidgen` --block.db /dev/disk/by-id/$2 --block.wal /dev/disk/by-id/$3

echo "ceph-volume lvm activate $4 `cat /var/lib/ceph/osd/ceph-$4/fsid`"
# cat parted_disk.sh 
#!/bin/bash
parted -s --align optimal /dev/$1 mklabel gpt
parted -s --align optimal /dev/$1 mkpart primary 0.0GB 50.0GB
parted -s --align optimal /dev/$1 mkpart primary 50.0GB 100%
# cat data_parted_disk.sh 
#!/bin/bash
parted -s --align optimal /dev/$1 mklabel gpt
#parted -s --align optimal /dev/$1 mkpart primary 0.0GB 50.0GB
parted -s --align optimal /dev/$1 mkpart primary 0.0GB 100%

#寻找scsi码：
# ll /dev/disk/by-id/ | grep sddd
#创建osd
# sh build_osd.sh scsi-xxx-part1 scsi-xx-part2 scsi-xx-part1