GlusterFS 集群磁盘利用率100%

一、问题描述

通过监控发现，每天凌晨3点之后，glfs所有服务端节点的磁盘利用率会规律性地上升到100%，持续时间不定，一般持续3小时以上。利用率100%的时候，对业务正常IO无影响，业务无感知。

image

二、问题分析

2.1 有定时任务？

最初怀疑是业务有定时任务，定期高吞吐写入Glusterfs集群，造成磁盘利用率100%，经排查监控查看带宽以及与业务沟通，已排除此种情况。

2.2 定向分析

再次出现问题时，登录到节点上，查找占用IO的进程，发现除了glfs，还有一个updatedb进程在大量读写磁盘
$ sudo iotop -o
Total DISK READ :       9.17 M/s | Total DISK WRITE :       6.79 M/s
Actual DISK READ:       9.22 M/s | Actual DISK WRITE:     117.98 K/s
   TID  PRIO  USER     DISK READ  DISK WRITE  SWAPIN     IO>    COMMAND
......
275138 be/4 root        7.61 K/s  197.90 K/s  0.00 %  0.00 % glusterfsd -s XX.XX.XX.XX --volfile-id glfs_volume.XX.XX.XX.XX.~-option glfs_volume-server.listen-port=49153 [glusteriotwr8]
228159 be/4 root        0.00 B/s  117.98 K/s  0.00 %  0.00 % glusterfsd -s XX.XX.XX.XX --volfile-id glfs_volume.XX.XX.XX.XX.~option glfs_volume-server.listen-port=49153 [glusteriotwr13]
233651 be/7 root        2.74 M/s 1507.08 K/s  0.00 %  0.00 % updatedb -f sysfs                                 ===> updatedb读磁盘使用了2.74M/s!
216380 be/4 root        0.00 B/s  350.13 K/s  0.00 %  0.00 % glusterfsd -s XX.XX.XX.XX --volfile-id glfs_volume.XX.XX.XX.XX.~-option glfs_volume-server.listen-port=49153 [glusteriotwr7]
228801 be/4 root        0.00 B/s  106.56 K/s  0.00 %  0.00 % glusterfsd -s XX.XX.XX.XX --volfile-id glfs_volume.XX.XX.XX.XX.~option glfs_volume-server.listen-port=49153 [glusteriotwr14]
228802 be/4 root        0.00 B/s  167.45 K/s  0.00 %  0.00 % glusterfsd -s XX.XX.XX.XX --volfile-id glfs_volume.XX.XX.XX.XX.~option glfs_volume-server.listen-port=49153 [glusteriotwr15]
44766 be/4 root       15.22 K/s  224.54 K/s  0.00 %  0.00 % glusterfsd -s XX.XX.XX.XX --volfile-id glfs_volume.XX.XX.XX.XX.~-option glfs_volume-server.listen-port=49153 [glusteriotwr6]

2.3 确定原因

查看updatedb进程正在操作的文件/目录，发现updatedb大量扫描glfs目录
$ sudo lsof -p 233651
COMMAND     PID USER   FD   TYPE DEVICE    SIZE/OFF         NODE NAME
updatedb 233651 root  cwd    DIR   8,16       65536  27917289184 /glfsdata/sdb/brick05/.glusterfs/44/6b
updatedb 233651 root  txt    REG    8,3       48792   1610623519 /usr/bin/updatedb
updatedb 233651 root    3r   REG    0,3           0    389670553 /proc/233651/mountinfo
updatedb 233651 root    4uW  REG    8,3 14391475192        66377 /var/lib/mlocate/mlocate.db
updatedb 233651 root    8r   DIR    8,3          17       961201 /glfsdata
updatedb 233651 root    9r   DIR   8,16          48           96 /glfsdata/sdb
updatedb 233651 root   10r   DIR   8,16         117   6442451040 /glfsdata/sdb/brick05
updatedb 233651 root   11r   DIR   8,16        8192   8589934688 /glfsdata/sdb/brick05/.glusterfs
updatedb 233651 root   12r   DIR   8,16        8192 122406568043 /glfsdata/sdb/brick05/.glusterfs/44
updatedb 233651 root   13r   DIR   8,16       65536  27917289184 /glfsdata/sdb/brick05/.glusterfs/44/6b

2.4 何为updatedb？

经过google + man updatedb发现，该进程用于帮助locate命令建立索引。
官方解释：Updatedb创建或更新由locate（1）使用的数据库。如果数据库已经存在，那么将重用其数据，以避免重新读取未更改的目录。通常由cron（8）每天运行一次updateb，以更新默认数据库。

2.5 查看定时任务

# 找到Linux上该命令的定时任务，发现定时任务在3点之后启动
$$ sudo less /etc/cron.daily/mlocate
/usr/bin/updatedb -f "$nodevs"            ===> updatedb在cron.daily的任务列表中

$ sudo less /etc/anacrontab
# the maximal random delay added to the base delay of the jobs
RANDOM_DELAY=45                           ===> 任务最大延迟45分钟启动
# the jobs will be started during the following hours only
START_HOURS_RANGE=3-22                    ===> 任务只允许在3点-22点之间执行
#period in days   delay in minutes   job-identifier   command
1       5       cron.daily              nice run-parts /etc/cron.daily

三、问题解决

man updatedb发现，可以设置排除目录，让updatedb不扫描对应的目录。将Gluster服务端的目录（/glfsdata）加入到PRUNEPATHS中即可。

$ sudo vim /etc/updatedb.confPRUNEPATHS = "/afs /media /mnt /net /sfs /tmp /udev /var/cache/ccache /var/lib/yum/yumdb /var/spool/cups /var/spool/squid /var/tmp /var/lib/ceph /glfsdata"

设置后，经过一天验证，查看监控，发现磁盘利用率恢复正常。不再定时出现100%利用率的情况。