moosefs 解决 mfsmaster单点故障keepalived 辅助

一 服务器IP及应用角色
二 原理及思路
三 moosefs  安装 配置 管理
四  metadata.mfs.bak的定时备份
五  keepalived 安装 配置 管理
六 故障切换测试
七 参考资料联系方式
八 本教程相关资料下载

一 服务器IP及应用角色
192.168.20.237   keepalived MASTER  mfsmaster  mfschuckserver  mfsclient
192.168.20.38     keepalived Slave   mfsmetalogger  mfschuckserver  mfsclient   mfsmaster(备份)
192.168.20.233   虚拟IP

二 原理及思路
1 mfsmaster的故障恢复在1.6.5版本后可以由mfsmetalogger产生的日志文件 changelog_ml.*.mfs和metadata.mfs.back由命令mfsmetarestore恢复
2 定时从mfsmaster 获取 metadata.mfs.back 文件用于master恢复
3 192.168.11.237 keepalived MASTER run检测到 mfsmaster 故障的时候 停止  keepalived  
4 192.168.20.38 keepalived 状态从backup转到 master 并触发 notify_master事件执行恢复并启动mfsmaster脚本
5 整个切换在2~5秒内完成 根据检测时间间隔。
6  nagios 监控mfs状态可见参考资料

三 moosefs  安装 配置 管理
mfsmaster mfsmetalogger  mfschuckserver mfsclient 四个角色的安装 如下 只是使用的配置文件不同

1. useradd -s /sbin/nologin mfs
   

2. mkdir -p /opt/software
   

3. cd /opt/software
   

4. wget http://sourceforge.net/projects/fuse/files/fuse-2.X/2.8.5/fuse-2.8.5.tar.gz
   

5. wget http://sourceforge.net/projects/moosefs/files/moosefs/1.6.20/mfs-1.6.20-2.tar.gz
   

6. 
   

7. tar zxvf fuse-2.8.5.tar.gz
   

8. cd fuse-2.8.5
   

9. ./configure --prefix=/usr
   

10. make && make install
    

11. 
    

12. cd /opt/software
    

13. tar zxvf mfs-1.6.20-2.tar.gz
    

14. cd mfs-1.6.20-2
    

15. ./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs
    

16. make && make install
    

17. cd ..

复制代码

MFS相关的配置文件有  mfsmaster.cfg mfsexports.cfg
#192.168.20.237和192.168.20.38 mfsmaster 配置文件如下

vi  /usr/local/mfs/etc/mfsmaster.cfg

1. # WORKING_USER = mfs

复制代码

#192.168.20.237  192.168.20.38  mfschunkserver   使用相同的mfschunkserver.cfg mfshdd.cfg配置文件如下
vi /usr/local/mfs/etc/mfschunkserver.cfg

1. # WORKING_USER = mfs
   

2. # WORKING_GROUP = mfs
   

3. # SYSLOG_IDENT = mfschunkserver
   

4. # LOCK_MEMORY = 0
   

5. # NICE_LEVEL = -19
   

6. # DATA_PATH = /usr/local/mfs/var/mfs
   

7. # MASTER_RECONNECTION_DELAY = 5
   

8. # BIND_HOST = *
   

9. MASTER_HOST = 192.168.20.233
   

10. # MASTER_PORT = 9420
    

11. # MASTER_TIMEOUT = 60
    

12. # CSSERV_LISTEN_HOST = *
    

13. # CSSERV_LISTEN_PORT = 9422
    

14. # HDD_CONF_FILENAME = /usr/local/mfs/etc/mfshdd.cfg
    

15. # HDD_TEST_FREQ = 10
    

16. # deprecated, to be removed in MooseFS 1.7
    

17. # LOCK_FILE = /var/run/mfs/mfschunkserver.lock
    

18. # BACK_LOGS = 50
    

19. # CSSERV_TIMEOUT = 5

复制代码

我这边mfschunk存储数据的目录是 /data/9ai9.net
vim  /usr/local/mfs/etc/mfshdd.cfg  

1. /data/9ai9.net

复制代码

mfs各角色的管理命令如下 更详细的说明参见参考资料
/usr/local/mfs/sbin/mfsmaster start|stop|restart|reload
/usr/local/mfs/sbin/mfsmetalogger start|stop|restart|reload
/usr/local/mfs/sbin/mfschunkserver start|stop|restart|reload

客户端将mfschunk共享挂载到/home/lixy命令
modprobe fuse
/usr/local/mfs/bin/mfsmount /home/lixy -H 192.168.20.233

四  metadata.mfs.bak的定时备份
将主MFSMASTER的metadata.mfs.bak定时备份到 备用的MFSmaster服务器上
这里scp方法每5分钟从主服务器取metadata.mfs.bak备份一次 用于启动
在crontab -e里添加以下内容

1. */5 * * * *  scp  192.168.20.237:/usr/local/mfs/var/mfs/metadata.mfs.back  /usr/local/mfs/var/mfs  

复制代码

五  keepalived 安装 配置 管理

1. wget http://www.keepalived.org/software/keepalived-1.2.2.tar.gz
   

2. tar zxvf keepalived-1.2.2.tar.gz
   

3. cd keepalived-1.2.2
   

4. ./configure --prefix=/
   

5. make
   

6. make install

复制代码

#配置说明
1 KEEPALIVED MASTER 每2秒检测一次 mfsmaster状态
2 KEEPAVLIED BACKUP 不检测MFS状态 只等待KEEPALIVED事情触发恢复
192.168.20.237 keepavled MASTER主配置文件

1. ! Configuration File for keepalived
   

2. global_defs {
   

3.    router_id 9ai9.net
   

4. }
   

5. vrrp_script check_run {
   

6.    script "/root/keepalived_check_mfsmaster.sh"
   

7.    interval 2
   

8. }
   

9. vrrp_sync_group VG1 {
   

10.     group {
    

11.           VI_1
    

12.     }
    

13. }
    

14. vrrp_instance VI_1 {
    

15.     state MASTER
    

16.     interface eth0
    

17.     virtual_router_id 88
    

18.     priority 100
    

19.     advert_int 1
    

20.     nopreempt
    

21.     authentication {
    

22.         auth_type PASS
    

23.         auth_pass 9ai9.net
    

24.     }
    

25.     track_script {
    

26.         check_run
    

27.     }
    

28.     virtual_ipaddress {
    

29.         192.168.20.233
    

30.     }
    

31. }

复制代码

vim /root/keepalived_check_mfsmaster.sh
注：这里 MFSMASTER_HOST的IP地址要是192.168.20.237 非VIP

1. #!/bin/bash
   

2. #write by qhappy QQ 87179505
   

3. #20110310
   

4. 
   

5. MFSMASTER_HOST=192.168.20.237
   

6. MFSMASTER_PORT=9420
   

7. if [ `uname -i` = x86_64 ];then
   

8. CHECK_MASTER=/root/qhappy_check_tcp_64
   

9. else
   

10. CHECK_MASTER=/root/qhappy_check_tcp_32
    

11. fi
    

12. CHECK_TIME=2
    

13. #mfsmaster  is working MFS_OK is 1 , mfsmaster down MFS_OK is 0
    

14. MFS_OK=1
    

15. function check_mfsmaster (){
    

16.     $CHECK_MASTER -H $MFSMASTER_HOST -p $MFSMASTER_PORT >/dev/null 2>&1
    

17.     if [ $? = 0 ] ;then
    

18.     MFS_OK=1
    

19.     else
    

20.     MFS_OK=0
    

21.     fi
    

22.     return $MFS_OK
    

23. }
    

24. while [ $CHECK_TIME -ne 0 ]
    

25. do
    

26.     let "CHECK_TIME -= 1"
    

27.     check_mfsmaster
    

28. if [ $MFS_OK = 1 ] ; then
    

29.     CHECK_TIME=0
    

30.     exit 0
    

31. fi
    

32. if [ $MFS_OK -eq 0 ] &&  [ $CHECK_TIME -eq 0 ]
    

33. then
    

34.     /etc/init.d/keepalived stop
    

35.     exit 1
    

36. fi
    

37. done

复制代码

chmod 755  /root/keepalived_check_mfsmaster.sh

192.168.20.38  keepalived BACKUP的 配置
vim  /etc/keepalived/keepalived.conf

1. ! Configuration File for keepalived
   

2. global_defs {
   

3.    router_id 9ai9.net
   

4. }
   

5. 
   

6. vrrp_sync_group VG1 {
   

7.     group {
   

8.           VI_1
   

9.     }
   

10. notify_master "/root/keepalived_notify.sh master"
    

11. notify_backup "/root/keepalived_notify.sh backup"
    

12. }
    

13. vrrp_instance VI_1 {
    

14.     state BACKUP
    

15.     interface eth0
    

16.     virtual_router_id 88
    

17.     priority 80
    

18.     advert_int 1
    

19.     authentication {
    

20.         auth_type PASS
    

21.         auth_pass 9ai9.net
    

22.     }
    

23.    
    

24.     virtual_ipaddress {
    

25.         192.168.20.233
    

26.     }
    

27. }

复制代码

vim /root/keepalived_notify.sh

1. #!/bin/bash
   

2. #write by qhappy QQ 87179505
   

3. #20110310
   

4. 
   

5. MFS_HOME=/usr/local/mfs
   

6. MFSMARSTER=${MFS_HOME}/sbin/mfsmaster
   

7. MFSMETARESTORE=${MFS_HOME}/sbin/mfsmetarestore
   

8. MFS_DATA_PATH=${MFS_HOME}/var/mfs
   

9. 
   

10. function backup2master(){
    

11. $MFSMETARESTORE -m ${MFS_DATA_PATH}/metadata.mfs.bak -o ${MFS_DATA_PATH}/metadata.mfs $MFS_DATA_PATH/changelog_ml*.mfs
    

12. #$MFSMETARESTORE -a
    

13. $MFSMARSTER start
    

14. }
    

15. 
    

16. function master2backup(){
    

17. $MFSMARSTER stop
    

18. }
    

19. 
    

20. function ERROR(){
    

21. echo "USAGE: keepalived_notify.sh master|backup "
    

22. }
    

23. 
    

24. case $1 in
    

25.         master)
    

26.         backup2master
    

27.         ;;
    

28.         backup)
    

29.         master2backup
    

30.         ;;
    

31.         *)
    

32.         ERROR
    

33.         ;;
    

34. esac

复制代码

chomd 755  /root/keepalived_notify.sh

各服务角色 启动顺序

1 mfsmaster
2 keepalived
3 mfsmetalogger
4 mfschunckserver
5 客户端挂载

关闭顺序和上面的相反

五 故障切换测试

192.168.20.237 执行
/usr/local/mfs/sbin/mfsmaster stop
192.168.20.237日志截图



192.168.20.38 日志截图


续上图



六 参考资料
moosefs官网 http://www.moosefs.org/
ChinaUnix   http://bbs.chinaunix.net/thread-1644309-1-1.html
笔者 QQ 87179505

七 资料下载
下载的内容为keepalived 检测mfsmaster 状态的文件 脚本中定义的使用路径是 /root 也请放在这个路径下