GFS分布式文件系统

GlusterFS简介

GlusterFS 是一个开源的分布式文件系统。它是由存储服务器，客户端，以及网络（既可以用NFS也可以用samba）网关组成，传统式老的分布式系统元服务器，原服务器保存存储节点的目录树信息。，一旦源服务器故障，所有的存储节点全部失效，GFS自身的机制根据定制策略，把数据存储在服务器上。现在GFS取消了元服务机制，数据横向扩展能力更强，可靠性更强，存储效率也更高。

GFS的特点

1	扩展性很强，性能也很出色
2	有高可用，可以自动对文件进行复制，多次复制，确保数据总是可以访问，哪怕是硬件故障也能进行访问。
3	它是一个全局同一的命名空间，所有节点都在一个分支的管理之下，客户端访问节点即可
4	弹性卷，类似于LVM()逻辑卷，不同硬盘不同分区，组成一个逻辑上的硬盘GFS是不同服务器上的硬盘分区，组成一个卷，可以动态扩容
5.	基于标准协议，GFS存储服务支持NFS,FTP,HTTP以及自身的GFS协议，应用程序可以直接使用数据，不需要做任何修改

GFS的名称组件术语

1	BRICK：存储块，存储服务器提供的用于物理存储的专用分区，也是GFS当中的基本存储单元，也是对外提供的存储目录，服务和目录的绝对路径组成。SERVER:EXPORT 如：格式：192.168.233.10:/opt/gfs    ，  Node1:/opt/gfs
2	volume 逻辑卷，一个逻辑卷就是一组brick的集合，类似于lvm,我们管理GFS就是管理这些卷
3	FUSE:GFS的内核模块，允许用户创建自己的文件系统
4	VFS：内核空间对用户提供的访问磁盘的接口，他是一个虚拟端口
5	服务端在每个存储节点上都要运行，名称叫做glusterd(后台管理进程)

工作流程

客户端通过VFS对外提供的虚拟端口进行通信，再通过FUSE内核模块确定数据是否在挂载点写入，之后将数据发送到GFS客户端并根据用户配置的策略将数据条带化或者镜像化处理，再通过网络转发给GFS服务，服务端接收到数据之后通过VFS写入到文件系统中，VFS和不同服务器上的不同节点通信，实现数据传输，也就是不同服务器上的不同硬盘

GFS的卷有哪些类型

1	条带卷(没了)
2	分布式卷，也是GFS的默认卷类型
3	复制卷(镜像化)
4	分布式复制卷(工作中用的最多的)

分布式卷的特点	文件数据通过HASH算法分布到所有BRICK SERVER上，它是GFS的默认卷(它的文件级别数据类似于raid0，没有容错机制),在分布式卷模式下，没有对文件进行分快，而是直接存储在server的节点上，存储效率也没有提高，它是直接使用本地文件系统进行存储
复制卷特点	类似于raid1,它会把文件同步在多个brick server上，读的性能很高，写的性能稍差，复制卷具备冗余，坏一个节点不影响数据，但要保存副本，磁盘利用率只有50%
分布式复制卷	两两复制，文件会在组内同步，不同的组之间数据未必同步，分布式复制卷是最常见的分布式文件存储方式，根据策略来决定存储文件是分布式的存储方式，分开存储，但是会进行复制，所以也拥有冗余的功能，但是磁盘利用率也只有50%

实验

systemctl stop firewalld
setenforce 0
#准备环境所有node节点上操作
cd /opt/
#创建一个自动磁盘分区脚本
vim /opt/fdisk.sh

#!/bin/bash
NEWDEV=`ls /dev/sd* | grep -o 'sd[b-z]' | uniq`
for VAR in $NEWDEV
do
   echo -e "n\np\n\n\n\nw\n" | fdisk /dev/$VAR &> /dev/null
   mkfs.xfs /dev/${VAR}"1" &> /dev/null
   mkdir -p /data/${VAR}"1" &> /dev/null
   echo "/dev/${VAR}"1" /data/${VAR}"1" xfs defaults 0 0" >> /etc/fstab
done
mount -a &> /dev/null

wq!

alias scan='echo "- - -" > /sys/class/scsi_host/host0/scan;echo "- - -" > /sys/class/scsi_host/host1/scan;echo "- - -" > /sys/class/scsi_host/host2/scan'
#磁盘刷新命令 scan

chmod +x /opt/fdisk.sh
#给权限给脚本可以执行
cd /opt/
./fdisk.sh
#执行脚本四个磁盘主机都要执行

hostnamectl set-hostname node1
hostnamectl set-hostname node2
hostnamectl set-hostname node3
hostnamectl set-hostname node4
#修改主机名

vim /etc/hosts
192.168.233.66 node1
192.168.233.67 node2
192.168.233.68 node3
192.168.233.69 node4
#修改ip映射
#或
echo "192.168.233.66 node1" >> /etc/hosts
echo "192.168.233.67 node2" >> /etc/hosts
echo "192.168.233.68 node3" >> /etc/hosts
echo "192.168.233.69 node4" >> /etc/hosts

#安装gluster
yum -y install centos-release-gluster
yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma
#4个磁盘主机同时安装
yum -y install glusterfs glusterfs-fuse
#客户机安装

#安装不上可以尝试一下
cd /etc/yum.repos.d/
mkdir backup
mv * backup/
cd backup
mv Centos-Gluster-9.repo /etc/yum.rpeos.d/
yum clean all && yum makecache
#操作完毕后尝试yum安装

gluster -V
#检查版本

主机1操作
systemctl restart glusterd
gluster peer probe node1

#四台主机同时操作
gluster peer status

#主机一
gluster volume create fenbushi node1:/data/sdb1 node2:/data/sdb1 force
#gluster volume create: 这个部分表示创建一个新的 GlusterFS 卷,dis-volume: 这是新卷的名称，你可以根据需要选择一个唯一的名称,node1:/data/sdb1 node2:/data/sdb1 卷将在两个节点 (node1 和 node2) 上创建，并使用这两个节点上的 /data/sdb1 目录作为卷的存储

gluster volume list
#查看卷列表
gluster volume start fenbushi
#启动新建分布式卷
gluster volume info fenbushi
#查看分布式的信息

#到客户端主机5上
systemctl stop firewalld
setenforce 0
yum -y install glusterfs glusterfs-fuse
vim /etc/hosts
192.168.233.66 node1
192.168.233.67 node2
192.168.233.68 node3
192.168.233.69 node4
wq!
#要和节点一致
mkdir -p /test/fenbushi

#临时挂载
mount.glusterfs node1:fenbushi /test/fenbushi/
#永久挂载
vim /etc/fstab
node1:fenbushi /test/fenbushi glusterfs defaults,_netdev 0 0
#依赖于网络，0 0 不复制，不检查
df -h
mount -a
#刷新一下挂载
cd /test/fenbushi
touch {1..5}.txt
#到node1 和node2 上面查询，会发现数据被分别存储在node1和node2上面


复制卷
主机1操作
gluster volume create fuzhijuan replica 2 node2:/data/sdc1 node3:/data/sdc1 force
#fuzhijuan名称可以自定义，replica为设置复制策略，2表示为两两复制，数字要小于等于存储节点，不能比存储节点多，否则会创建失败。

gluster volume start fuzhijuan
#打开复制卷

gluster volume info fuzhijuan
#查看一下复制卷的信息

#主机5
cd /test/ | mkdir fuzhijuan 
mount.glusterfs node1:fuzhijuan /test/fuzhijuan/
#临时挂载,所有node节点都通用
cd fuzhijuan/
touch {1..5}.txt
#到主机3和主机4的sdc1查看数据是否复制成功

分布式复制
#主机1操作
gluster volume create fenbufuzhi replica 2 node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force

gluster volume start fenbufuzhi

#到主机5客户端
mkdir fenbufuzhi
mount.glusterfs node1:fenbufuzhi /test/fenbufuzhi
#挂载
df -h
#挂载好就可以测试了


gluster volume status
#查看存储池，使用的节点

gluster volume stop fenbufuzhi
#先停止分布复制，停止分布复制会导致无法使用
gluster volume delete fenbufuzhi
#分布复制删除 ， 如果不重新创建分布复制要把挂载点删除，不能刷新挂载点，不然会报错

Volume set fenbufuzhi auth.reject 192.168.233.67
#拒绝67这个终端访问我，指定登录，默认是允许所有，客户端访问GFS卷，通过挂载的方式实现