Cephfs多用户隔离

背景

ceph 最新版本(jewel)中添加了对单机群多文件系统的支持, 官方表示虽然一直的 bug 均已得到修复, 但是这部分代码还不是非常稳定, 所以不是特别推荐使用. 在我们目前使用的版本(hammer)中, 每个 ceph 集群只能创建一个文件系统, 这当然很不理想. 但是 ceph 提供的一些特性使得我们也没必要建立多个文件系统. 而且维护多个文件系统也未必是好事儿.

1. 目录挂载

   在操作系统上挂载 cephfs 的时候我们可以只挂载文件系统的一部分----某个目录.

2. 基于 pool 的权限控制

   用户的读写权限可以基于 pool 来设置

3. 针对目录的 pool 设置(layout)

   可以指定某个目录及其子目录(文件)保存的 pool.

综合以上三个特性, 我们就可以将不同的目录绑定到不同的 data pool, 然后将不同的用户授予相应的 pool 的权限, 从而达到隔离的目的. 这有点类似于 mysql 中"数据库"的概念.

/mount/point/dirA --> poolA --> userA
            /dirB --> poolB --> userB
            /dir... --> pool... --> user...
            /dirN --> poolN --> userN

用到的命令

create pool

ceph osd pool create sns_data 64

add pool to mds

ceph mds add_data_pool sns_data

list pool detail

ceph osd pool ls detail

list fs detail

ceph fs ls

get layout of file or dir

# layout of dir
# 需要修改 stripe_count 才能参看目录的相关属性
$ setfattr -n ceph.dir.layout.stripe_count -v 2 /mnt/cephfs/trade
$ getfattr -n ceph.dir.layout /mnt/cephfs/trade/

# file: mnt/cephfs/bbb/
ceph.dir.layout="stripe_unit=4194304 stripe_count=2 object_size=4194304 pool=cephfs_data"
# 这里我们比较关注 layout 中的 pool 属性, 表示该目录所在的 pool

# layout of file
$ getfattr -n ceph.file.layout /mnt/cephfs/trade/a

# file: mnt/cephfs/sns/sns
ceph.file.layout="stripe_unit=4194304 stripe_count=1 object_size=4194304 pool=cephfs_data"
# 同样需要关注 pool 属性的值

change layout

setfattr -n ceph.dir.layout.pool -v sns_data /mnt/cephfs/sns/

add user

ceph auth get-or-create client.trade mon 'allow r' mds 'allow r, allow rw path=/trade' osd 'allow rw pool=cephfs_data'
# mds caps 可以针对路径进行授权, 但是如果两个目录存储在同一个 pool 上的话, 即便针对 path 授权似乎也没什么效果( hammer 不支持mds caps 中的 path 设置).
# osd caps 可以针对 pool 进行授权, 这个还是比较好使的, 但是要注意与前面的 path 保持一致.

modify user caps

# 添加用户的时候, 如果权限配置有问题, 不用担心, 可以修改的
ceph auth caps client.sns mds 'allow rw path=/sns/' mon 'allow r' osd 'allow rw pool=sns_data'

list user

# 可以查看用户权限以及 key string
ceph auth list

mount

mount -t ceph 192.168.80.136:6789:/ /mnt/cephfs/sns -o name=sns,secret=AQBaiwBYOAfbNBAA//etKk4yxgvNP7T+v0J63g==

get realtime status of ceph

ceph -w