速通Ceph分布式存储（含超详细图解）

前言 云计算存储架构图示例

存储节点集群

RAID控制层

物理存储层

分布式存储管理层

存储接口层

接入层

OSD 主机 1

OSD 主机 2

OSD 主机 N

磁盘 1

磁盘 2

磁盘 3

磁盘 4

磁盘 5

磁盘 6

RAID 0/10/5

RAID 控制器 1

RAID 0/10/5

RAID 控制器 2

RAID 0/10/5

RAID 控制器 N

Monitor
集群大脑

OSD
数据守护进程

MDS
元数据服务

对象存储

块存储

文件存储

对象网关

RBD

MDS

客户端

接入层

存储接口层

分布式存储管理层

存储节点

RAID 控制器

物理存储设备

存储层 (物理设备)

RAID层 (本地保护)

节点层 (物理主机)

管理层 (Ceph核心组件)

服务层 (存储类型)

接入层 (访问接口)

客户端层

磁盘 1

磁盘 2

磁盘 3

磁盘 4

磁盘 5

磁盘 6

RAID控制器 1

RAID控制器 2

RAID控制器 N

OSD主机 1

OSD主机 2

OSD主机 N

Monitor集群
状态管理

OSD集群
数据存储

MDS集群
元数据管理

对象存储服务

块存储服务

文件存储服务

对象网关
S3/Swift

RBD
块设备接口

CephFS
文件系统接口

应用程序/用户

第一章：存储世界的"变形金刚"登场

1.1 为什么需要分布式存储？

传统存储就像老式诺基亚手机——虽然耐用但功能单一。当你的数据量突破TB级时，集中式存储就会出现这些尴尬场景：

单点故障

硬盘爆满

性能瓶颈

访问延迟

扩容困难

推倒重来

而分布式存储就像乐高积木，既能横向扩展又能故障自愈。Ceph作为其中的佼佼者，能同时扮演三种角色：

• 对象存储：像网盘一样存照片
• 块存储：给虚拟机当硬盘
• 文件系统：当共享文件夹用

1.2 Ceph的"三头六臂"

这个2004年诞生的开源项目，堪称存储界的瑞士军刀：

• 无限扩展：从3节点到3000节点自由伸缩
• 自我修复：硬盘坏了也不怕，自动重建副本
• 智能大脑：CRUSH算法让数据分布更聪明
• 省钱利器：普通服务器就能搭建

第二章：Ceph的"人体解剖图"

2.1 核心组件三兄弟

60% 25% 15% Ceph组件占比 OSD Monitor MDS

2.1.1 OSD（对象存储守护进程）

• 每块硬盘对应一个OSD
• 负责数据读写和自我修复
• 像快递员一样奔波在数据之间

2.1.2 Monitor（监视器）

• 集群的"大脑"
• 维护集群状态地图
• 三个以上节点确保脑电波同步

2.1.3 MDS（元数据服务器）

• 专攻文件系统场景
• 记录文件"身份证信息"
• 类似图书馆的索引卡片

2.2 数据分布魔法——CRUSH算法

传统RAID像固定货架，CRUSH则是智能仓储系统：

客户端

计算存储位置

选择OSD组

数据分片存储

自动平衡负载

第三章：动手搭建你的第一个Ceph集群

3.1 准备工作

• 硬件要求：3台服务器（虚拟机也行）
• 网络配置：万兆网卡+独立存储网络
• 系统环境：CentOS 7+/Ubuntu 16.04+

3.2 安装步骤（精简版）

# 添加源
sudo apt-get install software-properties-common
add-apt-repository cloud-archive:ceph-nautilus

# 安装部署工具
sudo apt-get update && sudo apt-get install ceph-deploy

# 初始化监控节点
ceph-deploy new node1 node2 node3

# 安装Ceph软件
ceph-deploy install node1 node2 node3

# 部署监控服务
ceph-deploy mon create-initial

3.3 验证集群状态

ceph -s
# 看到类似输出说明成功
cluster:
    id:     abcdefg
    health: HEALTH_OK

第四章：Ceph的"七十二变"

4.1 对象存储玩法

用户 Ceph OSD 上传照片.jpg 自动分片存储 返回访问链接 用户 Ceph OSD

4.2 块存储实战

给Kubernetes集群扩容：

# 创建RBD镜像
rbd create kube-volume --size 102400

# 映射到节点
rbd map kube-volume --keyring /etc/ceph/ceph.client.admin.keyring

# 挂载使用
mkfs.ext4 /dev/rbd0
mount /dev/rbd0 /mnt

4.3 分布式文件系统

客户端

元数据

协调访问

第五章：调优秘籍与避坑指南

5.1 性能调优三板斧

1. 调整PG数量：osd default pg num = 256
2. 开启压缩：compression algorithm = snappy
3. 缓存分层：SSD做缓存层加速

5.2 常见坑点预警

问题现象	解决方案	来源
数据倾斜	重新平衡CRUSH权重
网络风暴	分离存储/管理网络
启动失败	检查时间同步

第六章：真实世界应用案例

6.1 云服务商场景

腾讯云使用Ceph提供弹性块存储：

OpenStack

统一存储后端

Kubernetes

Backup

6.2 视频监控解决方案

某安防公司部署案例：

• 1000路摄像头 → 2PB存储需求
• 采用Erasure Coding节省30%空间
• 自动故障转移保障录像不丢失

第七章：成为Ceph大师的进阶之路

7.1 推荐学习路径

基础操作 --> 架构原理 --> 性能调优 --> 源码分析

7.2 社区资源导航

• 官方文档：https://ceph.io/docs
• 中文社区：https://ceph.org.cn
• 每月技术沙龙：加入Gitter频道交流