KVM 高级功能部署实战

一、KVM 虚拟机迁移概述

1.1 迁移的定义与价值

KVM 虚拟机迁移是指将某一虚拟机的环境和软件完全复制到另一台物理机上继续运行的过程。这一技术在企业级虚拟化环境中具有重要价值，主要体现在以下几个方面：

• 优化系统负载：当某台宿主机负载过高时，可将部分虚拟机迁移到负载较低的宿主机，确保服务质量
• 资源整合：将多台低负载宿主机上的虚拟机集中到一台宿主机，提高资源利用率
• 硬件升级支持：在不中断业务的情况下对宿主机硬件进行升级
• 跨地域迁移：实现虚拟机的远程迁移，支持业务的灵活部署

1.2 迁移的分类与区别

根据迁移方式的不同，KVM 虚拟机迁移主要分为静态迁移和动态迁移两大类，二者的核心区别在于迁移过程中虚拟机服务是否中断：

• 静态迁移：需要先关闭虚拟机，迁移过程中服务不可用
• 动态迁移：虚拟机保持运行状态，服务中断时间极短甚至可以忽略

二、KVM 静态迁移实战

2.1 静态迁移的应用场景

静态迁移适用于以下场景：

• 虚拟机可以停机维护
• 磁盘文件存储在本地存储
• 对迁移时间没有严格要求

2.2 静态迁移的准备工作

在源宿主机 kvm01 上准备虚拟机 test01：

创建虚拟机：使用 virt-install 命令创建虚拟机，指定名称、内存、CPU、磁盘等参数

virt-install -n test01 -r 1024 --vcpus=1 --disk path=/data/store/test01.qcow2,size=10 -w bridge:br0 --virt-type=kvm --accelerate --autostart -c /data/iso/CentOS-7-x86_64-Minimal-1611.iso --vnc --vncport=5901 --vnclisten=0.0.0.0

配置 console 登录：修改内核参数，允许通过 virsh console 连接虚拟机

grubby --update-kernel=ALL --args="console=ttyS0"
reboot

记录 IP 地址：通过 virsh console 登录虚拟机，查看并记录 IP 地址

virsh console test01
ifconfig

2.3 静态迁移的执行过程

关闭虚拟机：在源宿主机上关闭待迁移的虚拟机

virsh shutdown test01

导出配置文件：导出虚拟机的 XML 配置文件

virsh dumpxml test01 > test01.xml

拷贝文件到目标宿主机：将配置文件和磁盘文件拷贝到目标宿主机 kvm02

scp test01.xml 192.168.9.62:/etc/libvirt/qemu/
scp /data/store/test01.qcow2 192.168.9.62:/data/store/

在目标宿主机定义并启动虚拟机：

virsh define /etc/libvirt/qemu/test01.xml
virsh start test01

验证迁移结果：登录虚拟机，确认 IP 地址等配置信息正确

virsh console test01
ifconfig

三、基于共享存储的动态迁移

3.1 共享存储动态迁移的特点

• 虚拟机在迁移过程中保持运行状态
• 需要源宿主机和目标宿主机连接共享存储
• 迁移过程中服务中断时间极短

3.2 NFS 共享存储的配置

安装 NFS 服务：在 kvmnfs 服务器上安装 NFS 服务

yum -y install nfs-utils

配置共享目录：在 /etc/exports 文件中配置共享目录及权限

/data 192.168.9.0/24(rw,sync,no_root_squash)

启动 NFS 服务：

systemctl enable nfs
systemctl enable rpcbind
systemctl start nfs
systemctl start rpcbind

3.3 挂载 NFS 共享目录

在宿主机上查看共享目录：

showmount -e 192.168.9.63

创建本地目录并挂载：

mkdir /data/kgc
mount -t nfs 192.168.9.63:/data /data/kgc

设置自动挂载：修改 /etc/fstab 文件，实现开机自动挂载

192.168.9.63:/data /data/kgc nfs defaults 0 0

3.4 动态迁移的执行过程

创建测试虚拟机：在源宿主机 kvm01 上创建虚拟机 test02，将磁盘存放在共享目录

virt-install -n test02 -r 1024 --vcpus=1 --disk path=/data/kgc/test02.qcow2,size=10 -w bridge:br0 --virt-type=kvm --accelerate --autostart -c /data/iso/CentOS-7-x86_64-Minimal-1611.iso --vnc --vncport=5902 --vnclisten=0.0.0.0

执行迁移命令：在源宿主机上执行动态迁移命令

virsh migrate --live --verbose test02 qemu+ssh://192.168.9.62/system tcp://192.168.9.62

处理可能的错误：如果出现缓存相关错误，修改虚拟机配置文件

virsh shutdown test02
virsh edit test02
# 在磁盘配置中添加cache='none'

virsh start test02

验证迁移结果：查看虚拟机在目标宿主机上的运行状态和 IP 地址

四、基于数据块的动态迁移

4.1 数据块动态迁移的优势

• 不需要共享存储，迁移环境更简单
• 源宿主机和目标宿主机只需保持网络连接
• 适用于本地存储的虚拟机在线迁移

4.2 依赖包的安装

安装 qemu-kvm-ev：在 kvm01 和 kvm02 上安装支持数据块迁移的包

yum -y install centos-release-qemu-ev
yum -y install qemu-kvm-ev

4.3 迁移前的准备工作

配置主机名解析：在 /etc/hosts 文件中添加主机名和 IP 的对应关系

192.168.9.61 kvm01
192.168.9.62 kvm02

准备目标宿主机：在 kvm02 上删除或重命名同名磁盘文件

virsh undefine test01
rm -rf /data/store/test01.qcow2

创建同名磁盘文件：在目标宿主机上创建与源虚拟机同名的空白磁盘

qemu-img create -f qcow2 /data/store/test01.qcow2 10G

4.4 执行数据块动态迁移

执行迁移命令：在源宿主机上执行包含数据块拷贝的迁移命令

virsh migrate test01 qemu+ssh://192.168.9.62/system --live --persistent --undefinesource --copy-storage-all --verbose

验证迁移结果：查看虚拟机在目标宿主机上的运行状态

五、KSM 内核同页合并技术

5.1 KSM 的工作原理

KSM（Kernel SamePage Merging）允许内核在两个或多个进程之间共享完全相同的内存页，通过以下方式工作：

• 扫描运行中的程序内存，查找相同的内存页
• 将相同的内存页合并为一个，标识为 "写时复制"
• 当进程需要修改合并的内存页时，复制出新的内存页供其使用

5.2 KSM 的配置与管理

检查系统对 KSM 的支持：

egrep -i ksm /boot/config-$(uname -r)
# 若结果包含CONFIG_KSM=y，则表示支持

1. KSM 相关配置文件：位于 /sys/kernel/mm/ksm/ 目录下，常用配置包括：
   • run：控制 ksmd 进程是否运行，1 为运行
   • pages_to_scan：每次扫描的内存页数
   • sleep_millisecs：ksmd 进程休眠时间
   • max_page_sharing：每个 KSM 页面允许的最大共享数量

5.3 启用 KSM 优化内存

1. 启动 KSM 服务：

systemctl start ksm
systemctl start ksmtuned

手动激活 KSM：确保 run 文件的值为 1

echo 1 > /sys/kernel/mm/ksm/run

观察内存优化效果：使用 free -m 命令对比启用 KSM 前后的内存使用情况

# 启用前
free -m
# 启用后等待一段时间再查看
free -m

六、实战总结与最佳实践

6.1 迁移方式的选择策略

• 静态迁移：适用于可停机的虚拟机，操作简单，对环境要求低
• 基于共享存储的动态迁移：适用于在线服务，需要配置共享存储
• 基于数据块的动态迁移：适用于本地存储的虚拟机在线迁移，需要额外安装包

6.2 KSM 使用的注意事项

• 适用场景：多个虚拟机运行相同或相似的操作系统和应用时效果最佳
• 性能权衡：KSM 会增加 CPU 负载，需要在内存节省和 CPU 开销之间找到平衡
• 交换空间：确保系统有足够的交换空间，防止内存过载

6.3 企业级部署建议

1. 规划迁移策略：根据业务重要性和可用性要求，制定不同的迁移方案
2. 测试迁移流程：在生产环境部署前，先在测试环境验证迁移过程
3. 监控迁移效果：迁移完成后，持续监控虚拟机的运行状态和性能指标
4. 定期优化内存：根据业务特点，合理配置 KSM 参数，定期查看内存优化效果

通过以上 KVM 高级功能的部署和实践，企业可以更高效地管理虚拟化资源，提高服务器利用率，同时保证业务的连续性和稳定性。在实际应用中，应根据具体的业务需求和环境特点，选择合适的迁移方式和内存优化策略，确保虚拟化平台的高效运行。

继续

KVM 高级功能扩展应用与优化实践

七、KVM 迁移高级配置与故障处理

7.1 动态迁移性能优化

7.1.1 迁移带宽控制

在大规模迁移场景中，合理控制迁移带宽可以避免对生产网络造成冲击：

# 在迁移命令中添加带宽限制（单位：KiB/s）
virsh migrate --live --verbose test02 qemu+ssh://192.168.9.62/system tcp://192.168.9.62 --speed 1048576

7.1.2 内存预拷贝次数调整

动态迁移采用 "预拷贝 + 停机拷贝" 机制，调整预拷贝次数可优化迁移时间：

# 修改虚拟机XML配置，增加预拷贝次数
virsh edit test02
# 添加以下参数到标签内

  
  
    
      
      
    
  

7.2 常见迁移故障与解决方案

7.2.1 网络连接问题

故障现象：迁移过程中出现 "Connection refused" 错误

解决方案：

检查源宿主机与目标宿主机的 SSH 互信配置

# 在源宿主机生成密钥对并复制到目标宿主机
ssh-keygen -t rsa
ssh-copy-id [email protected]

确认 libvirtd 服务允许远程连接

# 修改libvirtd配置文件
vim /etc/libvirt/libvirtd.conf
# 取消以下行的注释
listen_tls = 0
listen_tcp = 1
tcp_port = "16509"
listen_addr = "0.0.0.0"
# 重启服务
systemctl restart libvirtd

7.2.2 存储权限问题

故障现象：迁移时提示 "Permission denied"

解决方案：

检查 NFS 共享目录权限配置

# 确保NFS共享配置包含no_root_squash
vim /etc/exports
/data 192.168.9.0/24(rw,sync,no_root_squash)
# 重启NFS服务
systemctl restart nfs

验证宿主机挂载权限

# 卸载并重新挂载NFS目录
umount /data/kgc
mount -t nfs -o rw,nosuid,nodev 192.168.9.63:/data /data/kgc

八、KSM 深度优化与监控

8.1 KSM 参数调优实战

8.1.1 按需调整扫描频率

对于内存变化频繁的环境，可动态调整扫描频率：

# 设置每次扫描1000个内存页，扫描间隔500毫秒
echo 1000 > /sys/kernel/mm/ksm/pages_to_scan
echo 500 > /sys/kernel/mm/ksm/sleep_millisecs

# 查看当前KSM状态
cat /sys/kernel/mm/ksm/run
cat /sys/kernel/mm/ksm/pages_shared

8.1.2 跨 NUMA 节点合并优化

在多 NUMA 节点服务器上，合理配置合并策略：

# 禁止跨NUMA节点合并（降低访问延迟）
echo 0 > /sys/kernel/mm/ksm/merge_across_nodes

# 允许跨节点合并（最大化内存节省）
echo 1 > /sys/kernel/mm/ksm/merge_across_nodes

8.2 KSM 效果监控工具

8.2.1 系统级内存监控

使用 vmstat 和 sar 命令监控内存变化：

# 实时监控内存和swap使用情况
vmstat 5

# 查看过去1小时的内存统计
sar -r -f /var/log/sa/sa$(date +%d)

8.2.2 KSM 专用监控脚本

自定义脚本实时监控 KSM 合并效果：

#!/bin/bash
while true; do
  clear
  echo "===== KSM Status ====="
  date
  echo "---------------------"
  echo "Pages Shared: $(cat /sys/kernel/mm/ksm/pages_shared)"
  echo "Pages Sharing: $(cat /sys/kernel/mm/ksm/pages_sharing)"
  echo "Pages Unshared: $(cat /sys/kernel/mm/ksm/pages_unshared)"
  echo "Full Scans: $(cat /sys/kernel/mm/ksm/full_scans)"
  echo "---------------------"
  echo "System Memory:"
  free -m
  echo "---------------------"
  sleep 10
done

九、企业级 KVM 集群迁移方案

9.1 自动化迁移管理平台

9.1.1 基于 Libvirt 的 API 开发

使用 Python 开发自动化迁移脚本：

运行

#!/usr/bin/env python3
import libvirt
import time

# 连接源宿主机和目标宿主机
source_conn = libvirt.open("qemu:///system")
target_conn = libvirt.open("qemu+ssh://192.168.9.62/system")

# 获取虚拟机对象
vm = source_conn.lookupByName("test02")

# 定义迁移参数
flags = libvirt.VIR_MIGRATE_LIVE | libvirt.VIR_MIGRATE_PERSIST_DEST | libvirt.VIR_MIGRATE_TUNNELLED
uri = "qemu+ssh://192.168.9.62/system"

try:
    # 执行动态迁移
    vm.migrate(target_conn, uri, None, flags)
    print("迁移成功！")
except libvirt.libvirtError as e:
    print(f"迁移失败: {e}")
finally:
    # 关闭连接
    source_conn.close()
    target_conn.close()

9.1.2 与监控系统集成

将迁移功能与 Zabbix 监控系统集成，实现自动触发迁移：

1. 创建 Zabbix 触发器：当宿主机 CPU 利用率连续 15 分钟超过 80% 时触发
2. 配置 Zabbix 动作：执行迁移脚本，将高负载虚拟机迁移到其他宿主机
3. 迁移后自动更新监控项：修改虚拟机监控关联的宿主机对象

9.2 容灾备份与迁移策略

9.2.1 跨数据中心迁移方案

在跨数据中心场景中，需考虑以下因素：

• 网络延迟：使用 TCP_NODELAY 选项优化网络传输
• 带宽限制：通过 QoS 策略保证迁移带宽
• 存储同步：结合 DRBD 实现存储层同步

# 跨数据中心迁移命令示例
virsh migrate --live --verbose test02 qemu+ssh://dc2-host/system tcp://dc2-host --speed 2097152 --persistent

9.2.2 迁移与备份结合

制定 "迁移 + 备份" 策略应对迁移风险：

迁移前备份：使用 virt-snapshot 创建虚拟机快照

virsh snapshot-create-as test02 test02_backup

增量备份：迁移过程中使用 qemu-img track 记录磁盘变化

qemu-img create -f qcow2 -b /data/kgc/test02.qcow2 /data/kgc/test02_delta.qcow2

迁移失败回滚：若迁移失败，通过快照恢复虚拟机

virsh snapshot-revert test02 test02_backup

十、KVM 虚拟化性能优化综合方案

10.1 硬件级性能优化

10.1.1 CPU 透传与隔离

1. CPU 型号匹配：确保源宿主机与目标宿主机 CPU 型号一致

# 查看CPU型号
cat /proc/cpuinfo | grep "model name"

CPU 隔离：将虚拟机绑定到指定物理 CPU 核心

# 修改虚拟机XML配置
virsh edit test02

  2
  2
  2



  
  
    
    
  

10.1.2 内存大页支持

启用大页内存提升虚拟机性能：

# 设置大页数量（假设物理内存64GB，分配16GB大页）
echo 4096 > /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages

# 查看大页使用情况
cat /proc/meminfo | grep Huge

10.2 存储与网络优化

10.2.1 磁盘 I/O 优化

1. 使用 SSD 存储：将虚拟机磁盘放置在 SSD 存储上
2. 配置磁盘缓存策略：

# 修改虚拟机磁盘缓存为directsync
virsh edit test02

  
  
  

10.2.2 网络性能优化

1. 使用 SR-IOV 网卡：将物理网卡直接分配给虚拟机

# 修改虚拟机XML配置

  
  
  

1. 巨帧 (Jumbo Frames) 配置：

# 在宿主机和虚拟机中设置MTU为9000
ifconfig ens33 mtu 9000

十一、生产环境实战案例与经验总结

11.1 电商平台 KVM 迁移实践

11.1.1 大促前资源调度

某电商平台在大促前执行以下操作：

1. 提前 72 小时：使用基于共享存储的动态迁移，将非核心业务虚拟机迁移到备用宿主机
2. 大促前 24 小时：对核心业务虚拟机执行静态迁移，确保宿主机处于最佳状态
3. 大促期间：通过 KSM 合并相同业务虚拟机内存，节省 30% 以上内存资源

11.1.2 故障应急迁移

当某宿主机出现硬件故障前兆时：

1. 自动检测：Zabbix 监控发现宿主机磁盘错误率上升
2. 应急迁移：5 分钟内将该宿主机上的所有虚拟机动态迁移到其他宿主机
3. 故障隔离：迁移完成后将故障宿主机下线维修

11.2 金融行业 KVM 安全迁移方案

11.2.1 安全合规要求

金融行业迁移需满足以下安全要求：

• 迁移过程全程加密：使用 SSH 隧道传输数据
• 操作审计日志：记录所有迁移操作及参数
• 数据完整性校验：迁移前后校验磁盘文件哈希值

11.2.2 安全迁移实现

# 带加密的安全迁移命令
virsh migrate --live --verbose test02 qemu+ssh://192.168.9.62/system tcp://192.168.9.62 --encrypt --persistent

# 迁移前后校验磁盘哈希值
md5sum /data/kgc/test02.qcow2
# 迁移后在目标宿主机执行相同命令，对比哈希值

十二、KVM 未来技术趋势与扩展

12.1 容器与 KVM 融合迁移

12.1.1 Kata Containers 技术

Kata Containers 结合了容器的便捷性和 KVM 的隔离性，支持容器级迁移：

容器创建：使用 kata-runtime 创建容器

kata-runtime create mycontainer

容器迁移：使用 containerd 迁移命令

containerd ctr tasks migrate mycontainer remote-host:2376

12.2 边缘计算场景下的轻量级迁移

12.2.1 轻量级 KVM 迁移优化

在边缘计算场景中，针对资源受限设备的迁移优化：

• 增量迁移：只传输变化的内存页和磁盘块
• 带宽自适应：根据网络状况动态调整迁移速度
• 断点续传：支持迁移过程中断后继续传输

12.3 AI 驱动的智能迁移决策

未来 KVM 迁移将结合 AI 技术实现：

1. 负载预测：通过机器学习预测业务负载峰值，提前执行迁移
2. 智能路径选择：根据网络拓扑和资源利用率自动选择目标宿主机
3. 迁移风险评估：评估迁移过程对业务的影响，给出风险评分

总结与展望

KVM 虚拟化技术在企业级应用中已趋于成熟，通过静态迁移、动态迁移和 KSM 内存优化等高级功能，企业可以构建更高效、灵活的虚拟化基础设施。随着云计算、边缘计算和 AI 技术的发展，KVM 迁移技术将向智能化、自动化方向进一步演进，实现更精准的资源调度和更无缝的业务迁移