Linux 性能调优之文件系统调优(Tuning file system utilization)

写在前面


  • 考试整理相关笔记
  • 博文内容涉及,文件系统常见调优手段
    • 不同文件系统格式适用场景分析,格式化选项,挂载日志策略调整
    • 日志和数据分离配置
    • fstrim 空间回收
  • 理解不足小伙伴帮忙指正

不必太纠结于当下,也不必太忧虑未来,当你经历过一些事情的时候,眼前的风景已经和从前不一样了。——村上春树


RHEL8 默认文件系统为 XFSExt4 依然是可以使用的文件系统方案。

  • XFS支持1PB的文件系统,单个文件大小限制为8EB
  • Ext4支持50TB的文件系统,单个文件大小限制为16TB

文件系统场景推荐:

XFS 适用场景:

  • 没有特定业务场景
  • 大型服务器
  • 大存储设备
  • 大文件
  • 多线程 I/O

ext4 适用场景:

  • 小文件
  • 单线程 I/O
  • 受限制的 I/O 能力(under 1000 IOPS)
  • 受限制的带宽(under 200MB/s)
  • 绑定 CPU 的业务
  • 支持离线缩减

fstrim 空间回收

当系统让硬盘中写入一个 3G 数据时,硬盘会真实拷贝数据,但是删除数据,则仅仅是给文件打了一个标签(所以拷贝数据很慢,删除数据极快)。

固态硬盘需要擦写旧数据才能写入新数据,新的固态硬盘,有很多空闲空间,数据写入速度比较快,但是随着使用量的增加,很多数据用户删除了,但是对于存储控制器而言,那些数据还在,需要写新数据时,就需要先擦除旧数据

使用fstrim可以回收已挂载的文件系统上所有未使用的块,XFS和ext4都支持fstrim,fstrim命令通常需要以超级用户(root)权限运行

RHEL 支持多种方式进行回收工作:

  • Batch discard:根据需要手动执行 fstrim 命令 fstrim /mountoint
  • Scheduled batch discard: 使用 fstrim.timer 计划任务粗发执行 fstrim 命令,每周对所有的挂载点执行,需要启动定时计划 systemctl enable --now fstrim.timer
  • Online discard: mount 挂载文件系统时定义的 discard 属性,文件系统在线实时自动运行回收
    • mount -o discard /dev/device /mountpoint
    • fstab 中的配置 dev/device /mountpoint xfs defaults,discard 0 0

第二种的方式, /usr/sbin/fstrim -av 用于同时对所有已挂载文件系统执行空间回收的 fstrim 命令。

┌──[[email protected]]-[/var/lib/libvirt/images]
└─$systemctl   enable   --now    fstrim.timer
Created symlink /etc/systemd/system/timers.target.wants/fstrim.timer → /usr/lib/systemd/system/fstrim.timer.
┌──[[email protected]]-[/var/lib/libvirt/images]
└─$systemctl cat fstrim.timer
# /usr/lib/systemd/system/fstrim.timer
[Unit]
Description=Discard unused blocks once a week
Documentation=man:fstrim

[Timer]
OnCalendar=weekly
AccuracySec=1h
Persistent=true

[Install]
WantedBy=timers.target
┌──[[email protected]]-[/var/lib/libvirt/images]
└─$systemctl cat fstrim.service
# /usr/lib/systemd/system/fstrim.service
[Unit]
Description=Discard unused blocks

[Service]
Type=oneshot
ExecStart=/usr/sbin/fstrim -av
┌──[[email protected]]-[/var/lib/libvirt/images]
└─$

红帽建议使用计划任务每周执行回收,或者根据需要手动执行回收操作。

文件系统格式化选项

XFS

inode size: 如果你需要使用 XFS 的扩展属性,则推荐将默认的 256 字节的 inode 大小修改为 512 字节

mkfs.xfs   -i  size=512   /dev/mydevice

block size: block size 默认值为 4096 字节,增加该值可以降低 I/O 次数,提升性能

mkfs.xfs -n size=8192 /dev/mydevice

RAID Alignment

d 选项,用于指定文件系统的数据块大小和数据块的条带宽度

mkfs.xfs -d su=512k,sw=2 /dev/myraid

ext4

inode size: 如果是小文件应用案例,并且不需要使用扩展属性,则可以降低inode size值,修改默认的256字节


mkfs.ext4  -I  128   /dev/mydevice           //大写字母i

extra_isize

开启扩展 metadata,默认是开启的,如果inode size小于256字节,无需扩展,使用下面的命令可以禁用该功能

mkfs.ext4  -O  ^extra_size   /dev/mydeivce

large_dir

开启该选项可以提升每个目录下的文件个数,该选项默认未开启

mkfs.ext4  -O  large_dir    /dev/mydevice

huge_file

支持大于2TB的文件,默认该属性是开启的,对于小文件的应用场景,可以通过下面的命令禁用该功能

mkfs.ext4  -O  ^huge_file     /dev/mydevice

RAID Alignment

mkfs.ext4  -E  stride=128,stripe-width=256   /dev/mydevice

文件系统挂载属性

通用挂载属性

  • atime:授权内核更新文件访问时间
  • relatime:如果文件或目录被修改,则更新文件的访问时间,否则,系统每天更新一次访问时间,而不是实时更新,默认该选项在XFS和ext4文件系统上是启用的。
  • noatime:不更新文件访问时间
  • nodiratime:不更新目录的访问时间

XFS 挂载选项

默认RHEL中已经预定义了一些挂载参数,但是还有一些参数需要根据具体的应用场景决定是否开启。

  • inode64: 将inodes放在离数据近的地方,以减少磁盘寻道时间。
  • logbsize=32K:log buffer size,默认值为32KB,可以修改为64K,128K,256K,logbsize=64K

ext4 挂载选项:

i_version:开启64位inode支持功能,对于扩展元数据属性很有用,默认该属性是禁用的。
journal_ioprio=: 定义journal(日志) I/O的优先级,范围0-7,0的优先级最高

管理文件系统日志

有日志的文件系统,可以加速数据恢复的效率。任何时候文件系统发生数据变化时,就会记录日志,当完成I/O操作后,再将日志记录删除。

因此,当计算机突然断电,需要进行数据恢复时,我们仅需要检查日志(必要时可以使用日志对数据进行恢复)和受日志影响的那部分文件系统,而不需要检查整个文件系统。

XFS文件系统提供了一个norecovery 挂载选项,当使用此选项挂载文件系统时,日志会被禁用,挂载XFS文件系统时禁用自动恢复(recovery)过程。如果文件系统的数据不干净(not cleanly),会出现数据一致性问题,有些文件或目录可能无法访问。使用norecovery选项挂载文件系统仅可以以只读方式挂载。

mount -o norecovery,ro /dev/<device> <mountpoint>

Ext3/Ext4文件系统的日志,可以分为三种工作模式,可以在mount挂载时,使用data=模式选项进行定义。文件在ext4文件系统中分两部分存储:metadatadatametadatadata的日志是分开管理的。

默认模式为 ordered

  • ordered:在这种模式下,只记录元数据的日志,而不记录数据的日志。当进行文件系统操作时,文件系统会先将需要修改的数据写入磁盘,然后再写入相应的元数据的日志。这样可以确保在写入元数据的日志之前,对应的数据已经持久化到磁盘上。这种模式提供了较好的数据一致性和良好的性能。
  • writeback:在这种模式下,只记录元数据的日志,而不记录数据的日志。与ordered模式不同,文件系统在进行文件系统操作时,会先将修改的数据写入内存缓存(而不是直接写入磁盘),然后再写入相应的元数据的日志。这种模式具有较高的性能,因为数据写入到内存缓存速度更快,但它也带来了较低的数据一致性,因为数据可能尚未刷新到磁盘上。
  • journal:在这种模式下,会提供完整的数据和元数据的日志记录。所有新的数据首先会被写入日志,然后再写入其最终位置。这种模式下的数据一致性最好,因为在发生崩溃或系统故障时,可以回放日志以恢复数据和元数据的一致性。然而,相对于前两种模式,journal模式的性能较差,因为每个写操作都需要先写入日志

日志和数据分离

默认XFS和ext4文件系统被创建时,日志会被放置在与文件系统相关的设备上,当出现大量随机写操作时,磁盘的IO压力比较大,我们可以通过将日志与数据分离的方式,来降低磁盘的IO压力,提高数据读写性能。

格式化挂载时分离

创建XFS文件系统时,可以使用logdev选项指定日志设备:

使用-l(小写L)指定日志选项,通过logdev设置日志磁盘为sdd1, sdc1为主文件系统磁盘

mkfs -t  xfs  -l  logdev=/dev/sdd1   /dev/sdc1

在mount挂载时,也必须指定日志磁盘的位置:

mount  -o  logdev=/dev/sdd1   /dev/sdc1  /mnt

Ext4文件系统指定独立日志磁盘的方式:

和XFS不一样,ext4文件系统不能在mount挂载的时候指定独立的日志设备

创建日志磁盘,block size为4KiB

mkfs  -t  ext4  -O  journal_dev   -b  4096   /dev/sdd1   

创建主文件系统sdc1,并指定日志设备为sdd1

mkfs  -t  ext4  -J  device=/dev/sdd1   -b  4096   /dev/sdc1   

注意:

ext4扩展日志文件系统要求,日志文件系统的 block 大小必须与主文件系统的block大小一致!最佳实践是推荐在做主文件系统时同时创建日志文件系统。

已存在日志的ext4系统做日志数据分离

假设sdc1是4G数据盘,sdd1是128M日志设备

将一个已经存在的ext4系统中的日志转换为独立的日志设备,首先需要查看现有文件系统的block大小:

tune2fs 是一个用于调整和修改 Ext2、Ext3 和 Ext4 文件系统参数的命令行工具。通过使用 tune2fs,您可以更改文件系统的各种属性和选项,以满足特定的需求。

┌──[[email protected]]-[/var/lib/libvirt/images]
└─$tune2fs -l /dev/sdc1
Block size:               4096

创建相同大小的日志文件系统,在 /dev/sdd1 上创建一个 Ext4 文件系统,并启用日志功能

[root@serverX ~]# mkfs  -t  ext4  -O journal_dev   /dev/sdd1

卸载文件系统:这将卸载 /dev/sdc1 文件系统,以便进行后续的文件系统调整。

[root@serverX ~]# umount   /dev/sdc1

修改文件系统特性:从 /dev/sdc1 文件系统中移除现有的日志特性,以便为其添加新的日志设备。

[root@serverX ~]# tune2fs  -O  '^has_journal'   /dev/sdc1          

添加日志设备:为 /dev/sdc1 文件系统添加一个日志设备,并使用 /dev/sdd1 作为日志设备。

[root@serverX ~]# tune2fs  -j  -J  device=/dev/sdd1   /dev/sdc1
#-j 添加日志设备,-J 指定日志设备的参数

博文部分内容参考

© 文中涉及参考链接内容版权归原作者所有,如有侵权请告知,这是一个开源项目,如果你认可它,不要吝啬星星哦


《 Red Hat Performance Tuning 442 》


© 2018-2024 [email protected], All rights reserved. 保持署名-非商用-相同方式共享(CC BY-NC-SA 4.0)

你可能感兴趣的:(Linux,性能调优,linux,运维,服务器)