linux系统资源分析 - 磁盘IO篇
目录
一、理解磁盘IO
二、普通文件IO调度
三、磁盘阵列
四、常用命令
4.1 iostat命令详解
五、综合案例(内存&IO)
一、理解磁盘IO
以超市结账为例，来理解磁盘IO的队列情况(结账付款时间 = 等待时间 + 服务时间)
- 交款总人数(排队的人数多，处理慢)
- 对应到IO，IO请求数多，我的系统处理能力怎么样？
- 个人买东西的数量(前面人买的东西多，处理慢)
- 对应到IO，单次写入量大 和 单次写入量小，处理能力怎么样？
- 结账人员熟练程度(收营员的处理能力)
- 对应到IO，系统不同的硬盘处理空间不一样，处理能力也不一样
- 超市队列的有几个(队列越多，处理能力越快)
- 对应到IO，有几个IO队列？
- 该队列有人在等待服务(一个队等的人多，一个队等的人少)
- 对应到IO，有多少请求在当前等待的？
- 其他条件影响(活动 [超市促销] ，服务时间波动 [早上9点与晚上9点的区别] )等等...
总结：IO队列越少，处理能力越快。单次写入量少，处理能力越快
二、普通文件IO调度
存储通过网络进行传输。从文件系统开始 ---> 存储 ---> 磁盘文件系统 ---> 设备块层 ---> IO 调度层---> 最终写到磁盘空间
IO操作过程：
- 首先调用系统函数接口read() 或 write()
- 生成一次IO 请求
- 放入具体磁盘的IO队列中
三、磁盘阵列
如图，磁盘阵列情况。描述raid0、raid1、raid10、raid5 他们的一些关系，如下：
- 两块硬盘组成raid1。磁盘利用率，完全备份冗余，各50%
- raid0 只保证了效率，没有备份，没有冗余
针对上面两种情况，出现raid10，raid1 安全性(完全冗余备份)，raid0(随机型，通过两边来提效)，最终raid10 既有容量，也有速度 【牺牲容量，来换速度】
上图中的raid5，通过一块磁盘冗余，其他磁盘工作 【disk0做冗余，其他3块磁盘都用来写】
四、常用命令
- df -h # 显示磁盘和文件信息
- du -sh * # 统计当前目录下每个文件或者目录的大小
- du -sh * | grep M # 按文件大小排序
- mount # 挂载光盘(衍生挂载远端的共享文件)
- mount -t nfs 10.6.157.67:/home/work/ /home/lwan/workspace 【实现远端的挂载】
如果是挂载远端文件会对哪些地方有影响？
- 首先要读要写， IO有影响
- 挂载的文件读远端的东西，以及要写，写了之后要同步，牵扯到sync 同步，牵扯到网络资源
- 分析的时候，要根据不同的情况，分成本地IO和网络IO来进行分析
什么时候用挂载，挂载能解决什么问题？
- 文件共享
- 文件资源上的问题
- 镜像文件【rpm包，代码，日志，系统应用】
- 磁盘不足
- 硬盘空间只有2个G，挂一个1T的硬盘，可以往1T的硬盘随便写
找到大文件(500MBfile文件)，如果磁盘已经100%了，应该怎么删除？
rm -rf 500MBfile是否正确？如果这样删，会发现空间还是没有释放。节点映射的文件并没有真正的删除(软硬连接)
正确的删除方法是：> 500MBfile # 用覆盖的方法把文件给删除，磁盘文件清除掉
4.1 iostat命令详解
-x 显示扩展的统计信息 -k 显示统计数据字节每秒 -d 显示设备利用率报告
- rkB/s 和 wkB/s 读 和 写 的速率
- 与IO超市模型哪个条件关联上？ --->与个人买东西的数量(单次写入量的大小)有关
- r/s 和 w/s 每秒向该设备发出的 读 和 写请求数
- 与IO超市模型哪个条件关联上？ --->与交款总人数(发了多少次请求)有关
- avgqu-sz 该设备的请求队列的平均长度，avgrq-sz 读请求的平均大小(单位是扇区)
- 与IO超市模型哪个条件关联上？ --->超市队列有几个队列
- svctm 设备的平均服务时间(毫秒为单位)
- 与IO超市模型哪个条件关联上？ --->结账人员熟练程度(系统不同的硬盘处理空间不一样，处理能力也不一样)
- await 设备发出I/O请求经过的平均时间(毫秒为单位)【这里是服务时间与队列中的等待时间的总和】
- %util 在I/O请求发送到设备期间，占用CPU时间的百分比。用于显示设备的带宽利用率。当这个值接近100%时，表示设备带宽已经占满
根据上面各字段的解释，可以得出以下几个问题的思考：
该队列等了多久(有多少请求在当前等待的)？【await-svctm 请求经过的平均时间 - 平均服务时长】
- await 越小越好
- await = svctm # 说明系统在处理数据的时候，没有等待过，最好
根据上图，可以得出队列的等待时间，为 4.17ms - 1.14ms =3.03ms。3.03ms的值越大越好，还是越小越好？ 结论是，越小越好，说明请求快，处理能力也同样快
举例理解上述结论：如果写10M数据，希望await - svctm 是1ms处理完好，还是1000ms处理完好？结论当然是1ms处理完好，说明处理数据快。
五、综合案例(内存&IO)
案例1：top 命令中的RES + Swap 是进程实际使用的内存，VIRT（对应的是虚拟地址空间），VIRT如何理解与分析？
举例说明(买房子，总价100W)，可选方案：
- 首付3成 30W
- 现金20W(free +buff/cache)，借同事10W(swap)
- 现金25W，借同事5W
- 首付6成 60W
- 全款 100W
cat /proc/1/status【该命令下，有以下重要信息】
结合上面举例说明的故事(买房)，VIRT反应的是总帐。比如程序在申请进程的时候，申请了300M，实际用了1个G，VIRT对应的是总账。
- VmPeak 峰值，反应进程最终占用峰值的内存(类似于买房需要缴税)
- Vmsize 反应进程需要用到的总内存数(类似于房子的总价)
- VmRSS与VmSwap 反应的是系统怎么组合来满足进程实际需要用到的内存(类似于买房你是首付，还是全款)
VIRT的作用：
通过举例，比如买房，买车，日常开支。可以得出，我们最大能用到的钱(内存)都是 mem.total +swap.total(最大200W)，需要一个整体预估的值(如买房预估210W，实际只花了100W)
系统参数需要设置，允许超过设置申请内存 swap + mem 【sar -r 1】%commit
- vm.overcommit_memory =0【默认是0】【2 是永远不可以overcommit】
案例2：根据下图，我们可以对IO进行分析并得出哪些结论
- 在同等情况下，await 等待时间越短越好，处理能力越好
- 请求多相同的情况下，还要衡量他们的差异(如svctm服务时长，为什么相差2.5Ms)，需要去分析原因：
- 有可能是IO完成以后唤醒CPU等待时间太长
- await 相同说明任务队列长度
- svctm有可能是"叫号"的时间，2.5svctm有可能是正在处理的服务时间(具体问题具体分析)
根据上述原因，去分析和优化，因为等待和处理是一个完整的请求。
- 两组对比出来，下面一组IO块设备处理能力强，但CPU能力弱。上面一组，IO块设备处理能力弱(主要留意svctm上下组之间的差异，比如相差5，10倍等就比较明显异常)
- 也不是绝对的说，await接近或等于svctm就一定好(相同的情况下，有些可能花在流程上的时间比较长，有些可能从队列到服务池所花费的时间比较长)，这些场景都需要去优化
案例3：对于超市(IO)队列的理解
- 队列越多越好，还是越少越好？队列长度(avgqu-sz) --->越少越好
- 0等待最好，队列少好，说明处理能力强
- 同等情况下，avgqu-sz等的越多，表示排的越长，说明处理能力差
- 平均的请求队列(avgrq-sz)
同样是排两个队，第一个来了1380人，而第二个来了380，服务时间和等待时间都一样，所以说明，第一个处理能力最好
- IO监控时，首先当%util 比较大时，需要去关注，再去详细的分析命令下的其他细分指标
- top中的wa指标与iostat %util的区别
- 都反应了IO的实时情况，但在做IO分析时，iostat的实时数据，信号会更强烈一些
- IO最终反应到程序上面，甚至反应到文件上
- 跟处理能力有关系(是持续性的，还是波动性的)
当观察IO系统很忙时，如何下一步分析(找进程、找文件)：
- 找进程【dstat --top -io 、 iotop】
- 也可以通过isof 命令找文件变化最大的，在找进程
- 找文件【两个方法】
- 方法一：
- echo 1 > /proc/sys/vm/block_dump 【改内核，dump下设备块的写入信息】
- dmesg -c > diskio.log 【执行内核命令，把内核的数据写到一个文件中去】
- 方法二
- 找到进程后，通过shell脚本模拟IO写数据
- for((i =1; i<100000;i++))；do echo $i >>log.txt sleep 1; done
- px aux |grep 进程
- strace -ttt -f -p 进程号
- 找到进程后，通过shell脚本模拟IO写数据
- 方法一：
关键字 open write read 等，就能知道该进程下在对文件进行什么样的操作，获得文件
通过上述命令，就可以对IO进行监控分析。