性能分析与调优: Linux 内存观测工具
目录
一、实验
1.环境
2.vmstat
3.PSI
4.swapon
5.sar
6.slabtop
7.numstat
8.ps
9.top
10.pmap
11.perf
12.bpftrace
二、问题
1.接口读写报错
2.slabtop如何安装
3.numactl如何安装
4.numad启动服务与关闭NUMA
5. perf如何安装
6. kernel-lt-doc与kernel-lt-tools-libs-devel如何安装
7.bpftrace如何安装
8. drsnoop如何使用
一、实验
1.环境
（1）主机
表1-1 主机
| 主机 | 架构 | 组件 | IP | 备注 |
| prometheus | 监测 系统 |
prometheus、node_exporter | 192.168.204.18 | |
| grafana | 监测GUI | grafana | 192.168.204.19 | |
| agent | 监测 主机 |
node_exporter | 192.168.204.20 |
（2）内存观测工具
表1-2 内存观测工具
| 序号 | 工具 | 描述 |
| 1 | vmstat | 虚拟内存和物理内存统计信息 |
| 2 | PSI | 内存压力滞留信息 |
| 3 | swapon | 交换设备使用率 |
| 4 | sar | 历史统计信息 |
| 5 | slabtop | 内核slab分配器统计信息 |
| 6 | numastat | NUMA分析 |
| 7 | ps | 进程状态 |
| 8 | top | 监测每个进程的内存使用率 |
| 9 | pmap | 进程地址空间统计信息 |
| 10 | perf | 内存PMC和跟踪点分析 |
| 11 | bpftrace | 用于内存分析的跟踪程序 |
2.vmstat
(1) 每秒1次，共5次输出
[root@agent ~]# vmstat 1 5
（2）-S 选项将输出单位修改为MB（m表示1 000 000， M表示 1 048 576）
[root@agent ~]# vmstat -Sm 1 5
[root@agent ~]# vmstat -SM 1 5
(3) -a 选项可以输出非活动inactive和活动页active缓存的明细
[root@agent ~]# vmstat -a 1 5
3.PSI
(1) 显示是否有内存压力，和过去5分钟内的变化情况
cat /proc/pressure/memory
some开头的一行显示了一些任务（线程）受到影响的时间，full开头的一行显示了所有可运行任务受到影响的时间
4.swapon
(1) 显示配置的交换设备以及使用率
[root@agent ~]# swapon
5.sar
(1) -B 换页统计信息
每秒1次，共5次
[root@agent ~]# sar -B 1 5
（2）-H 巨型页统计信息
每秒1次，共5次
[root@agent ~]# sar -H 1 5
（3）-r 内存使用率
每秒1次，共5次
[root@agent ~]# sar -r 1 5
（4）-S 交换空间统计信息
每秒1次，共5次
[root@agent ~]# sar -S 1 5
（5）-W 交换统计信息
[root@agent ~]# sar -W 1 5
6.slabtop
(1) 输出内核slab缓存使用情况
每5s显示一次
[root@agent ~]# slabtop -d 5
7.numstat
（1）查询CPU插槽系数
为非统一内存访问（NUMA）系统提供统计数据
[root@agent ~]# numastat
8.ps
(1) 列出包括内存使用同统计信息在内的所有进程细节
[root@agent ~]# ps aux
（2）数据列用SVR4 方式的-o选择
[root@agent ~]# ps -eo pid,pmem,vsz,rss,comm
9.top
(1) 显示内存使用统计信息
[root@agent ~]# top -o %MEM
10.pmap
(1) 列出一个进程的内存映射，显示其大小、权限和映射对象
[root@agent ~]# pmap -x 755
（2）-X 显示更多的细节
[root@agent ~]# pmap -X $(pgrep mysqld) | head -2
（3）-XX 显示内核提供的“一切”
[root@agent ~]# pmap -XX $(pgrep mysqld) | head -2
11.perf
(1) 采样整个系统的缺页（RSS增长）机器栈踪迹，按下CTRL+C组合键结束
[root@agent ~]# perf record -e page-faults -a -g
（2）记录pid为755的进程在60秒内发生的所有却也及其栈踪迹
[root@agent ~]# perf record -e page-faults -c 1 -p 755 -g -- sleep 60
（3）通过brk记录栈的增长，按下CTRL+C组合键结束
[root@agent ~]# perf record -e syscalls:sys_enter_brk -a -g
（4）记录NUMA系统上的页迁移情况
[root@agent ~]# perf record -e migrate:mm_migrate_pages -a
（5）使用栈踪迹来跟踪kswapd唤醒时间，按下CTRL+C组合键结束
[root@agent ~]# perf record -e vmscan:mm_vmscan_wakeup_kswapd -ag
12.bpftrace
(1)按代码路径对进程堆扩张情况（brk）计数
[root@agent ~]# bpftrace -e 'tracepoint:syscalls:sys_enter_brk { @[ustack,comm] = count(); }'
（2）按跟踪点对vmscan操作数量计数
[root@agent ~]# bpftrace -e 'tracepoint:vmscan:* { @[probe] = count(); }'
（3）按进程对swapins操作数量计数
[root@agent ~]# bpftrace -e 'kprobe:swap_readpage { @[comm,pid] = count(); }'
(4) 对页迁移数量计数
[root@agent ~]# bpftrace -e 'tracepoint:migrate:mm_migrate_pages { @ = count(); }'
（5）跟踪内存压缩事件
[root@agent ~]# bpftrace -e 't:compaction:mm_compaction_begin { time(); }'
（6）列出内核kmem的跟踪点
[root@agent ~]# bpftrace -l 't:mm_*'
（7）列出所有内存子系统（mm）的跟踪点
[root@agent ~]# bpftrace -l 't:mm_*'
二、问题
1.接口读写报错
（1）报错
提示“不支持的操作”或 "Operation not supported"
（2）原因分析
查看当前内核版本
5.4 版本的内核在 "psi_proc_init" 函数中没有进行 "psi_enable" 的判断，就直接创建了 "/proc" 下的这些文件，导致可以看到而不能使用。
（3）解决方法
此问题已在 5.6 版本里修复了，如下面的commit。
sched/psi: create /proc/pressure and /proc/pressure/{io|memory|cpu} o… · torvalds/linux@3d81768 · GitHub
2.slabtop如何安装
（1）安装
yum install procps-ng（2）使用
slabtop -d 5 #每5s显示一次
（3）参数
| 选项 | 说明 |
|---|---|
| -d n / --delay=n | 设置显示的时间间隔 |
| -s S / --sort=S | 设置排序规则。a，以活动对象数目排序；b，以每个slab对象数目排序；c，以缓存大小排序；l，以slab数量排序；v，以多动的slab排序；n，以名字排序；o，以对象数目排序；p，以每slab的页数排序；u，以缓存利用率排序 |
| -o /--once | 只显示一次，之后退出 |
| -V / --version | 显示版本信息，并且退出 |
| --help | 显示帮助信息，并且退出 |
设置排序规则
[root@agent ~]# slabtop -s S
只显示一次，之后退出
显示版本信息
[root@agent ~]# slabtop -V
显示帮助信息
[root@agent ~]# slabtop --help
3.numactl如何安装
（1）安装
yum -y install numactl
(2) 使用
numactl -H #查看当前服务器的NUMA配置。
（3）参数
--show:可以查看当前的numa策略，
-H：可以显示各Node中内存使用情况
--membind：只从某节点分配内存，当某节点内存不足，则会分配失败，格式：
numactl --membind=nodes program（nodes写你要分配的节点0或1或者其它节点数，后面是程序，可以写绝对路径，也可写服务启动脚本）
--numactl：把进程绑定到某节点上，用法如下：
numactl --cpunodebind=nodes program（nodes为Cpu节点，后面跟程序,）
--physcpubind:把进程绑定到某核心上，如果程序运行，用法如下(参数太长就简写了，其它简写参数自己Man)：
numactl -C 1,3 httpd
--localalloc:指令永远在当前节点分配内存，用法：
numactl -l httpd
--preferred：如果指定的内存无法分配足够的空间，可以指定去某一个节点的内存分配，格式如下：
numactl --preferred=0 http
4.numad启动服务与关闭NUMA
（1）numad
numad是一个自动numa亲和度管理进程。监控NUMA拓扑和资源使用，来动态提高NUMA资源分配和管理。
（2）启动命令
service numad start（3）关闭NUMA
方法一：通过bios关闭
BIOS:interleave = Disable / Enable
方法二：通过OS关闭
①编辑 /etc/default/grub 文件，加上：numa=off
GRUB_CMDLINE_LINUX="crashkernel=auto numa=off rd.lvm.lv=centos/root rd.lvm.lv=centos/swap rhgb quiet"
②重新生成 /etc/grub2.cfg 配置文件
grub2-mkconfig -o /etc/grub2.cfg
③ 重启操作系统
reboot④ 确认
# dmesg | grep -i numa
# cat /proc/cmdline
5. perf如何安装
（1）查看当前可用的内核发行版本
yum --disablerepo="*" --enablerepo="elrepo-kernel" list available
（2）安装
yum --enablerepo=elrepo-kernel install perf
6. kernel-lt-doc与kernel-lt-tools-libs-devel如何安装
(1)查看当前可用的内核发行版本
yum --disablerepo="*" --enablerepo="elrepo-kernel" list available
(2) 安装依赖包
yum --enablerepo=elrepo-kernel install kernel-lt-doc \
kernel-lt-tools-libs-devel
7.bpftrace如何安装
（1）查询
rpm -qa | grep bcc-static
rpm -qa | grep bcc-tools
rpm -qa | grep bpftrace
rpm -qa | grep bpftrace-tools
rpm -qa | grep bpftrace-doc
（2）添加repo
curl https://repos.baslab.org/rhel/7/bpftools/bpftools.repo --output /etc/yum.repos.d/bpftools.repo
（2）安装
yum install bpftrace bpftrace-tools bpftrace-doc bcc-static -y
8. drsnoop如何使用
(1) 跟踪通过直接回收释放内存的方法，显示受影响的进程和延时
drsnoop -T