Linux 日志分析核心命令速查表

一、IP 与访问量分析

1. 统计访问 IP 总数

bash

awk '{print $1}' log_file | sort | uniq | wc -l

1. 查看单个 IP 访问的页面

bash

grep ^111.111.111.111 log_file | awk '{print $1,$7}'

1. 按 IP 统计访问页数

bash

awk '{++S[$1]} END {for (a in S) print a,S[a]}' log_file | sort -n -t ' ' -k 2

1. IP 访问量排序（从小到大）

bash

awk '{++S[$1]} END {for (a in S) print S[a],a}' log_file | sort -n

1. Top 10 访问 IP

bash

cat access.log | awk '{print $1}' | sort | uniq -c | sort -nr | head -10

二、页面访问分析

1. 单个页面访问次数

bash

grep "/index.php" log_file | wc -l

1. Top 10 访问页面

bash

cat log_file | awk '{print $11}' | sort | uniq -c | sort -nr | head -10

1. 按子域名统计访问量

bash

cat access.log | awk '{print $11}' | sed -e 's/http:\/\///' -e 's/\/.*//' | sort | uniq -c | sort -rn | head -20

1. 过滤搜索引擎访问

bash

awk '{print $12,$1}' log_file | grep ^\"Mozilla | awk '{print $2}' | sort | uniq | wc -l

三、时间维度分析

1. 指定小时段 IP 访问量

bash

awk '{print $4,$1}' log_file | grep 16/Aug/2015:14 | awk '{print $2}' | sort | uniq | wc -l

1. 日期段内页面访问排名

bash

cat access.log | grep '04/May/2012' | awk '{print $11}' | sort | uniq -c | sort -nr | head -20

1. 小时级访问高峰时段

bash

awk -vFS="[:]" '{gsub("-.*","",$1);num[$2" "$1]++}END{for(i in num)print i,num[i]}' log_file | sort -n -k 3 -r | head -10

1. 分钟级访问峰值

bash

awk '{print $1}' access.log | grep "20/Mar/2011" | cut -c 14-18 | sort | uniq -c | sort -nr | head

四、性能与传输分析

1. 大文件传输记录（>200KB）

bash

cat www.access.log | awk '($10 > 200000 && $7~/\.php/){print $7}' | sort -n | uniq -c | sort -nr | head -100

1. 耗时页面排名（>60 秒）

bash

cat www.access.log | awk '($NF > 60 && $7~/\.php/){print $7}' | sort -n | uniq -c | sort -nr | head -100

1. 网站总流量统计（GB）

bash

cat access.log | awk '{sum+=$10} END {print sum/1024/1024/1024}'

1. PHP 页面传输时间排序

bash

cat log_file | awk '($7~/\.php/){print $NF " " $1 " " $4 " " $7}' | sort -nr | head -100

五、网络连接分析

1. Apache 并发连接数

bash

netstat -an | grep ESTABLISHED | wc -l

1. 80 端口总连接数

bash

netstat -nat | grep -i "80" | wc -l

1. IP 连接数与状态统计

bash

netstat -n | awk '/^tcp/ {n=split($(NF-1),array,":");if(n<=2)++S[array[(1)]];else++S[array[(4)]];++s[$NF];++N} END {for(a in S){printf("%-20s %s\n", a, S[a]);++I}printf("%-20s %s\n","TOTAL_IP",I);for(a in s) printf("%-20s %s\n",a, s[a]);printf("%-20s %s\n","TOTAL_LINK",N);}'

1. 每秒并发请求监控

bash

watch "awk '{if($9~/200|30|404/)COUNT[$4]++}END{for( a in COUNT) print a,COUNT[a]}' log_file | sort -k 2 -nr | head -n10"

六、错误与状态分析

1. 404 错误统计

bash

awk '($9 ~/404/)' access.log | awk '{print $9,$7}' | sort

1. HTTP 状态码分布

bash

cat access.log | awk '{counts[$(9)]+=1}; END {for(code in counts) print code, counts[code]}'

1. 状态码出现次数排序

bash

cat access.log | awk '{print $9}' | sort | uniq -c | sort -rn

七、进程与资源分析

1. 进程运行数量排序

bash

ps -ef | awk -F ' ' '{print $8 " " $9}' | sort | uniq -c | sort -nr | head -20

1. httpd 进程数统计

bash

ps -ef | grep httpd | wc -l

1. GET 请求计数

bash

cat apache.log | awk '{if($7~/GET/) count++}END{print "client_request="count}'

八、高级筛选示例

1. 特定时间段 URL 访问排名

bash

cat access.log | grep '04/May/2012' | awk '{print $11}' | sort | uniq -c | sort -nr | head -20

1. 含特定域名的访问 IP

bash

cat access_log | awk '($11~/\www.abc.com/){print $1}' | sort | uniq -c | sort -nr

1. 指定页面的 IP 访问记录（时间段）

bash

cat log_file | egrep '15/Aug/2015|16/Aug/2015' | awk '{if($7 == "/index.php?g=Member&m=Public&a=sendValidCode") print $1,$7}' | sort | uniq -c | sort -nr