2019-06-19

1. awk三剑客命令概述

# which awk--------查看awk在哪个目录下

显示： /usr/bin/awk

# ll /usr/bin/awk

显示： lrwxrwxrwx. 1 root root 4 May 31 16:06 /usr/bin/awk -> gawk ------查看awk更详细的信息

# man awk

显示： gawk - pattern scanning and processing language

解析：模式扫描（条件匹配）and 程序语言

awk: 擅长取列擅长统计分析（nginx zabbix tomcat ... SSH）ELK awk

03. awk三剑客命令执行原理

参见示意图

04. awk三件可命令语法结构

awk [参数] '模式(条件){动作}(指令)' 文件信息

05. awk三剑客命令实践操作：查询排除替换

部署准备环境

cat > oldboy.txt <

Zhang Dandan 41117397 :250:100:175

Zhang Xiaoyu 390320151 :155:90:201

Meng Feixue 80042789 :250:60:50

Wu Waiwai 70271111 :250:80:75

Liu Bingbing 41117483 :250:100:175

Wang Xiaoai 3515064655 :50:95:135

Zi Gege 1986787350 :250:168:200

Li Youjiu 918391635 :175:75:300

Lao Nanhai 918391635 :250:100:175

EOF

2. 实践操作练习：

01. 显示xiaoyu的姓氏和ID号码

# awk '/Xiaoyu/{print $1 $3}' oldboy.txt

Zhang390320151

# awk '/Xiaoyu/{print $1,$3}' oldboy.txt

Zhang 390320151

# awk '/Xiaoyu/{print $1" "$3}' oldboy.txt

Zhang 390320151

按照指定列进行搜索信息Xiaoyu 问题是内容中有两个Xiaoyu

# awk '/Xiaoyu/' oldboy.txt --- 将匹配信息的行直接显示

Zhang Xiaoyu 390320151 :155:90:201

Xiaoyu zhang 390320151 :155:90:201

# awk '$2~/Xiaoyu/' oldboy.txt --- 指定列信息匹配解决方法

Zhang Xiaoyu 390320151 :155:90:201

# awk '$2!~/Xiaoyu/' oldboy.txt ----表示将指定列信息取返

Zhang Dandan 41117397 :250:100:175

Xiaoyu zhang 390320151 :155:90:201

Meng Feixue 80042789 :250:60:50

Wu Waiwai 70271111 :250:80:75

Liu Bingbing 41117483 :250:100:175

Wang Xiaoai 3515064655 :50:95:135

Zi Gege 1986787350 :250:168:200

Li Youjiu 918391635 :175:75:300

Lao Nanhai 918391635 :250:100:175

显示xiaoyu的姓氏和ID号：满足要求，正确语法格式

# awk '$2~/Xiaoyu/{print $1,$3}' oldboy.txt

Zhang 390320151

PS：awk命令默认区分大小写不需要加i 没有类似grep命令 -i参数功能

02.姓氏是zhang的人,显示他的第二次捐款金额及他的名字

第一历程：找出姓氏是张的人

# awk '$1~/Zhang/' oldboy.txt

Zhang Dandan 41117397 :250:100:175

Zhang Xiaoyu 390320151 :155:90:201

第二历程：显示出名字信息和所有捐款记录

# awk '$1~/Zhang/{print $2,$4}' oldboy.txt

Dandan :250:100:175

Xiaoyu :155:90:201

PS：在使用-F的参数下，awk默认使用空格进行作为列分隔符

第三历程：指定字符信息作为分隔符

# awk -F "[: ]+" '$1~/Zhang/{print $2,$5}' oldboy.txt

Dandan 100

Xiaoyu 90

总结：

01. awk默认使用空格分隔列

02. 可以使用-F 指定分隔列的符号信息

03. 利用-F "[: ]+" +表示将多个连续的分隔符汇总为一个整体

03. 显示所有以41开头的ID号码的人的全名和ID号码

第一个历程：找出匹配id号码是41开头的行信息 --- 找出东西（模式写好）

# awk '$3~/^41/' oldboy.txt

Zhang Dandan 41117397 :250:100:175

Liu Bingbing 41117483 :250:100:175

第二个历程：显示出人的全名和 ID号码 --- 对找出东西进行处理（执行动作）

# awk '$3~/^41/{print $1,$2,$3}' oldboy.txt|column -t

Zhang Dandan 41117397

Liu Bingbing 41117483

04. 显示所有ID号码最后一位数字是1或5的人的全名

第一个历程：找出id号码以1或5结尾信息 --- 找出信息

方法一：awk '$3~/1$|5$/' oldboy.txt

方法二：awk '$3~/[15]$/' oldboy.txt

第二个历程：显示全名信息 --- 找出信息做处理

awk '$3~/[15]$/{print $1,$2}' oldboy.txt|column -t

05. 显示文件中第二行，第三列的信息

第一个历程：匹配第二行

# awk 'NR==2' oldboy.txt

Zhang Xiaoyu 390320151 :155:90:201

第二个历程：显示第三列

awk 'NR==2{print $3}' oldboy.txt

测试. 利用awk取出IP地址信息（grep sed）

第一个历程：定位有IP地址的行 --- 找出信息

ip a s eth0|awk 'NR==3'

inet 10.0.0.201/24 brd 10.0.0.255 scope global eth0

第二个历程：只显示IP地址 --- 做处理为什么是三前面和后面都有隐藏一个^ $

ip a s eth0|awk -F "[ /]+" 'NR==3{print $3}'

10.0.0.201

说明：在不指定-F参数信息，

1. 默认将多个连续的空格汇总为整体

2. 默认将一行头部开始空格信息忽略不计

ip a s eth0|awk -F "[^0-9.]+" 'NR==3{print $2}'

10.0.0.201

06. 显示Xiaoyu的捐款,每个捐款数值都有以$开头, 如$110$220$330

方法一：

# awk -F "[:]" '$2~/Xiaoyu/{print "$"$2"$"$3"$"$4}' oldboy.txt ？？？

$155$90$201

方法二：

# awk '$2~/Xiaoyu/{print $4}' oldboy.txt|sed 's#:#$#g'

$155$90$201

# awk '$2~/Xiaoyu/{print $4}' oldboy.txt|tr ":" "$"

$155$90$201

方法三：awk替换功能 sed tr

gsub(/要替换的信息/,"替换成什么",将第几列进行替换)

# awk '$2~/Xiaoyu/{gsub(/:/,"$",$NF);print $NF}' oldboy.txt

$155$90$201

07.利用awk排除指定信息不要显示

awk '!/^$/' oldboy.txt

06. awk命令高级功能说明:

普通模式正则表达式作为模式＾　还可以表示某一列的开始

＄　还可以表示某一列的结尾

比较表达式作为模式:

# awk 'NR==1{print $NF}' oldboy.txt

:250:100:17

范围模式:

awk 'NR==1;NR==2' oldboy.txt --- 只查看第1和第2行

awk 'NR==1,NR==3' oldboy.txt --- 查看第一到第三行

特殊模式 BEGIN 在处理文件之前先执行的动作

1）生成文件内容表头信息

# awk 'BEGIN{print "姓氏","名称","id号码","捐款记录"}{print $0}' oldboy.txt |column -t

姓氏名称 id号码捐款记录

Zhang Dandan 41117397 :250:100:175

Zhang Xiaoyu 390320151 :155:90:201

Xiaoyu zhang 390320151 :155:90:201

Meng Feixue 800412789 :250:60:50

Wu Waiwai 70271111 :250:80:75

Liu Bingbing 41117483 :250:100:175

Wang Xiaoai 3515064655 :50:95:135

Zi Gege 1986787350 :250:168:200

Li Youjiu 918391635 :175:75:300

Lao Nanhai 918391635 :250:100:175

2）用于在系统中进行运算数值

awk 'BEGIN{print 2+3}'

3) 修改或设置变量信息

a awk命令中，会直接将字符串信息当成变量 $1 $NF $0(取一行中所有列)

# awk 'BEGIN{oldboy=62;print oldboy}' -------设置变量

# awk 'BEGIN{oldboy=62;print "oldboy"}' -----不想识别出变量

oldboy

自定义变量：oldboy=62

内置变量：

NF : 显示最后一列信息 $(NF-1) 取倒数第2列

NR : 表示行号信息，取出第几行 NR==2 NR>=2 NR<=2

FS : 指定分隔符信息 -F

# awk -F ":" 'NR==1{print $2}' oldboy.txt

250

# awk 'BEGIN{FS=":"}NR==1{print $2}' oldboy.txt

250

# awk -vFS=":" 'NR==1{print $2}' oldboy.txt

250

END 在处理文件之后再执行的动作 ***

1）显示表格补充信息

# awk 'BEGIN{print "姓氏","名称","id号码","捐款记录"}{print $0}END{print "总结：这是一个学生登记表"}' oldboy.txt|column

姓氏名称 id号码捐款记录

Zhang Dandan 41117397 :250:100:175

Zhang Xiaoyu 390320151 :155:90:201

Meng Feixue 800412789 :250:60:50

Wu Waiwai 70271111 :250:80:75

Liu Bingbing 41117483 :250:100:175

Wang Xiaoai 3515064655 :50:95:135

Zi Gege 1986787350 :250:168:200

Li Youjiu 918391635 :175:75:300

Lao Nanhai 918391635 :250:100:175

总结：这是一个学生登记表

2）显示计算的最终结果 OK

awk '/^$/{i=i+1}END{print i}' /etc/services

07. awk运算方法：

1）累加运算：a b c d 1+1+1+1

i=i+1 --> i++

练习题01：统计一个文件中有多少个空行

第一个历程：找出空行

awk '/^$/' /etc/services

第二个历程：做运算处理

# awk '/^$/{i=i+1;print i}' /etc/services

# awk '/^$/{i=i+1}END{print i}' /etc/services

练习题02：统计/etc/passwd文件中最后一列有/sbin/nologin的出现了多少次

[# awk -F ":" '$NF~/nologin$/{i++}END{print i}' /etc/passwd

# awk '/nologin$/{i++}END{print i}' /etc/passwd

2）求和运算: 10 20 30 60

i=i+$n

实践操作：

# seq 10|awk '{i=i+$1;print i}'

# seq 10|awk '{i=i+$1}END{print i}'

08. 课程知识总结：

1）awk三剑客命令概述

1）作用：擅长取列擅长统计运算

2）语法：awk 参数 '模式{动作}' oldboy.txt

模式：常用模式特殊模式（BEGIN END）

3）原理：

2）awk三剑客命令练习

6道题查（匹配信息）修改替换删除

awk命令参数：

-F : 指定分隔符号信息 ":" "[:/]" "[:/]+"

-v : 设置变量信息

awk命令动作：

print：打印输出信息空格 , " " 字符串 "oldboy" 变量信息 oldboy 指定列 $1 $NF $(NF-1) $0(所有列)

gsub：替换指定列的信息 gsub(/要替换的内容/,"替换成什么",$N)

计算：

累加运算：i=i+1 i++

求和运算：i=i+$n

awk内置变量：

FS NF NR

2019-06-19

你可能感兴趣的:(2019-06-19)