【linux】文本处理命令-grep、awk、sed使用（1）

作用：

1. grep数据查找定位
2. awk数据切片
3. sed数据修改

类比SQL：

1. grep=select *from table
2. awk=select field from table
3. sed=update table set field=new where field=old

一、grep

1.1 grep*

Unix的grep家族包括grep、egrep和fgrep。egrep和fgrep的命令只跟grep有很小不同。
linux使用GNU版本的grep。它功能更强，可以通过-G、-E、-F命令行选项来使用egrep和fgrep的功能。

grep [options] [pattern] [files]

[options]：

• -a,--text:将二进制文件作为文本文件处理。
• -c,--count:显示匹配行数，而不是行本身。
• -e pattern,--regexp=pattern:查找指定的模式,支持多个模式。
• -f file,--file=file：从文件中读取模式，每个模式占一行。
• -i,--ignore-case:忽略大小写。
• -l,--files-with-matches:只打印文件名，而不是行本身。
• -n,--line-number:在每行的前面打印行号。·-r,--recursive:遍历子目录中的文件。
• -v,--invert-match:输出不匹配的行。
• -x,--line-regexp:仅匹配整行。
• -w,--word-regexp:仅匹配整个单词。

[pattern] 通常是一个正则表达式，用于匹配指定的文本模式。
[files] 可以是若干个文件，也可以是目录。

例如：从目录下的文件搜索字符串所在目录和文件名

 例如：从目录下的递归搜索 字符串所在目录和文件名

1.2 扩展grep(grep -E 或者 egrep)*

三种方法：grep -E  或 egrep    或 在扩展元字符前面加\

 1.2 fgrep

二种方法：grep -F  或 fgrep 

fgrep 查询速度比grep命令快，但是不够灵活：它只能找固定的文本，而不是规则表达式。

fgrep 命令于 grep 和 egrep 命令不同，因为它搜索字符串而不是搜索匹配表达式的模式。fgrep 命令使用快速的压缩算法。

例如：如果你想在一个文件或者输出中找到包含root字符的行

二、awk

-awk运行处理规则的执行流程

1. BEGIN{}    : 最开始执行

2. //        : 正则

3. {}        : 循环体

4. END{} : 最后执行

这里面最少有一个，最多有四个！内置变量

-以下为awk内置变量：
          ARGC        命令行参数个数
          FILENAME    当前输入文档的名称
          FNR        当前输入文档的当前记录编号，尤其当有多个输入文档时有用
          NR        输入流的当前记录编号
          NF        当前记录的字段个数
          FS        字段分隔符
          OFS        输出字段分隔符，默认为空格
          ORS        输出记录分隔符，默认为换行符\n
          RS        输入记录分隔符，默认为换行符\n

例：指定多个字段分隔符(
# echo 'hello the:word,!' | >awk 'BEGIN {FS="[:, ]"} {print $1,$2,$3,$4}'

例： 取出建立mysql连接最多的IP地址
netstat -an|grep "10.0.10.176:3306" | grep ESTABLISHED | awk '{print $5}' | awk -F: '{print $1}'  | sort|uniq -c | more

例：取HTML标签head内容， 
awk -F' ' '/.*<\/head>/{print $0}' 0420.txt     
HTML标签head 开始和结束必须在 同一行 ，才可以完整输出，   awk 每次只读一行
例：获取请求返回的状态
curl -i -m 5 -s -w "%{http_code}\n"  http://192.168.120.119:8001 |awk -F' ' '/HTTP\/1.1 [0-9]{3} OK/{print $2}'

例：取出passwd.copy 文件里的root

awk -F: 'BEGIN{OFS=" | "}/root/{printf "|%-5d|%-15s|%-15s|\n",NR, $NF, $1}' passwd.copy 

注意陷阱： 一个awk 或其他命令 无法执行的时候，一定要注意特殊字符 
注意陷阱： 一个awk 或其他命令 无法执行的时候，一定要注意特殊字符
注意陷阱： 一个awk 或其他命令 无法执行的时候，一定要注意特殊字符 

三、sed

待补充……