Shell编程之正则表达式

文章目录

  • 引言
  • 一、正则表达式
    • 1、正则表达式概述
    • 2、基础正则表达式
    • 3、扩展正则表达式
  • 二、grep命令
    • 1、统计包含某个字符的文本行的行数
    • 2、不区分大小写查找the所有的行
    • 3、将非空行写入到文件中
    • 4、过滤出IP地址
  • 三、元字符操作案例
    • 1、查找特定字符
    • 2、查找特定集合字符
      • 2.1 查找既有i又有o的特殊字符
      • 2.2 查找单个重复字符
      • 2.3 查找oo前面不是R开头的行
      • 2.4 查找oo前面不是大小写字母开头的行
      • 2.5 查找包含数字的行
      • 2.6 查找除大小写字母开头的行
      • 2.7 查找以.结尾的行
    • 3、查找以w开头,以d结尾的行
    • 4、查找连续字符范围“{}”
      • 4.1 查询2个o的字符
      • 4.2 查询两个字母之间包含多个字符串的行
  • 四、cut、sort、uniq、tr
    • 1、cut-列截取工具
      • 1.1 查看/etc/passwd特定列
      • 1.2 查看当前登录用户的第3个字节
      • 1.3 查看文件中的字符位置
    • 2、sort-排序工具
      • 2.1 按字母排序
      • 2.2 按数字大小排序,以冒号作为分隔,给第3列排序
      • 2.3 反向排序
      • 2.4 将输结果不在屏幕上输出而是输出到指定文件
      • 2.5 去掉文件中重复的行(-u等同于uniq)
    • 3、uniq-去重工具
      • 3.1 统计重复行的次数
      • 3.2 结合sort去重
      • 3.3 查看用户登录的数据
    • 4、tr-修改工具
      • 4.1 将所有小写改成大写
      • 4.2 字母一一对应替换
      • 4.3 两边字符数量不对等
      • 4.4 字符替换成特殊字符
      • 4.5 删除字符
      • 4.6 对字符去重
  • 五、总结

引言

在编写处理字符串的程序或网页时,经常会有查找符合某些复杂规则的字符串的需要。正则表达式就是用于描述这些规则的工具。换句话说,正则表达式就是记录文本规则的代码。

一、正则表达式

1、正则表达式概述

  • 通常用于判断语句中,用来检查某一字符串是否满足某一格式
  • 正则表达式是由普通字符与元字符组成
  • 普通字符包括大小写字母、数字、标点符号及一些其他符号
  • 元字符是指在正则表达式中具有特殊意义的专用字符,可以用来规定其前导字符(即位于元字符前面的字符)在目标对象中的出现模式

Linux 中常用的有两种正则表达式引擎

  • 基础正则表达式:BRE
  • 扩展正则表达式:ERE
    Shell编程之正则表达式_第1张图片

2、基础正则表达式

基础正则表达式是常用的正则表达式部分,常用的元字符及作用如下表所示:
Shell编程之正则表达式_第2张图片
注意 egrep, awk使用{n}、{n,}、{n,m}匹配时“{}"前不用加“\”

   egrep -E -n 'wo{2}d' test.txt   -E用于显示文件中符合条件的字符
   egrep -E -n 'wo{2,3}d' test.txt

3、扩展正则表达式

  • 扩展正则表达式是对基础正则表达式的扩充和深化
  • 支持的工具有 egerp 和 awk
  • 扩展正则表达式元字符

Shell编程之正则表达式_第3张图片
定位符

  • ^ 匹配输入字符串开始的位置
  • $匹配输入字符串结尾的位置

非打印字符

  • \n匹配一个换行符
  • \r匹配一个回车符
  • \t匹配一个制表符

二、grep命令

grep命令使用正则表达式来搜索文本,并且把匹配的文本打印出来

格式:

grep [options] pattern [file]
 
option表示选项,pattern表示匹配的模式。file表示一系列文件名。

常用选项:

-c  只打印匹配的文本行的次数,不显示文本内容。
 
-i   匹配时忽略字母大小写
 
-h  当搜索多个文件,不显示匹配文件名前缀。
 
-l   只列出含义匹配的文本行的文件的文件名,不显示其具体匹配的内容。
 
-n  列出所有匹配的文本行,并显示行号
 
-s   不显示关于不存在或无法读取文件的错误信息
 
-v   只显示不匹配的文本行,反向选择,显示与搜索字符串不相符的行。
 
-w  匹配整个单词
 
-x   匹配整个文本行
 
-r   递归搜索,不仅搜索当前目录,还有各级子目录
 
-E   开启扩展(extend)的正则表达式
 
--color=auto 可以将找到的关键词部分加上颜色的显示

1、统计包含某个字符的文本行的行数

-c 只打印匹配的文本行的次数,不显示文本内容。
Shell编程之正则表达式_第4张图片

2、不区分大小写查找the所有的行

-i 匹配时忽略字母大小写
Shell编程之正则表达式_第5张图片

3、将非空行写入到文件中

Shell编程之正则表达式_第6张图片

4、过滤出IP地址

Shell编程之正则表达式_第7张图片

三、元字符操作案例

1、查找特定字符

查找出test文件中the的位置,其中“-n”表示显示行号、“-i”表示不区分大小写。命令执行后,符合匹配标准的字符, 字体颜色会变为红色。
Shell编程之正则表达式_第8张图片

2、查找特定集合字符

2.1 查找既有i又有o的特殊字符

想要查找“shirt”与“short”这两个字符串时,可以发现这两个字符串均包含“sh”与“rt”。此时执行以下命令即可同时查找到“shirt”与“short”这两个字符串,其中“[]”中无论有几个字符, 都仅代表一个字符,也就是说“[io]”表示匹配“i”或者“o”。
Shell编程之正则表达式_第9张图片

2.2 查找单个重复字符

查找重复字符,例如“oo”时,会显示两个o及两个o以上的行
Shell编程之正则表达式_第10张图片

2.3 查找oo前面不是R开头的行

从后往前看,例如当出现Rooot时,会显示这行,因为从后往前看oo前面还是o,符合条件
Shell编程之正则表达式_第11张图片

2.4 查找oo前面不是大小写字母开头的行

Shell编程之正则表达式_第12张图片

2.5 查找包含数字的行

Shell编程之正则表达式_第13张图片

2.6 查找除大小写字母开头的行

Shell编程之正则表达式_第14张图片

2.7 查找以.结尾的行

Shell编程之正则表达式_第15张图片

3、查找以w开头,以d结尾的行

Shell编程之正则表达式_第16张图片
Shell编程之正则表达式_第17张图片

4、查找连续字符范围“{}”

使用“{}”字符时,需要利用转义字符“\”,将“{}”字符转换成普通字符。

4.1 查询2个o的字符

Shell编程之正则表达式_第18张图片

4.2 查询两个字母之间包含多个字符串的行

Shell编程之正则表达式_第19张图片

四、cut、sort、uniq、tr

1、cut-列截取工具

  • cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段写至标准输出。
  • 如果不指定 File 参数,cut 命令将读取标准输入。必须指定 -b、-c 或 -f 标志之一
  • cut只擅长于处理单个字符为间隔的文本,-b只能分割字母,-c既可以分割字母也可以分割中文

选项

-b:按字节截取
 
-c:按字符截取,常用于中文
 
-d:指定以什么为分隔符截取,默认为制表符
 
-f:通常和-d一起

1.1 查看/etc/passwd特定列

Shell编程之正则表达式_第20张图片

1.2 查看当前登录用户的第3个字节

cut只擅长于处理单个字符为间隔的文本,-b只能分割字母,-c既可以分割字母也可以分割中文
Shell编程之正则表达式_第21张图片

1.3 查看文件中的字符位置

Shell编程之正则表达式_第22张图片

2、sort-排序工具

sort 是一个以行为单位对文件内容进行排序的工具,也可以根据不同的数据类型来排序。例如数据和字符的排序就不一样。

sort [选项] 参数

常用选项

-t:指定分隔符,默认使用[Tab]键或空格分隔
 
-k:指定排序区域,哪个区间排序
 
-n:按照数字进行排序,默认是以文字形式排序
 
-u:等同于 uniq,表示相同的数据仅显示一行,注意:如果行尾有空格去重就不成功
 
-r:反向排序,默认是升序,-r就是降序
 
-o:将排序后的结果转存至指定文件
 
-f: 忽略大小写,会将小写的字母都转换为大写字母来进行比较
 
-b: 忽略每行前面的空格

2.1 按字母排序

不加任何选项默认按第一列升序,字母的话就是从a到z由上而下显示
Shell编程之正则表达式_第23张图片

2.2 按数字大小排序,以冒号作为分隔,给第3列排序

Shell编程之正则表达式_第24张图片

2.3 反向排序

Shell编程之正则表达式_第25张图片

2.4 将输结果不在屏幕上输出而是输出到指定文件

Shell编程之正则表达式_第26张图片

2.5 去掉文件中重复的行(-u等同于uniq)

Shell编程之正则表达式_第27张图片

3、uniq-去重工具

主要用于去除连续的重复行

注意:是连续的行,所以通常和sort结合使用先排序使之变成连续的行再执行去重操作,否则不连续的重复行他不能去重

uniq [选项] 参数
 
-c:对重复的行进行计数;
 
-d:仅显示重复行;
 
-u:仅显示出现一次的行

3.1 统计重复行的次数

Shell编程之正则表达式_第28张图片

3.2 结合sort去重

Shell编程之正则表达式_第29张图片

3.3 查看用户登录的数据

Shell编程之正则表达式_第30张图片

4、tr-修改工具

  • 它可以用一个字符来替换另一个字符,或者可以完全除去一些字符,也可以用它来除去重复字符
  • 从标准输入中替换、缩减和/或删除字符,并将结果写到标准输出。

格式

tr [选项]… SET1 [SET2]

常用选项

-d 删除字符
 
-s 删除所有重复出现的字符,只保留第一个

4.1 将所有小写改成大写

Shell编程之正则表达式_第31张图片

4.2 字母一一对应替换

Shell编程之正则表达式_第32张图片

4.3 两边字符数量不对等

当两边字符数量不对等时,相同字符只识别后一个,剩下未对应的全是最后替换字符
Shell编程之正则表达式_第33张图片

4.4 字符替换成特殊字符

Shell编程之正则表达式_第34张图片
Shell编程之正则表达式_第35张图片
Shell编程之正则表达式_第36张图片

4.5 删除字符

Shell编程之正则表达式_第37张图片

4.6 对字符去重

Shell编程之正则表达式_第38张图片
Shell编程之正则表达式_第39张图片

五、总结

本文主要讲了基础正则表达式和扩展正则表达式元字符的用法,以及grep命令的用法和四种文本处理器常用的方法,四种文本处理器常用方法包括cut列截取工具、sort排序工具、uniq去重工具和tr修改工具。

你可能感兴趣的:(正则表达式,linux,unix)