shell编程之正则表达式

Shell 中的正则表达式（Regular Expression）是一种强大的文本处理工具，它允许你按照特定的模式匹配和查找文本。在 Shell 脚本和命令行工具（如 grep、sed、awk 等）中，正则表达式被广泛应用。

一、基本语法

正则表达式由普通字符（例如，a 到 z 之间的字母）和特殊字符（称为“元字符”）组成。以下是 Shell 正则表达式中的一些常用元字符：

• .：匹配任意单个字符。
• ^：匹配行首。
• $：匹配行尾。
• *：匹配前面的字符零次或多次。
• +：匹配前面的字符一次或多次（在某些 Shell 环境中，如 grep -E 或 egrep 中才支持）。
• ?：匹配前面的字符零次或一次（在某些 Shell 环境中，如 grep -E 或 egrep 中才支持）。
• {n}：匹配前面的字符恰好 n 次。
• {n,}：匹配前面的字符至少 n 次。
• {n,m}：匹配前面的字符至少 n 次，但不超过 m 次。
• []：匹配括号内的任意单个字符，例如 [abc] 匹配 a、b 或 c。
• [^...]：匹配不在括号内的任意单个字符，例如 [^abc] 匹配除了 a、b 和 c 之外的任意字符。
• |：表示逻辑或（在某些 Shell 环境中，如 grep -E 或 egrep 中才支持）。
• ()：用于分组（在某些 Shell 环境中，如 grep -P 或使用 Perl 兼容正则表达式时才支持）。
• \：转义字符，用于取消元字符的特殊含义，或表示特殊字符本身（如 \n 表示换行符）。

二、常用示例

2.1、基本匹配

1. 匹配包含特定字符串的行

   • 查找包含“root”字符串的行：cat /etc/passwd | grep root

2. 匹配以特定字符开头的行

   • 查找以“a”字符开头的行：cat /etc/passwd | grep ^a

3. 匹配以特定字符结尾的行

   • 查找以“e”字符结尾的行：cat /etc/passwd | grep e$

4. 匹配任意单个字符

   • 查找以“r”开头，“t”结尾，中间包含任意两个字符的行：cat /etc/passwd | grep r..t

5. 匹配特定范围内的字符

   • 查找包含数字6或8的行（这里使用了方括号表示字符范围）：cat /some/file | grep [68]

   • 查找包含一个0到9之间的数字的行：cat /some/file | grep [0-9]

2.2、特殊字符和转义

1. 匹配任意长度的数字字符串

   • 使用星号（*）匹配任意长度的数字字符串：cat /some/file | grep [0-9]*

2. 匹配特定字符并转义

   • 查找包含“”符号的行（需要使用反斜杠进行转义）：‘cat/scripts/nt​est.sh∣grep′ '`

3. 匹配不包含特定字符串的行

   • 使用grep的-v选项查找不包含“QP”字符串的行：ls -lR ./OutResult/ | grep -v 'QP'

2.3、分组和预搜索

1. 分组匹配

   • 使用圆括号进行分组匹配，并提取文本中的一部分内容。例如，查找以“a”开头，“in”结尾，中间包含任意字符的行，并提取中间的内容：cat /etc/passwd | grep '^a.*in$'（注意，这里并没有直接提取中间内容，但分组的概念可以用于更复杂的正则表达式中）

2. 正向预搜索

   • 使用正向预搜索（?=pattern）查找不匹配特定模式的字符串开始处。例如，查找不以“QP”开头的以“svac2”结尾的行：ls -lR | grep -E '((?!QP).).*svac2$'

2.4、实际案例

1. 归档脚本中的正则表达式

   • 在归档脚本中，可以使用正则表达式来匹配和过滤文件名。例如，根据日期模式匹配归档文件名：FILE=archive_${DIR_NAME}_$(date +%y%m%d).tar.gz

2. 使用awk和cut进行文本处理

   • 结合awk和cut命令，使用正则表达式进行文本处理。例如，使用awk提取passwd文件中以“root”开头的行的第七列：cat /etc/passwd | awk -F ":" '/^root/ {print $7}'

   • 使用cut命令从文件中剪切数据。例如，从passwd文件中提取以“bash”结尾的行的第一、六、七列：cat /etc/passwd | grep bash | cut -d ":" -f 1,6,7

1. 匹配以 hello 开头的行：

   grep '^hello' filename

2. 匹配以 world 结尾的行：

   grep 'world$' filename

3. 匹配包含 a 或 b 的行（注意：在基本正则表达式中，| 需要通过 egrep 或 grep -E 来支持）：

   egrep 'a|b' filename
   # 或者
   grep -E 'a|b' filename

4. 匹配包含数字的行：

   grep '[0-9]' filename

5. 匹配不包含字母的行（即只包含数字、空格或其他非字母字符）：

   grep '^[^a-zA-Z]*$' filename

6. 匹配以 a 开头，后面跟着任意数量的字符，再以 z 结尾的行：

   grep '^a.*z$' filename

三、注意事项

• 在不同的 Shell 环境和工具中，正则表达式的支持程度可能有所不同。例如，grep 默认使用基本正则表达式（BRE），而 grep -E 或 egrep 使用扩展正则表达式（ERE）。grep -P 则支持 Perl 兼容正则表达式（PCRE）。
• 在使用正则表达式时，要注意转义字符的使用，特别是当正则表达式中包含 Shell 的特殊字符（如 *、?、[、]、(、)、|、^、$ 等）时。
• 正则表达式区分大小写。如果需要忽略大小写，可以使用 grep -i 选项。

掌握正则表达式的基本语法和用法，可以大大提高你在 Shell 脚本和命令行工具中处理文本的效率。