常用文本处理命令---sort、uniq、tr、cut、split、eval

1 排序—sort

sort命令—以行为单位对文件内容进行排序，也可以根据不同的数据类型来排序比较原则是从首字符向后，依次按ASCII码值进行比较，最后将他们按升序输出。

语法格式
sort [选项] 参数
cat file | sort 选项

常用选项：

-n	按照数字进行排序
-r	反向排序
-u	等同于uniq，表示相同的数据仅显示一行
-t	指定字段分隔符，默认使用[Tab]键分隔
-k	指定排序字段
-o <输出文件>	将排序后的结果转存至指定文件
-f	忽略大小写，会将小写字母都转换为大写字母来进行比较
-b	忽略每行前面的空格

2 去重—uniq

uniq命令—用于报告或者忽略文件中连续的重复行，常与 sort 命令结合使用

语法格式：
uniq [选项] 参数
cat file | uniq 选项

常用选项：

-c	进行计数，并删除文件中重复出现的行
-d	仅显示连续的重复行
-u	仅显示出现一次的行

3 删除替换压缩—tr

tr命令—常用来对来自标准输入的字符进行替换、压缩和删除

语法格式：
tr [选项] [参数]

tr [选项] 参数1   参数2
         字符集1  字符集2

常用选项：

-c	保留字符集1的字符，其他的字符（包括换行符\n）用字符集2替换
-d	删除所有属于字符集1的字符
-s	将重复出现的字符串压缩为一个字符串；用字符集2替换字符集1
-t	字符集2替换字符集1，不加选项同结果
参数
字符集1：指定要转换或删除的原字符集。当执行转换操作时，必须使用参数 “字符集2” 指定转换的目标字符集。但执行删除操作时，不需要参数 “字符集2”
字符集2：指定要转换成的目标字符集

• -c：保留字符集1的字符，其他的字符
  
  注意：

echo -n 
echo -e "XXXXXXX\c"
除了以上两种方式输出的内容结尾不会携带换行符，echo其它输出方法都会在内容结尾默认携带一个换行符\n

• -s：将重复出现的字符串压缩为一个字符串
  
  
  案例一

[root@localhost ~]# tr 123 abc  //只要出现123 就转换成abc

[root@localhost ~]# tr 12345678 abc  //最后一个一直用
[root@localhost ~]# tr -d abc  //删除
2a34bc
234
[root@localhost ~]# tr -s " " 
1     2      3     4
1 2 3 4
[root@localhost ~]# tr -s "a"

案例二：删除空行的方法

方法一：grep -v "^$"  文件
方法二：cat 文件 | tr -s "\n"

案例三：面试题生成随机密码

[root@fyr ~]# cat /dev/urandom |tr -dc '[:alnum:]' | head -c12

案例四

[root@fyr ~]# cat 1.txt
aaaaa     11111
bbbbb     22222
[root@fyr ~]# cat 1.txt |tr -c "[a-z]" " "  //用 空格替换除了小写字母之外的所有字符
[root@fyr ~]# cat 1.txt |tr -sc "[a-z]" " "   //加s压缩

3.1 扩充1 ${i%,*}。。。

${i%,*}字符串从右往左，最短匹配逗号的部分被删除
${i%%,*}字符串从右往左，最长匹配逗号的部分被删除
${i#*,}字符串从左往右，最短匹配的部分被删除
${i##*,}字符串从左往右，最长匹配逗号的部分被删除

3.1 扩充2

• Linux 中遇到换行符（“\n”）会进行回车+换行的操作，回车符反而只会作为控制字符（“^M”）显示，不发生回车的操作。
• Windows 中要回车符+换行符（“\r\n”）才会回车+换行，缺少一个控制符或者顺序不对都不能正确的另起一行。
  
  解决Windows里面的文件放在Linux中使用会被识别

方法一：cat 文件 | tr -d "\r" > 新的文件
方法二：
安装dos2unix（yum install -y dos2unix）
dos2unix 文件

4 截取字段或者字符串—cut

cut命令—显示行中的指定部分删除文件中指定字段

语法格式：
cut 参数
cat file | cut选项

常用选项：

-f	通过指定哪一个字段进行提取。cut命令使用"TAB"作为默认的字段分隔符
-d	"TAB"是默认的分隔符，使用此选项可以更改为其他的分隔符
–complement	此选项用于排除所指定的字段
–output-delimiter	更改输出内容的分隔符

#: 第#个字段,例如 3
#,#[,#]：离散的多个字段，例如 1,3,6
#-#：连续的多个字段, 例如 1-6
混合使用：1-3,7 

举例一

[root@fyr ~]# cut -d : -f1,3 /etc/passwd     
//以冒号作为分隔的条件，取文件的第一列和第三列

案例二

[root@fyr ~]# ll | tail -n +2 | tr -s " "| cut -d " " -f3,9
//从第二行开始，将空行压缩成一个后，再以空格为分隔符，取第3 和第9列

案例三

[root@fyr ~]# df | tail -n +2 | tr -s " " | cut -d " " -f5 | tr -d %
# df |tail -n +2     不显示第一行字段
# tr -s " "          将多个空格压缩成一个
# cut -d " " -f5     已空格为分隔符，取第五列
# tr -d %            删除百分号

[root@fyr ~]# df | tail -n +2 | tr -s " " % | cut -d % -f5
# df |tail -n +2     不显示第一行字段
# tr -s " "          将多个空格压缩成一个后 将空格替换成%
# cut -d % -f5       已%为分隔符 取第5列

4.1 字符串替换和截取

字符串匹配替换

${i/a/b}#将第一个a替换成b
${i//a/b}#将所有a替换成b
${i/%a/b}#将最后一个a替换成b

截取字符串

方法一：
${i：0：3}下标从0开始：截取的字符长度
方法二：
echo $i | cut -b 1-3 下标从1开始起始位置-终止位置
方法三：
expr substr $i 1 3下标从1开始  1代表起始位置 3代表截取的字符长度

注意：cut命令如果使用-b选项，执行时会先把-b后面所有的定位进行从小到大排序，然后再提取，不能颠倒顺序。

5 拆分文件—split

split命令—linux下将一个大的文件拆分成若干小文件

语法格式：
split 选项 参数 原始文件 拆分后文件名前缀

常用选项：

-l	以行数拆分
-b	以大小拆分

split -l 10 /etc/pasawd passwd   #以10行对文件进行拆分，最后一个文件的行数没有10行以实际行数进行分配（不满10行也会单独放一个文件）

6 扫描命令—eval

eval命令—命令字前加上 eval 时，shell 会在执行命令之前扫描它两次。eval 命令将首先会先扫描命令行进行所有的置换，然后再执行该命令。该命令适用于那些一次扫描无法实现其功能的变量。该命令对变量进行两次扫描。

扫描命令2次，第一次会把$变量转换成值，然后再执行命令

案例一：

案例二：