文件分类、合并和分割(笔记)

一、sort命令：
1.sort选项
sort命令的一般格式为：
sort -cmu -o output_file [other options] +pos1 +pos2 input_files
下面简要介绍一下sort的参数：
-c 测试文件是否已经分类。
-m 合并两个分类文件。
-u 删除所有复制行。
-o 存储sort结果的输出文件名。
其他选项有：
-b 使用域进行分类时，忽略第一个空格。
-n 指定分类是域上的数字分类。
-t 域分隔符；用非空格或tab键分隔域。
-r 对分类次序或比较求逆。
+n n为域号。使用此域号开始分类。
n n为域号。在分类比较时忽略此域，一般与+ n一起使用。
post1 传递到m，n。m为域号，n为开始分类字符数；例如4，6意即以第5域分类，从第7个字符开始。

2.sort对域的参照方式
关于sort的一个重要事实是它参照第一个域作为域0，域1是第二个域，等等。sort也可以使用整行作为分类依据。
3.文件是否已分类
使用sort - c通知sort文件是否按某种顺序分类
4.sort分类求逆
如果要逆向sort结果，使用-r选项。在通读大的注册文件时，使用逆向sort很方便。
5.按指定域分类
有时需要只按第2域（分类键1）分类。这里为重排报文中供应区代码，使用t1，意义为按分类键1分类。下面的例子中，所有供应区代码按分类键1分类；注意分类键2和3对应各域也被分类。
6.数值域分类
数值分类，可以使用-n选项
7.使用k的其他sort方法
sort还有另外一些方法指定分类键。可以指定k选项，第1域（分类键）以1开始。
8.指定sort序列
可以指定分类键顺序，也可以使用- n选项指定不使用哪个分类键进行查询。看下面的sort命令：
sort +0 -2 +3
该命令意即开始以域0分类，忽略域2，然后再使用域3分类。
9.pos用法
指定开始分类的域位置的另一种方法是使用如下格式：
sort +field_number.charater_in
意即从field_number开始分类，但是要在此域的第characters_in个字符开始。

 

二、uniq用法
uniq用来从一个文本文件中去除或禁止重复行。一般uniq假定文件已分类，并且结果正确。
可以认为uniq有点像sort命令中唯一性选项。对，在某种程度上讲正是如此，但两者有一个重要区别。sort的唯一性选项去除所有重复行，而uniq命令并不这样做。重复行是什么？在uniq里意即持续不断重复出现的行，中间不夹杂任何其他文本。
命令一般格式：
uniq -u d c -f input-file output-file
其选项含义：
-u 只显示不重复行。
-d 只显示有重复数据行，每种重复行只显示其中一行
-c 打印每一重复行出现次数。
-f n为数字，前n个域被忽略。
一些系统不识别-f选项，这时替代使用-n。

 

三、join用法
一般格式为：
join [options] input-file1 input-file2
an n 为一数字，用于连接时从文件n中显示不匹配行。例如， - a1显示第一个文件的不匹配行，- a2为从第二个文件中显示不匹配行。
o n.m n为文件号，m为域号。1 . 3表示只显示文件1第三域，每个n，m必须用逗号分隔，如1.3，2.1。
j n m n为文件号，m为域号。使用其他域做连接域。
t 域分隔符。用来设置非空格或tab键的域分隔符。例如，指定冒号做域分隔符- t：。

 

四、cut用法
cut用来从标准输入或文本文件中剪切列或域。剪切文本可以将之粘贴到一个文本文件。
cut一般格式为：
cut [options] file1 file2
下面介绍其可用选项：
-c list 指定剪切字符数。
-f field 指定剪切域数。
-d 指定与空格和t a b键不同的域分隔符。
-c 用来指定剪切范围，如下所示：
-c 1,5-7 剪切第1个字符，然后是第5到第7个字符。
-c1-50 剪切前5 0个字符。
-f 格式与- c相同。
-f 1,5 剪切第1域，第5域。
-f 1,10-12 剪切第1域，第1 0域到第1 2域。

 

五、paste用法
cut用来从文本文件或标准输出中抽取数据列或者域，然后再用paste可以将这些数据粘贴起来形成相关文件。粘贴两个不同来源的数据时，首先需将其分类，并确保两个文件行数相同。
paste将按行将不同文件行信息放在一行。缺省情况下， paste连接时，用空格或tab键分隔
新行中不同文本，除非指定- d选项，它将成为域分隔符。
paste格式为；
paste -d -s -file1 file2
选项含义如下：
-d 指定不同于空格或t a b键的域分隔符。例如用@分隔域，使用-d @。
-s 将每个文件合并成行而不是按行粘贴。
- 使用标准输入。例如ls -l | paste ，意即只在一列上显示输出。

 

六、split用法
split用来将大文件分割成小文件。有时文件越来越大，传送这些文件时，首先将其分割可能更容易。使用vi或其他工具诸如sort时，如果文件对于工作缓冲区太大，也会存在一些问题。
因此有时没有选择余地，必须将文件分割成小的碎片。
split命令一般格式：
split -output_file-size input-filename output-filename
这里output-file - size指的是文本文件被分割的行数。split查看文件时，output-file-size选项指定将文件按每个最多1000行分割。

 

 

t r用来从标准输入中通过替换或删除操作进行字符转换。t r主要用于删除文件中控制字符
或进行字符转换。

带有最常用选项的tr命令格式为：
tr -c -d -s [ "string1_to_translate_from" ] [ "string2_to_triannpsultate_ to " ] file
这里：
-c 用字符串1中字符集的补集替换此字符集，要求字符集为ASCII。
-d 删除字符串1中所有输入字符。
-s 删除所有重复出现字符序列，只保留第一个；即将重复出现字符串压缩为一个字符串。
Input-file是转换文件名。虽然可以使用其他格式输入，但这种格式最常用。

速记符 含义  八进制方式
\a Ctrl-G 铃声 \007
\b Ctrl-H 退格符 \010
\f Ctrl-L 走行换页 \014
\n Ctrl-J 新行 \012
\r Ctrl-M 回车 \015
\t Ctrl-I tab键 \011
\v Ctrl-X  \030