ANSI、Unicode、UTF-8的那点事儿

ANSI、Unicode、UTF-8的那点事儿

        大千世界，语种繁多，计算机如何表示和处理浩如烟海的字符呢?前辈们解决问题也不可能一步到位，在发展中诞生了多种编码，ASCII码、GB2312、Unicode、UTF-8、UTF-16等，这也造成了我们的困扰。

1、广为人知的ASCII码

        ASCII码是基于拉丁字母的一套电脑编码系统。全称为American Standard Code for Information Interchange，美国信息交换标准代码。ASCII第一次以规范标准的型态发表是在1967年。它主要用于显示现代英语，共定义了128个字符，其中96个字符可以显示，其他32个字符为控制字符无法显示。ASCII码每个字符占一个字节，很容易处理也带来了局限。ASCII的局限在于只能显示26个基本拉丁字母、阿拉伯数目字和英式标点符号，因此只能用于显示现代美国英语（而且在处理英语当中的外来词如naïve、café、élite等等时，所有重音符号都不得不去掉，即使这样做会违反拼写规则）。而EASCII（扩展的ASCII）虽然解决了部份西欧语言的显示问题，但对更多其他语言依然无能为力。

2、形形色色的ANSI编码

         某些语言文字系统（例如日文）的字符集有非常多的符号。但是一个字节最多只能表示256个字符，这是远远不够的。为了解决ASCII码的局限性，需要扩充ASCII码，以显示各个国家和地区的语言字符。于是不同的国家和地区制定了不同的标准，由此产生了GB2312、BIG5、JIS等各自的编码标准。这些编码都属于ANSI编码，一个字符串中的每个字符都是有1个或者2个字节组成的，并且对ASCII码兼容。需要注意的是在不同的系统下ANSI编码是不同的，例如在简体中文系统下，ANSI 编码代表 GB2312 编码，在日文操作系统下，ANSI 编码代表 JIS 编码，所以在中文 windows下要转码成gb2312,gbk只需要把文本保存为ANSI 编码即可。而且不同 ANSI 编码之间互不兼容，当信息在国际间交流时，无法将属于两种语言的文字，存储在同一段 ANSI 编码的文本中。因为同一个编码值，在不同的编码体系里代表着不同的字。

3、包罗万象的Unicode

        由于ANSI编码各自为阵，同一个文件在不同的系统中打开得到的会是乱码。正是这个原因促使了Unicode的诞生。Unicode是一个很大的集合，将世界上所有的符号都包含其中，现在的规模已经达到100多万个符号。每个符号的编码都是不一样的。这样每个Unicode编码需要4个字节存储。Unicode将纷乱世界全部归一，但也有自身的问题。首先，每个字符需要占用4个字节，对于存储和传输都很消耗资源，其次，它跟现有的ASCII码进行难以兼容。

4、UTF系列

        为了解决Unicode的问题，真正的将Unicode运用到实际中，产生了UTF系列编码。UTF的全称是Unicode Transformation Format，即Unicode的转换格式。

4.1、 UTF-8

        UTF-8将一些字符编码为1字节，一些编码为2字节，一些编码为3字节，一些编码为4字节。值在0x0080以下的字符压缩为1字节，这对美国使用的字符非常适合，也兼容了ASCII码。值在0x0080和0x07FF之间的字符转换为2字节，这对欧洲和中东地区的语言非常适用。值在0x0800以上的字符都转换为3字节，适合东亚地区的语言。代理对（surrogate pair）为4字节。UTF-8是一种相当流行的编码格式。但在值为0x0800及以上的大量字符进行编码的时候，不如UTF-16高效。

4.2、 UTF-16

        UTF-16将每个字符编码为2个字节即16位。Windows使用UTF-16编码，因为全球各地使用的大部分语言中，每个字符很容易用一个16位值来表示，这样一来程序就很容易遍历字符串并计算它的长度。对于少数字符，16位不足以表示，UTF-16支持使用代理，用32位来表示一个字符。由于只有少数应用程序需要表示这些少数字符，所以UTF-16在节省空间和简化编码两者之间提供了很好的折中。

4.3、 UTF-32

         UTF-32将每个字符都编码为4个字节。这种编码很简单，不用处理字节数不定的情况，但是从内存使用的角度来看并不是一种高效的编码。所以，在将字符串保存到文件或者传到网络时，很少使用这种编码，一般在应用程序的内部使用。

5、参考文献

[1] http://zh.wikipedia.org/wiki/ASCII
[2]《Windows核心编程》
[3]《深入理解计算机系统》