字符与编码：ASCII码、Unicode和UTF-8区别

字符与编码的问题，之前很少深究，但这次遇到了base64的问题，所以觉得是时候解决一下了，不一定全面，但想尽可能记录一些想知道的点。。。

首先，为什么需要编码？？因为计算机本身可不认识：‘你在做什么？’、‘what are you doing?’等这么人类性的语言；在计算机内部，所有的信息都表示为一个二进制的字符串。而每一个二进制位（bit）有0和1两种状态，具体哪些二进制数表示什么字符，多少位表示什么字符，需要有一个标准，也就是编码。
字节（Byte）：是计量存储容量的单位，是构成信息的一个很小的单位，上面还有KB、MB、GB、TB、PB、EB、ZB、YB等；下面还有bit（位）。
字符：各种文字、符号的总称。例如文字、标点、图形、数字、字母等等。
字符集：顾名思义，就是一定数量的字符组成的集合，字符集种类比较多，而且每个字符集包含的字符个数也不同，常见字符集主要有：ASCII字符集、GB2312字符集、BIG5字符集、 GB18030字符集、Unicode字符集等，字符集为每一个【字符】分配一个唯一的 ID（学名为码位 / 码点 / Code Point）。
字符编码：将字符集中的每个字符映射为字节流的实现方案（编码方案），即属于将【码位】转换为字节序列的规则，便于计算机存储和传输；常见的字符编码有ASCII编码、UTF-8编码、GBK编码、Base64编码等。某种意义上来说，字符集与字符编码有种对应关系，例如 ASCII字符集对应有ASCII编码。
编码与解码：编码的过程是将字符转换成字节流，解码的过程是将字节流解析为字符。

1. ASCII码：(American Standard Code for Information Interchange) 美国信息交换标准码，是美国制定的单字节字符编码系统，作用于ASCII字符集，见附录1。

   因为在英语中，128个符号就可以满足，所以一直将1个字节（8位）的最高位闲置（默认为0），其他7位用于编码；后来才扩展了最高位，共可以表示256个符号。

   例如：字符A，ASCII码是65（十进制），二进制是01000001，八进制是0101，十六进制是0x41。

   但是，即使256位，也是不够用的，因为世界上的国家和文字、符号太多了，于是就开始扩展，出现了Unicode字符集。

2. Unicode字符集

   注意：Unicode是一个符号集，包含了各国的符号、文字等，详细可查；它只规定了字符对应的二进制代码，却没有规定这个二进制代码应该如何存储。

   于是出现了Unicode字符集对应的编码方式，主要是utf-8，也有utf-16、utf-32等，但utf-8是在互联网上使用最广的一种Unicode的实现方式。utf-8最大的一个特点，就是它是一种变长的编码方式。它可以使用1~4个字节表示一个符号，并且根据不同的符号需要而变化字节长度。

3. utf-8编码

   utf-8的编码规则是：

   1）对于单字节的符号，字节的第一位设为0，后面7位为这个符号的unicode码。所以对于英文字符，utf-8编码和ASCII码相同。

   2）对于n字节的符号（n>1），第一个字节的前n位都为1，第n+1位为0，（其第一个字节从最高位开始，连续的二进制位为1的个数决定了其编码的字节数n），后面各字节的前两位一律为10。剩下的没有提及的二进制位，全部为这个符号的unicode码。

   其编码规则如下：

---------------------------------------------------------------

Unicode符号范围（十六进制） | 　UTF-8编码方式（二进制）

0000 0000-0000 007F 　　|　　 0xxxxxxx
0000 0080-0000 07FF 　　| 　　110xxxxx 10xxxxxx
0000 0800-0000 FFFF　　 | 　　1110xxxx 10xxxxxx 10xxxxxx
0001 0000-0010 FFFF 　　| 　　11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

---------------------------------------------------------------

4. 示例，获取汉字 ‘龙’ 的utf-8编码值

   第一步，获取 ‘龙’ 的Unicode值：ord(‘龙’) —— python内置函数ord，得到：40857

   第二步，求得Unicode值的十六进制：hex(40857) —— 得到：9f00

   第三步，获取utf-8编码：其实python有函数进行编码 —— ‘龙’.encode(‘utf-8’)，可得：b’\xe9\xbe\x99’，也即是：e9be99

   其求取方法如下：

   （1）求取 Unicode值对应的二进制值：十进制转二进制 —— python内置函数，bin(40857)，得到：‘0b1001111110011001’，即：‘1001111110011001’。

   （2）由其十六进制：9f00，对应utf-8的编码规则，0800<9f00

   （3）从得到的二进制中，最后一个二进制位开始，依次从后向前代入上述格式中的 ‘x’ 中，多出的位补0。

   （4）于是得到：11101001 10111110 10011001，对应的十六进制为：e9 be 99，因为每4位二进制组成一个十六进制。

----------------------------------------------------------------

5. 获取 utf-8 编码的字节长度 —— 先编码，再len()

b = '龙'.encode('utf-8')   # utf-8 编码
print('b:',b)  #  结果中开头的 b 字符表示bytes类型，'\x'表示十六进制数据
print(type(b)) # 类型是'bytes'

print(len(b))  # 编码的字节数，3个字节编码，因为b就是字节类型 bytes

6. utf-8 解码和编码

t = '大'
str_ = t.encode('utf-8')   # 编码得到字节流
print(str_)
uni_ = str_.decode('utf-8')  # 通过字节流，进行解码获取字符串
print(uni_)

7. 英文字母在计算机内存储的是机内码，也就是ASCII码，因为英文字母的机内码就是ASCII码。而每一个汉字在不同的编码下也有对应的内码。

   utf-8 用3个字节来表示常用的一个中文字符，1个字节来表示英文字符，兼容ASCII码；

   gbk、gb2312 用2个字节来表示一个中文字符，1个字节来表示英文字符，兼容ASCII码，gbk向下兼容gb2312，gb18030向下兼容gbk和gb2312；

b = 'm'.encode('gbk') 
print('b:',b)  #  开头的 b 字符表示bytes类型
print(type(b))   #类型是'bytes'

print(len(b))  #编码的字节数，因为上面先进行了编码

8. sys.getsizeof() 返回对象的内存大小：不仅仅包括字符等数据的字节数，还包含很多附带的内存开销，例如垃圾收集器等；就像一个word文档，即使什么都没写，也会有9kB的大小，因为它包含了word的头部信息。

   附录1：ASCII码表
   
   转自：https://www.cnblogs.com/qi-yuan-008/p/12926547.html