Base64编码学习笔记

Base64编码由来

Base64最早是用来解决电子邮件的传输问题。

传统的电子邮件是1982年定下技术规范的，详见rfc0822。该规范的一个重要特点，就是规定电子邮件只能使用ASCII可打印字符。这就导致非英语字符或二进制文件（比如图片）不同通过电子邮件进行传输了。

解决这个问题，最好的方法就是在不改变传统协议的情 况下，做一种扩展方案来支持二进制文件的传送，把不可打印的字符也能用可打印字符来表示。Base64这种基于64个可打印字符来表示二进制数据的表示方法就应运而生了。具体规范可见rfc4648.

Base64编码原理

简单来说, Base64编码就是从ASCII码中选出64个字符----大写字母A-Z、小写字母a-z、数字0-9、符号"+"、"/"（再加上作为填充字符的"="，实际上是65个字符），作为一个基本字符集。然后，其他所有符号都转换成这个字符集中的字符。

具体来说，转换方式可以分为四步：

1. 将每三个字节分成一组，一共24个二进制位：3*8=24

2. 将这24个二进制位分成4组，每组有6个二进制位：24/4=6

3. 在每组前加两00，扩展成32个二进制位，即4个字节：4*(6+2)=32

4. 根据下面的编码表，得到扩展后每个字节的对应符号，就是Base64的编码值

   Value Encoding  Value Encoding  Value Encoding  Value Encoding
       0 A            17 R            34 i            51 z
       1 B            18 S            35 j            52 0
       2 C            19 T            36 k            53 1
       3 D            20 U            37 l            54 2
       4 E            21 V            38 m            55 3
       5 F            22 W            39 n            56 4
       6 G            23 X            40 o            57 5
       7 H            24 Y            41 p            58 6
       8 I            25 Z            42 q            59 7
       9 J            26 a            43 r            60 8
      10 K            27 b            44 s            61 9
      11 L            28 c            45 t            62 +
      12 M            29 d            46 u            63 /
      13 N            30 e            47 v
      14 O            31 f            48 w         (pad) =
      15 P            32 g            49 x
      16 Q            33 h            50 y
   

注意

1. 因为转换后的每个字符的最高两位都是0，所以实际有效位数是6位，也就是2⁶=64个字符就可以覆盖所有的编码。

2. 如果剩下的字符不足3个字节，则用0填充，输出字符使用"="，因此编码后输出的文本末尾可能会出现1或2个"="。
3. 因为Base64将3个字节转化成4个字节，因此Base64编码后的文本，会比原文本大出三分之一左右。

举例说明
比如说Oka这个英文单词，它由三个字符‘O’，‘k’，‘a’构成，其对应的ASCII值分别为79，107，97。用二进制表示改单词就是01001111，01101011，01100001。用前面说转换方式就是：

1. 分组： 该单词由三个字节组成，正好构成一组。
2. 再分组：24个二进制位分成4组 010011，110110，101101，100001。
3. 补0扩展：每组前面加两个0，变成4个字节，32个二进制位：00010011，00110110，00101101，00100001
4. 查编码表得编码值：T2th

上面说的例子中单词长度正好是三个字节，如果一个字符串不足三个字节，比如Ok，则需要进行padding。

Padding

Base64是三个字节(Bytes)作为一组(24-bit block)的编码转换，如果字节数不是三的倍数，那么就会出最后一组只有一个或者两个字节的情况，按下面的规则处理:

1. 一个字节的情况：将这一个字节的8个二进制位，按照每组6个二进制位转成二组，最后一组除了前面加二个0以外，后面再加4个0。这样得到一个二位的Base64编码，再在末尾补上两个"="号。
2. 二个字节的情况：将这二个字节的一共16个二进制位，按每组6个二进制位转成三组，最后一组除了前面加两个0以外，后面也要加两个0。这样得到一个三位的Base64编码，再在末尾补上一个"="号。

具体如下：

1. 分组：由于字符串Ok只有两个字节，将这两个字节当成一组。
2. 再分组：每6个二进制位为一组，就两个字节分成3组010011，110110，1011
3. 补0扩展：对于3组中的最后一组，除了前面加两个0，后面也加两个0，变成3个字节，24个二进制位
   00010011，00110110，00101100
4. 查编码表，得到三个Base64编码字符，再在后面补加=，构成完整Base64编码值：T2s=

中文Base64编码

对于中文，需要注意的是汉字本身可以有多种编码，比如gb2312、utf-8、gbk等等，每一种编码的Base64对应值都不一样。下面的例子以utf-8为例。

1. "严"的utf-8编码为E4B8A5，写成二进制就是三字节的"11100100 10111000 10100101"。
2. 将这个24位的二进制字符串，按照每组6个二进制位的规则，转换成四组一共32位的二进制值"00111001 00001011 00100010 00100101"。
3. 相应的十进制数为57、11、34、37，它们对应的Base64值就为5、L、i、l。
   所以，汉字"严"（utf-8编码）的Base64值就是5Lil。

URL安全的Base64编码

由于‘+’,‘/’两个字符在URL中有特殊含义，将Base64编码后的数据在通过URL传输时需要通过URL编码进行转义，但是这样子会导致URL无意义的变长，而且多了一个URL编解码步骤。为了避免这个问题，出现了一种用于URL的改进Base64编码变种，它其实就是简单的把标准Base64中的'+'和'/'分别改成了'-'和'_'。对于填充字符'='，有些变种是把它直接去掉，有些则是把它替换成'.'。

Base64编码实现

1. Javascript
   Javascript为我们提供了一个简单的方法来实现字符串的Base64编码和解码,分别是window.btoa()函数和window.atob()函数。

// 示例
var encodedData = window.btoa("Hello, world"); // encode a string
var decodedData = window.atob(encodedData); // decode the string

但这两个函数有个致命的缺陷就是不支持Unicode字符串，需要通过下面的方式变通一下：

function utf8_to_b64(str) { 
  return window.btoa(unescape(encodeURIComponent(str)));
}
function b64_to_utf8(str) { return decodeURIComponent(escape(window.atob(str)));
}
// 示例
utf8_to_b64('✓ à la mode'); // JTI1dTI3MTMlMjUyMCUyNUUwJTI1MjBsYSUyNTIwbW9kZQ==
b64_to_utf8('JTI1dTI3MTMlMjUyMCUyNUUwJTI1MjBsYSUyNTIwbW9kZQ=='); // "✓ à la mode"
utf8_to_b64('I \u2661 Unicode!'); // SSUyNTIwJTI1dTI2NjElMjUyMFVuaWNvZGUlMjUyMQ==
b64_to_utf8('SSUyNTIwJTI1dTI2NjElMjUyMFVuaWNvZGUlMjUyMQ=='); // "I ♡ Unicode!"

2. Java
   从Java8开始，Java终于提供了标准的方式去处理Base64的编码和解码，很长时间以来我们都得依赖于Apache Commons Codec。

// 编码
String asB64 = Base64.getEncoder().encodeToString("test".getBytes("utf-8"));
System.out.println(asB64); // 输出为: dGVzdA==
// 解码
byte[] asBytes = Base64.getDecoder().decode("dGVzdA==");
System.out.println(new String(asBytes, "utf-8")); // 输出为: some string