详解BFLOAT16精度，和fp32和fp16的优缺点和异同

BFLOAT16（Brain Floating Point 16-bit）是一种用于深度学习的16位浮点数格式，由Google Brain提出。它在指数部分保留了与FP32相同的8位，但在尾数digits部分只保留了7位，而不是FP16的10位。这种设计使得BFLOAT16在数值范围上与FP32相似，但精度较低，约为小数点后2位。

BFLOAT16的优缺点：

优点：

1. 更大的数值范围：BFLOAT16能够表示更大的数值范围，这在处理大规模神经网络时尤其重要，因为它可以避免数值溢出或下溢的问题。
2. 节省内存和计算资源：由于BFLOAT16只需要一半的存储空间，