Netty内存模型-PoolChunk

1概述

从netty 4开始，netty加入了内存池管理，采用内存池管理比普通的new ByteBuf性能提高了数十倍。首先介绍PoolChunk

2原理

PoolChunk主要负责内存块的分配与回收，首先来看看两个重要的术语。

• page: 可以分配的最小的内存块单位。

• chunk: 一堆page的集合。

image

上图中是一个默认大小的chunk, 由2048个page组成了一个chunk,一个page的大小为8192, chunk之上有11层节点，最后一层节点数与page数量相等。每次内存分配需要保证内存的连续性，这样才能简单的操作分配到的内存，因此这里构造了一颗完整的平衡二叉树，所有子节点的管理的内存也属于其父节点。如果我们想获取一个8K的内存，则只需在第11层找一个可用节点即可，而如果我们需要16K的数据，则需要在第10层找一个可用节点。如果一个节点存在一个已经被分配的子节点，则该节点不能被分配，例如我们需要16K内存，这个时候id为2048的节点已经被分配，id为2049的节点未分配，就不能直接分配1024这个节点，因为这个节点下的内存只有8K了。

通过上面这个树结构，我们可以看到每次内存分配都是8K*(2^n), 比如需要24K内存时，实际上会申请到一块32K的内存。为了分配一个大小为chunkSize/(2^k)的内存段，需要在深度为k的层从左开始查找可用节点。如想分配16K的内存，chunkSize = 16M, 则k=10, 需要从第10层找一个空闲的节点分配内存。那如何快速分配到指定内存呢，netty使用memoryMap记录分配情况。

image

初始化中memoryMap中key是上图中节点值，value是该节点所在层数，对于节点512，其层数是9，则：

• 如果memoryMap[512] = 9，则表示其本身到下面所有的子节点都可以被分配；

• 如果memoryMap[512] = 10， 则表示节点512下有子节点已经分配过，则该节点不能直接被分配，而其子节点中的第10层还存在未分配的节点;

• 如果memoryMap[512] = 12 (即总层数 + 1）, 可分配的深度已经大于总层数, 则表示该节点下的所有子节点都已经被分配。

下面看看如何向PoolChunk申请一段内存：

image

当需要分配的内存大于pageSize时，使用allocateRun实现内存分配。否则使用allocateSubpage分配内存，主要是将一个page分割成多个element进行分配。其中针对请求的大小进行标准化处理（normCapacity是处理后的值），在分配内存是根据使用者请求的内存大小进行计算，匹配最接近的内存单元。在计算时分如下几种情况：

• 请求的内存大小是否超过了chunkSize，如果已超出说明一个该内存已经超出了一个chunk能分配的范围，这种内存内存池无法分配应由JVM分配，直接返回原始大小。

• 请求大小大于等于512，返回一个512的2次幂倍数当做最终的内存大小，当原始大小是512时，返回512，当原始大小在(512，1024]区间，返回1024，当在(1024，2048]区间，返回2048等等。

• 请求大小小于512，返回一个16的整数倍，原始大小(0，16]区间返回16，(16，32]区间返回32，(32，48]区间返回48等等，这些大小的内存块在内存池中叫tiny块。

image

接下来看看allocateRun是如何实现的：

image

在allocateNode中遍历匹配：

image

• 从根节点开始遍历，如果当前节点的val

• 如果val > d，则表示存在子节点被分配的情况，而且剩余节点的内存大小不够，此时需要在兄弟节点上继续查找；

• 分配成功的节点需要标记为不可用，防止被再次分配，在memoryMap对应位置更新为12；

• 分配节点完成后，其父节点的状态也需要更新，并可能引起更上一层父节点的更新。

如节点2048被分配出去，更新如下：

image

References

1.https://www.jianshu.com/p/c4bd37a3555b

2.https://www.cnblogs.com/pugongying017/p/9616333.html

3.https://blog.csdn.net/youaremoon