- 语言经验 - 《c++的高性能内存管理库tcmalloc和jemalloc》

         本文属于专栏《构建工业级QPS百万级服务》​​​​​        

---

 1、前置知识        

        c++的内存管理，主要说的是堆内存管理。现代计算机系统中，用户进程的堆内存，由内核映射。

• 堆内存的来源
  •  主要是通过mmap()函数，在进程的虚拟地址空间中创建新的映射
•  为什么需要malloc
  •  因为mmap()是按照page size(一般是4096字节)分配的，如果是程序员直接使用很容易照成浪费，高效地使用内存，是共同需求，所以有了malloc
• 为什么需要tcmalloc和jemalloc
  •  malloc在内存碎片和多线程性能方面做得不好

• 三方的内存管理库运行原理，就是alias malloc和free函数以及operator new（注意不是new operator）

#define ALIAS(tc_fn)   __attribute__ ((alias (#tc_fn), used))

extern "C" { 
  void* malloc(size_t size) __THROW               ALIAS(tc_malloc);
  void free(void* ptr) __THROW                    ALIAS(tc_free);
}   // extern 

• 两个常用的内存分配算法
  •  Buddy allocation：连续的内存，分配时不断折半，直到刚好满足需要的内存
  • Slab allocation：将内存管理起来，分成很多个大小相同的小片，用一个管理类去记录内存的分配和释放

2、TCMalloc(Thread Cache Malloc)

• 实现原理：
• 首先，glibc中，内存分配相关的函数都是弱符号，TCMalloc定义了自己的函数并将其覆盖
  • 
  • 主要思想是每个线程有自己的缓存，在自己线程缓存不够用时，找Central Heap
  • 内存分配时，不同大小有不同的策
    • 小内存：
      • 每个线程缓存有一个单链表，每个节点后面跟着的也是一个链表，如下图，calss0 位8bytes，class1为16bytes，class2为32bytes。当thread cache不够，就找central heap，当central heap不够，就找内核分配。如果Thread Cache的链太短，会频繁找去central分配（自旋锁），如果太长会浪费一些空间
      • tcmalloc_max_total_thread_cache_bytes参数表示的是在当前thread cache中，最多的缓存的不释放回central cache的内存。设置太低会导致在高qps的服务中，有频繁释放和申请小内存时，会和central cache交互频繁，导致加锁太多
      • 为了设置合适的free list（class 0 后面跟着的链表）长度，使用了慢启动算法来决定每个独立的free list的链表长度，频繁的申请会增加长度，频繁的释放会抑制长度
      • 
    • 中内存CentralCache（256kb <= size <= 1MB）
      • 这里的个page为8kb
      • 
    • 大内存PageHeap，从pageHeap中找，如果没有就向OS申请
      • 
    • 调优化经验
      • 对于应用使用堆内存量大的，如几个G甚至上百G的。虽然版本不同，但是一般给每个线程默认管理的内存大小不超过100M。所以在高配置应用中，使用TCMALLOC_MAX_TOTAL_THREAD_CACHE_BYTES来增加单个线程可管理的内存是有显著性能提升的。如：export TCMALLOC_MAX_TOTAL_THREAD_CACHE_BYTES=1073741824

3、JeMalloc

• 与tcmalloc类似，只是中内存不是从central heap中取，还是从线程的缓存中取，jemalloc的线程缓存管理范围更广，更复杂，但是效率更高
• 原理
  • 几个名词
    • page ，操作系统提供的内存，来自于mmap
    • chunk，jemalloc申请内存的大小单位，是page size的n倍，默认2Mb
    • base，jemalloc自身使用的堆内存结构
    • arena，jemalloc最重要的部分，内存管理器（每个线程一个），分配算法是Buddy和Slab的组合
      • chunk 使用buddy算法划分不同的run，run使用不同的算法划分固定大小的region，大部分内存分配直接查找对应的run，从中分配空闲的region
    • bin：bin管理相同类型的run，记录了run相关信息。用红黑树管理有空闲的region的run，并按照地址排序
  • 分配流程
    • small内存去bin管理的内存中找，bin找不到再去arena管理的内存找
    • large的直接去arena中找
    • huge也是去arena找，只是这里用的是线程共享的arena，但是这里频率很低，影响小

          所以一般来说，频繁创建和删除线程的使用tcmalloc，用固定线程的使用jemalloc效率更高。