Linux内存管理架构(1)

0.内存空间架构

1.用户空间

        在 Linux 系统中，应用程序通过 malloc() 申请内存，并通过 free() 释放内存时，底层的内存管理是由 glibc（GNU C Library）中的内存分配器实现的。glibc 的内存分配器负责与操作系统的内核交互，以高效地管理堆内存的分配和释放。

以下是 malloc() 和 free() 在 glibc 中的工作原理及其实现细节：

1.1 glibc 内存分配器概述

        glibc 使用了一种高效的用户态内存管理机制，称为 ptmalloc（Pthreads malloc）。ptmalloc 是基于早期的 dlmalloc（Doug Lea's malloc）改进而来，主要目标是支持多线程环境下的高效内存分配。

(1) 主要特点

• 多线程支持: ptmalloc 为每个线程维护独立的堆（arena），减少多线程间的锁争用。
• 内存池化: 小块内存会被分配到内存池中，避免频繁调用系统调用。
• 内存复用: 释放的内存不会立即归还给操作系统，而是保留在内存池中供后续重用。
• 大块内存优化: 大块内存直接使用 mmap() 分配，避免对堆的影响。

         其它内存分配器：还由谷歌公司的tcmalloc分配器与freeBSD 的jemalloc

1.2 malloc() 的工作原理

       malloc() 是 glibc 提供的用户态函数，用于动态分配内存。其底层实现会根据请求的内存大小选择不同的策略。

(1) 小块内存分配（< 128KB 或其他阈值）

堆扩展:

• 如果堆中有足够的空闲内存，则直接从堆中分配。
• 如果堆中没有足够的空闲内存，则调用 brk() 系统调用来扩展堆。

内存池管理:

• glibc 使用一种称为 bins 的数据结构来管理小块内存。
• 不同大小的内存块会被存储在不同的 bins 中，便于快速查找和分配。

(2) 大块内存分配（>= 128KB 或其他阈值）

匿名映射:
对于大块内存，malloc() 会直接调用 mmap() 系统调用创建一个独立的匿名映射区域。
这样可以避免对堆的影响，并且释放时可以直接调用 munmap() 归还给操作系统。

(3) 底层实现

malloc() 的核心实现位于 glibc 源码中的 malloc.c 文件。
它依赖于内部的数据结构（如 malloc_chunk）来管理内存块。

1.3 free() 的工作原理
     

      free() 是 glibc 提供的用户态函数，用于释放由 malloc() 分配的内存。它的实现会根据内存块的大小和分配方式采取不同的策略。

(1) 小块内存释放

内存回收:

• 释放的小块内存不会立即归还给操作系统，而是被放回到 glibc 的内存池中。
• glibc 会将释放的内存块插入到对应的 bin 中，以便后续重用。

合并空闲块:

• 如果相邻的内存块也是空闲的，glibc 会尝试将它们合并为更大的空闲块，以减少碎片化。

(2) 大块内存释放

解除映射:

• 对于通过 mmap() 分配的大块内存，free() 会直接调用 munmap() 系统调用将其归还给操作系统。

立即释放:

• 大块内存不会保留在内存池中，而是立即释放。

(3) 堆收缩

如果堆中有大量连续的空闲内存，glibc 可能会调用 brk() 系统调用来收缩堆，将未使用的内存归还给操作系统。
不过，这种行为通常受到一定的限制，因为频繁调整堆顶可能会影响性能。

1.4 glibc 内存分配器的核心数据结构

    glibc 的内存分配器依赖于一些核心数据结构来管理内存块和空闲列表。

(1) malloc_chunk

• 每个分配的内存块都由一个 malloc_chunk 结构体描述。
• 它包含以下信息：
• 内存块的大小。
• 是否已使用。
• 指向前一个和后一个内存块的指针（用于链表管理）。

struct malloc_chunk {
    size_t prev_size;  // 前一个块的大小（如果前一个块是空闲的）
    size_t size;       // 当前块的大小（包括元数据）
    struct malloc_chunk *fd;  // 指向下一个空闲块
    struct malloc_chunk *bk;  // 指向前一个空闲块
};

(2) bins

glibc 使用多个 bins 来管理不同大小的空闲内存块。
Fast bins:

• 用于管理非常小的内存块（如 16 字节、32 字节等）。
• Fast bins 不会合并相邻的空闲块，以提高分配速度。

Unsorted bin:

• 用于暂存刚刚释放的内存块，稍后再分类到合适的 bin 中。

Small bins 和 Large bins:

• Small bins 用于管理固定大小的内存块。
• Large bins 用于管理较大范围的内存块。

以下是一个简单的示例，展示 malloc() 和 free() 的使用：

#include 
#include 

int main() {
    // 分配小块内存
    int *small_mem = (int *)malloc(1024);  // 1 KB
    if (small_mem == NULL) {
        perror("malloc failed");
        return -1;
    }
    printf("Small memory allocated at: %p\n", small_mem);

    // 分配大块内存
    void *large_mem = malloc(1024 * 1024);  // 1 MB
    if (large_mem == NULL) {
        perror("malloc failed");
        return -1;
    }
    printf("Large memory allocated at: %p\n", large_mem);

    // 释放内存
    free(small_mem);
    free(large_mem);

    return 0;
}

2.内核空间

2.1 内核空间的基本功能

     虚拟内存管理

• 虚拟内存管理负责从进程的虚拟地址空间分配虚拟页。
• sys_brk 用来扩大或收缩堆。
• sys_mmap 用来在内存映射区域分配虚拟页。
• sys_munmap 用来释放虚拟页。

内核使用延迟分配物理内存的策略：

• 当进程请求分配内存时（如通过 brk() 或 mmap()），内核仅分配虚拟页，而不立即分配物理页。
• 只有当进程实际访问这些虚拟页时，才会触发缺页异常（Page Fault），内核才会分配物理页并更新页表。
• 进程第一次访问虚拟页的时候，触发页错误异常。
• 页错误异常处理程序从页分配器申请物理页，在进程的页表中把虚拟页映射到物理页。

页分配器

• 页分配器负责分配物理页，目前使用的页分配器是伙伴分配器。
• 内核空间提供把页划分成小内存块分配的块分配器，提供分配内存的接口 kmalloc() 和释放内存的函数 kfree()。

  支持三种分配器：slab 分配器、slub 分配器和 slob 分配器。
 

在内核初始化的过程中，页分配器还没有准备好，需要使用临时的引导内存分配器分配内存。 

2.2内核空间的扩展功能

不连续页分配器

• 提供分配内存的接口 vmalloc 和释放内存的接口 vfree。
• 在Linux内核中，vmalloc函数用于分配不连续的物理内存页面，并将它们映射到虚拟地址空间中的一个连续区域。这与直接使用kmalloc或__get_free_pages等接口不同，后者要求分配的物理页面必须是连续的。
• 在内存碎片化的时候，申请连续物理页的成功率很低。
• 可以申请不连续的物理页，映射到连续的虚拟页，即虚拟地址连续但物理地址不连续。
• 每个处理器内存分配器用来为每个处理器变量分配内存。

连续内存分配器

• 用来给驱动程序预留一段连续的内存。
• 当驱动程序不用的时候，可以给进程使用。
• 当驱动程序需要使用的时候，把进程占用的内存通过回收或迁移的方式让出来，给驱动程序使用。

内存控制组

• 用来控制进程占用的内存资源。

3.硬件层面

内存管理单元 (MMU, Memory Management Unit)

• 处理器包含一个称为内存管理单元 (MMU) 的部件。
• MMU 负责将虚拟地址转换成物理地址。这种转换对于操作系统来说非常重要，因为它允许每个进程拥有自己的独立地址空间，增强了系统的安全性和稳定性。
•    保护机制：通过地址转换过程，MMU 可以实现对内存访问的权限控制。例如，它能够阻止一个进程直接访问另一个进程的内存区域，或者限制对特定内存页的读写权限。

页表缓存 (TLB, Translation Lookaside Buffer)

• 内存管理单元包含一个页表缓存 (TLB) 部件。
• TLB 保存最近使用过的页表映射，避免每次把虚拟地址转换为物理地址时都需要查询内存中的页表。
• 加速地址转换：每次进行虚拟地址到物理地址的转换都需要查询内存中的页表，这会消耗一定的时间。为了提高效率，MMU 使用 TLB 来缓存最近使用过的地址映射。当需要再次访问相同的虚拟地址时，可以直接从 TLB 中获取对应的物理地址，而无需再访问主存中的页表。
• 性能提升：由于 TLB 的存在，大多数情况下地址转换可以非常快速地完成，从而显著提升了系统性能。然而，如果所需的地址映射不在 TLB 中（称为 TLB Miss），则仍然需要访问页表来完成地址转换，并且该映射会被添加到 TLB 中以便将来使用

缓存

• 为了解决处理器的执行速度和内存访问速度不匹配的问题，在处理器和内存之间增加缓存。
• 缓存通常分为一级缓存 (L1 Cache) 和二级缓存 (L2 Cache)。
• 为了支持并行地取指令和取数据，一级缓存分为数据缓存 (Data Cache) 和指令缓存 (Instruction Cache)。