Innodb磁盘结构详解

Innodb磁盘结构图

一、表空间（Tablespace）：InnoDB 存储的顶层容器

表空间是 InnoDB 磁盘存储的最高级抽象，所有数据（表数据、索引、undo 日志等）都存储在表空间中。InnoDB 支持多种表空间类型，不同类型的设计目标和适用场景不同。

1.1 系统表空间（System Tablespace）

• 文件位置：默认对应 ibdata1 文件（可通过 innodb_data_file_path 配置多个文件或自动扩展）。
• 存储内容：
  • 数据字典：存储数据库元信息（表结构、列定义、索引信息等，类似 MySQL 的 "系统目录"）。
  • Undo 日志：默认存储位置（可通过 innodb_undo_tablespaces 拆分到独立文件）。
  • 双写缓冲区（Double Write Buffer）：物理磁盘上的连续区域（大小为 2MB，由 128 个连续页组成）。
  • 临时表空间（早期版本）：MySQL 5.7 后被独立临时表空间替代。
  • 用户表数据：若未启用 innodb_file_per_table，用户表数据和索引会存储在此。
• 优缺点：
  • 缺点：单文件容易膨胀（尤其 Undo 日志和数据字典会持续增长），难以收缩（即使删除表，空间也不会释放给操作系统）。
  • 优化建议：生产环境建议启用 innodb_file_per_table，避免用户数据混入系统表空间。

1.2 独立表空间（File-Per-Table Tablespace）

• 启用方式：配置 innodb_file_per_table=1（MySQL 5.6+ 默认启用）。
• 文件位置：每个表对应一个 .ibd 文件（位于数据库目录下，如 test/t_user.ibd）。
• 存储内容：仅包含当前表的数据和索引（数据字典仍在系统表空间）。
• 核心优势：
  • 空间回收：删除表时可直接删除 .ibd 文件释放空间；使用 ALTER TABLE ... OPTIMIZE TABLE 可收缩碎片（本质是重建表）。
  • 隔离性：单个表的 I/O 不会影响其他表，便于按表进行备份（如 ibbackup 工具）。
• 注意点：.ibd 文件大小最小为 96KB（包含 6 个初始页：FIL Header、Page Directory 等元数据页）。

1.3 通用表空间（General Tablespace）

• 创建方式：通过 CREATE TABLESPACE 显式创建，可将多个表关联到同一表空间。

  CREATE TABLESPACE `ts_general` ADD DATAFILE 'ts_general.ibd' ENGINE=InnoDB;
  CREATE TABLE t1 (id INT) TABLESPACE ts_general;

• 适用场景：需要将多个小表合并到一个文件（减少 inode 占用），或对表空间进行统一的加密、压缩配置。

1.4 临时表空间（Temporary Tablespace）

• 分类：
  • 会话临时表空间：存储用户创建的临时表（CREATE TEMPORARY TABLE），MySQL 8.0 后每个会话一个独立文件（#innodb_temp/temp_*.ibd），会话结束后自动删除。
  • 全局临时表空间：存储磁盘临时表（如排序、分组时内存不足产生的中间表），对应 ibtmp1 文件，重启后清空。
• 配置参数：innodb_temp_data_file_path 控制临时表空间文件大小（默认自动扩展）。

1.5 撤销表空间（Undo Tablespace）

• 拆分配置：通过 innodb_undo_tablespaces=N（N≥2）将 Undo 日志从系统表空间拆分到独立文件（undo_001.ibd、undo_002.ibd）。
• 作用：避免系统表空间膨胀，支持 Undo 日志的自动截断（innodb_undo_log_truncate=1）。

二、数据页（Page）：InnoDB 存储的最小单元

InnoDB 以 页 为最小 I/O 单元（默认 16KB，可通过 innodb_page_size 配置为 4K/8K/32K/64K，但需在初始化时指定）。所有数据（行记录、索引、日志等）最终都存储在页中，理解页结构是掌握 InnoDB 存储的关键。

2.1 页的通用结构（以数据页为例）

一个标准的 InnoDB 数据页（类型为 FIL_PAGE_INDEX）由 7 个部分组成，总大小为 16KB：

区域名称	大小（字节）	作用描述
File Header	38	页的元数据：页号、上/下页指针、页类型、校验和、LSN 等。
Page Header	56	页的状态信息：记录数量、最小/最大记录指针、空闲空间偏移量、B+树层级等。
Infimum + Supremum	36	虚拟记录：最小记录（Infimum）和最大记录（Supremum），作为页内记录的边界。
User Records	可变	实际存储的行记录（通过 "插槽+数据" 形式组织）。
Free Space	可变	空闲空间（动态分配，通过链表管理）。
Page Directory	可变	记录槽位（Slot）数组，加速页内记录查找（类似索引的索引）。
File Trailer	8	页尾校验：前 4 字节为页头校验和，后 4 字节为 LSN（确保页完整性）。

2.2 关键区域详解

• File Header（文件头）：

  • FIL_PAGE_PREV 和 FIL_PAGE_NEXT：页的双向链表指针，实现 B+树叶子节点的有序连接（支持范围查询）。
  • FIL_PAGE_TYPE：页类型标识（如 FIL_PAGE_INDEX 为数据页，FIL_PAGE_UNDO_LOG 为 Undo 页）。
  • FIL_PAGE_LSN：页的最新修改 LSN（Log Sequence Number），用于崩溃恢复时校验页是否完整。

• Page Directory（页目录）：

  • 当页内记录数超过 4 时，InnoDB 会将记录分组，每组取最大记录的偏移量存入 Slot 数组（类似跳表）。
  • 查找时通过二分法定位 Slot，再遍历组内记录，将页内查找复杂度从 O(n) 降至 O(log n)。

• User Records（用户记录）：

  • 行记录格式：默认使用 Compact 格式（MySQL 5.6+），包含 变长字段长度列表、NULL 标志位、记录头信息、列数据。
  • 隐藏列：每个记录包含 3 个隐藏列（DB_ROW_ID、DB_TRX_ID、DB_ROLL_PTR），分别用于行标识、事务ID、Undo日志指针（MVCC 实现基础）。

2.3 页的分配与回收

• 区（Extent）：由 64 个连续页组成（16KB×64=1MB），是 InnoDB 分配空间的基本单位（减少磁盘碎片）。
• 段（Segment）：由多个区组成，分为 数据段（叶子节点）和 索引段（非叶子节点）。每个索引对应 2 个段（如主键索引的叶子段存储行数据，非叶子段存储索引键）。
• 碎片页（Fragment Page）：当段大小较小时（如刚创建的表），InnoDB 会先从 "碎片区" 分配单个页（而非整区），减少空间浪费。

三、索引结构：B+树与页的映射关系

InnoDB 索引基于 B+树 实现，而 B+树的每个节点对应一个数据页。理解索引与页的关系，是优化查询性能的核心。

3.1 聚集索引（Clustered Index）

• 定义：以主键为索引键，叶子节点直接存储完整行记录（故聚集索引即数据本身）。
• 页结构映射：
  • 非叶子节点页：存储索引键（主键）和子节点页号（如 (id=100, page_no=150)）。
  • 叶子节点页：通过 FIL_PAGE_PREV/NEXT 指针形成双向链表，存储完整行记录（按主键有序排列）。
• 特点：
  • 一张表只有一个聚集索引（若未定义主键，InnoDB 会选择唯一非空索引，否则生成隐藏自增主键 DB_ROW_ID）。
  • 范围查询效率高（叶子节点有序且连续）。

3.2 二级索引（Secondary Index）

• 定义：以非主键列创建的索引，叶子节点存储 索引键 + 主键值（而非完整行记录）。
• 查询流程：通过二级索引找到主键值，再回表查询聚集索引获取完整记录（称为 "回表"）。
• 覆盖索引优化：若查询列均可从二级索引中获取（如 SELECT name FROM t WHERE age=20，且 age 索引包含 name），则无需回表（索引覆盖查询）。

3.3 页分裂与合并

• 页分裂：当插入记录导致页满时，InnoDB 会将页分裂为两个（默认分裂比例 50%），并调整父节点指针。频繁分裂会导致索引碎片化，降低查询效率（可通过 innodb_fill_factor 控制填充因子，预留空间减少分裂）。
• 页合并：当删除记录导致页利用率低于阈值（默认 50%），InnoDB 会将相邻页合并，回收空间。

四、日志系统：保障事务安全与崩溃恢复

InnoDB 通过 重做日志（Redo Log） 和 撤销日志（Undo Log） 实现事务的 ACID 特性，其磁盘存储设计直接影响数据安全性和性能。

4.1 重做日志（Redo Log）

• 作用：记录物理修改（如 "页 150 的偏移量 100 处写入 'abc'"），确保事务提交后即使崩溃，数据也可恢复（持久性保障）。
• 磁盘结构：
  • 日志文件组：默认由 ib_logfile0 和 ib_logfile1 组成（可通过 innodb_log_files_in_group 配置数量，通常 2-4 个）。
  • 循环写入：日志文件大小固定（innodb_log_file_size 配置，推荐 512MB-2GB），写满后覆盖旧日志（通过 LSN 标识日志位置）。
• 写入机制（WAL 技术）：
  • 事务提交时，先将 Redo Log 写入 日志缓冲（Log Buffer），再刷盘（innodb_flush_log_at_trx_commit 控制刷盘策略）。
  • 刷盘策略：
    • 1（默认，最安全）：事务提交时立即刷盘（性能略低）。
    • 2：提交时写入 OS 缓存，依赖 OS 定期刷盘（崩溃时可能丢失最近几秒数据）。
    • 0：每秒批量刷盘（性能最高，但崩溃时可能丢失未刷盘的事务）。

4.2 撤销日志（Undo Log）

• 作用：记录逻辑修改（如 "删除了 id=100 的行"），用于事务回滚（原子性保障）和 MVCC 读（隔离性保障）。
• 磁盘存储：
  • 存储在 撤销段（Undo Segment） 中，每个段包含 1024 个 Undo 页。
  • MySQL 5.7+ 可拆分到独立撤销表空间（undo_001.ibd），支持自动截断（innodb_undo_log_truncate=1）。
• 类型：
  • Insert Undo：仅事务回滚时需要，事务提交后可立即删除。
  • Update/Delete Undo：MVCC 读可能需要（多个事务版本），由 Purge 线程 异步清理（当旧版本不再被任何事务引用时）。

4.3 双写缓冲区（Double Write Buffer）

• 问题背景：若数据页写入时发生崩溃（如仅写入 16KB 中的 8KB），会导致 "部分写失效"（页损坏），Redo Log 无法恢复（Redo Log 基于完整页修改）。
• 解决方案：
  1. 先将脏页（内存中修改的页）写入 双写缓冲区（位于系统表空间的连续 2MB 区域，顺序写入，性能高）。
  2. 再从双写缓冲区将页写入实际数据文件（离散写入）。
• 恢复逻辑：崩溃后，若数据页损坏，可从双写缓冲区读取完整页，再应用 Redo Log 恢复。
• 性能影响：双写会增加一次写盘，但因双写缓冲区是连续空间，实际开销很小（通常 <5%），可通过 innodb_doublewrite=0 禁用（仅测试环境，生产环境禁止）。

五、磁盘结构与性能优化实践

5.1 表空间配置优化

• 独立表空间必开：innodb_file_per_table=1，避免系统表空间膨胀，方便单表管理。
• 拆分 Undo 表空间：innodb_undo_tablespaces=4 + innodb_undo_log_truncate=1，防止 Undo 日志占用过大空间。
• 临时表空间配置：innodb_temp_data_file_path=ibtmp1:12M:autoextend:max:5G，限制临时表空间最大大小（避免磁盘占满）。

5.2 页与索引优化

• 主键设计：选择短且自增的主键（如 INT/BIGINT），减少二级索引叶子节点大小，降低页分裂频率。
• 填充因子调整：innodb_fill_factor=80（默认 100），预留 20% 空间减少页分裂（适用于写入频繁的表）。
• 避免过度索引：每个索引对应独立的 B+树，过多索引会增加写放大（每次写入需更新所有相关索引页）。

5.3 日志系统优化

• Redo Log 大小：innodb_log_file_size=1G + innodb_log_files_in_group=2，避免日志文件过小导致频繁切换（切换时会触发 checkpoint，可能阻塞写入）。
• 刷盘策略平衡：非核心业务可使用 innodb_flush_log_at_trx_commit=2（性能提升，牺牲部分安全性）。
• 双写缓冲区：生产环境必须启用（innodb_doublewrite=1），防止数据页损坏。

六、总结：InnoDB 磁盘结构的核心设计思想

1. 分层存储：表空间→段→区→页→行，通过多级结构平衡空间管理效率和 I/O 性能。
2. 安全性优先：Redo Log 保障持久性，Undo Log 保障原子性，双写缓冲区避免部分写失效。
3. 性能优化：B+树索引加速查询，WAL 技术减少写盘次数，独立表空间隔离存储压力。