刚接触 InnoDB 持久化机制时,我有过一个疑问:既然双写缓冲区保留了数据页副本,宕机后可以拿来恢复,为什么还需要重做日志?反过来,既然 redo 能重放修改,又为什么要把数据页写两遍?
两者处理的是写入链路上不同的问题:doublewrite 用来修复一次没有写完整的数据页,redo 用来恢复尚未落入数据文件的修改。 下面以 MySQL 8.0 的 InnoDB 为例,先把“页”“刷页”和“提交”分开。
数据页与刷页
InnoDB 以页为单位管理索引数据,在 Buffer Pool 中缓存页面。修改后的页面称为脏页,随后再刷入数据文件。下面按默认的 16 KiB 页说明,其他支持的页大小可以在初始化实例时选择。
页中保存什么,取决于它的用途:聚簇索引叶子页保存行记录,非叶子页负责导航,二级索引也有自己的页。相关结构见 InnoDB 索引的物理结构。
关键在于:事务提交,不要求它修改过的所有脏页立即写回数据文件。 如果每次提交都同步刷完所有数据页,随机 I/O 开销会很大;同一页被连续修改时,也会产生很多重复写入。InnoDB 使用 redo 记录修改,让数据页可以稍后批量刷新。
双写缓冲区
假设要把一个 16 KiB 的脏页写回数据文件,写入途中发生掉电或系统故障,最终文件中可能只有一部分是新内容,另一部分还是旧内容,这就是部分页写入,也常称为 torn page。
关键在于,底层存储未必保证整个 16 KiB 页一次写完整。数据库页、文件系统块和设备扇区是不同层次,实际 I/O 由文件系统与设备共同决定;即使做了 4 KiB 对齐,也仍需考虑部分页写入。
正常启用 doublewrite 页恢复时,InnoDB 先把待刷新的页写入 doublewrite 区域,保证这份副本按要求持久化,再写回页在数据文件中的最终位置。最终位置写坏了,恢复时就有机会从 doublewrite 找到完整页副本。参见 InnoDB 磁盘 I/O。
恢复用到的是磁盘上持久化的完整页副本。doublewrite 存储位置随版本有所变化:
MySQL 8.0.20 之前,doublewrite 存储区域位于 InnoDB 系统表空间中。
从 8.0.20 开始,使用独立 doublewrite 文件,目录、数量和大小由相关配置决定。
从 8.0.30 开始还有 DETECT_ONLY 等模式;只记录检测元数据的模式不能提供完整页副本来修复页面。
doublewrite 采用批量顺序写,额外开销与批量大小、刷页方式和存储设备有关。文件布局和模式说明见 Doublewrite Buffer 官方文档。
重做日志
再看另一种情况:某条记录的值从 100 改成 120,事务已经提交,但修改还留在 Buffer Pool 中,数据文件里的完整旧页仍然保存着 100,此时机器宕机。
这次页面没有写坏,只是还不够新。由于脏页尚未进入本次刷页流程,doublewrite 中也未必有这次修改。要恢复到 120,就需要此前已经持久化的 redo 记录补上修改。
redo 在数据修改过程中生成。按照预写日志原则 WAL,数据页写入持久化存储前,覆盖这些修改的 redo 要先满足持久化要求。这样,即使脏页还没刷回去,恢复时也有记录可用。具体记录方式见 MySQL 的 redo 源码设计说明。
从页刷新的角度,可以把关键依赖简化为:
修改 Buffer Pool 中的页,同时生成 redo
↓
刷页前保证覆盖该页修改的 redo 已持久化
↓
将完整页写入 doublewrite,并按要求持久化
↓
将页写到数据文件的最终位置
这几步描述刷页时的依赖关系,事务提交与刷页是两件事。脏页可能在提交前刷新,也可能在提交后才刷新;事务是否提交,由事务状态另外判断。
宕机恢复
恢复时要同时面对“页可能不完整”和“页可能还不够新”这两个维度:
redo 通常记录页修改,重放时需要可用的数据页作为基础。因此,遇到部分页写入时,要先利用 doublewrite 中的完整副本修复页面,再继续恢复需要的修改。
doublewrite 的页副本对应特定刷页时刻,后续会被复用;redo 则提供恢复范围内的修改记录。两者保留的信息不同,也都需要配合正式备份应对更大范围的数据损坏。
redo 中还可能包含未提交事务的修改。应用需要恢复的 redo 后,InnoDB 会结合事务状态和 undo 回滚未完成事务,使这些修改不会作为已提交结果保留下来。相关阶段见 InnoDB Recovery。
持久化配置
有 redo 文件,不等于每次提交都已经把日志刷到可靠存储。
默认的 innodb_flush_log_at_trx_commit=1 在事务提交时写入并刷新 redo;设为 2 时,提交时写日志,但通常由后台按周期刷新,操作系统崩溃或掉电可能丢失尚未持久化的提交。这个周期也不是严格的“一定只丢一秒”。启用 binlog 时,还要结合 sync_binlog 评估复制和恢复的一致性要求。
这些配置的含义与存储设备是否如实完成刷盘,都会影响最终保证。参见 innodb_flush_log_at_trx_commit和 Binary Log。
MySQL 双写缓冲区与重做日志的区别
https://blog.myhs.cc/archives/1731237945868
Comments