Database on elonnzhang

MySQL InnoDB MVCC 原理

Sat, 09 Aug 2025 00:00:00 +0800

MVCC（多版本并发控制） 是一种数据库并发控制机制，用于管理多个事务并发操作时，确保事务的 隔离性 和 一致性。在 MySQL InnoDB 存储引擎中，MVCC 是实现 事务隔离 和 高并发 数据访问的关键技术之一。MVCC 允许多个事务在 不冲突 的情况下并发执行，同时保证每个事务的 数据一致性。

1. MVCC 的工作原理

MVCC 通过 维护数据的多个版本 来实现高并发控制，而不是像传统的锁机制那样阻塞事务，MVCC 通过给每个事务分配快照来实现并发读写。

1.1. 事务的隔离性

在 MVCC 中，每个事务都有一个 独立的视图（Read View），它表示当前事务看到的数据版本。这确保了不同的事务可以并发执行，但又不互相影响，避免了脏读、不可重复读 和幻读问题。

1.2. 如何维护多个版本的记录

InnoDB 会为每个数据行维护多个版本，这些版本用于支持多个事务并发执行。每个修改操作会创建数据的一个新的版本。
每个版本的数据行都会包含 事务 ID 和 回滚标识（Undo Log），这些信息有助于数据库确定该数据是否对当前事务可见。

例如，在更新操作时，更新前的版本 保留在 Undo Log 中，而新的版本会出现在 数据表中。

2. Read View 在 MVCC 中如何工作

Read View 是 MySQL 在 MVCC 中实现隔离性的关键概念。当一个事务需要读取数据时，数据库会为该事务创建一个 Read View，并根据该视图决定事务能够看到哪些数据。

gh-ost 源码阅读

Fri, 08 Aug 2025 00:00:00 +0800

地址：

目录结构

├── base
│ ├── context_test.go
│ ├── context.go
│ ├── default_logger.go
│ ├── load_map_test.go
│ ├── load_map.go
│ ├── utils_test.go
│ └── utils.go
├── binlog
│ ├── binlog_dml_event.go
│ ├── binlog_entry.go
│ ├── binlog_reader.go
│ ├── gomysql_reader.go
│ └── testdata
│ ├── mysql-bin.000066
│ ├── mysql-bin.000070
│ ├── rbr-sample-0.txt
│ ├── rbr-sample-1.txt
│ └── rbr-sample-2.txt
├── cmd
│ └── gh-ost
│ └── main.go
├── logic
│ ├── applier_test.go
│ ├── applier.go
│ ├── hooks_test.go
│ ├── hooks.go
│ ├── inspect_test.go
│ ├── inspect.go
│ ├── migrator_test.go
│ ├── migrator.go
│ ├── server_test.go
│ ├── server.go
│ ├── streamer_test.go
│ ├── streamer.go
│ ├── test_utils.go
│ └── throttler.go
├── mysql
│ ├── binlog_test.go
│ ├── binlog.go
│ ├── connection_test.go
│ ├── connection.go
│ ├── instance_key_map.go
│ ├── instance_key_test.go
│ ├── instance_key.go
│ ├── replica_terminology_map.go
│ └── utils.go
└── sql
 ├── builder_test.go
 ├── builder.go
 ├── encoding.go
 ├── parser_test.go
 ├── parser.go
 ├── types_test.go
 └── types.go

9 directories, 47 files

入口 cmd/gh-ost/main.go

分布式数据库与云原生数据库的区别

Sat, 11 Jan 2025 00:00:00 +0800

分布式数据库和云原生数据库有一定的关联，但二者的关注点和设计理念不同。可以从 概念、关系、区别 三个角度来看：

1. 概念

1.1 分布式数据库

定义：数据库的数据和计算分布在多台服务器上，通过网络协同工作，对用户透明地提供统一访问接口。
核心目标：
1. 数据分片和多副本存储（高可用）。
2. 支持水平扩展（scale-out）。
3. 提供分布式事务和全局一致性。
典型产品：TiDB、CockroachDB、OceanBase、MongoDB、Cassandra。

1.2 云原生数据库

定义：基于云原生架构理念（容器化、微服务、弹性伸缩、可观测性）设计的数据库。
核心特性：
1. 原生支持云平台：容器化、Kubernetes 管理。
2. 计算与存储分离，支持弹性扩缩容。
3. 按需计费、自动运维、快速恢复。
4. 深度利用云基础设施（分布式存储、Serverless）。
典型产品：Aurora、PolarDB、TiDB Cloud、YugabyteDB、Spanner。

2. 关系

云原生数据库通常是分布式数据库的延伸
- 云原生数据库的底层架构往往是分布式数据库（支持水平扩展、多副本）。
不是所有分布式数据库都是云原生数据库
- 传统分布式数据库如果未支持容器化、自动弹性、计算存储分离，就不算云原生。

简单理解：

分布式数据库 = 架构形态

云原生数据库 = 架构形态 + 云原生理念 + 云平台友好

3. 区别

维度	分布式数据库	云原生数据库
核心关注点	数据分布、水平扩展、一致性	云环境下弹性伸缩、自动化运维、资源高效利用
计算存储架构	多数是计算存储一体化或弱分离	倾向于计算存储彻底分离
运行环境	自建机房或云上虚拟机	云原生基础设施（K8s、分布式存储、Serverless）
运维模式	运维成本高，需要人工或脚本管理	自动运维、监控、故障自愈
弹性能力	水平扩展需要手动加节点、数据迁移	支持分钟级或秒级弹性伸缩

4. 总结

分布式数据库是技术架构，云原生数据库是架构+理念的结合。
云原生数据库几乎都具备分布式特性，但在自动化、弹性、资源管理方面更先进。
如果说 分布式数据库解决“规模化、可用性”，那么 云原生数据库解决“云环境下弹性、自动化、降本增效”。

pt-online-schema-change 执行流程

Thu, 22 Aug 2024 00:00:00 +0800

地址 https://github.com/percona/percona-toolkit/tree/3.x/bin 使用文档

详细执行流程如下：

相关环境参数检查
检查该表格是否存在
show create table tbosc
create table _tbosc_new
alter table _tbosc_new
创建删除触发器 pt_osc_dbddl_tbosc_del (如果数据修改的时候，还没有拷贝过来，修改后再拷贝则是覆盖，正确；如果是已经拷贝过来，再修改，也是正确，这里同时会检查是否具有主键或者唯一索引，如果都没有，这一步会报错，提示The new table dbosc._tbosc_new does not have a PRIMARY KEY or a unique index which is required for the DELETE trigger.）
创建更新触发器 pt_osc_dbddl_tbosc_upd
创建插入触发器 pt_osc_dbddl_tbosc_ins
按块拷贝数据到新表，拷贝过程对数据行持有S锁
analyze 新表
rename 表名，RENAME TABLE dbddl.tbosc TO dbddl._tbosc_old, dbddl._tbosc_new TO dbddl.tbosc
删除旧表
删除新表上的删除、更新、插入触发器

如果有表存在会新建表

failed to find a unique new table name after 10 attemps. the following tables exist which may be left over from previous failed runs of the tool:
 `test_db`.`_big_table_new`
 `test_db`.`__big_table_new`
 `test_db`.`___big_table_new`
 `test_db`.`____big_table_new`
 `test_db`.`_____big_table_new`
 `test_db`.`______big_table_new`
 `test_db`.`_______big_table_new`
 `test_db`.`________big_table_new`
 `test_db`.`_________big_table_new`
 `test_db`.`__________big_table_new`
examine these tables and drop some or all of them if they are no longer need, then re-run the tool.

https://deepwiki.com/percona/percona-toolkit/2.1-pt-online-schema-change