## 1. 索引的作用
索引的出现其实就是为了提高数据查询的效率，就像书的目录一样。

一本 500 页的书，如果你想快速找到其中的某一个知识点，在不借助目录的情况下，那我估计你可得找一会儿。同样，对于数据库的表而言，索引其实就是它的“目录”。



## 2. 索引模型
可以用于提高读写效率的数据结构很多，这里我先给你介绍三种常见、也比较简单的数据结构，它们分别是`哈希表`、`有序数组`和`搜索树`。

### 2.1 哈希表
`哈希表是一种以键 - 值（key-value）存储数据的结构`，我们只要输入待查找的键即 key，就可以找到其对应的值即 Value。

哈希的思路很简单，把值放在数组里，用一个哈希函数把 key 换算成一个确定的位置，然后把 value 放在数组的这个位置。

不可避免地，多个 key 值经过哈希函数的换算，会出现同一个值的情况。处理这种情况的一种方法是，拉出一个链表。

假设，你现在维护着一个身份证信息和姓名的表，需要根据身份证号查找对应的名字，这时对应的哈希索引的示意图如下所示：


![image.png](/static/img/1a3767851345c0ec1de8658c1cd5ac3b.image.webp)

图中，User2 和 User4 根据身份证号算出来的值都是 N，但没关系，后面还跟了一个链表。假设，这时候你要查 ID_card_n2 对应的名字是什么，处理步骤就是：首先，将 ID_card_n2 通过哈希函数算出 N；然后，按顺序遍历，找到 User2。

需要注意的是，图中四个 ID_card_n 的值并不是递增的，这样做的好处是增加新的 User 时速度会很快，只需要往后追加。但缺点是，因为不是有序的，所以哈希索引做区间查询的速度是很慢的。

你可以设想下，如果你现在要找身份证号在[ID_card_X, ID_card_Y]这个区间的所有用户，就必须全部扫描一遍了。

所以，`哈希表这种结构适用于只有等值查询的场景，比如 Memcached 及其他一些 NoSQL 引擎。`
### 2.2 有序数组
有序数组在等值查询和范围查询场景中的性能就都非常优秀。还是上面这个根据身份证号查名字的例子，如果我们使用有序数组来实现的话，示意图如下所示：


![image.png](/static/img/d5ed0e0d3d2282aa303db18baa25f2a2.image.webp)
这里我们假设身份证号没有重复，这个数组就是按照身份证号递增的顺序保存的。这时候如果你要查 ID_card_n2 对应的名字，用二分法就可以快速得到，这个时间复杂度是 O(log(N))。

同时很显然，这个索引结构支持范围查询。你要查身份证号在[ID_card_X, ID_card_Y]区间的 User，可以先用二分法找到 ID_card_X（如果不存在 ID_card_X，就找到大于 ID_card_X 的第一个 User），然后向右遍历，直到查到第一个大于 ID_card_Y 的身份证号，退出循环。

如果仅仅看查询效率，有序数组就是最好的数据结构了。但是，在需要更新数据的时候就麻烦了，你往中间插入一个记录就必须得挪动后面所有的记录，成本太高。

所以，`有序数组索引只适用于静态存储引擎，比如你要保存的是 2017 年某个城市的所有人口信息，这类不会再修改的数据。`

### 2.3 搜索树
二叉搜索树也是课本里的经典数据结构了。还是上面根据身份证号查名字的例子，如果我们用二叉搜索树来实现的话，示意图如下所示：

![image.png](/static/img/07382046493c4ee85f239f6fc05c4cd9.image.webp)

二叉搜索树的特点是：父节点左子树所有结点的值小于父节点的值，右子树所有结点的值大于父节点的值。这样如果你要查 ID_card_n2 的话，按照图中的搜索顺序就是按照 UserA -> UserC -> UserF -> User2 这个路径得到。这个时间复杂度是 O(log(N))。

当然为了维持 O(log(N)) 的查询复杂度，你就需要保持这棵树是平衡二叉树。为了做这个保证，更新的时间复杂度也是 O(log(N))。

树可以有二叉，也可以有多叉。多叉树就是每个节点有多个儿子，儿子之间的大小保证从左到右递增。

二叉树是搜索效率最高的，但是实际上大多数的数据库存储却并不使用二叉树。

其原因是，索引不止存在内存中，还要写到磁盘上。你可以想象一下一棵 100 万节点的平衡二叉树，树高 20。一次查询可能需要访问 20 个数据块。

在机械硬盘时代，从磁盘随机读一个数据块需要 10 ms 左右的寻址时间。也就是说，对于一个 100 万行的表，如果使用二叉树来存储，单独访问一个行可能需要 20 个 10 ms 的时间，这个查询可真够慢的。

为了让一个查询尽量少地读磁盘，就必须让查询过程访问尽量少的数据块。

那么，我们就不应该使用二叉树，而是要使用“N 叉”树。这里，“N 叉”树中的“N”取决于数据块的大小。

以 InnoDB 的一个整数字段索引为例，这个 N 差不多是 1200。这棵树高是 4 的时候，就可以存 1200 的 3 次方个值，这已经 17 亿了。

考虑到树根的数据块总是在内存中的，一个 10 亿行的表上一个整数字段的索引，查找一个值最多只需要访问 3 次磁盘。

其实，树的第二层也有很大概率在内存中，那么访问磁盘的平均次数就更少了。N 叉树由于在读写上的性能优点，以及适配磁盘的访问模式，已经被广泛应用在数据库引擎中了。

不管是哈希还是有序数组，或者 N 叉树，它们都是不断迭代、不断优化的产物或者解决方案。数据库技术发展到今天，跳表、LSM 树等数据结构也被用于引擎设计中，这里我就不再一一展开了。

你心里要有个概念，数据库底层存储的核心就是基于这些数据模型的。每碰到一个新数据库，我们需要先关注它的数据模型，这样才能从理论上分析出这个数据库的适用场景。

## 3. InnoDB的索引模型
在 InnoDB 中，表都是根据主键顺序以索引的形式存放的，这种存储方式的表称为索引组织表。

又因为前面我们提到的，InnoDB 使用了 B+ 树索引模型，所以数据都是存储在 B+ 树中的。每一个索引在 InnoDB 里面对应一棵 B+ 树。

假设，我们有一个主键列为 ID 的表，表中有字段 k，并且在 k 上有索引。这个表的建表语句是：
```sql
mysql> create table T(
id int primary key, 
k int not null, 
name varchar(16),
index (k))engine=InnoDB;
```

表中 R1~R5 的 (ID,k) 值分别为 (100,1)、(200,2)、(300,3)、(500,5) 和 (600,6)，两棵树的示例示意图如下。


![image.png](/static/img/da4947b329ba7b9cf80d015a3640e355.image.webp)
从图中不难看出，根据叶子节点的内容，索引类型分为主键索引和非主键索引。
- 主键索引的叶子节点存的是整行数据。在 InnoDB 里，主键索引也被称为聚簇索引（clustered index）。
- 非主键索引的叶子节点内容是主键的值。在 InnoDB 里，非主键索引也被称为二级索引（secondary index）。

> `基于主键索引和普通索引的查询有什么区别？`

- 如果语句是 select * from T where ID=500，即主键查询方式，则只需要搜索 ID 这棵 B+ 树；
- 如果语句是 select * from T where k=5，即普通索引查询方式，则需要先搜索 k 索引树，得到 ID 的值为 500，再到 ID 索引树搜索一次。这个过程称为回表。

也就是说，基于非主键索引的查询需要多扫描一棵索引树。因此，我们在应用中应该尽量使用主键查询。


## 4. 索引维护
B+ 树为了维护索引有序性，在插入新值的时候需要做必要的维护。

以上面这个图为例，如果插入新的行 ID 值为 700，则只需要在 R5 的记录后面插入一个新记录。

如果新插入的 ID 值为 400，就相对麻烦了，需要逻辑上挪动后面的数据，空出位置。

而更糟的情况是，如果 R5 所在的数据页已经满了，根据 B+ 树的算法，这时候需要申请一个新的数据页，然后挪动部分数据过去。这个过程称为页分裂。

在这种情况下，性能自然会受影响。除了性能外，页分裂操作还影响数据页的利用率。原本放在一个页的数据，现在分到两个页中，整体空间利用率降低大约 50%。

当然有分裂就有合并。当相邻两个页由于删除了数据，利用率很低之后，会将数据页做合并。合并的过程，可以认为是分裂过程的逆过程。

基于上面的索引维护过程说明，我们来讨论一个案例：

> 你可能在一些建表规范里面见到过类似的描述，要求建表语句里一定要有自增主键。当然事无绝对，我们来分析一下哪些场景下应该使用自增主键，而哪些场景下不应该。


## 5. 自增主键的选择
自增主键是指自增列上定义的主键，在建表语句中一般是这么定义的： `NOT NULL PRIMARY KEY AUTO_INCREMENT`。

插入新记录的时候可以不指定 ID 的值，系统会获取当前 ID 最大值加 1 作为下一条记录的 ID 值。

也就是说，自增主键的插入数据模式，正符合了我们前面提到的递增插入的场景。

每次插入一条新记录，都是追加操作，都不涉及到挪动其他记录，也不会触发叶子节点的分裂。

而有业务逻辑的字段做主键，则往往不容易保证有序插入，这样写数据成本相对较高。

除了考虑性能外，我们还可以从存储空间的角度来看。假设你的表中确实有一个唯一字段，比如字符串类型的身份证号，那应该用身份证号做主键，还是用自增字段做主键呢？

由于每个非主键索引的叶子节点上都是主键的值。如果用身份证号做主键，那么每个二级索引的叶子节点占用约 20 个字节，而如果用整型做主键，则只要 4 个字节，如果是长整型（bigint）则是 8 个字节。

显然，主键长度越小，普通索引的叶子节点就越小，普通索引占用的空间也就越小。

所以，从性能和存储空间方面考量，自增主键往往是更合理的选择。

有没有什么场景适合用业务字段直接做主键的呢？还是有的。

比如，有些业务的场景需求是这样的：只有一个索引；该索引必须是唯一索引。你一定看出来了，这就是典型的 KV 场景。

由于没有其他索引，所以也就不用考虑其他索引的叶子节点大小的问题。

这时候我们就要优先考虑上一段提到的“尽量使用主键查询”原则，直接将这个索引设置为主键，可以避免每次查询需要搜索两棵树。
## 6. 重建索引的作法
对于上面例子中的 InnoDB 表 T，如果你要重建索引 k，你的两个 SQL 语句可以这么写：
```sql
alter table T drop index k;
alter table T add index(k);
```
如果你要重建主键索引，也可以这么写：
```sql
alter table T drop primary key;
alter table T add primary key(id);
```
## 上期问题：避免长事务对业务的影响
### 应用开发端
1. 确认是否使用了 set autocommit=0。这个确认工作可以在测试环境中开展，把 MySQL 的 general_log 开起来，然后随便跑一个业务逻辑，通过 general_log 的日志来确认。一般框架如果会设置这个值，也就会提供参数来控制行为，你的目标就是把它改成 1。
2. 确认是否有不必要的只读事务。有些框架会习惯不管什么语句先用 begin/commit 框起来。我见过有些是业务并没有这个需要，但是也把好几个 select 语句放到了事务中。这种只读事务可以去掉。
3. 业务连接数据库的时候，根据业务本身的预估，通过 SET MAX_EXECUTION_TIME 命令，来控制每个语句执行的最长时间，避免单个语句意外执行太长时间。（为什么会意外？在后续的文章中会提到这类案例）
### 数据库端
1. 监控 information_schema.Innodb_trx 表，设置长事务阈值，超过就报警 / 或者 kill；
2. Percona 的 pt-kill 这个工具不错，推荐使用；
3. 在业务功能测试阶段要求输出所有的 general_log，分析日志行为提前发现问题；如果使用的是 MySQL 5.6 或者更新版本，把 innodb_undo_tablespaces 设置成 2（或更大的值）。如果真的出现大事务导致回滚段过大，这样设置后清理起来更方便。
## 本期问题
我的问题是，对于上面这两个重建索引的作法，说出你的理解。如果有不合适的，为什么，更好的方法是什么？


在评论区，有同学问到为什么要重建索引。

我们文章里面有提到，索引可能因为删除，或者页分裂等原因，导致数据页有空洞，重建索引的过程会创建一个新的索引，把数据按顺序插入，这样页面的利用率最高，也就是索引更紧凑、更省空间。

这道题目，我给你的“参考答案”是：

重建索引 k 的做法是合理的，可以达到省空间的目的。但是，重建主键的过程不合理。

不论是删除主键还是创建主键，都会将整个表重建。所以连着执行这两个语句的话，第一个语句就白做了。

这两个语句，你可以用这个语句代替 ： alter table T engine=InnoDB。在专栏的第 12 篇文章《为什么表数据删掉一半，表文件大小不变？》中，我会和你分析这条语句的执行流程。

04 深入浅出索引（上）

提到事务，你肯定不陌生，和数据库打交道的时候，我们总是会用到事务。最经典的例子就是转账，你要给朋友小王转 100 块钱，而此时你的银行卡只有 100 块钱。



转账过程具体到程序里会有一系列的操作，比如查询余额、做加减法、更新余额等，这些操作必须保证是一体的，不然等程序查完之后，还没做减法之前，你这 100 块钱，完全可以借着这个时间差再查一次，然后再给另外一个朋友转账，如果银行这么整，不就乱了么？这时就要用到“事务”这个概念了。

简单来说，事务就是要保证一组数据库操作，要么全部成功，要么全部失败。在 MySQL 中，事务支持是在引擎层实现的。你现在知道，MySQL 是一个支持多引擎的系统，但并不是所有的引擎都支持事务。比如 MySQL 原生的 MyISAM 引擎就不支持事务，这也是 MyISAM 被 InnoDB 取代的重要原因之一。

今天的文章里，我将会以 InnoDB 为例，剖析 MySQL 在事务支持方面的特定实现，并基于原理给出相应的实践建议，希望这些案例能加深你对 MySQL 事务原理的理解。

## 1. 隔离性与隔离级别
提到事务，你肯定会想到 ACID（Atomicity、Consistency、Isolation、Durability，即原子性、一致性、隔离性、持久性）

今天我们就来说说其中 I，也就是“隔离性”。当数据库上有多个事务同时执行的时候，就可能出现`脏读（dirty read）`、`不可重复读（non-repeatable read）`、`幻读（phantom read）`的问题

为了解决这些问题，就有了“隔离级别”的概念。

隔离得越严实，效率就会越低, 所以需要找到平衡点

SQL标准的事务隔离级别包括：
* `读未提交(read uncommited)`: 是指一个事务还没提交时，它做的变更就能被别的事务看到
* `读提交（read commited）`： 一个事务提交之后，它做的变更才会被其他事务看到
* `可重复读(repeatable read)`：一个事务执行过程中看到的数据，总是跟这个事务在启动时看到的数据是不一致的。当然在可重复读隔离级别下，未提交变更对其他事务也是不可见的。
* `串行化(serializable)`：顾名思义是对于同一行记录，“写”会加“写锁”，“读”会加“读锁”。当出现读写锁冲突的时候，后访问的事务必须等待前一个事务执行完成。才能继续完成。


其中“读提交”和“可重复读”比较难理解，所以我用一个例子说明这几种隔离级别。假设数据表 T 中只有一列，其中一行的值为 1，下面是按照时间顺序执行两个事务的行为。

```sql
mysql> create table T(c int) engine=InnoDB;
insert into T(c) values(1);
```

![image.png](/static/img/7663ea67fdf29baef84b9f0054417668.image.webp)

我们来看看在不同的隔离级别下，事务 A 会有哪些不同的返回结果，也就是图里面 V1、V2、V3 的返回值分别是什么。
1. 若隔离级别是“读未提交”， 则 V1 的值就是 2。这时候事务 B 虽然还没有提交，但是结果已经被 A 看到了。因此，V2、V3 也都是 2。
2. 若隔离级别是“读提交”，则 V1 是 1，V2 的值是 2。事务 B 的更新在提交后才能被 A 看到。所以， V3 的值也是 2。
3. 若隔离级别是“可重复读”，则 V1、V2 是 1，V3 是 2。之所以 V2 还是 1，遵循的就是这个要求：事务在执行期间看到的数据前后必须是一致的。
4. 若隔离级别是“串行化”，则在事务 B 执行“将 1 改成 2”的时候，会被锁住。直到事务 A 提交后，事务 B 才可以继续执行。所以从 A 的角度看， V1、V2 值是 1，V3 的值是 2。

在实现上，数据库里面会创建一个视图，访问的时候以视图的逻辑结果为准。

在“可重复读”隔离级别下，这个视图是在事务启动时创建的，整个事务存在期间都用这个视图。

在“读提交”隔离级别下，这个视图是在每个 SQL 语句开始执行的时候创建的。

这里需要注意的是
* “读未提交”隔离级别下直接返回记录上的最新值，没有视图概念
* 而“串行化”隔离级别下直接用加锁的方式来避免并行访问。

我们可以看到在不同的隔离级别下，数据库行为是有所不同的。Oracle 数据库的默认隔离级别其实就是“读提交”，因此对于一些从 Oracle 迁移到 MySQL 的应用，为保证数据库隔离级别的一致，你一定要记得将 MySQL 的隔离级别设置为“读提交”。

配置的方式是，将启动参数 transaction-isolation 的值设置成 READ-COMMITTED。你可以用 show variables 来查看当前的值。

```sql
mysql> show variables like 'transaction_isolation';

+-----------------------+----------------+

| Variable_name | Value |

+-----------------------+----------------+

| transaction_isolation | READ-COMMITTED |

+-----------------------+----------------+
```

你可能会问那什么时候需要“可重复读”的场景呢？我们来看一个数据校对逻辑的案例。

假设你在管理一个个人银行账户表。一个表存了账户余额，一个表存了账单明细。到了月底你要做数据校对，也就是判断上个月的余额和当前余额的差额，是否与本月的账单明细一致。你一定希望在校对过程中，即使有用户发生了一笔新的交易，也不影响你的校对结果。

这时候使用“可重复读”隔离级别就很方便。事务启动时的视图可以认为是静态的，不受其他事务更新的影响。


## 2. 事务隔离的实现
理解了事务的隔离级别，我们再来看看事务隔离具体是怎么实现的。这里我们展开说明“可重复读”。

在 MySQL 中，实际上每条记录在更新的时候都会同时记录一条回滚操作。记录上的最新值，通过回滚操作，都可以得到前一个状态的值。

假设一个值从 1 被按顺序改成了 2、3、4，在回滚日志里面就会有类似下面的记录。


![image.png](/static/img/4c8dba7941e51f7ec69dc9100cbf513b.image.webp)

当前值是 4，但是在查询这条记录的时候，不同时刻启动的事务会有不同的 read-view。

如图中看到的，在视图 A、B、C 里面，这一个记录的值分别是 1、2、4，同一条记录在系统中可以存在多个版本，就是数据库的多版本并发控制（MVCC）。

对于 read-view A，要得到 1，就必须将当前值依次执行图中所有的回滚操作得到。同时你会发现，即使现在有另外一个事务正在将 4 改成 5，这个事务跟 read-view A、B、C 对应的事务是不会冲突的。

你一定会问，回滚日志总不能一直保留吧，什么时候删除呢？答案是，在不需要的时候才删除。

也就是说，系统会判断，当没有事务再需要用到这些回滚日志时，回滚日志会被删除。

什么时候才不需要了呢？就是当系统里没有比这个回滚日志更早的 read-view 的时候。

`我们来讨论一下为什么建议你尽量不要使用长事务`

长事务意味着系统里面会存在很老的事务视图。由于这些事务随时可能访问数据库里面的任何数据，所以这个事务提交之前，数据库里面它可能用到的回滚记录都必须保留，这就会导致大量占用存储空间。

在 MySQL 5.5 及以前的版本，回滚日志是跟数据字典一起放在 ibdata 文件里的，即使长事务最终提交，回滚段被清理，文件也不会变小。

我见过数据只有 20GB，而回滚段有 200GB 的库。最终只好为了清理回滚段，重建整个库。

除了对回滚段的影响，长事务还占用锁资源，也可能拖垮整个库，这个我们会在后面讲锁的时候展开。

## 3. 事务的启动方式

MySQL的事务启动方式有以下几种：
1. 显式启动事务语句， begin 或 start transaction。配套的提交语句是 commit，回滚语句是 rollback。
2. set autocommit=0，这个命令会将这个线程的自动提交关掉。意味着如果你只执行一个 select 语句，这个事务就启动了，而且并不会自动提交。这个事务持续存在直到你主动执行 commit 或 rollback 语句，或者断开连接。

如果纠结“多一次交互”的问题。对于一个需要频繁使用事务的业务，第二种方式每个事务在开始时都不需要主动执行一次 “begin”，减少了语句的交互次数。如果你也有这个顾虑，我建议你使用 commit work and chain 语法。

在 autocommit 为 1 的情况下，用 begin 显式启动的事务，如果执行 commit 则提交事务。如果执行 commit work and chain，则是提交事务并自动启动下一个事务，这样也省去了再次执行 begin 语句的开销。同时带来的好处是从程序开发的角度明确地知道每个语句是否处于事务中。

你可以在 information_schema 库的 innodb_trx 这个表中查询长事务，比如下面这个语句，用于查找持续时间超过 60s 的事务。


```sql
select * from information_schema.innodb_trx where TIME_TO_SEC(timediff(now(),trx_started))>60
```

## 上个问题
> 一天一备跟一周一备的对比

好处是“最长恢复时间”更短。在一天一备的模式里，最坏情况下需要应用一天的 binlog。比如，你每天 0 点做一次全量备份，而要恢复出一个到昨天晚上 23 点的备份。

一周一备最坏情况就要应用一周的 binlog 了。系统的对应指标就是 提到的 RTO（恢复目标时间）。

当然这个是有成本的，因为更频繁全量备份需要消耗更多存储空间，所以这个 RTO 是成本换来的，就需要你根据业务重要性来评估了。

## 本期问题
`你现在知道了系统里面应该避免长事务，如果你是业务开发负责人同时也是数据库负责人，你会有什么方案来避免出现或者处理这种情况呢？`

03 事务隔离：为什么你改了我还看不见

与成人相比，孩子学习乐器的速度有多快？

他们学习第二或者第三语言的速度有多快？

他们学的快对吧？

`为什么？`

有多少人，当你听到某首歌，它会带你回到小时候？

有多少人，可能不是一首歌，但也许它是一种香味或食物，会带你回到几十年前？

`因为信息与感情的结合成了一种长期记忆，我们做事情并不是符合逻辑的。`

我们怎么做事？感情用事



`你学习时的状态，你学习时的心情和感受，都和你想学习的东西联系在一起`

我要教你6个关键，让你学什么都更快

`BE FAST`
## 1. 相信
B代表belief，代表着相信，无论你相信你能或者不能，都怎样？
你都是对的

很多人说：【偶，我记性不好】对吧？他们总是说【我记忆力很好】
或者【我专注力很好】或者【我专注力不好】或者【我有创造力】【我没有创造力】

`我要你摈弃这种观念`

- 创造力不是你所拥有的能力，而是你所做的事情
- 专注力不是你所拥有的能力，而是你所做的事情
- 记忆力不是你所拥有的能力，而是你所做的事情

记忆力没有好坏之分，只有受过训练和没有受过训练的记忆力

你的大脑就像一台超级计算机，而你与自己的对话就是他要运行的程序，所以

`如果你告诉自己，不善于记住名字，你就不会记住下一个你遇到的人的名字`

因为你给你的超级计算机编了程序，让它不要记住，你的思想总是在偷听你和自己的对话

`所以B是相信，相信你能，相信你不能`
## 2. 运动
E代表Exercise，是运动，体育锻炼，因为你的大脑，你的大脑的主要功能是控制你的动作

`当你的身体动起来的时候，大脑也会跟着动起来`

## 3. 忘记
如果你想更快地学习任何科目或技能，F是Forget，是忘记

很多人学的不快，`是因为他们觉得自己已经会了，很多人学不会是因为他们没有把自己的杯子倒空`

有道理吗？ 

你听到所有这些陈词滥调，但每一个陈词滥调都是有道理的

你的思想就像一个降落伞，只有在什么时候中起作用？当他敞开的时候

所以这就是初学者心态，对吗？

所以你要暂时忘掉，你在这里以外学到的东西。
## 4. 主动
`FAST中的A是代表active，主动，积极`

你的大脑和思维不是通过消费资讯来学习的，而是通过创造资讯来学习的，所以你要积极，你要做笔记

`你要提问题，你要参与其中`
## 5. 状态
FAST中的S代表state,代表状态，即所有的学习都依赖于状态

大多数人，他们读书时，他们正处于无聊的状态，人们还在想为什么他们不记得自己读过的东西

`所以要管理好自己的状态`

## 6. 教导
最后，BE FAST中的T，代表的是教导，你学习的目的，是为了教导别人

如果你回到家里，需要将今天所学的教给别人，你的团队，你的家人，你的朋友

`你的学习方式，会不会有所不同呢？你的注意力会不会更好？会还是不会？`

你会提出更好的问题吗？你会做更好的笔记吗？

所以你学习的目的是为了教给别人，因为当你教人的时候，你又再复习一次

## 结束
最后想要以此结尾

如果你能回到你内心的那个孩子，那个年轻的自己，现在告诉他们一些他们需要听到的东西

那会是什么？如果说，你能去到1年、2年、5年、10年的未来，我相信你的内心是智慧的

我相信你的内心是强大的，如果你把时间推算到10年后，再回顾现在的这一天

你现在的自己需要从未来的自己那里听到什么吗？

TED，如何快速学习一个新鲜的事物

## 14.1 info系统状态说明
### 14.1.1 命令说明
info命令的使用方法有以下三种：
- info：部分Redis系统状态统计信息。
- info all：全部Redis系统状态统计信息。
- info section：某一块的系统状态统计信息，其中section可以忽略大小写。



例如，只对Redis的内存相关统计比较感兴趣，可以执行info memory，此时section=memory，下面是info memory的结果：
```
127.0.0.1:6379> info memory
# Memory
used_memory:5209229784
used_memory_human:4.85G
used_memory_rss:6255316992
used_memory_peak:5828761544
used_memory_peak_human:5.43G
used_memory_lua:36864
mem_fragmentation_ratio:1.20
mem_allocator:jemalloc-3.6.0
```

在运维的时候发现客户端有些异常，可以执行client clients，如以下信息反映了输出缓冲区存在溢出的情况：
```
127.0.0.1:6379> info clients
# Clients
connected_clients:225
client_longest_output_list:245639
client_biggest_input_buf:0
blocked_clients:0
```
info all命令包含Redis最全的系统状态信息，表14-1是info all命令涉及的所有section，其中每个模块名就是我们上面提到的section，例如info Server是查看Redis服务的基本信息。


![image.png](/static/img/3def511b0a62422b487102ad6a5916d0.image.webp)



### 14.1.2 详细说明
#### 1.Server
表14-2是info Server模块的统计信息，包含了Redis服务本身的一些信息，例如版本号、运行模式、操作系统的版本、TCP端口等。

表14-2 info Server模块统计信息

![image.png](/static/img/b9996ce65138c9dd2850189c30736ce5.image.webp)
#### 2.Clients
表14-3是info Clients模块的统计信息，包含了连接数、阻塞命令连接数、输入输出缓冲区等相关统计信息。
表14-3 info Clients模块统计信息

![image.png](/static/img/cfab8b4a8493e9bb9499ec4dbf1f33d9.image.webp)
#### 3.Memory
表14-4是info Memory模块的统计信息，包含了Redis内存使用、系统内存使用、碎片率、内存分配器等相关统计信息。

表14-4 info Memory模块统计信息

![image.png](/static/img/313c1a3d0c73561b5c42aa2638cb9d40.image.webp)
#### 4.Persistence
表14-5是info Persistence模块的统计信息，包含了RDB和AOF两种持久
化的一些统计信息。
表14-5 info Persistence模块统计信息

![image.png](/static/img/041d216055bc4c84fa1b0e1d95be12a5.image.webp)
#### 5.Stats
表14-6是info Stats模块的统计信息，是Redis的基础统计信息，包含了：连接、命令、网络、过期、同步等很多统计信息。
表14-6 info Stats模块统计信息


![image.png](/static/img/e50b7faaffa961028e0681a24bb6b691.image.webp)
#### 6.Replication
表14-7是info Replication模块的统计信息，包含了Redis主从复制的一些统计信息，根据主从节点，统计信息也略有不同

表14-7 info Replication模块统计信息


![image.png](/static/img/26a77d8a6b7aaffe8223bda0d9d5052e.image.webp)
![](https://www.ericturbo.top/static/img/ae0ea7d0920a43888194aae03e52a058.image.webp)

#### 7.CPU
表14-8是info CPU模块的统计信息，包含了Redis进程和子进程对于CPU消耗的一些统计信息。

表14-8 info CPU模块统计信息

![image.png](/static/img/4f691e69d754b2b7f129927cba4bcb23.image.webp)

#### 8.Commandstats
表14-9是info Commandstats模块的统计信息，是Redis命令统计信息，包含各个命令的命令名、总次数、总耗时、平均耗时。

表14-9 info Commandstats模块统计信息


![image.png](/static/img/b634c0582f6f5a688ea9e961b8e61d91.image.webp)

#### 9.Cluster
表14-10是info Cluster模块的统计信息，目前只有一个统计信息，标识当前Redis是否为Cluster模式。

表14-10 info Cluster模块统计信息

![image.png](/static/img/fddefc93e5e99e66a2dc4fc45b90c929.image.webp)
#### 10.Keyspace
表14-11是info Keyspace模块的统计信息，包含了每个数据库的键值统计信息。

表14-11 info Keyspace模块统计信息


![image.png](/static/img/942e5ea289c453122bc90b9695b77653.image.webp)

## 14.2 standalone配置说明和分析 
### 14.2.1 总体配置
表14-12是Redis的一些总体配置，例如端口、日志、数据库等。


![image.png](/static/img/e0ffefffcddc6df65130bc78e50a7afc.image.webp)

### 14.2.2 最大内存及策略

![image.png](/static/img/5e73a097f2599571fbd93204df64b868.image.webp)

### 14.2.3 AOF相关配置

![image.png](/static/img/dde664590633110d1da48a7cc3cd76a5.image.webp)
### 14.2.4 RDB相关配置

![image.png](/static/img/c239e9802f0bb51a3b2923faa726ffaa.image.webp)
### 14.2.5 慢查询配置

![image.png](/static/img/da46f284a2be3eaa4c0c9aaa03e23665.image.webp)

### 14.2.6 数据结构优化及配置

![image.png](/static/img/becea157aeeb42308efd796b568edd44.image.webp)

### 14.2.7 复制相关配置

![image.png](/static/img/60e1fb9443f0220983e288e9f6568146.image.webp)

### 14.2.8 客户端相关配置

![image.png](/static/img/633db7445dfd7184d3d66c7482b9d589.image.webp)
### 14.2.9 安全相关配置

![image.png](/static/img/49b33519f8345ec01c4fbe467815077a.image.webp)

## 14.3 Sentinel配置说明和分析
Sentinel节点是特殊的Redis节点，有几个特殊的配置，如表14-21所示。


![image.png](/static/img/bbff28c763d9e2fdd5e24a345fd61b27.image.webp)
## 14.4 Cluster配置说明和分析

Cluster节点是特殊的Redis节点，有几个特殊的配置，


![image.png](/static/img/44c0b924faa132c6d7d4efc5e3ddaa06.image.webp)

14 配置统计字典

## 13.1 CacheCloud是什么？
### 13.1.1 现有问题
1. 部署成本

以Redis Cluster为例子，虽然Redis的作者开发了redistrib.rb这样的工具帮助我们快速构建和管理Redis Cluster，但是每个Redis节点仍然需要手工配置和启动，相对来说还是比较繁琐的，

而且由于是人工操作，所以存在一定的错误率。例如作为一个Redis运维人员，管理几百上千个Redis节点是很正常的事，如果单纯手工安装配置，既耗时又容易出错。



2. 实例碎片化

关系型数据库（例如Oracle、MySQL）发展很多年已经非常成熟，会有专职的DBA人员管理，运维流程和监控平台相对成熟稳定。

对于像Redis这样的NoSQL数据库，很多公司没有专职人员来维护，于是就会出现一种现象：

Redis由各个业务组来维护，造成Redis散落在各个机器上，没有整体的管理。

并且存在着很多由于业务收缩或者下线无人管理的Redis节点。高效
的做法应该是提供统一管理和监控的Redis平台，用于管理机器、集群、节点、用户等资源并做好全方位监控，防止各种“私搭乱建”造成的混乱现象。

3. 监控、统计和管理不完善

Redis Live[1]等工具虽然提供了可视化的方式来监控Redis的相关数据，但是如果从功能全面性上还是不够的，例如Redis2.8之后提供的RedisSentinel和Redis3.0提供的Redis Cluster，

目前的开源工具没有提供较好的支持，而且对于Redis info中的某些重要指标也没有实现很好的监控和报警功能。

4. 运维经济成本

业务组运维Redis会造成如下三个问题：
- 业务组的开发人员可能更加善于使用Redis实现各种功能，但是没有足够的精力和经验来维护好Redis。
- 各个业务组的Redis较为分散地部署在各自服务器上，造成机器利用率较低，出现大量闲置资源，同时监控和运维无法有效支撑。
- 各个业务组的Redis使用各种不同的版本，不便于管理和交互。


### 13.1.2 CacheCloud基本功能

它实现多种Redis类型（Redis Standalone、Redis Sentinel、
Redis Cluster）的自动部署、解决Redis节点碎片化现象，提供完善的统计、
监控、运维功能，减少运维成本和误操作，提高机器的利用率，提供灵活的
伸缩性，可方便地接入客户端，对于Redis的开发和运维人员非常有帮助。


整体功能架构如图13-1所示。


![image.png](/static/img/ad9bba578866dc0380a9c35bdd95bd3b.image.webp)

CacheCloud提供的主要功能如下：
- 监控统计：提供了机器、应用、实例下各个维度数据的监控和统计界面。
- 一键开启：Redis Standalone、Redis Sentinel、Redis Cluster三种类型的应用，无需手动配置初始化。
- Failover：支持Redis Sentinel、Redis Cluster的高可用模式。
- 可伸缩性：提供完善的垂直和水平在线伸缩功能。
- 完善运维：提供自动化运维功能，避免纯手工运维出错。
- 方便的客户端：方便快捷的客户端接入，同时支持客户端性能统计。
- 元数据管理：提供机器、应用、实例、用户信息管理。
- 流程化：提供申请、运维、伸缩、修改等完善的处理流程。
- 一键导入：一键导入已经存在的Redis。
- 迁移数据：Redis Standalone、Redis Sentinel、Redis Cluster、AOF、RDB可进行数据迁移。

## 13.2 快速部署
### 13.2.1 CacheCloud 环境需求

### 13.2.2 CacheCloud快速开始
## 13.3 机器部署
### 13.3.1 部署脚本
### 13.3.2 添加机器
## 13.4 接入应用
### 13.4.1 总体流程

![image.png](/static/img/7bc6697ae3c003d253ea9587fd378e70.image.webp)
### 13.4.2 账户申请和审批
### 13.4.3 应用申请和审批
### 13.4.4 客户端接入

## 13.5 用户功能
### 13.5.1 应用统计信息
### 13.5.2 实例列表
### 13.5.3 应用详情
### 13.5.4 命令曲线
### 13.5.5 CacheCloud Redis Shell控制台
### 13.5.6 慢查询
### 13.5.7 应用拓扑
## 13.6 运维功能
### 13.6.1 应用运维
### 13.6.2 接入已存在的redis节点
### 13.6.3 redis配置模板
### 13.6.4 迁移工具
### 13.6.5 监控报警
### 13.6.6 系统配置管理
## 13.7 客户端上报
### 13.7.1 客户端上报整体设计
### 13.7.2 Jedis核心代码修改
### 13.7.3 带上报功能的客户端
### 13.7.4 CacheCloud客户端统计