## 查询为什么会慢
一个查询一般是由多个子任务组成的，每个子任务都会消耗一定的时间。优化查询就是减少某个子任务的执行时间，或者减少某些子任务。



## 主要问题
### 扫描了多余的行
+ 没有使用limit
+ 多表关联时没有指定要获取的表数据
```sql
SELECT * FROM a
INNER JOIN b ON a.refid = b.id
```
+ 重复查询相同的数据

### 查询了多余的列
```sql
SELECT * FROM a
```
## 优化策略
### 切分查询
```sql
# 删除2018年前的数据
DELETE FROM a WHERE created_at < UNIX_TIMESTAMP('2018/01/01 00:00:00')

# 切分查询
DELETE FROM a WHERE created_at < UNIX_TIMESTAMP('2016/01/01 00:00:00')；
DELETE FROM a WHERE created_at < UNIX_TIMESTAMP('2017/01/01 00:00:00')；
DELETE FROM a WHERE created_at < UNIX_TIMESTAMP('2018/01/01 00:00:00')；
```
### 分解关联查询
```sql
# 关联查询20调数据
SELECT *
FROM a INNER JOIN b ON b.refid = a.id
LIMIT 20;

# 分解查询
SELECT * FROM a limit 20;
SELECT * FROM b WHERE refid in () ;
```

MySQL性能优化 - 查询

## 背景
当单表的数据量达到1000万或100G以后，由于查询维度较多，即使添加从库、优化索引，做很多操作时性能仍下降严重。此时就要考虑对其进行切分了，切分的目的就在于减少数据库的负担，缩短查询时间。



## 拆分策略
### 垂直拆分
#### 分库
根据业务将关联的表单独拆分出去，创建单独的数据库。

![attach_1688f19a03f84a9e.png](http://www.tansanpi.cn/static/img/1c4f7f0c22a5cb27e3e8f4a951f69067.attach_1688f19a03f84a9e.png)
#### 分表
将表中不常用的字段，或者数据比较长的字段拆分到其他的表中。
#### 垂直切分的优点：
+ 解决业务系统层面的耦合，业务清晰
+ 与微服务的治理类似，也能对不同业务的数据进行分级管理、维护、监控、扩展等
+ 高并发场景下，垂直切分一定程度的提升IO、数据库连接数、单机硬件资源的瓶颈

#### 缺点：
+ 部分表无法join，只能通过接口聚合方式解决，提升了开发的复杂度
+ 分布式事务处理复杂
+ 依然存在单表数据量过大的问题（需要水平切分）

### 横向拆分
#### 分库分表示例

![attach_1688f1cf7dfda26f.png](http://www.tansanpi.cn/static/img/22627aad6d8cccf424099c6c13d2c49a.attach_1688f1cf7dfda26f.png)
#### 拆分策略
#### 根据数值范围
按照时间区间或ID区间来切分。例如：按日期将不同月甚至是日的数据分散到不同的库中；将userId为1-9999的记录分到第一个库，10000-20000的分到第二个库，以此类推。某种意义上，某些系统中使用的"冷热数据分离"，将一些使用较少的历史数据迁移到其他库中，业务功能上只提供热点数据的查询，也是类似的实践。

![attach_1688f24f26fd310f.png](http://www.tansanpi.cn/static/img/759b859df5662232a51a6863294ea5d5.attach_1688f24f26fd310f.png)

**优点：**
单表大小可控
天然便于水平扩展，后期如果想对整个分片集群扩容时，只需要添加节点即可，无需对其他分片的数据进行迁移
使用分片字段进行范围查找时，连续分片可快速定位分片进行快速查询，有效避免跨分片查询的问题。

**缺点：**
热点数据成为性能瓶颈。连续分片可能存在数据热点，例如按时间字段分片，有些分片存储最近时间段内的数据，可能会被频繁的读写，而有些分片存储的历史数据，则很少被查询

#### 根据数值取模
一般采用hash取模mod的切分方式，例如：将 Customer 表根据 cusno 字段切分到4个库中，余数为0的放到第一个库，余数为1的放到第二个库，以此类推。这样同一个用户的数据会分散到同一个库中，如果查询条件带有cusno字段，则可明确定位到相应库去查询。

![attach_1688f26581561db3.png](http://www.tansanpi.cn/static/img/9601a7f05f343504c668e6bc9ab4da60.attach_1688f26581561db3.png)

**优点：**
数据分片相对比较均匀，不容易出现热点和并发访问的瓶颈

**缺点：**
后期分片集群扩容时，需要迁移旧的数据（使用一致性hash算法能较好的避免这个问题）
容易面临跨分片查询的复杂问题。比如上例中，如果频繁用到的查询条件中不带cusno时，将会导致无法定位数据库，从而需要同时向4个库发起查询，再在内存中合并数据，取最小集返回给应用，分库反而成为拖累。

#### 水平切分的优点：
+ 不存在单库数据量过大、高并发的性能瓶颈，提升系统稳定性和负载能力
+ 应用端改造较小，不需要拆分业务模块

#### 缺点：
+ 跨分片的事务一致性难以保证
+ 跨库的join关联查询性能较差
+ 数据多次扩展难度和维护量极大

## 什么时候考虑切分

### 能不切分尽量不要切分
并不是所有表都需要进行切分，主要还是看数据的增长速度。切分后会在某种程度上提升业务的复杂度，数据库除了承载数据的存储和查询外，协助业务更好的实现需求也是其重要工作之一。

不到万不得已不用轻易使用分库分表这个大招，避免"过度设计"和"过早优化"。分库分表之前，不要为分而分，先尽力去做力所能及的事情，例如：升级硬件、升级网络、读写分离、索引优化等等。当数据量达到单表的瓶颈时候，再考虑分库分表。

### 数据量过大，正常运维影响业务访问
这里说的运维，指：

1. 对数据库备份，如果单表太大，备份时需要大量的磁盘IO和网络IO。例如1T的数据，网络传输占50MB时候，需要20000秒才能传输完毕，整个过程的风险都是比较高的

2. 对一个很大的表进行DDL修改时，MySQL会锁住全表，这个时间会很长，这段时间业务不能访问此表，影响很大。如果使用pt-online-schema-change，使用过程中会创建触发器和影子表，也需要很长的时间。在此操作过程中，都算为风险时间。将数据表拆分，总量减少，有助于降低这个风险。

3. 大表会经常访问与更新，就更有可能出现锁等待。将数据切分，用空间换时间，变相降低访问压力

### 随着业务发展，需要对某些字段垂直拆分
举个例子，假如项目一开始设计的用户表如下：

|字段|类型|备注|
|--|--|--|
|id|bigint|#用户的ID|
|name|varchar|#用户的名字|
|last_login_time|datetime|#最近登录时间|
|personal_info|text|#私人信息|
|...|...|#其他信息字段|

在项目初始阶段，这种设计是满足简单的业务需求的，也方便快速迭代开发。而当业务快速发展时，用户量从10w激增到10亿，用户非常的活跃，每次登录会更新 last_login_name 字段，使得 user 表被不断update，压力很大。而其他字段：id, name, personal_info 是不变的或很少更新的，此时在业务角度，就要将 last_login_time 拆分出去，新建一个 user_time 表。

personal_info 属性是更新和查询频率较低的，并且text字段占据了太多的空间。这时候，就要对此垂直拆分出 user_ext 表了。

### 数据量快速增长
随着业务的快速发展，单表中的数据量会持续增长，当性能接近瓶颈时，就需要考虑水平切分，做分库分表了。此时一定要选择合适的切分规则，提前预估好数据容量

### 安全性和可用性
鸡蛋不要放在一个篮子里。在业务层面上垂直切分，将不相关的业务的数据库分隔，因为每个业务的数据量、访问量都不同，不能因为一个业务把数据库搞挂而牵连到其他业务。利用水平切分，当一个数据库出现问题时，不会影响到100%的用户，每个库只承担业务的一部分数据，这样整体的可用性就能提高。

MySQL性能优化 - 分库分表

## 创建composer包
使用命令初始化composer包



```powershell
composer init
```
包说明文件
```json
{
    "name": "xxx/xxx",
    "description": "xxxxxxx",
    "type": "library",
    "authors": [
        {
            "name": "tansanpi",
            "email": "liutan2008@hotmail.com"
        }
    ],
    "minimum-stability": "dev",
    "require": {
        "yiisoft/yii2": ">=2.0.6"
    },
    "config": {
        "process-timeout": 1800,
        "fxp-asset":{
            "installer-paths": {
                "npm-asset-library": "vendor/npm",
                "bower-asset-library": "vendor/bower"
            }
        }
    },
    "autoload": {
        "psr-4": {
            "xxx\\xxx\\": "src/"
        }
    }
}
```
## 引入私有包
### 修改项目composer.json repositries部分
```json
// composer.json
{
    "name": "yiisoft/yii2-app-advanced",
    "description": "Yii 2 Advanced Project Template",
    "keywords": ["yii2", "framework", "advanced", "project template"],
    "homepage": "http://www.yiiframework.com/",
    "type": "project",
    "license": "BSD-3-Clause",
    "support": {
        "issues": "https://github.com/yiisoft/yii2/issues?state=open",
        "forum": "http://www.yiiframework.com/forum/",
        "wiki": "http://www.yiiframework.com/wiki/",
        "irc": "irc://irc.freenode.net/yii",
        "source": "https://github.com/yiisoft/yii2"
    },
    "minimum-stability": "stable",
    "require": {
        "php": ">=5.4.0",
        "yiisoft/yii2": "~2.0.6",
        "yiisoft/yii2-bootstrap": "~2.0.0",
        "yiisoft/yii2-swiftmailer": "~2.0.0",
        "bower-asset/jquery-lazy": "^1.7",
        "xxx/xxx": "~0.1.0"
    },
    "require-dev": {
	"yiisoft/yii2-debug": "~2.0.0",
        "yiisoft/yii2-gii": "~2.0.0",
        "yiisoft/yii2-faker": "~2.0.0",
        "codeception/verify": "~1.1.0",
        "codeception/codeception": "4.0",
        "codeception/module-yii2": "^1.1"
    },
    "config": {
        "process-timeout": 1800,
        "fxp-asset":{
            "installer-paths": {
                "npm-asset-library": "vendor/npm",
                "bower-asset-library": "vendor/bower"
            }
        }
    },
    "repositories": [
	{
            "type": "git",
            "url": "私有仓库地址"
        }
    ]
}

```
### 安装包
```powershell
composer require xxx/xxx:~0.1.0
```

Composer私有包

## http是一个无状态协议
什么是无状态呢？就是说本次请求和上一次请求是没有任何关系的，互不认识，没有关联。这种无状态的的好处是快速。但面临的最大问题之一就是如何维持状态，服务器无法知道两个请求是否来自于同一个浏览器。由于http的无状态性，大多数需要登录的网站，为了自由地浏览这个网站下的任意页面，就需要所有网页能够共享某些数据。session和cookie出现了。
客户端访问服务器流程



![attach_167a8b4b481bed7a.png](http://www.tansanpi.cn/static/img/4cc2504c227b8168198bf2efa036e0d5.attach_167a8b4b481bed7a.png)

## cookie使用：
Set-Cookie: value[; expires=date][; domain=domain][; path=path][; secure]
紧跟 cookie 值后面的每个选项都以分号和空格分开，每个选择都指定了 cookie 在什么情况下应该被发送至服务器。通过 Set-Cookie 指定的可选项只会在浏览器端使用，而不会被发送至服务器端。

### JavaScript 中的 cookie
在 JavaScript 中通过 document.cookie 属性，你可以创建、维护和删除 cookie。
document.cookie="name=testname;domain=baidu.com;path=/";

### cookie 自动删除
会话 cookie (Session cookie) 在会话结束时（浏览器关闭）会被删除
持久化 cookie（Persistent cookie）在到达失效日期时会被删除
如果浏览器中的 cookie 数量达到限制，那么 cookie 会被删除以为新建的 cookie 创建空间。

## Cookie和session

简单地说,session 有如用户信息档案表, 里面包含了用户的认证信息和登录状态等信息. 而 cookie 就是浏览器储存在用户电脑上的一小段文本文件，就是用户通行证,session存储于服务器，可以理解为一个状态列表，拥有一个唯一识别符号sessionId，通常存放于cookie中。服务器收到cookie后解析出sessionId，再去session列表中查找，才能找到相应session。cookie类似一个令牌，装有sessionId，存储在客户端，浏览器通常会自动添加。

## localstorage:
localStorage的生命周期是永久性的。即使关闭浏览器，数据也不会销毁，存储大小一般为5M,需要主动去销毁，使用方法如下：
```javascript
var localStorage= null;
localStorage= window.localStorage;     
localStorage.setItem("name", "testname");    //存储
localStorage.getItem("name");     //获取
localStorage.removeItem("name");     //删除
localStorage.clear();//清除所有数据
localStorage.length;//查看多少条记录
```

## sessionStorage
sessionStorage 的生命周期是在浏览器关闭前。在整个浏览器未关闭前，其数据一直都是存在的。
```javascript
var storage = window.sessionStorage;  
storage.setItem('name','testname');
storage.getItem("name");
storage.removeItem("name");   
storage.clear();//清除所有数据
storage.length;//查看多少条记录
```
## 三者的异同
|特性|Cookie|localStorage|sessionStorage|
|--|--|--|--|
|数据的生命期|可设置失效时间，默认是关闭浏览器后失效|除非被清除，否则永久保存|仅在当前会话下有效，关闭页面或浏览器后被清除|
|存放数据大小|4K左右|一般为5MB|一般为5MB|
|与服务器端通信|每次都会携带在HTTP头中，如果使用cookie保存过多数据会带来性能问题|仅在客户端（即浏览器）中保存，不参与和服务器的通信|仅在客户端（即浏览器）中保存，不参与和服务器的通信|
|易用性|需要程序员自己封装，源生的Cookie接口不友好|源生接口可以接受，亦可再次封装来对Object和Array有更好的支持|源生接口可以接受，亦可再次封装来对Object和Array有更好的支持|

## cookie安全
Xss：恶意攻击者往Web页面里插入恶意的Script代码，当用户浏览该页之时，嵌入其中Web里面的Script代码会被执行，从而达到恶意攻击用户的目的。

Csrf：恶意攻击者任意地使用其他域的 Cookie 向其他域发送 POST 请求，形成 CSRF 攻击。在post请求的瞬间，cookie会被浏览器自动添加到请求头中。

假如用户正在登陆银行网页，同时登陆了攻击者的网页，并且银行网页未对csrf攻击进行防护。攻击者就可以在网页放一个表单，该表单提交src为http://www.bank.com/api/transfer，body为count=1000&to=Tom。倘若是session+cookie，用户打开网页的时候就已经转给Tom1000元了.因为form 发起的 POST 请求并不受到浏览器同源策略的限制


![attach_167a8b8c1e2266d2.png](http://www.tansanpi.cn/static/img/943b21d2625e4180ce5d9434e7e52b5c.attach_167a8b8c1e2266d2.png)

## 问题：分布式情况下的session
我们已经知道session时有状态的，一般存于服务器内存或硬盘中，当服务器采用分布式或集群时，session就会面对负载均衡问题。

从用户端来解释，就是当一个用户第一次访问被负载均衡代理到后端服务器A并登录后，服务器A上保留了用户的登录信息；当用户再次发送请求时，根据负载均衡策略可能被代理到后端不同的服务器，例如服务器B，由于这台服务器B没有用户的登录信息，所以导致用户需要重新登录。这对用户来说是不可忍受的。所以，在实施负载均衡的时候，我们必须考虑Session的问题。

参考：
https://www.cnblogs.com/hyddd/archive/2009/04/09/1432744.html
https://www.cnblogs.com/yangliheng/p/5852494.html

Cookie和Session

## 正则表达式是什么
正则表达式是用来匹配字符串的规则的代码



## 举例
匹配IP地址
```
((2[0-4]\d|25[0-5]|[01]?\d\d?)\.){3}(2[0-4]\d|25[0-5]|[01]?\d\d?)
```

匹配手机号
```
^1[35]([1-3][0-9]|4[0-5])(0[1-9]|1[0-9])\d{5}$
```

## 元字符
|符号|说明|
|----|---|
|.|匹配除换行符以外的任意字符|
|\w|匹配字母、数字、下划线或汉字|
|\s|匹配任意空白符|
|\d|匹配数字|
|\b|匹配单词的开始或结束|
|^|匹配字符串的开始|
|$|匹配字符串的结束|

## 转义
使用“\”符号进行转义
```
\\ 转义\
\. 转义.
```
## 重复

|符号|说明|
|----|---|
|*|零次或多次|
|+|一次或多次|
|?|零次或一次|
|{n}|n次|
|{n,}|n次或更多次|
|{n,m}|n-m次|

## 字符
[0-9]
[0-9a-z]

## 分支条件
符号：|
举例：(0\d{2}-\d{8})|(0\d{3}-\d{8})
匹配：021-85232122 0551-82918821

## 分组
()

## 反义

|符号|说明|
|----|---|
|\W|匹配不是字母、数字、下划线或汉字|
|\S|匹配不是空白符的字符|
|\D|匹配不是数字的字符|
|\B|匹配不是单词开头或者结束的位置|
|[^x]|匹配除了x以外的字符|
|[^aoeiu]|匹配除了aoeiu以外的字符|

## 反向引用
使用数字索引从1开始索引
\b(\w+)\b\s+\1\b

使用别名
\b(?<Word>\w+)\b\s+\k<Word>\b

## 分组的其他语法
### 捕获
|符号|说明|
|----|---|
|(exp)|匹配exp,并捕获文本到自动命名的组里|
|(?\<name\>exp)|匹配exp,并捕获文本到名称为name的组里，也可以写成(?'name'exp)|
|(?\:exp)|匹配exp,不捕获匹配的文本，也不给此分组分配组号|

### 零宽断言

|符号|说明|
|----|---|
|(?=exp)|匹配exp前面的位置|
|(?<=exp)|匹配exp后面的位置|
|(?!exp)|匹配后面跟的不是exp的位置|
|(?<!exp)|匹配前面不是exp的位置|

### 注释
    
(?#comment)	这种类型的分组不对正则表达式的处理产生任何影响，用于提供注释让人阅读

## 零宽断言
    
\b\w+(?=ing\b)

((?<=\d)\d{3})+\b

(?<=<(\w+)>).*(?=<\/\1>)

## 负向零宽断言
    
\b\w*q[^u\s]\w*\b

\b\w*q(?!u)\w*\b
(?<![a-z])\d{7}

## 注释
    
2[0-4]\d(?#200-249)|25[0-5](?#250-255)|[01]?\d\d?(?#0-199)

```
(?<=    # 断言要匹配的文本的前缀
<(\w+)> # 查找尖括号括起来的字母或数字(即HTML/XML标签)
)       # 前缀结束
.*      # 匹配任意文本
(?=     # 断言要匹配的文本的后缀
<\/\1>  # 查找尖括号括起来的内容：前面是一个"/"，后面是先前捕获的标签
)       # 后缀结束
```
    
## 贪婪与懒惰
    
a.*b
a.*?b

*?	    重复任意次，但尽可能少重复
+?	    重复1次或更多次，但尽可能少重复
??	    重复0次或1次，但尽可能少重复
{n,m}?	重复n到m次，但尽可能少重复
{n,}?	重复n次以上，但尽可能少重复

## 处理选项
    
/g 全局搜索
/i 忽略大小写
/m 执行多行匹配

## 平衡组和递归匹配 - .net支持
<div[^>]*>[^<>]*(((?'Open'<div[^>]*>)[^<>]*)+((?'-Open'</div>)[^<>]*)+)*(?(Open)(?!))</div>

## 编辑器中的正则表达式
    

![QQ截图20220923102700.png](http://www.tansanpi.cn/static/img/de7e4dd2ed81c569cb7acdfe072dc380.QQ截图20220923102700.png)

正则表达式

人就像其他生物一样不断地重复自己，这过程其实没有什么意义。要说有意义的话，也许在于人思考了这其中的意义。