mycat介绍与操作步骤

1.分库分表

分库分表带来的问题

2.mycat 入门

2.1 概述

官网：http://www.mycat.org.cn/

注：先安装JDK，再解压mycat即可

注：lib中有mysql的jar包，需要根据mysql的版本进行更换

注：mycat在逻辑上进行分片处理，并不储存真正的数据

2.2 案例：水平分表

1）准备工作

准备三台mysql服务器，并创建同名的数据库，只建库，不要建表

在其中一台服务器上安装mycat（也可以再准备一台虚拟机进行操作）

• 安装jdk
• 配置环境变量
• 解压mycat

2）配置

编辑以下两个配置文件

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/"><schema name="TESTDB" checkSQLschema="true" sqlMaxLimit="100"><table name="student" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" /></schema><dataNode name="dn1" dataHost="dataHost1" database="testdb" /><dataNode name="dn2" dataHost="dataHost2" database="testdb" /><dataNode name="dn3" dataHost="dataHost3" database="testdb" /><dataHost name="dataHost1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="jdbc"><heartbeat>select user()</heartbeat><writeHost host="master" url="jdbc:mysql://192.168.9.3:3306?useSSL=false&amp;serverTimezone=Asia/Shanghai&amp;characterEncoding=utf8" user="root" password="123456"></writeHost></dataHost><dataHost name="dataHost2" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="jdbc"><heartbeat>select user()</heartbeat><writeHost host="master" url="jdbc:mysql://192.168.9.8:3306?useSSL=false&amp;serverTimezone=Asia/Shanghai&amp;characterEncoding=utf8" user="root" password="123456"></writeHost></dataHost><dataHost name="dataHost3" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="jdbc"><heartbeat>select user()</heartbeat><writeHost host="master" url="jdbc:mysql://192.168.9.9:3306?useSSL=false&amp;serverTimezone=Asia/Shanghai&amp;characterEncoding=utf8" user="root" password="123456"></writeHost></dataHost>
</mycat:schema>

3）启动并测试

配置完毕，启动mycat。启动后，可查看日志

连接mycat与连接mysql基本一样

# 建表
create table STUDENT (id bigint(20) not NULL ,name varchar(50) not NULL,sex char(1) not NULL,primary key (id)
) engine=innodb default charset=utf8;# 此时分别查看三个真实数据库，会发现已创建好了相同的表结构

插入数据测试

# 插入三条数据
insert into STUDENT (id,name,sex) values(1,'tom','M');
insert into STUDENT (id,name,sex) values(2,'marry','F');
insert into STUDENT (id,name,sex) values(3,'jack','M');

插入三条数据后分别查看三个真实数据库，发现可能只在其中一个库中插入了数据
这是由 schema.xml 中配置的 rule=“auto-sharding-long” 分片规则决定的
这个分片规则定义在 rule.xml 中，追踪到 autopartition-long.txt 文件

插入新数据id为 5000001，则会插入到对应的物理数据库中，如果超过1500M后，则会报异常

3.mycat 配置详解

3.1 schema.xml

3.2 rule.xml

3.3 server.xml

4.mycat 分片：垂直拆分

1）准备工作

在上例的基础上进行配置，在三台mysql服务器上创建同名的数据库 appdb，只建库，不要建表。

数据库表说明：

• ad_promotion：首页轮播图广告位
• app_info：app信息
• app_category：app类别
• app_version：app版本
• data_dictionary：数据字典
• backend_user：后台用户
• dev_user：开发者用户

2）配置

分片说明

• 数据节点1：
  • app_info ：app信息
  • app_category ：app类别
  • app_version ：app版本
  • data_dictionary ：数据字典
• 数据节点2：
  • backend_user ：后台用户
  • dev_user ：开发者用户
• 数据节点3：
  • ad_promotion ：首页轮播图广告位

schema.xml

#APPDB表示库名
<schema name="APPDB" checkSQLschema="true" sqlMaxLimit="100">
<table name="app_info" dataNode="dn1" primaryKey='id'/>
<table name="app_category" dataNode="dn1" primaryKey='id'/>
<table name="app_version" dataNode="dn1" primaryKey='id'/><table name="data_dictionary" dataNode="dn1" primaryKey='id'/><table name="backend_user" dataNode="dn2" primaryKey='id'/>
<table name="dev_user" dataNode="dn2" primaryKey='id'/><table name="ad_promotion" dataNode="dn3" primaryKey='id'/>
</schema>

#appdb表示连接的数据库名
<dataNode name="dn1" dataHost="dataHost1" database="appdb" />
<dataNode name="dn2" dataHost="dataHost2" database="appdb" />
<dataNode name="dn3" dataHost="dataHost3" database="appdb" />

server.xml

<user name="root" defaultAccount="true"><property name="password">123456</property><property name="schemas">APPDB</property><!--No MyCAT Database selected 错误前会尝试使用该schema作为schema，不设置则为null,报错 --><!-- 表级 DML 权限设置 --><!--            <privileges check="false"><schema name="TESTDB" dml="0110" ><table name="tb01" dml="0000"></table><table name="tb02" dml="1111"></table></schema></privileges>           --></user><user name="user"><property name="password">123456</property><property name="schemas">APPDB</property><property name="readOnly">true</property></user>

3）启动并测试

在mycat端，统一用脚本建表、导入数据

如果在虚拟机里执行app_table.sql需要把脚本上传到某个目录下

如:opt目录下

xxx表示脚本目录的地址 如:source /opt/app_table.sql

# 建表
mysql> source /xxx/app_table.sql
# 导入数据
mysql> source /xxx/app_data.sql

测试以下sql语句

# 查询数据字典表
SELECT * FROM DATA_DICTIONARY;# 连接查询，查询app信息
SELECT a.id,softwareName,APKName,valueName
FROM APP_INFO a
INNER JOIN DATA_DICTIONARY d
ON a.status = d.valueId
WHERE d.typeCode= 'APP_STATUS';# 连接查询，查询管理员信息，报错截图如下
SELECT u.id,userCode,u.creationDate,valueName
FROM BACKEND_USER u
INNER JOIN DATA_DICTIONARY d
ON u.userType = d.valueId
WHERE d.typeCode= 'USER_TYPE';

4）全局表

如果连接查询的表处于不同的分片，则会报错

比如数据字典表，其他表可能都会引用它，则应该把它设置为全局表，让它在每个分片上都存在

重新配置后，重启mycat，还需要把物理数据库中的表全部删除，重新执行建库脚本，再进行测试

编辑 schema.xml

<table name="data_dictionary" dataNode="dn1,dn2,dn3" primaryKey='id' type="global"/>

注意：

• 修改 schema.xml 后，重启mycat
• 删除每个分片上的数据表，重新执行建库脚本等
• 对全局表进行更新等操作后，其他分片上的全局表也会进行同步

5.mycat 分片：水平拆分

在上一个案例的基础上完成

schema.xml ，mod-long：通过对id取模运算把数据均匀的分散到分片上

server.xml ，让 root 也可以管理此逻辑库

重启mycat，测试略

6.mycat 管理和监控

6.1 9066管理端口

6.2 mycat-web

zookeeper

下载地址：https://archive.apache.org/dist/zookeeper/

安装步骤：

# 解压
tar -xf zookeeper-3.4.6.tar.gz -C /usr/local/# 创建数据存放目录
mkdir /usr/local/zookeeper-3.4.6/data# 配置文件 
cp /usr/local/zookeeper-3.4.6/conf/zoo_sample.cfg /usr/local/zookeeper-3.4.6/conf/zoo.cfg# 修改配置文件
vim /usr/local/zookeeper-3.4.6/conf/zoo.cfg
# 第12 行
dataDir=/usr/local/zookeeper-3.4.6/data#启动
/usr/local/zookeeper-3.4.6/bin/zkServer.sh start
# 查看状态
/usr/local/zookeeper-3.4.6/bin/zkServer.sh status

安装 mycat-eye

# 解压
tar -xf Mycat-web.tar.gz -C /usr/local/# 启动
cd /usr/local/mycat-web/
sh start.sh# 网页访问
http://192.168.9.3:8082/mycat/

启动 zookeeper、mycat-eye，访问网页

7.mycat 读写分离

7.1 一主一从

两台虚拟机，先配置好一主一从，再配置 mycat

• 配置好一主一从后，在主库的DDL操作会同步到从库中
• 在主库测试建库、建表、插入数据

mycat 配置说明

• writeHost 节点、readHost 节点
• balance 属性（一般设置为1或3，在一主一从配置中1和3都一样）
• 读写分离的配置中不用配置逻辑表，默认会加载物理数据库中的所有表为逻辑表

配置 schema.xml

writeHost 和eadHost 节点中的 name 不要相同

server.xml

重启mycat，登录并测试

• 连接 mycat，测试新增，主库和从库中都会有新增的数据
• 用navicat在从库中修改一条数据，在mycat 中测试查询，以验证读写是否分离
• 如果 schema.xml 中的负载均衡策略为2，则会随机查询到两个节点的数据
• 如果主库宕机了，查询操作正常，新增、修改、删除都会失败（一主一从并没有高可用）

7.2 双主双从

介绍

准备和规划

主机master1

• server-id：唯一值
• binlog-do-db：指定一个需要同步的库做测试即可，如 db01
• log-slave-updates

vim /etc/my.cnfserver-id=1
log-bin=mysql-bin
#选择要同步的数据库名  只能在这个数据库进行同步
#不写就是全部数据库
binlog-do-db=mytest
log-slave-updates

#重启数据库
systemctl restart mysqld

主机master2

• 和 master1 对比，也就是 server-id 不同

vim /etc/my.cnfserver-id=3
log-bin=mysql-bin
#选择要同步的数据库名  只能在这个数据库进行同步
#不写就是全部数据库
binlog-do-db=mytest
log-slave-updates

#重启数据库
systemctl restart mysqld

分别在两台主库上都创建同名的用户，用于主从复制，查看主库状态（记录 binlog文件和位置）

#登录mysql
mysql -uroot -p
# 创建用户，并授予主从复制权限
mysql> create user 'my'@'%' identified with mysql_native_password by 'Bdqn_8888';mysql> grant replication slave on *.* to 'my'@'%';mysql> SHOW MASTER STATUS;

从机slave1

• 只需要配置 server-id

vim /etc/my.cnf#从机id
server-id=2#重启数据库
systemctl restart mysqld

从机slave2

• 和 slave1对比，也就是server-id不同

vim /etc/my.cnf#从机id
server-id=4#重启数据库
systemctl restart mysqld

分别在两台从库上设置其关联的主库

#登录从库mysql
mysql -uroot -p#分别在两台从库上设置其关联的主库
mysql> CHANGE MASTER TO
master_host='192.168.9.6',
master_user='my',
master_password='Bdqn_8888',
master_port=3306,
master_log_file='mysql-bin.000001',
master_log_pos=591;mysql> START SLAVE;mysql> SHOW SLAVE STATUS\G;

分别在两台主库上配置互相复制

两台主机进行复制    1号机连接3号机    3号机连接1号机
mysql> CHANGE MASTER TO
master_host='192.168.9.4',
master_user='my',
master_password='Bdqn_8888',
master_port=3306,
master_log_file='mysql-bin.000001',
master_log_pos=591;mysql> START SLAVE;mysql> SHOW SLAVE STATUS\G;

测试（在navicat中测试即可）

• 在 master1 执行建库、建表语句，会自动同步到其他三台服务器

• 在 master2 执行新增语句，会自动同步到其他三台服务器

# 建库建表添加数据
mysql> create database mytest;mysql> use mytest;mysql> create table person(id int(10) primary key not null auto_increment,name varchar(50) not null,gender char(1) not null
)engine=innodb default charset=utf8mb4;mysql> insert into person values (null,'tom','m'),(null,'jack','m'),(null,'marry','f');

此时双主双从搭建完毕，下面在 mycat 进行读写分离的配置

#先安装JDK在解压mycat  
tar -xf Mycat-server-1.6.7.4-release-20200105164103-linux.tar.gz -C /usr/local

schema.xml

#schema.xml配置文件位置
cd /usr/local/mycat/conf
#备份
cp schema.xml schema.xml.bakvim schema.xml

 <!--mytest --><schema name="MYTEST" checkSQLschema="true" sqlMaxLimit="100" dataNode="dn1" ></schema><dataNode name="dn1" dataHost="dataHost1" database="mytest" /><dataHost name="dataHost1" maxCon="1000" minCon="10" balance="1" writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1" slaveThreshold="100" ><heartbeat>select user()</heartbeat><writeHost host="master1" url="jdbc:mysql://192.168.9.3:3306?useSSL=false&amp;serverTimezone=Asia/Shanghai&amp;characterEncoding=utf8" user="root" password="Bdqn_8888"><readHost host="slave1" url="jdbc:mysql://192.168.9.4:3306?useSSL=false&amp;serverTimezone=Asia/Shanghai&amp;characterEncoding=utf8" user="root" password="Bdqn_8888"></readHost></writeHost><writeHost host="master2" url="jdbc:mysql://192.168.9.5:3306?useSSL=false&amp;serverTimezone=Asia/Shanghai&amp;characterEncoding=utf8" user="root" password="Bdqn_8888"><readHost host="slave2" url="jdbc:mysql://192.168.9.7:3306?useSSL=false&amp;serverTimezone=Asia/Shanghai&amp;characterEncoding=utf8" user="root" password="Bdqn_8888"></readHost></writeHost></dataHost>

server.xml

vim server.xml

<user name="root" defaultAccount="true"><property name="password">123456</property><property name="schemas">MYTEST</property><!--No MyCAT Database selected 错误前会尝试使用该schema作为schema，不设置则为null,报错 --><!-- 表级 DML 权限设置 --><!--            <privileges check="false"><schema name="TESTDB" dml="0110" ><table name="tb01" dml="0000"></table><table name="tb02" dml="1111"></table></schema></privileges>           --></user><user name="user"><property name="password">123456</property><property name="schemas">MYTEST</property><property name="readOnly">true</property></user>

开启mycat

/usr/local/mycat/bin/mycat start

日记检测

tail -f /usr/local/mycat/logs/wrapper.log

重启mycat服务测试

测试1：

• 修改 slave1 的数据、修改 slave2 的数据，在 mycat 中 select 看看效果，会发现显示的数据来源于master2、slave1、slave2。

• 在 mycat 中 insert ，会发现都进行了数据同步。

测试2：

• 停止 master1 的 mysql 服务，在 mycat 中测试查询，会发现显示的数据来源于slave2。

• 在 mycat 中测试 insert，看能否执行写入，会发现数据写入了 master2、slave2。