源码编译 Galera、MySQL 5.7 Wsrep 和安装 MySQL 5.7 Galera集群

说明

由于是基于源码编译，所以适用于各个版本的 Linux 和系统架构（如 x86、arm 等）

1、源码编译 Galera

1.1、安装依赖

yum install -y gcc gcc-c++ cmake boost-devel check-devel python3 net-tools lsof
yum -y install pcre-devel zlib-devel gcc gcc-c++ make cmake libtirpc-devel rpcgen perl
yum -y install bison bison-devel zlib-devel libcurl-devel libarchive-devel ncurses-devel gnutls-devel libxml2-devel libevent-devel libaio-devel
pip3 install --index-url https://pypi.tuna.tsinghua.edu.cn/simple scons

1.2、源码编译安装 openSSL

1.2.1、下载源码

openssl 版本至少大于等于 1.1.1

cd /usr/local/
wget -O openssl-1.1.1w.tar.gz https://github.com/openssl/openssl/releases/download/OpenSSL_1_1_1w/openssl-1.1.1w.tar.gz
tar -xzf openssl-1.1.1w.tar.gz
cd openssl-1.1.1w
mkdir -p /usr/local/openssl /usr/local/ssl

1.2.2、编译安装

cd openssl-1.1.1w
CFLAGS="-fPIC" ./config shared zlib-dynamic --prefix=/usr/local/openssl
make -j4 && make -j4 install

/usr/local/openssl/bin/openssl versioncp -f /usr/local/openssl-1.1.1w/libssl.so.1.1 /usr/lib64/
cp -f /usr/local/openssl-1.1.1w/libcrypto.so.1.1 /usr/lib64/
ln -s /usr/lib64/libssl.so.1.1 /usr/lib64/libssl.so.11
ln -s /usr/lib64/libcrypto.so.1.1 /usr/lib64/libcrypto.so.11

1.3、源码编译安装 Galera 3

1.3.1、下载源码

cd /usr/local/
wget -O galera-3-25.3.37.tar.gz https://releases.galeracluster.com/galera-3.37/source/galera-3-25.3.37.tar.gz
tar -xzf galera-3-25.3.37.tar.gz
cd galera-3-25.3.37

1.3.2、注意

文件 gcs/src/unit_tests/SConscript 的 env.Append(LIBS=[‘m’, ‘ssl’, ‘crypto’]) 需要注释

CNT=$(cat gcs/src/unit_tests/SConscript | grep -n "env.Append(LIBS" | grep -n "ssl" | awk -F ":" '{print $2}')
# 添加#
awk -v n="${CNT}" 'NR==n && !/^#/ {print "#", $0; next} {print}' gcs/src/unit_tests/SConscript > gcs/src/unit_tests/temp.txt \
&& mv -f gcs/src/unit_tests/temp.txt gcs/src/unit_tests/SConscript

文件 wsrep/tests/SConscript 的第37行 env.Test 需要注释，不然会编译失败

CNT=$(cat wsrep/tests/SConscript | grep -n "env.Test" | awk -F ":" '{print $1}')
# 给第37行添加#
awk -v n="${CNT}" 'NR==n && !/^#/ {print "#", $0; next} {print}' wsrep/tests/SConscript > wsrep/tests/temp.txt \
&& mv -f wsrep/tests/temp.txt wsrep/tests/SConscript

1.3.3、编译安装

export CXXFLAGS="-I/usr/local/openssl/include"cd /usr/local/galera-3-25.3.37
scons -v
scons -c static_ssl=/usr/local/openssl/lib
scons static_ssl=/usr/local/openssl/lib

生成 libgalera_smm.so 文件就是我们需要使用的

2、源码编译 MySQL-Wsrep

2.1、安装依赖

yum -y install pcre-devel zlib-devel gcc gcc-c++ make cmake libtirpc-devel rpcgen perl
yum -y install bison bison-devel zlib-devel libcurl-devel libarchive-devel ncurses-devel gnutls-devel libxml2-devel libevent-devel libaio-devel

2.2、编译安装 MySQL-Wsrep

2.2.1、下载 MySQL-Wsrep 源码和 boost

boost 版本至少大于1.40.0

cd /usr/local/
wget -O mysql-wsrep-5.7.44-25.36.tar.gz https://releases.galeracluster.com/mysql-wsrep-5.7.44-25.36/source/mysql-wsrep-5.7.44-25.36.tar.gz
tar -xf mysql-wsrep-5.7.44-25.36.tar.gz
# 下载boost
wget -O boost_1_59_0.tar.gz 'https://nchc.dl.sourceforge.net/project/boost/boost/1.59.0/boost_1_59_0.tar.gz?viasf=1'
tar -xf boost_1_59_0.tar.gz

2.2.2、编译安装

cd /usr/local/mysql-wsrep-5.7.44-25.36
cmake -DCMAKE_INSTALL_PREFIX=/usr/local/mysql \
-DWITH_BOOST=/usr/local/boost_1_59_0 -DWITH_SSL=/usr/local/openssl \
-DWITH_WSREP=ON -DWITH_INNODB_DISALLOW_WRITES=ON \&& make -j4 && make -j4 install

参数说明

• -DCMAKE_INSTALL_PREFIX=/usr/local/mysql #指定mysql的安装路径
  -DWITH_BOOST=/usr/local/boost_1_59_0 #指定boost的路径
  -DWITH_SSL=/usr/local/openssl #指定openssl位置

编译出来的可执行文件在 /usr/local/mysql 目录中，需要拷贝到部署的机器上
注意，有符号连接，不能 scp 直接拷贝目录，需要 tar 压缩后再拷贝、解压

cd /usr/local
tar -czvf mysql.tar.gz --dereference mysql

2.3、配置 MySQL

2.3.1、配置用户

useradd -s /sbin/nologin mysql
mkdir -p /usr/local/mysql/ /data/mysql/
chown -R mysql:mysql /usr/local/mysql/
chown -R mysql:mysql /data/mysql/

2.3.2、配置 my.cnf 文件

vim /etc/my.cnf

[mysqld]
datadir=/data/mysql
socket=/tmp/mysql.sock
character-set-server=utf8mb4
collation-server=utf8mb4_unicode_ci
init_connect='SET NAMES utf8mb4'[mysqld_safe]
log-error=/var/log/mysql.log
pid-file=/var/run/mysql.pid[client]
default-character-set=utf8mb4[mysql]
default-character-set = utf8mb4

2.3.3、初始化数据库

cd /usr/local/mysql/bin
./mysqld --initialize --user=mysql --basedir=/usr/local/mysql --datadir=/data/mysql/ \
--pid-file=/data/mysql/mysql.pid

上面命令输出的结果会得到一个mysql登录的临时密码，需要记住，后面登录会用到

2.3.4、配置为系统服务

cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysqld
ldconfig
chmod 755 /etc/init.d/mysqld
chkconfig --add mysqld

2.3.5、配置环境变量

echo "PATH=$PATH:/usr/local/mysql/bin" > /etc/profile.d/mysql.sh
source /etc/profile
chkconfig mysqld on

2.3.6、创建软连接

ln -s /usr/local/mysql/bin/mysqladmin /usr/bin

2.3.7、数据库服务状态

chkconfig mysqld on
systemctl start mysqld
systemctl status mysqld
# 也可以
/usr/local/mysql/bin/mysqld --defaults-file=/etc/my.cnf --user=mysql &

2.3.8、登录并修改密码

mysql --user=root --password='1zQ1=%yoExiU'

ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY 'CWCcwy@123!'; 
use mysql;
update user set host ='%' where user='root';
flush privileges;
use mysql;
# wxhntmy用户用于集群间连接
grant all on *.* TO 'wxhntmy'@'%' identified by 'CWCcwy@123!';
flush privileges;

3、安装 MySQL - Galera集群

3.1、准备环境

主机名	IP	注释
node01	192.168.50.121	主服务
node03	192.168.50.122	从服务
node02	192.168.50.123	从服务
node04	192.168.50.124	负载均衡

3.2、清理 Mariadb

rpm -qa | grep mariadb
rpm -qa | grep -i mariadb | xargs rpm -e --nodeps
rpm -qa | grep mariadb

3.3、配置 galera 集群，防火墙放行端口

3.3.1、修改 /etc/my.cnf 配置文件

vim /etc/my.cnf

在 [mysqld] 加入以下内容

server_id=1
binlog_format=row
default_storage_engine=InnoDB
innodb_file_per_table=1
innodb_autoinc_lock_mode=2wsrep_on=ON
wsrep_provider=/usr/local/galera-3-25.3.37/libgalera_smm.so
wsrep_cluster_name='galera'
wsrep_cluster_address='gcomm://'
wsrep_node_name='node01'
wsrep_node_address='192.168.50.121'
wsrep_sst_auth=wxhntmy:CWCcwy@123!
wsrep_sst_method=rsync

• server_id 要集群内唯一，比如 node1的为1，node2的为2…
• binlog_format=row binlog的格式
• innodb_file_per_table=1 独立的表空间
• innodb_autoinc_lock_mode=2 自增锁模式取值
  • 0 这个表示 tradition 传统
  • 1 这个表示 consecutive 连续
  • 2 这个表示 interleaved 交错
• wsrep_on=ON wsrep功能开启
• wsrep_provider=/usr/local/galera-3-25.3.37/libgalera_smm.so 开启so模块
• wsrep_cluster_name 集群名字，可以自定义，但是同一集群要保持一致
• wsrep_cluster_address 第一个节点的值为’gcomm://'，第一个节点起来后，其他节点可以配置为集群除自身外所有节点ip地址 如：‘gcomm://192.168.50.121,192.168.50.122’
• wsrep_node_name 节点主机名
• wsrep_node_address 节点ip
• wsrep_sst_auth 创建的用于同步的用户和密码 （我创建的用户为 wxhntmy 密码为 CWCcwy@123!）

3.3.2、开启防火墙端口

firewall-cmd --add-port=3306/tcp --permanent
firewall-cmd --add-port=4567/tcp --permanent
firewall-cmd --add-port=4567/udp --permanent
firewall-cmd --add-port=4568/tcp --permanent
firewall-cmd --add-port=4444/tcp --permanent
firewall-cmd --reload

• 4567 , Galera做数据复制的通讯和数据传输端口，需要在防火墙放开TCP和UDP
• 4568 , Galera做增量数据传输使用的端口（Incremental State Transfer, IST），需要防火墙放开TCP
• 4444 , Galera做快照状态传输使用的端口（State Snapshot Transfer, SST），需要防火墙放开TCP

必须关闭 SELINUX

sed -ri '/^SELINUX=/cSELINUX=disabled' /etc/selinux/config
setenforce 0

3.3.3、安装 rsync

yum -y install rsync
systemctl enable rsyncd
systemctl start rsyncd

3.3.4、添加 hosts

cat >> /etc/hosts << EOF
192.168.50.121 node01
192.168.50.122 node02
192.168.50.123 node03
EOF

3.4、启动第一个节点

systemctl restart mysqld
systemctl status mysqld

mysql -uroot -p'CWCcwy@123!'

show status like 'wsrep%';

mysql> show status like 'wsrep%';
+------------------------------+--------------------------------------+
| Variable_name                | Value                                |
+------------------------------+--------------------------------------+
| wsrep_local_state_uuid       | f1c652cf-edd1-11ed-a10f-968ace4bc2c6 |
| wsrep_protocol_version       | 9                                    |
| wsrep_last_committed         | 0                                    |
| wsrep_replicated             | 0                                    |
| wsrep_replicated_bytes       | 0                                    |
| wsrep_repl_keys              | 0                                    |
| wsrep_repl_keys_bytes        | 0                                    |
| wsrep_repl_data_bytes        | 0                                    |
| wsrep_repl_other_bytes       | 0                                    |
| wsrep_received               | 2                                    |
| wsrep_received_bytes         | 144                                  |
| wsrep_local_commits          | 0                                    |
| wsrep_local_cert_failures    | 0                                    |
| wsrep_local_replays          | 0                                    |
| wsrep_local_send_queue       | 0                                    |
| wsrep_local_send_queue_max   | 1                                    |
| wsrep_local_send_queue_min   | 0                                    |
| wsrep_local_send_queue_avg   | 0.000000                             |
| wsrep_local_recv_queue       | 0                                    |
| wsrep_local_recv_queue_max   | 2                                    |
| wsrep_local_recv_queue_min   | 0                                    |
| wsrep_local_recv_queue_avg   | 0.500000                             |
| wsrep_local_cached_downto    | 18446744073709551615                 |
| wsrep_flow_control_paused_ns | 0                                    |
| wsrep_flow_control_paused    | 0.000000                             |
| wsrep_flow_control_sent      | 0                                    |
| wsrep_flow_control_recv      | 0                                    |
| wsrep_flow_control_active    | false                                |
| wsrep_flow_control_requested | false                                |
| wsrep_cert_deps_distance     | 0.000000                             |
| wsrep_apply_oooe             | 0.000000                             |
| wsrep_apply_oool             | 0.000000                             |
| wsrep_apply_window           | 0.000000                             |
| wsrep_apply_waits            | 0                                    |
| wsrep_commit_oooe            | 0.000000                             |
| wsrep_commit_oool            | 0.000000                             |
| wsrep_commit_window          | 0.000000                             |
| wsrep_local_state            | 4                                    |
| wsrep_local_state_comment    | Synced                               |
| wsrep_cert_index_size        | 0                                    |
| wsrep_causal_reads           | 0                                    |
| wsrep_cert_interval          | 0.000000                             |
| wsrep_open_transactions      | 0                                    |
| wsrep_open_connections       | 0                                    |
| wsrep_incoming_addresses     | 192.168.50.121:3306                  |
| wsrep_cluster_weight         | 1                                    |
| wsrep_desync_count           | 0                                    |
| wsrep_evs_delayed            |                                      |
| wsrep_evs_evict_list         |                                      |
| wsrep_evs_repl_latency       | 0/0/0/0/0                            |
| wsrep_evs_state              | OPERATIONAL                          |
| wsrep_gcomm_uuid             | f1c5fe7f-edd1-11ed-be51-52686bc6b62c |
| wsrep_gmcast_segment         | 0                                    |
| wsrep_cluster_conf_id        | 1                                    |
| wsrep_cluster_size           | 1                                    |
| wsrep_cluster_state_uuid     | f1c652cf-edd1-11ed-a10f-968ace4bc2c6 |
| wsrep_cluster_status         | Primary                              |
| wsrep_connected              | ON                                   |
| wsrep_local_bf_aborts        | 0                                    |
| wsrep_local_index            | 0                                    |
| wsrep_provider_name          | Galera                               |
| wsrep_provider_vendor        | Codership Oy <info@codership.com>    |
| wsrep_provider_version       | 3.37(rf47405c8)                      |
| wsrep_ready                  | ON                                   |
+------------------------------+--------------------------------------+
64 rows in set (0.00 sec)mysql> 

注意：如果第一台节点起不来就将 /data/mysql 目录下的两个缓存文件删除再启动。

ls -l /data/mysql

rm -rf /data/mysql/grastate.dat
rm -rf /data/mysql/galera.cache

3.5、接下来的每一台机器都做以上操做

3.5.1、node02

在第一加入（node02 192.168.50.122）修改（/etc/my.cnf）

vim /etc/my.cnf

server_id=2
binlog_format=row
default_storage_engine=InnoDB
innodb_file_per_table=1
innodb_autoinc_lock_mode=2wsrep_on=ON
wsrep_provider=/usr/local/galera-3-25.3.37/libgalera_smm.so
wsrep_cluster_name='galera'
wsrep_cluster_address='gcomm://192.168.50.121,192.168.50.123'
wsrep_node_name='node02'
wsrep_node_address='192.168.50.122'
wsrep_sst_auth=wxhntmy:CWCcwy@123!
wsrep_sst_method=rsync

systemctl restart mysqld
systemctl status mysqld

3.5.2、node03

在第二加入（node03 192.168.50.123）修改（/etc/my.cnf）

vim /etc/my.cnf

server_id=3
binlog_format=row
default_storage_engine=InnoDB
innodb_file_per_table=1
innodb_autoinc_lock_mode=2wsrep_on=ON
wsrep_provider=/usr/local/galera-3-25.3.37/libgalera_smm.so
wsrep_cluster_name='galera'
wsrep_cluster_address='gcomm://192.168.50.121,192.168.50.122'
wsrep_node_name='node03'
wsrep_node_address='192.168.50.123'
wsrep_sst_auth=wxhntmy:CWCcwy@123!
wsrep_sst_method=rsync

systemctl restart mysqld
systemctl status mysqld

3.5.3、从服务器启动服务后，在主服务器察看集群信息

登录 node01

mysql -uwxhntmy -P3306 -h192.168.50.121 -p'CWCcwy@123!'

show status like 'wsrep%';

4、Galera 集群搭建完成，进行测试

4.1、测试一

分别向三个节点 建库，建表， 插入数据操作，验证多点写入，观察数据是否同步

mysql -uwxhntmy -P3306 -h192.168.50.121 -p'CWCcwy@123!'
mysql -uwxhntmy -P3306 -h192.168.50.122 -p'CWCcwy@123!'
mysql -uwxhntmy -P3306 -h192.168.50.123 -p'CWCcwy@123!'

create database test;
show databases;
use test;
CREATE TABLE test.test_table (message VARCHAR(250));

---节点1
INSERT INTO test.test_table VALUES ('node01');
---节点2
INSERT INTO test.test_table VALUES ('node02');
---节点3
INSERT INTO test.test_table VALUES ('node03');
select * from test.test_table;

在所有其余两个数据库中都可以查询到插入数据的存在

4.2、测试二

下线其中一个节点 systemctl stop mysqld （不能是发起人 192.168.50.121 ），剩余节点继续添加数据， 拉开距离。

此时离线数据库重新上线，启动服务即可，观察是否能追上其他人的数据

当断开后一段时间重新连接会发现数据一样能够自动同步回来

4.3、测试三

让 发起人节点 离线，剩余服务器继续插入数据，拉开距离

再让 发起人 重新上线

vim /etc/my.cnf

wsrep_cluster_address='gcomm://192.168.50.122，192.168.50.123'

此时 gcomm:// 不再为空，要向其他服务器同步数据

4.4、测试四

停止集群所有数据库

最后离开集群/停止的数据库 主机，要最先启动。否则可能导致数据丢失

如果要一台不是最后离开的主机强制启动。 修改 /mysql/grastate.dat

修改 safe_to_bootstrap: 0 为1，修改最先启动的数据库/etc/my.cnf

修改 wsrep_cluster_address=‘gcomm://’ 为空，不向任何主机进行同步

然后再启动数据库服务，接着启动其他数据库！

5、负载均衡

5.1、TCP 负载均衡

以下为示意图

NGINX 充当数据库服务器的反向代理，监听 MySQL 默认端口 3306。这为客户端提供了一个简单的接口，同时后端 MySQL 节点可以向外扩展（甚至脱机），且不会对客户端产生任何影响。

TCP 负载均衡在 stream 配置上下文中进行配置，因此我们在 nginx.conf 主文件中添加了一个 stream 块来创建基本的 MySQL 负载均衡配置。

vim /etc/nginx/nginx.conf

stream { include stream.conf; 
}

1. 这可以将我们的 TCP 负载均衡配置与主配置文件分隔开来。然后我们在与 nginx.conf 相同的目录下创建 stream.conf。请注意，默认情况下，conf.d 目录是留给 http 配置上下文的，因此无法向该目录添加 stream 配置文件。
2. 首先，我们定义一个名为 galera_cluster 的上游组，其中包含 Galera 集群中的三个 MySQL 节点。在我们的测试环境中，它们都支持在本地主机上通过唯一的端口号进行访问。zone 指令定义了所有 NGINX worker 进程共享的内存容量，以维持负载均衡状态。Server{} 块配置了 NGINX 处理客户端的方式。NGINX 监听 MySQL 默认端口 3306，并将所有流量转发到在上游块中定义的 Galera 集群。
3. 然而，如果我们的应用使用连接池访问数据库，那么以轮询方式打开集群连接可能会导致每个节点上的连接数量不均衡。此外，我们不能将连接视为给定的工作负载，因为连接可能处于空闲状态（等待应用查询）或正在处理查询。因此，对于 TCP 长连接，更合适的负载均衡算法是 Least Connections，配置 least_conn 指令
4. 现在，当客户端打开到数据库的新连接时，NGINX 会选择当前连接数最少的集群节点。
5. 跨集群共享数据库工作负载的一大优势在于它还可提供高可用性。进行上述配置后，NGINX 将服务器标记为 “不可用”，如果无法建立新的 TCP 连接则停止向其发送 TCP 数据包。

vim /etc/nginx/stream.conf

upstream galera_cluster {server 192.168.50.121:3306; # node1server 192.168.50.122:3306; # node2server 192.168.50.123:3306; # node3zone tcp_mem 64k;least_conn;
}server {listen 3306; # MySQL defaultproxy_pass galera_cluster;
}

5.2、日志记录

NGINX 支持灵活地记录日志，因此它所有的 TCP/UDP 处理进程都可以被记录下来，以便进行调试或离线分析。对于 TCP 协议（例如 MySQL），NGINX 会在连接关闭时写入日志条目。log_format 指令定义了该日志中出现的值。我们可以从 Stream 模块中的任何变量中进行选择。我们在 stream.conf 文件顶部的 stream 上下文中定义了日志格式。

log_format mysql '$remote_addr [$time_local] $protocol $status $bytes_received ''$bytes_sent $upstream_addr $upstream_connect_time ''$upstream_first_byte_time $upstream_session_time $session_time';

添加 access_log 指令以启用日志记录，并指定日志文件的路径以及上个代码段中定义的日志格式的名称。

access_log /var/log/nginx/galera_access.log mysql;

vim /etc/nginx/nginx.conf

这会生成日志条目，示例见下。

tail -f /var/log/nginx/galera_access.log

5.3、测试

yum install -y net-tools
netstat -tulnp | grep 3306

mysql -uwxhntmy -P3306 -h192.168.50.124 -p'CWCcwy@123!'

SHOW VARIABLES WHERE Variable_name = 'hostname';