当前位置：首页 > news >正文

EMQX集群搭建

news 来源：原创 2025/6/18 13:16:57

集群搭建

通过使用 EMQX 集群，您可以在一个或多个节点发生故障时仍然保持集群运行，从而享受到容错和高可用性的好处。

尽管没有严格的上限，但建议在 EMQX 开源版中将集群大小限制为三个节点。仅使用核心类型节点时，较小的集群规模通常能确保更高的稳定性。

工作原理

集群中的每个节点都运行一个 EMQX 实例，每个节点与集群中的其他节点通信，共享客户端连接、订阅、发布消息等信息。这允许集群在节点之间自动分配负载并在节点出现故障时提供高可用性。

EMQX 集群在不同节点上维护数据的多个副本来提供数据冗余，即使一个节点发生故障，数据在集群中的其他节点上仍然可用。

在集群架构下，您可以随着业务的增长向集群添加新节点，从而提供可扩展性。这使您可以处理越来越多的客户端和消息，而不必担心单个代理的限制。

EMQX 由 Erlang/OTP 驱动，Erlang/OTP 最初是爱立信为电信设备开发和设计的编程语言平台。正式介绍 EMQX 集群之前，我们首先来了解下什么是 Erlang/OTP。

EMQX 集群中至少要有一个 Core 节点，出于高可用的目的，EMQX Operator 建议 EMQX 集群至少有三个 Core 节点。

节点名称

EMQX 节点通过它们的名称来识别。所有节点都设置了唯一的节点名称，格式为 name@host，其中 host 必须是 IP 地址或完全限定域名（FQDN）。例如：

对于部署在服务器 s1.emqx.io 上的 EMQX 节点，节点名称应为 emqx@s1.emqx.io；

如果此服务器有一个静态 IP（192.168.0.10），节点名称应为 emqx@192.168.0.10。

核心节点

核心节点作为数据库的数据层，节点间以全网状连接，每个节点都包含一个最新的数据副本，这保证了容错性：只要有一个节点存活，数据就不会丢失。核心节点一般是静态和持久的，不建议进行自动伸缩（即经常添加、删除或替换节点）。

复制节点

复制节点会连接到核心节点，并被动地复制来自核心节点的数据更新。复制节点不允许执行任何的写操作，而是将其转交给核心节点代为执行。同时，由于复制节点有一个完整的本地数据副本，因此数据读取速度非常快，这样有助于降低 EMQX 路由的时延。

更高的水平可扩展性：EMQX 5.0 已能支持包含 23 个节点的大规模集群。

在 EMQX 5.0 中，所以如果不做任何调整的话所有节点都默认为核心节点，默认行为和 4.x 版本是一致的，这能够避免增加上手和使用的难度，您可以按照 4.x 版本的使用经验进行集群部署。

只有集群规模超过 3 个节点，才建议使用 Core + Replicant 复制模式。

集群中至少要有一个核心节点，我们建议设置 3 个核心节点 + N 个复制节点作为初始集群规格。

根据业务需求，核心节点可以连接 MQTT 客户端，也可以纯粹作为集群的数据库来使用，我们建议：

在小型集群中（3 个节点或更少），没有必要使用 Core + Replicant 复制模式，而是让核心节点承载所有连接。

在超大的集群中（10 个节点或更多），核心节点不承载 MQTT 连接，这样更加稳定性和水平扩展性更好。

在中型集群中，核心节点是否承载 MQTT 连接取决于许多因素，需要根据您实际的场景测试才能知道哪个选择更优。

核心节点之间的网络延迟建议 10ms 以下，实测高于 100ms 将不可用，请将核心节点部署在同一个私有网络下；复制节点和核心节点之间同样建议部署在同一个私有网络下，但网络质量要求可以比核心节点间略低。

节点发现

节点发现是创建集群的必要过程，它允许单个 EMQX 节点发现对方并互相通信，无论其位置或 IP 地址如何。

手动与自动集群

根据节点发现的方式，集群的创建方式可以分为手动集群与自动集群。

手动集群是通过使用命令来指定哪些节点应该成为集群的一部分来创建 EMQX 集群。自动集群是另一种方法，它允许多个 EMQX 节点在无需手动配置的情况下自动形成集群。自动集群简化了设置 EMQX 集群的过程，使动态地添加或从集群中移除节点变得更加容易。EMQX 支持基于静态节点列表、DNS 记录、etcd 和 Kubernetes 的自动集群。以下表格展示了 EMQX 支持的不同节点发现策略和集群创建方法：

集群搭建

192.168.110.158

192.168.110.159

192.168.110.160

下载地址

https://www.emqx.com/zh/downloads-and-install/broker?os=RHEL

下载 emqx-5.7.2-el7-amd64.tar.gz

wget https://www.emqx.com/zh/downloads/broker/5.7.2/emqx-5.7.2-el7-amd64.tar.gz

安装

mkdir -p emqx && tar -zxvf emqx-5.7.2-el7-amd64.tar.gz -C emqx

启动

./emqx/bin/emqx start

修改配置文件

vim /etc/emqx/emqx.conf

158配置：

node {

name = "emqx@192.168.110.158" #指定了节点的名称

cookie = "emqxsecretcookie" #用于集群节点之间的身份验证。所有集群节点都必须使用相同的cookie值才能加入集群

data_dir = "data" #指定了EMQX存储数据的目录路径，例如日志文件、持久化队列等

}

cluster {

name = emqxcl #指定了集群的名称，所有集群成员都必须使用相同的名称

discovery_strategy = manual #指定了集群发现策略,manual意味着集群成员之间的关系需要手动配置

}

160配置：

node {

name = "emqx@192.168.110.160" #指定了节点的名称

cookie = "emqxsecretcookie" #用于集群节点之间的身份验证。所有集群节点都必须使用相同的cookie值才能加入集群

data_dir = "data" #指定了EMQX存储数据的目录路径，例如日志文件、持久化队列等

}

cluster {

name = emqxcl #指定了集群的名称，所有集群成员都必须使用相同的名称

discovery_strategy = manual #指定了集群发现策略,manual意味着集群成员之间的关系需要手动配置

}

159配置：

node {

name = "emqx@192.168.110.159" #指定了节点的名称

cookie = "emqxsecretcookie" #用于集群节点之间的身份验证。所有集群节点都必须使用相同的cookie值才能加入集群

data_dir = "data" #指定了EMQX存储数据的目录路径，例如日志文件、持久化队列等

}

cluster {

name = emqxcl #指定了集群的名称，所有集群成员都必须使用相同的名称

discovery_strategy = manual #指定了集群发现策略,manual意味着集群成员之间的关系需要手动配置

}

创建集群

#在160执行以下命令

./emqx_ctl cluster join emqx@192.168.110.158

#在158执行以下命令

./emqx_ctl cluster join emqx@192.168.110.160

#在159执行以下命令

./emqx_ctl cluster join emqx@192.168.110.160

#在任意一台执行以下命令，查询集群状态

./emqx_ctl cluster status

Cluster status: #{running_nodes =>

['emqx@172.16.60.10','emqx@172.16.60.20',

'emqx@172.16.60.30'],

stopped_nodes => []}

emqx_ctl cluster join命令

emqx_ctl cluster join 命令用于将 EMQX 节点加入到指定的集群中。在执行此命令时，需要遵循以下规则：

执行节点：此命令在需要加入集群的子节点上执行。也就是说，它不是在主节点上执行的，而是在尚未加入集群或希望重新加入集群的节点上执行。
目标节点：命令中指定的节点（通过其节点名或IP地址）应该是集群中的现有成员，通常是集群的主节点或已经存在于集群中的其他节点。

必须在待加入的节点执行该命令，以请求而不是邀请加入到集群。

emqx@node2.emqx.com 加入 emqx@node1.emqx.com 组成集群后，它将清除本地数据并将 emqx@node1.emqx.com 中的数据同步过来。

已加入集群的节点加入另一个集群时，该节点将离开当前集群。如需退出集群请参考退出集群。

web界面验证

ip地址:18083

ip地址可以是两个的任意一个IP地址即可

默认账号：admin，密码：public

集群负载均衡

负载均衡（Load Balancing）用于均衡多个网络组件的负载，从而优化资源的使用，避免由于组件过载造成故障。负载均衡虽然不是集群中的必备组件，但是能给集群带来一些非常有用的特性，例如当配置在 EMQX 集群中时，将能带来如下优势：

均衡 EMQX 的负载，避免出现单节点过载的情况；

简化客户端配置，客户端只需连接到负载均衡器上，无需关心集群内部伸缩变化；

TLS/SSL 终结，减轻 EMQX 集群的负担；

提高安全性，有了负载均衡在集群前端，能够通过设置阻止不需要的流量，保护 EMQX 集群免受恶意攻击。

用NGINX 负载均衡 EMQX 集群

NGINX 是一种高性能多功能的服务器软件，可以作为 Web 服务器和反向代理服务器，除此以外，NGINX 还可以作为负载均衡器将来自客户端的请求分发到多个后端服务器，以确保负载平衡和性能优化。NGINX 非常适用于物联网应用，因为它可以处理大量的并发请求。在物联网中，设备数量庞大，因此需要一个可以处理大量请求的服务器来保证稳定性。EMQX 原生支持由多个 MQTT 服务器组成的分布式集群架构，因此，使用 NGINX 部署负载均衡以及 EMQX 集群，可以保证高可用性和可扩展性。

功能与优势

使用 NGINX 负载均衡 EMQX 集群具备以下几个功能和优势：

作为反向代理服务器，NGINX 位于 MQTT 服务器端，代表 MQTT 客户端向 EMQX 集群发起 MQTT 连接请求，并代替 EMQX 集群处理请求，然后将 EMQX 集群的响应返回给 MQTT 客户端。这样的设置可以将多个集群隐藏起来，暴露一个接入点给 MQTT 客户端。MQTT 客户端只需要与 NGINX 通信，而不需要知道后面的集群数量和布局，这种方式可以提高系统的可维护性和可扩展性。
NGINX 可用于终结 MQTT 客户端与 EMQX 集群之间经 SSL 加密的 MQTT 连接，减轻 EMQX 集群的加密解密负担。从而提供多种优势，如提高性能、简化证书管理和增强安全性。
NGINX 具有灵活的负载均衡策略，以使用不同的策略来决定请求应该发送到集群中的哪个 EMQX 节点，有助于分摊流量和请求，提高性能和可靠性。例如粘性负载平衡，可将请求路由到同一后端服务器，从而提高性能和会话持久性。

下载并解压nginx安装包

官网地址：

nginx: download

下载包地址：

http://nginx.org/download/nginx-1.20.2.tar.gz

//下载tar包

wget http://nginx.org/download/nginx-1.24.0.tar.gz

解压缩

tar -xvf nginx-1. 24.0.tar.gz

进入解压后的目录

cd nginx-1. 24.0

在nginx 目录下执行./configure

./configure --prefix=/usr/local/nginx

初始化安装，--prefix指定安装目录

nginx-1. 23.4：

./configure \

--with-threads \

--with-http_stub_status_module \

--with-http_ssl_module \

--with-http_realip_module \

--with-stream \

--with-stream_ssl_module

执行安装

make && make install

修改配置文件

vim /usr/local/nginx/conf/nginx.conf

worker_processes auto; #指定Nginx启动的工作进程数，auto表示根据系统的CPU核心数自动设置工作进程数

events {

worker_connections 1024; #定义事件模块，worker_connections指定每个工作进程可以同时打开的最大连接数，这里是1024

}

error_log /data/nginx/logs/error.log warn; #定义错误日志文件的位置和日志级别，这里设置为警告级别及以上

pid /data/nginx/nginx.pid; #指定存储Nginx主进程ID的文件路径

stream { #定义一个流模块，用于配置TCP/UDP代理

#定义自定义日志格式，包含客户端地址、端口、协议、状态码、时间戳、上游服务器地址、发送字节数和连接时间

log_format proxy '$remote_addr $remote_port $protocol $status

[$time_iso8601] '

'"$upstream_addr" "$upstream_bytes_sent"

"$upstream_connect_time"' ;

access_log /data/nginx/logs/access.log proxy; #指定访问日志文件的路径，并使用上面定义的proxy日志格式

upstream mqtt_servers { #定义一个名为mqtt_servers的上游服务器组，用于负载均衡

#在上游服务器组中添加一个服务器，指定其IP地址和端口号，以及最大失败次数和故障超时时间

server 192.168.110.158:1883 max_fails=2 fail_timeout=10s;

server 192.168.110.160:1883 max_fails=2 fail_timeout=10s;

}

server { #定义一个服务器块，用于配置代理服务器的监听端口和其他设置

listen 1886; #指定Nginx监听的端口号，这里是1883，通常用于MQTT协议

proxy_pass mqtt_servers; #指定代理请求转发的上游服务器组名称

proxy_protocol on; #启用PROXY协议，允许获取客户端的真实IP地址和端口信息

proxy_connect_timeout 10s; #设置与上游服务器建立连接的超时时间

proxy_timeout 1800s; #设置代理服务器的读写超时时间，这里是30分钟

proxy_buffer_size 3M; #设置代理缓冲区的大小

tcp_nodelay on; #启用TCP_NODELAY选项，意味着立即发送数据而不等待更多数据积累

}

检查Nginx 是否在监听端口

在 Nginx 服务器上，可以使用 netstat 或 ss 命令来检查 Nginx 是否在监听 1886 端口：

sudo netstat -tulnp | grep 1886

# 或者

sudo ss -tulnp | grep 1886

测试连接：

可以使用 telnet 或 netcat（nc）工具来测试是否能够成功连接到 Nginx 监听的端口。

Telnet 192.168.110.160 1886

# 或者

nc -v 192.168.110.160 1886

使用 MQTT 客户端测试：

安装一个 MQTT 客户端（如 MQTT.fx、MQTT Explorer 或 Mosquitto 的 mosquitto_pub 和 mosquitto_sub 工具），并尝试通过 Nginx 转发到 EMQX 集群发布和订阅消息。

优点：

集群提供了容错性

一个节点故障，其它节点仍可用

故障节点恢复后仍然可以参与到集群中

集群搭建

工作原理

节点名称

核心节点

复制节点

节点发现

手动与自动集群

集群搭建

下载地址

安装

启动

修改配置文件

创建集群

emqx_ctl cluster join命令

web界面验证

集群负载均衡

用NGINX 负载均衡 EMQX 集群

功能与优势

​​​​​​​下载并解压nginx安装包

修改配置文件

相关文章：

下载并解压nginx安装包