当前位置：首页 > news >正文

C++ - 仿 RabbitMQ 实现消息队列（1）（环境搭建）

news 来源：原创 2025/8/19 2:01:18

C++ - 仿 RabbitMQ 实现消息队列（1）（环境搭建）

什么是消息队列
- - 核心特点
  - 核心组件
  - 工作原理
  - 常见消息队列实现
  - 应用场景
  - 优缺点
项目配置
- 开发环境
- 技术选型
更换软件源
安装一些工具
- 安装epel 软件源
- 安装 lrzsz 传输工具
- 安装git
- 安装 cmake
- 安装 SQLite3
- 安装GTest
安装高版本 gcc/g++编译器
- - 1. 确认可用的 GCC 工具集版本
  - 2. 安装默认的 GCC 工具集
  - 3. 正确的启用方式
  - 4. 永久启用（可选）
安装Protobuf
- - 1. 解压源码包
  - 2. 进入源码目录
  - 3. 生成配置脚本
  - 4. 配置编译选项
  - 5. 编译源码
  - 6. 安装到系统
  - 7. 更新动态库缓存
  - 完整流程总结
  - 验证安装
安装 Muduo

我们今天来开一个新的项目仿 RabbitMQ 实现消息队列，这个项目更加接近公司的开发流程，开发和测试各个方面都会涉及到。不过在这之前，我们先来了解一下什么是消息队列，消息队列是用来干嘛的。

什么是消息队列

消息队列（Message Queue）是一种用于在分布式系统或应用程序之间传递消息的通信机制，它通过一个中间存储结构（队列）来管理消息的传递，允许发送方和接收方以异步的方式交互。消息队列的核心作用是解耦生产者和消费者，提升系统的可扩展性、可靠性和性能。

核心特点

解耦性
生产者（发送方）和消费者（接收方）无需直接通信，也无需知道彼此的存在。双方通过消息队列进行交互，降低了系统间的耦合度。
异步通信
生产者将消息发送到队列后，无需等待消费者立即处理，可以继续执行其他任务。消费者可以按自己的节奏处理消息，提高系统响应速度。
削峰填谷
在流量高峰时，消息队列可以缓冲大量请求，避免系统过载。消费者可以逐步处理队列中的消息，平稳系统负载。
可靠性
消息队列通常提供持久化存储，即使消费者崩溃或网络中断，消息也不会丢失，确保数据不丢失。

核心组件

生产者（Producer）
负责生成消息并将其发送到消息队列中。
消息队列（Message Queue）
中间存储结构，用于临时存储消息，支持消息的持久化、排序和分发。
消费者（Consumer）
从消息队列中获取消息并进行处理。

工作原理

生产者发送消息：生产者将消息发送到指定的队列中。
消息存储：消息队列将消息持久化存储，等待消费者处理。
消费者拉取或推送消息：消费者从队列中获取消息（拉取模式）或通过订阅机制接收消息（推送模式）。
消息处理：消费者处理消息，并可能返回处理结果。
消息确认（可选）：消费者处理完成后，向消息队列发送确认信号，队列可以删除或标记消息为已处理。

常见消息队列实现

RabbitMQ
- 基于AMQP协议的开源消息代理，支持多种消息模式（如发布/订阅、路由、主题）。
- 适合需要灵活路由和复杂消息模式的场景。
Kafka
- 高吞吐量的分布式消息系统，常用于大数据和实时流处理。
- 支持持久化日志、分区和副本，适合大规模数据处理。
ActiveMQ
- 基于JMS规范的开源消息代理，支持多种协议（如AMQP、STOMP、MQTT）。
- 适合企业级应用和集成场景。
Redis Stream
- Redis 5.0引入的流数据结构，支持简单的消息队列功能。
- 适合轻量级、低延迟的场景。
Amazon SQS/Azure Service Bus
- 云服务提供商提供的托管消息队列服务，适合云原生应用。

应用场景

异步任务处理
例如：用户注册后发送欢迎邮件、订单处理后更新库存。
应用解耦
例如：电商系统中，订单服务、支付服务和物流服务通过消息队列解耦。
流量削峰
例如：秒杀活动中，将用户请求暂存到消息队列，后台服务逐步处理。
日志处理
例如：将应用日志发送到消息队列，由日志收集服务统一处理。
事件驱动架构
例如：微服务架构中，服务之间通过事件消息进行通信。

优缺点

优点：

解耦生产者和消费者，降低系统复杂度。
支持异步通信，提高系统响应速度。
提供削峰填谷能力，增强系统稳定性。
支持消息持久化，确保数据不丢失。

缺点：

引入了额外的组件，增加了系统复杂度。
消息顺序和重复消费等问题需要额外处理。
消息队列本身可能成为性能瓶颈（需合理设计）。

我们这次的项目围绕着RabbitMQ 模拟实现一个简单的消息队列

项目配置

开发环境

组件	版本/工具
操作系统	CentOS9 / Ubuntu-22.04
代码编辑器	VSCode / Vim
编译调试工具	g++ / gdb
构建工具	Makefile

技术选型

类别	选择
开发主语言	C++
序列化框架	Protobuf 二进制序列化
网络通信方案	自定义应用层协议 + muduo库（推荐，适用于TCP长连接及高并发场景）或者自定义应用层协议 + 原生socket（复杂度较高）
数据库	SQLite3
单元测试框架	Gtest

更换软件源

首先，我们得要首先把软件源换成国内的，如果使用系统本身的软件源，就要访问国外的网站，速度会非常慢。

我们换成清华大学的镜像源：

https://mirrors.tuna.tsinghua.edu.cn/

在这里插入图片描述
执行以下的代码：

sudo tee /etc/yum.repos.d/CentOS-Stream.repo << 'EOF'
[baseos]
name=CentOS Stream 9 - BaseOS (Tsinghua)
baseurl=https://mirrors.tuna.tsinghua.edu.cn/centos-stream/9-stream/BaseOS/x86_64/os/
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-centosofficial[appstream]
name=CentOS Stream 9 - AppStream (Tsinghua)
baseurl=https://mirrors.tuna.tsinghua.edu.cn/centos-stream/9-stream/AppStream/x86_64/os/
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-centosofficial[extras]
name=CentOS Stream 9 - Extras (Tsinghua)
baseurl=https://mirrors.tuna.tsinghua.edu.cn/centos-stream/SIGs/9-stream/extras/x86_64/
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-centosofficial
EOF

这段代码是在配置 CentOS Stream 9 的 YUM 软件仓库（repository），具体作用如下：

使用 sudo tee 命令将后面的内容写入 /etc/yum.repos.d/CentOS-Stream.repo 文件（需要管理员权限）
<< 'EOF' 表示将后续内容作为标准输入，直到遇到 EOF 结束标记
文件内容配置了三个软件源仓库：
- [baseos]：基础操作系统软件包
- [appstream]：应用程序包
- [extras]：额外软件包

每个仓库配置包含：

name：仓库描述名称（标明是清华镜像源）
baseurl：指定软件包的下载地址（使用清华大学开源镜像站）
gpgcheck=1：启用 GPG 签名验证
gpgkey：指定 GPG 密钥位置用于验证软件包

这样配置后，当你使用 yum 或 dnf 命令安装软件时，系统会从清华大学的镜像站点下载 CentOS Stream 9 的软件包，速度会比官方源更快（特别是在中国境内）。

注意：这段代码会覆盖同名的现有仓库配置文件，如果之前有其他配置会被替换。

大家注意一下三个部分的baseurl，如果路径不对，是会失败的，这里给大家指明一下路径：

baseos的baseurl：

https://mirrors.tuna.tsinghua.edu.cn/centos-stream/9-stream/BaseOS/x86_64/

在这里插入图片描述
appstream的baseurl：

https://mirrors.tuna.tsinghua.edu.cn/centos-stream/9-stream/AppStream/x86_64/os/

在这里插入图片描述
extras的baseurl：

https://mirrors.tuna.tsinghua.edu.cn/centos-stream/SIGs/9-stream/extras/x86_64/

在这里插入图片描述

安装一些工具

安装epel 软件源

sudo dnf install epel-release

安装 lrzsz 传输工具

sudo dnf install lrzsz

在这里插入图片描述

安装git

sudo dnf install git

在这里插入图片描述

安装 cmake

sudo dnf install cmake

在这里插入图片描述

安装 SQLite3

sudo dnf install sqlite-devel

在这里插入图片描述

安装GTest

sudo dnf install gtest gtest-devel

ls /usr/include/gtest/gtest.h

在这里插入图片描述

安装高版本 gcc/g++编译器

在 CentOS Stream 9 中，gcc-toolset-11 可能不再直接提供，或者它的包名称/仓库配置发生了变化。以下是解决方案：

1. 确认可用的 GCC 工具集版本

运行以下命令查看当前可用的 GCC 相关包：

dnf search gcc-toolset

在这里插入图片描述
我们这里选择12版本

2. 安装默认的 GCC 工具集

CentOS Stream 9 可能默认提供 GCC Toolset 12 或更高版本：

sudo dnf install gcc-toolset-12

3. 正确的启用方式

在 CentOS Stream 9 中，gcc-toolset-12 不再通过 module load 启用，而是通过 直接加载环境变量：

source /opt/rh/gcc-toolset-12/enable

然后验证 GCC 版本：

gcc --version

在这里插入图片描述

4. 永久启用（可选）

如果希望每次登录自动启用，可以将以下内容添加到 ~/.bashrc：

echo 'source /opt/rh/gcc-toolset-12/enable' >> ~/.bashrc
source ~/.bashrc

安装Protobuf

这里建议大家先在windows上下好了传到Linux上：
在这里插入图片描述

下载链接（如果有VPN，可以开一个，下得快）：

https://github.com/protocolbuffers/protobuf/releases/download/v3.2
0.2/protobuf-all-3.20.2.tar.gz

在这里插入图片描述
然后执行以下代码：

tar -xzf protobuf-all-21.12.tar.gz
cd protobuf-21.12
./autogen.sh
./configure
make -j$(nproc)
sudo make install
sudo ldconfig

这段代码是用于从源码编译并安装 Protocol Buffers (Protobuf) 的完整流程。Protobuf 是 Google 开发的一种高效的数据序列化格式，广泛用于网络通信和数据存储。以下是每一步的详细解释：

1. 解压源码包

tar -xzf protobuf-all-21.12.tar.gz

作用：解压名为 protobuf-all-21.12.tar.gz 的压缩包。
参数说明：
- -x：解压文件。
- -z：使用 gzip 解压（针对 .tar.gz 文件）。
- -f：指定文件名。
结果：生成 protobuf-21.12 目录，包含 Protobuf 的源码。

2. 进入源码目录

cd protobuf-21.12

作用：切换到解压后的 Protobuf 源码目录，准备进行编译。

3. 生成配置脚本

./autogen.sh

作用：运行 autogen.sh 脚本，生成 configure 文件（如果源码包未提供预生成的 configure 文件）。
适用场景：
某些开源项目（如 Protobuf）使用 autotools 构建系统，需要先运行 autogen.sh 生成 configure 脚本。

4. 配置编译选项

./configure

作用：运行 configure 脚本，检测系统环境（如编译器、库路径等），并生成 Makefile。
关键行为：
- 检查系统是否安装了必要的依赖（如 g++、make、libtool 等）。
- 生成针对当前系统的编译配置（如优化选项、安装路径等）。
自定义选项：
可以通过参数指定安装路径（如 ./configure --prefix=/usr/local/protobuf）。

5. 编译源码

make -j$(nproc)

作用：使用 make 编译 Protobuf 源码。
参数说明：
- -j$(nproc)：启用多线程编译，$(nproc) 自动获取 CPU 核心数，加速编译过程。
结果：生成可执行文件和库（如 protoc 编译器、libprotobuf.so 等）。

6. 安装到系统

sudo make install

作用：将编译好的 Protobuf 文件安装到系统目录（如 /usr/local/bin、/usr/local/lib）。
权限要求：需要 sudo 权限，因为安装到系统目录需要管理员权限。
安装内容：
- 可执行文件（如 protoc）安装到 /usr/local/bin。
- 库文件（如 libprotobuf.*）安装到 /usr/local/lib。
- 头文件安装到 /usr/local/include。

7. 更新动态库缓存

sudo ldconfig

作用：更新系统的动态库缓存，使新安装的 Protobuf 库（libprotobuf.so）能被系统识别。
必要性：
如果不运行 ldconfig，程序在运行时可能找不到新安装的库，导致报错（如 libprotobuf.so: cannot open shared object file）。

完整流程总结

解压源码：tar -xzf protobuf-all-21.12.tar.gz
进入目录：cd protobuf-21.12
生成配置脚本：./autogen.sh
配置环境：./configure
编译代码：make -j$(nproc)
安装到系统：sudo make install
更新库缓存：sudo ldconfig

验证安装

安装完成后，可以通过以下命令验证 Protobuf 是否安装成功：

protoc --version  # 检查 protoc 版本

如果输出版本号（如 libprotoc 3.21.12），则安装成功。

安装 Muduo

先获取一下zip包：

wget https://gitee.com/hansionz/mq/raw/master/resource/muduo-master.zip

在这里插入图片描述

unzip muduo-master.zip
cd muduo-master

Muduo 需要以下依赖：

sudo dnf install -y gcc-c++ cmake make \boost-devel openssl-devel protobuf-devel \zlib-devel curl-devel

然后进行编译

# 进入 Muduo 源码目录
cd muduo-master# 使用 CMake 构建
mkdir build && cd build
cmake -DCMAKE_BUILD_TYPE=Release ..  # 推荐 Release 模式
make -j$(nproc)  # 并行编译

最后进行安装：

sudo make install

在这里插入图片描述

然后进入到bin目录我们可以来测试一下：
在这里插入图片描述
执行：

./protobuf_server 9091

在这里插入图片描述
然后复制SSH渠道，执行：

./protobuf_client 0.0.0.0 9091

在这里插入图片描述

C++ - 仿 RabbitMQ 实现消息队列（1）（环境搭建）

什么是消息队列

核心特点

核心组件

工作原理

常见消息队列实现

应用场景

优缺点

项目配置

开发环境

技术选型

更换软件源

安装一些工具

安装epel 软件源

安装 lrzsz 传输工具

安装git

安装 cmake

安装 SQLite3

安装GTest

安装高版本 gcc/g++编译器

1. 确认可用的 GCC 工具集版本

2. 安装默认的 GCC 工具集

3. 正确的启用方式

4. 永久启用（可选）

安装Protobuf

1. 解压源码包

2. 进入源码目录

3. 生成配置脚本

4. 配置编译选项

5. 编译源码

6. 安装到系统

7. 更新动态库缓存

完整流程总结

验证安装

安装 Muduo

相关文章：