当前位置：首页 > news >正文

手撕基于AMQP协议的简易消息队列-1（项目介绍与开发环境的搭建）

news 来源：原创 2025/8/10 8:10:10

项目绍

码云仓库：MessageQueues: 仿Rabbit实现消息队列

文章概要

本文将介绍从零搭建一个简易消息队列的方法，目的是了解并学习消息队列的底层原理与逻辑，编写一个独立的服务器程序。从搭建开发环境开始，到编写一些工作组件，再到正式开始编写消息队列。

什么是消息队列？

消息队列是一个服务器程序，也可以看做是一个被封装为独立服务器程序的阻塞队列，而阻塞队列的最大用途就是用来实现生产者消费者模型,这个模型可以让我们的程序实现解耦合、支持并发、支持忙闲不均、削峰填谷等功能。
市面上成熟的消息队列有很多，如：RabbitMQ、Kafka、RocketMQ、ActiveMQ…

开发环境

Linux（CentOS-7.6），可根据自己需要更换为Ubuntu
VSCode
g++/gdb
Makefile（也可以使用CMake）

所用技术栈

C++
序列化框架：Protobuf
网络通信：自定义应用层协议+Muduo库：对tcp⻓连接的封装、并且使⽤epoll的事件驱动模式，实现⾼并发服务器与客⼾端
源数据信息数据库：SQLite3（因为本项目数据量较小，所以选取了一个更加轻量级的数据库）
单元测试框架：Gtest

开发环境的搭建

这里分别列举CentOS7.6与Ubuntu-22.04的环境配置

CentOS7.6的环境搭建

安装wget

sudo yum install wget

更换软件源

sudo mv /etc/yum.repos.d/CentOS-Base.repo/etc/yum.repos.d/CentOS-Base.repo.bak

sudo wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

sudo yum clean all

sudo yum makecache

安装scl软件源

sudo yum install centos-release-scl-rh centos-release-scl

安装epel软件源

sudo yum install epel-release

安装lrzsz传输工具

sudo yum install lrzsz

安装高版本gcc/g++编译器

sudo yum install devtoolset-7-gcc devtoolset-7-gcc-c++

echo "source /opt/rh/devtoolset-7/enable" >> ~/.bashrc

source ~/.bashrc

安装git

sudo yum install git

安装CMake

sudo yum install cmake

安装Protobuf

安装Protobuf依赖库

sudo yum install autoconf automake libtool curl make gcc-c++ unzip

下载Protobuf包

wget 
https://github.com/protocolbuffers/protobuf/releases/download/v3.20.2/protobuf-all-3.20.2.tar.gz

编译安装

tar -zxf protobuf-all-3.20.2.tar.gz//解压缩

cd protobuf-3.20.2/ //切换目录

./autogen.sh

./configure

make //开始编译，大概需要编译15分钟

sudo make install //开始安装

protoc --version//确认是否安装成功

安装Muduo库

git clone https://github.com/chenshuo/Muduo.git //git方式

wget https://gitee.com/hansionz/mq/raw/master/resource/Muduo-master.zip //如果觉得git下的太慢，可以使用这一条指令

sudo yum install gcc-c++ cmake make zlib zlib-devel boost-devel //安装依赖环境

./build.sh
./build.sh install //运行脚本编译安装

安装SQLite3

sudo yum install sqlite-devel

sqlite3 --version //验证是否安装成功

安装Gtest

sudo yum install epel-release

sudo yum install dnf

sudo dnf install dnf-plugins-core

sudo dnf install gtest gtest-devel

使用dnf安装软件时可能会报以下错误

Traceback (most recent call last):File "/usr/bin/dnf", line 57, in <module>from dnf.cli import mainFile "/usr/lib/python2.7/site-packages/dnf/__init__.py", line 30, in <module>import dnf.baseFile "/usr/lib/python2.7/site-packages/dnf/base.py", line 29, in <module>import libdnf.transactionFile "/usr/lib64/python2.7/site-packages/libdnf/__init__.py", line 3, in 
<module>from . import confFile "/usr/lib64/python2.7/site-packages/libdnf/conf.py", line 17, in 
<module>_conf = swig_import_helper()File "/usr/lib64/python2.7/site-packages/libdnf/conf.py", line 16, in 
swig_import_helperreturn importlib.import_module('_conf')File "/usr/lib64/python2.7/importlib/__init__.py", line 37, in import_module__import__(name)
ImportError: No module named _conf

这通常是因为python版本过低导致的，可以输入以下命令解决

yum update python*  //升级python

yum install dnf-data dnf-plugins-core libdnf-devel libdnf python2-dnf-plugin-migrate dnf-automatic -y # 安装如下软件

测试GTest是否安装成功

测试代码

#include<gtest/gtest.h>
int add(int a,int b){return a+b;
}
TEST(testCase,test1){EXPECT_EQ(add(2,3),5);
}
int main(int argc,char **argv){testing::InitGoogleTest(&argc,argv);return RUN_ALL_TESTS();
}

编译源文件
```
g++ test_gtest.cc -o gtest -lgtest
```
运行可执行文件
```
./gtest
```
成功

[==========] Running 1 test from 1 test case.
[----------] Global test environment set-up.
[----------] 1 test from testCase
[ RUN ] testCase.test1
[ OK ] testCase.test1 (0 ms)
[----------] 1 test from testCase (0 ms total)
[----------] Global test environment tear-down
[==========] 1 test from 1 test case ran. (1 ms total)
[ PASSED ] 1 test.

手撕基于AMQP协议的简易消息队列-1（项目介绍与开发环境的搭建）

项目绍码云仓库：MessageQueues: 仿Rabbit实现消息队列文章概要本文将介绍从零搭建一个简易消息队列的方法，目的是了解并学习消息队列的底层原理与逻辑，编写一个独立的服务器程序。从搭建开发环境开始，到编写一些工作组件&am…...

编程日记 2025/8/10 8:10:10

C++ 模板方法模式详解与实例

模板方法模式概念模板方法模式（Template Method Pattern）属于行为型设计模式，其核心思想是在一个抽象类中定义一个算法的骨架，而将一些步骤延迟到子类中实现。这样可以使得子类在不改变算法结构的情况下，重新定义算法中的某些步骤。它通过继承机制，实现代码复用和行为…...

编程日记 2025/8/10 8:06:55

北京丰台人和中医院，收费贵吗？

北京丰台人和中医院，收费贵吗？ 北京丰台人和中医院属于平价医院，百姓医院，收费不贵，北京丰台人和中医院35年专业看肝病，之所以能够在肝病感染者中赢得广泛好评，离不开其严谨的医疗流程、专业的…...

编程日记 2025/8/9 18:32:30

一、魔法传送阵的核心法则 1.量子切割术（分片上传） const sliceFile (file) > {const chunks [];let start 0;const CHUNK_SIZE 2 * 1024 * 1024; // 2MB分片while (start < file.size) {chunks.push({id: ${file.name}-${start},data: file.s…...

编程日记 2025/8/10 8:10:10

Windows命令行软件管理器：Chocolatey

文章目录 Windows命令行软件管理器：Chocolatey1.Chocolatey使用1.1 安装1.2 常用命令1.3 使用流程 2.常用shell命令汇总 Windows命令行软件管理器：Chocolatey Chocolatey 是一款强大的 Windows 命令行软件管理器，目前在 GitHub 上已斩获 10.…...

编程日记 2025/8/4 8:26:59

【MySQL】第二弹——MySQL表的增删改查(CRUD)

文章目录 🎓一. CRUD🎓二. 新增(Create)🎓三. 查询(Rertieve)📖1. 全列查询📖2. 指定列查询📖3. 查询带有表达式📖4. 起别名查询(as )📖 5. 去重查询(distinct)📖6. 排序…...

编程日记 2025/8/4 8:26:57

Windows环境，Python实现对本机处于监听状态的端口，打印出端口，进程ID，程序名称

1、pip install tabulate 2、代码实现 #!/usr/bin/env python # -*- coding: utf-8 -*-""" Windows端口监听程序显示本机处于监听状态的端口，进程ID和程序名称 """import subprocess import re import os import sys from tabulat…...

编程日记 2025/8/10 8:06:55

什么是变量提升？

变量提升（Hoisting） 是 JavaScript 引擎在代码执行前的一个特殊行为，它会将变量声明和函数声明自动移动到当前作用域的顶部。但需要注意的是，只有声明会被提升，赋值操作不会提升。核心概念变量声明提升&…...

编程日记 2025/8/4 8:26:54

Java大师成长计划之第15天：Java线程基础

📢 友情提示： 本文由银河易创AI（https://ai.eaigx.com）平台gpt-4o-mini模型辅助创作完成，旨在提供灵感参考与技术分享，文中关键数据、代码与结论建议通过官方渠道验证。在现代软件开发中，多线程…...

编程日记 2025/8/10 8:04:42

中小企业设备预测性维护：从技术原理到中讯烛龙实践落地指南

在工业 4.0 与智能制造浪潮的推动下，中小企业正面临设备管理模式的深刻变革。传统的事后维修与预防性维护策略，因缺乏数据驱动与智能决策能力，已难以满足企业降本增效的核心诉求。据 Gartner 统计，非计划停机导致的生产损失平均每…...

编程日记 2025/8/4 8:26:49

mysql 复习

mysql定义与架构数据库是按照数据结构来组织、存储和管理数据的仓库，方便我们增删查改。MySQL有客户端和服务器端，基于网络服务的，3306端口处于监听状态。数据库的存储介质有以下两种： 磁盘，比如MySQL就是一种磁盘…...

编程日记 2025/8/10 8:06:56

高低比率策略

本策略的核心在于运用技术指标结合基本规则进行交易决策，旨在通过高低比率策略捕捉市场的超买和超卖信号，以此指导交易行为。一、交易逻辑思路 1. 指标计算： - 本策略首先通过EMA（指数移动平均）计算快线和慢线的值&am…...

编程日记 2025/8/10 8:06:33

python线上学习进度报告

一、mooc学习二、python123学习...

编程日记 2025/8/8 23:24:20

深入剖析ThreadLocal：原理、应用与最佳实践

深入剖析ThreadLocal：原理、应用与最佳实践一、ThreadLocal的本质与价值 1.1 什么是ThreadLocal？ ThreadLocal是Java提供的线程本地变量机制，允许每个线程拥有独立的变量副本，实现线程间的数据隔离。它通过“空间换时间”的方式…...

编程日记 2025/8/4 8:26:41

nginx 配置后端健康检查模块

nginx自带的针对后端节点健康检查的功能比较简单，通过默认自带的ngx_http_proxy_module 模块和ngx_http_upstream_module模块中的参数来完成，当后端节点出现故障时，自动切换到健康节点来提供访问。但是nginx不能事先知道后端节点状态是否健康，后端即使有不健康节点，负载均…...

编程日记 2025/8/6 0:23:55

路由交换实验

案例一：实施和配置RIPV2 1.给AR1配置接口查看R1接口配置情况 2.配置三台路由的RIP协议，版本为version2 ，关闭自动汇总，通告所有的直连接口案例二：配置多区域的OSPF协议 1.配置R1的接口IP地址参数 2.配置r2,r3的接口参…...

编程日记 2025/8/4 8:26:37

主成分分析(PCA)是什么？简易理解版

文章目录一、PCA的本质与核心价值二、数据中的"重要方向"：理解变异性三、主成分的数学基础四、荷载向量的深入理解五、PCA的计算过程详解5.1 数据预处理5.2 计算协方差矩阵5.3 特征分解5.4 主成分得分计算六、PCA的实际应用解读七、PCA的工具与实现7.1 …...

编程日记 2025/8/9 22:19:09

Linux常用命令34——uname显示系统内核信息

在使用Linux或macOS日常开发中，熟悉一些基本的命令有助于提高工作效率，uname命令来自英文词组UNIX name的缩写，其功能是查看系统主机名、内核及硬件架构等信息。如果不加任何参数，默认仅显示系统内核名称（相当于-s参数…...

编程日记 2025/8/9 7:42:39

Linux下使用openssh搭建sftp服务

创建 SFTP 用户组为 SFTP 用户创建一个专用组： sudo groupadd sftpusers 创建 SFTP 用户创建 SFTP 用户并将其添加到 sftpusers 组，同时指定用户的主目录和禁止 shell 访问： sudo useradd -g sftpusers -s /sbin/nologin username sud…...

编程日记 2025/8/4 8:26:28

C++ 复习（一）

命名空间概念 ： 命名空间的主要作用是创建一个新的作用域里面可以放函数变量定义为了防止命名冲突实现 : 通过使用namespace 空间名 {} 在大括号中添加内容 1. 这里命名空间允许嵌套 2. 在同一个工程中允许存在多个同名的命名空间在最后编译…...

编程日记 2025/8/4 8:26:26

主备Smart Link + Monitor Link组网技术详细配置

1.实验拓扑 2.使用设备 eNSP模拟建议下行设备三台使用S3700模拟（全部使用S5700可能会出现流量丢失等异常问题。） 3.实验配置 [SW1]dis cu # sysname SW1 # vlan batch 100 110 # interface Ethernet0/0/1port link-type accessport default vlan 100 …...

编程日记 2025/8/4 8:26:24

【5G通信】redcap和bwp 随手记

在5G通信中，BWP（Bandwidth Part）是一种技术，允许终端设备在不同的带宽部分上进行通信，从而提高频谱效率和灵活性。BWP可以分为初始BWP（Initial BWP）、默认BWP（Default BWP&#xff0…...

编程日记 2025/8/4 8:26:21

第三天车联网云架构

一、车联网技术演进与行业变革 1.1 从传统Telematics到智能网联汽车当我们驾驶着搭载智能网联系统的汽车时，车辆每秒会产生超过1GB的数据流量。这些数据包括： 高精度地图的实时更新ADAS传感器采集的环境信息车载娱乐系统交互数据车辆状态监控信息传…...

编程日记 2025/8/4 8:26:17

手撕基于AMQP协议的简易消息队列-7（客户端模块的编写）

在MQClient中编写客户端模块代码在MQClient中编写makefile文件来编译客户端模块 .PHONY:all all:PublichClient ConsumeClient PublichClient : PublichClient.cpp ../MQCommon/request.pb.cc ../MQCommon/message.pb.cc ../ThirdLib/lib/include/muduo/protobuf/codec.ccg …...

编程日记 2025/8/4 8:26:14

Spring Security（笔记）

第一步： 首先使用Intellij IDEA创建一个Spring Boot项目，JDK选择自己安装的1.8。点击Next后，编辑项目信息。然后跳转到选择依赖页面。第二步： 添加Spring Security、Spring Web、Thymeleaf三个依赖。完成后等待项目构建完成。…...

编程日记 2025/8/4 8:26:12

通义灵码编码插件支持MCP

通义灵码MCP功能集成概述通义灵码已深度集成魔搭社区（ModelScope）的MCP（Model Context Protocol）服务，为开发者提供了在IDE中直接调用AI能力的便捷通道。MCP作为标准化协议，通过定义Resources、Prompts和…...

编程日记 2025/8/4 8:26:10

问题｜当前计算机视觉迫切解决的问题

当前计算机视觉领域虽然在技术上取得了显著进展，但仍面临一系列关键挑战。结合最新研究与应用现状，以下是最迫切需要解决的几大问题： 1. 数据质量与多样性不足高质量标注数据的获取：训练高效模型依赖大量精准标注的数据&#x…...

编程日记 2025/6/29 8:29:36

C++ STL入门：vecto容器

C STL 系列入门：vector 动态数组一、vector 容器核心特性 vector 是 C 标准库提供的动态数组容器，具有以下显著优势： 自动扩容机制：当插入元素超出当前容量时，自动申请新内存并迁移数据随机访问效率：支持…...

编程日记 2025/8/4 8:26:07

Java 线程全面概述

Java 线程全面概述线程是程序执行的最小单元，是操作系统能够调度的最小单位。Java 提供了完善的线程支持，下面从基础概念到高级特性进行全面解析。一、线程基础概念 1. 线程 vs 进程特性进程线程资源占用独立内存空间共享进程内存切换成本高&#…...

编程日记 2025/8/7 20:23:09

高效文件夹迁移工具,轻松实现批量文件管理

软件介绍 DirMapper是一款专注于文件夹迁移的工具，可以快速完成文件的批量整理与位置调整。功能特点这款文件夹迁移工具提供两种操作模式：复制模式和移动模式，用户可以根据需求自行选择。如果需要保留原文件，可以选择复…...

编程日记 2025/6/29 3:53:14

sherpa：介绍

更多内容：XiaoJ的知识星球目录 1. sherpa 介绍 1. sherpa 介绍 sherpa是 Next-gen Kaldi 项目的部署框架。 sherpa 支持在各种平台上部署与语音相关的预训练模型，并提供多种语言绑定。目前，sherpa 拥有以下子项目： k2-fsa/sh…...

编程日记 2025/8/9 21:25:29

Android Studio Gradle 中只显示 Tasks 中没有 build 选项解决办法

一、问题描述想把项目中某一个模块的代码单独打包成 aar ,之前是点击 AndroidStudio 右侧的 Gradle 选项，然后再点击需要打包的模块找到 build 进行打包，但是却发现没有 build 选项。二、解决办法 1、设置中勾选 Configure all Gradle tasks… 选项 …...

编程日记 2025/8/4 8:25:59

手撕基于AMQP协议的简易消息队列-6（服务端模块的编写）

在MQServer中编写服务端模块代码在MQServer中编写makefile文件来编译服务端模块 .PHONY: server CFLAG -I../ThirdLib/lib/include LFLAG -L../ThirdLib/lib/lib -lgtest -lprotobuf -lsqlite3 -pthread -lmuduo_net -lmuduo_base -lz server:server.cpp ../MQCommon/messag…...

编程日记 2025/8/4 8:25:57

面试实践AND面经热点题目总结

1、对于Rocketmq消息积压、丢失如何解决？ 消息积压原因以及解决方案 🎯 产生原因： 消费者处理能力弱，消费速度远低于生产速度； 网络不稳定，消费者拉取消息失败； 消费端异常（如处理…...

编程日记 2025/8/6 3:39:57

MySQL基础关键_012_事务

目录一、概述二、ACID 四大特性三、MySQL 事务四、事务隔离级别 1.说明 2.现象 （1）脏读 （2）不可重复读 （3）幻读 3.查看隔离级别 4.设置隔离级别 5.隔离级别 （1）初始…...

编程日记 2025/8/8 14:15:45

Missashe考研日记-day35

Missashe考研日记-day35 1 专业课408 学习时间：3h学习内容： 完结撒花！！今天把OS最后一节的内容学完了，操作系统也算是告一段落了，接下来是计网时间！不过计网我是上学期才学过的，当…...

编程日记 2025/8/4 8:25:49

如何添加二级域名

在华为云上添加二级域名（如 sub.example.com）主要涉及 DNS解析配置和服务器绑定两个步骤。以下是详细操作指南： 一、前提条件已拥有主域名（如 example.com）并完成 ICP备案（若服务器在中国大陆&#…...

编程日记 2025/6/29 3:10:44

【数据结构】01Trie

什么是 01Trie? 01Trie是字典树的一种变种，其只有两种情况，即 0 和 1，实现方式其实和字典树是一样的有什么用呢？ 其一般用于解决异或问题，是一种快速的数据结构，某些情况下可以无脑套用实现方式&#…...

编程日记 2025/6/29 2:10:11

使用 CDN 在国内加载本地 PDF 文件并处理批注：PDF.js 5.x 实战指南

PDF.js 是一个强大的开源 JavaScript 库，用于在 Web 浏览器中渲染 PDF 文件。它由 Mozilla 开发，能够将 PDF 文档绘制到 HTML5 Canvas 或 SVG 上，无需任何本机代码或浏览器插件。对于许多需要在网页中展示 PDF 内容的应用场景来说&#xff0c…...

编程日记 2025/8/7 6:23:16

SpringBoot指定项目层日志记录

1、新建一个Springboot项目，添加Lombok依赖（注意：这里使用的Lombok下的Slf4j快速日志记录方式） <dependency><groupId>org.projectlombok</groupId><artifactId>lombok</artifactId></dependenc…...

编程日记 2025/6/29 2:10:22

使用Mathematica内置函数绘制Sierpinski地毯

除了SierpinskiCurve之外，Mathematica还内置了SierpinskiMesh这个函数，用来绘制地毯。 SierpinskiMesh[n] gives a mesh region representing the n-step Sierpiński triangle. SierpinskiMesh[n,d] gives the n-step Sierpiński sponge in dimension…...

编程日记 2025/6/29 2:10:23

CMake笔记（简易教程）

CMake笔记概述（需要提前了解的知识） 一个c/c程序从代码到生成二进制文件，需要经历的几个关键步骤：预编译（预处理）、编译、汇编、连接【编译链接的几个步骤】编译器：目前市面常见的编译器有…...

编程日记 2025/6/29 2:10:17

现代健康养生新范式：多维度守护身心活力

在快节奏的现代生活中，健康养生是维持高品质生活的关键。从环境调节到生活习惯养成，多个维度的协同发力，才能为健康注入持久动力。良好的生活环境是健康的基础。室内空气流通至关重要，每天开窗通风 2-3 次，每次 30…...

编程日记 2025/8/5 3:54:58

推测式思维树：让大模型快速完成复杂推理

论文标题 Accelerating Large Language Model Reasoning via Speculative Search 论文地址 https://www.arxiv.org/pdf/2505.02865 作者背景中科大，华为诺亚方舟实验室，天津大学 ICML 2025接收动机之前介绍过多篇投机解码（推测式解…...

编程日记 2025/6/29 4:40:13

软考错题（三）

telnet协议是一种基于TCP的远程登录协议占用辅助空间最多的是归并排序直接插入，堆排，简单选择，冒泡的空间复杂度是O(1) 快排是O(logn) 归并是O(n) B树的叶子节点通过指针链接为有序表，不是b-树 python中切片语法[start,end,s…...

编程日记 2025/8/6 22:32:24

注解的定义

一、理论说明 1. 注解的定义 Java 注解是从 JDK 5.0 开始引入的一种元数据机制，它可以为代码添加额外的信息，这些信息不影响程序的运行逻辑，但可以在编译期、类加载期或运行期被读取和处理。注解本质上是一种特殊的接口，所有注解…...

编程日记 2025/8/7 0:21:05

企业微信自建消息推送应用

企业微信自建应用来推送消息前言最近有个给特定部门推送消息的需求，所以配置一个应用专门用来推送消息。实现过程大致为：服务器生成每天的报告，通过调用API来发送消息。以前一直都是发邮件，整个邮箱里全是报告文件&#xff0c…...

编程日记 2025/8/5 20:20:39

swagger3融入springboot

标签： 放controller上面 Api(description "xxx") 放方法上面 Operation(summary "xxx") 引入： 我用的是swagger3.X 需要在yml配置文件中加上： spring:mvc:pathmatch:matching-strategy: ant_path_matcher 然后生…...

编程日记 2025/8/5 20:20:37

CH32V208GBU6沁恒绑定配对获取静态地址

从事嵌入式单片机的工作算是符合我个人兴趣爱好的,当面对一个新的芯片我即想把芯片尽快搞懂完成项目赚钱,也想着能够把自己遇到的坑和注意事项记录下来,即方便自己后面查阅也可以分享给大家,这是一种冲动,但是这个或许并不是原厂希望的,尽管这样有可能会牺牲一些时间也有哪天原…...

编程日记 2025/8/5 20:20:35

[计算机科学#11]:编程语言简史，从二进制到简约表达的华丽转身，造就原因——“懒”

【核知坊】：释放青春想象，码动全新视野。我们希望使用精简的信息传达知识的骨架，启发创造者开启创造之路！！！ 内容摘要： 由于早期的编程需要直接操作硬件，例如使…...

编程日记 2025/8/5 20:20:33

项目绍