浅聊MQ之Kafka与RabbitMQ简用
Kafka与RabbitMQ的使用举例
Kafka的使用举例
-
安装与启动：
- 从Apache Kafka官网下载Kafka中间件的运行脚本。
- 解压后，通过命令行启动Zookeeper（Kafka的运行依赖于Zookeeper）。
- 启动Kafka的服务器进程。
-
基本功能实现：
- 生产者：启动生产者进程，向指定的主题（Topic）发送消息。
- 消费者：启动消费者进程，从指定的主题中接收并处理消息。
-
高级功能：
- 分区与复制：Kafka通过分区实现数据的并行处理，通过复制实现数据的高可用性。
- 日志压缩：Kafka支持日志压缩功能，以减少存储空间的占用。
-
应用场景：
- 日志收集与处理：Kafka可以高效地收集和处理来自不同源头的日志数据。
- 实时数据流处理：Kafka支持实时数据流的处理和分析，适用于金融、物联网等领域。
RabbitMQ的使用举例
-
安装与配置：
- 安装Erlang语言支持（因为RabbitMQ需要Erlang的支持）。
- 从RabbitMQ官网下载并安装RabbitMQ服务器。
- 启动RabbitMQ服务，并配置用户、权限和插件等。
-
消息传递过程：
- 生产者：将消息发送到RabbitMQ的交换机（Exchange），交换机根据路由键（Routing Key）将消息路由到指定的队列（Queue）中。
- 消费者：从队列中获取消息并进行处理。
-
高级功能：
- 消息持久化：RabbitMQ支持消息的持久化存储，以防止消息丢失。
- 消息确认机制：消费者在处理完消息后，需要向RabbitMQ发送确认消息，以确保消息被正确处理。
-
应用场景：
- 异步处理：通过RabbitMQ实现应用程序的异步处理，提高系统的并发性能和可靠性。
- 应用解耦：不同的应用程序之间可以通过RabbitMQ进行通信，实现应用程序之间的解耦。
在ERP项目中使用消息队列中间件
在ERP项目中，消息队列中间件（如Kafka或RabbitMQ）可以发挥重要作用，特别是在订单模块中。以下以RabbitMQ为例，说明其在ERP项目中的使用：
-
订单系统与其他系统的解耦：
- 当订单系统接收到用户提交的订单后，可以将订单信息发送到RabbitMQ的消息队列中。
- 库存系统、支付系统、物流系统等订阅相应的消息队列，即可实现订单信息的同步处理。
- 这种解耦方式使得各个系统可以独立开发和部署，提高了系统的可维护性和可扩展性。
-
异步通信与性能提升：
- 订单系统不再需要等待其他系统处理完成后再进行下一步操作，而是可以将订单信息发送到RabbitMQ后立即返回响应给用户。
- 其他系统可以在后台异步处理订单消息，减少了用户等待时间，提升了用户体验。
-
流量削峰与稳定性保障：
- 在高并发场景下，如秒杀、抢购等活动期间，RabbitMQ可以作为一个缓冲层，将大量的订单请求暂时存储在消息队列中。
- 然后按照一定的速率将这些请求分发给后端系统进行处理，有效避免了后端系统因瞬间流量过大而崩溃的问题。
-
消息确认与最终一致性：
- RabbitMQ提供了消息确认机制，可以确保消息被正确处理和消费。
- 即使在出现故障的情况下，也可以通过重试、死信队列等方式来保证消息不会丢失或重复消费，从而实现了最终一致性。
综上所述，Kafka和RabbitMQ等消息队列中间件在ERP项目中具有广泛的应用前景，特别是在订单模块中，它们可以实现服务间的解耦、异步通信、流量削峰以及提高系统的可伸缩性和最终一致性等功能。
-----分界线--------------------------------------------------------------------------------------------------
关于RabbitMQ在异步处理和应用解耦方面的具体应用场景示例：
一、异步处理
-
用户注册后的邮件和短信通知
-
场景描述：用户在网站上注册账号后，系统需要发送注册成功邮件和短信。如果在用户提交注册请求时同步完成这些操作，可能会因为邮件或短信服务的延迟导致用户等待时间过长，影响体验。
-
解决方案：在用户注册成功后，将发送邮件和短信的任务消息发送到RabbitMQ队列中，由后台服务异步处理这些任务。这样，用户注册流程可以快速完成，而邮件和短信的发送则在后台逐步处理。
-
优势：提升用户响应速度，优化用户体验，同时将非关键流程异步化，避免因慢服务拖累主流程。
-
-
订单处理中的异步任务
-
场景描述：在电商平台中，用户下单后需要进行库存管理、支付确认等多个步骤。如果这些步骤全部同步执行，可能会导致系统响应缓慢，尤其是在高并发场景下。
-
解决方案：将订单信息发送到RabbitMQ队列中，由不同的服务（如库存服务、支付服务）分别从队列中获取消息并处理。例如，订单服务生成订单后，将消息发送到队列，库存服务和支付服务分别监听队列并执行相应任务。
-
优势：提高系统的并发性能，确保处理流程的连续性和效率。
-
-
文件处理任务的异步执行
-
场景描述：用户上传大文件后，需要对文件进行处理（如格式转换、压缩等）。如果同步执行这些任务，前端页面可能会一直加载，导致用户体验差。
-
解决方案：用户上传文件后，将处理任务消息发送到RabbitMQ队列中，由后台服务异步处理文件，处理完成后通知用户或更新状态。
-
优势：提升用户体验，主线程迅速返回，减少用户等待时间。
-
二、应用解耦
-
微服务架构中的服务通信
-
场景描述：在微服务架构中，各个服务之间需要进行通信。如果直接调用对方的API，服务之间的耦合度会很高，一个服务的故障可能会导致整个系统瘫痪。
-
解决方案：通过RabbitMQ实现服务之间的消息传递。例如，订单服务生成订单后，将消息发送到队列，库存服务和支付服务分别从队列中获取消息并处理。这种方式减少了服务之间的直接依赖。
-
优势：降低服务之间的耦合度，便于独立扩展和维护。
-
-
多系统之间的数据同步
-
场景描述：在一个分布式系统中，多个服务依赖同一份数据源。例如，电商平台的订单状态更新后，需要同步到缓存系统和推荐系统。如果让每个服务直接从数据库拉取数据，会增加数据库压力，还可能出现延迟或不一致的问题。
-
解决方案：利用RabbitMQ进行数据同步。订单服务更新订单状态后，将更新信息发送到队列，缓存服务和推荐服务从队列中消费消息并同步数据。
-
优势：减轻数据库压力，实现最终一致性，即使某个服务处理延迟，RabbitMQ也能保障消息不丢失。
-
-
广播通知
-
场景描述：当某个事件发生时，需要通知多个服务。例如，商品价格调整后，库存系统、搜索系统和推荐系统都需要同步更新。
-
解决方案：使用RabbitMQ的广播模式（Fanout），将消息发送到交换机，多个消费者（如库存服务、搜索服务）订阅该交换机，实现消息的“一发多收”。
-
优势：扩展性强，多个服务都能接收到同一条消息。
-
-----分界线--------------------------------------------------------------------------------------------------
注意MQ的 Kafka、ActiveMQ、RabbitMQ、RocketMQ区别；
URL： 浅识MQ的 Kafka、ActiveMQ、RabbitMQ、RocketMQ区别-CSDN博客
（抱歉，最近在面试，粗糙了些。）
（望各位潘安、各位子健/各位彦祖、于晏不吝赐教！多多指正！🙏）
相关文章：
浅聊MQ之Kafka与RabbitMQ简用
Kafka与RabbitMQ的使用举例 Kafka的使用举例 安装与启动： 从Apache Kafka官网下载Kafka中间件的运行脚本。解压后，通过命令行启动Zookeeper（Kafka的运行依赖于Zookeeper）。启动Kafka的服务器进程。 基本功能实现： 生…...
2.1 JUnit 5 测试发现机制详解
JUnit 5 测试发现机制详解 JUnit 5 的测试发现机制是框架的核心功能之一，负责识别测试类、方法和其他可执行元素，并构建出可执行的测试计划。该机制通过模块化设计支持高度扩展性，允许开发者自定义测试发现规则。以下是其工作原理的详细解析…...
【Elasticsearch】match查询
Elasticsearch 的match查询是全文搜索中最常用和最强大的查询类型之一。它允许用户在指定字段中搜索文本、数字、日期或布尔值，并提供了丰富的功能来控制搜索行为和结果。以下是match查询的详细解析，包括其工作原理、参数配置和使用场景。 1.match查询的…...
【开发心得】CentOS7编译Redis7.4.2打包RPM完整方案
概述 由于最近客户需要解决redis版本升级问题，故而全网寻找安全版本，redis7.4.x版本求而为果，只能自己编译了。 截止发文时间2025-02-12 最新稳定版的redis版本号为7.4.2 Security fixes (CVE-2024-46981) Lua script commands may lead t…...
云计算——AWS Solutions Architect – Associate（saa）6.CloudWatch
Amazon CloudWatch 是一种面向开发运营工程师、开发人员、站点可靠性工程师(SRE)和 IT 经理的监控和可观测性服务。CloudWatch 为我们提供相关数据和切实见解，以监控应用程序、响应系统范围的性能变化、优化资源利用率，并在统一视图中查看运营状况。 Clo…...
面试实战题：手写一个队列和介绍Stream流怎么使用
手写一个队列 思路解析： 队列要有入队和出队操作，还要有查看队列大小，查看队头元素，查看队列是否为空，查看队列是否满了这些功能 package com.example.transational.MyQueue;public class MyQueue<T> {privat…...
Jmeter+Influxdb+Grafana平台监控性能测试过程
一、Jmeter自带插件监控 下载地址：https://jmeter-plugins.org/install/Install/ 安装：下载后文件为jmeter-plugins-manager-1.3.jar，将其放入jmeter安装目录下的lib/ext目录，然后重启jmeter，即可。 启动Jmeter&…...
【现代深度学习技术】深度学习计算 | GPU
【作者主页】Francek Chen 【专栏介绍】 ⌈ ⌈ ⌈PyTorch深度学习 ⌋ ⌋ ⌋ 深度学习 (DL, Deep Learning) 特指基于深层神经网络模型和方法的机器学习。它是在统计机器学习、人工神经网络等算法模型基础上，结合当代大数据和大算力的发展而发展出来的。深度学习最重…...
基于斜坡单元的机器学习模型预测滑坡易发性，考虑条件因素的异质性
１、引用 Chang Z, Catani F, Huang F, et al. Landslide susceptibility prediction using slope unit-based machine learning models considering the heterogeneity of conditioning factors[J]. Journal of Rock Mechanics and Geotechnical Engineering, 2023…...
Node.js调用DeepSeek Api 实现本地智能聊天的简单应用
在人工智能快速发展的今天，如何快速构建一个智能对话应用成为了开发者们普遍关注的话题。本文将为大家介绍一个基于Node.js的命令行聊天应用，它通过调用硅基流动（SiliconFlow）的API接口，实现了与DeepSeek模型的智能对话…...
实战 - 编写一个最简单的 Hello World 内核模块
实战 - 编写一个最简单的 Hello World 内核模块 在嵌入式开发中，编写 Linux 内核模块是设备驱动开发的重要基础。内核模块可以帮助我们在不修改内核源码的情况下扩展内核功能。本篇博客将指导你如何编写并运行一个简单的 Hello World 内核模块，让你快速…...
面向对象程序设计-实验七
6-1 计算捐款总量 这里需要设计一个捐款人类Donator及一个相关函数getMaxName( )，Donator类中包含捐款人的姓名及其捐款额 代码清单： #include <iostream> using namespace std; class Donator { private: string name; float money; //单位&…...
JVM组成
JVM是什么？ JVM（Java Virtual Machine）：Java程序的运行环境(java二进制字节码的运行环境) 好处： 1.一次编写，到处运行 Java代码是如何做到一次编写，到处运行？ 计算机的最底层是计…...
java.lang.NoClassDefFoundError: javax/xml/bind/ValidationException
Java8升级到17之后, 启动报错, :LocalValidatorFactoryBean]: Factory method defaultValidator threw exception; nested exception is java.lang.NoClassDefFoundError: javax/xml/bind/ValidationException 报错原因:这个错误通常是由于缺少 javax.xml.bind 相关的依赖引起…...
Electron 实现自定义系统托盘菜单
效果如下： 其实实现自定义托盘菜单的本质上，就是开一个新窗口，下面直接给出核心代码。 // 加载窗口 const loadWindow (example, path) > {if (is.dev && process.env[ELECTRON_RENDERER_URL]) {example.loadURL(process.env[EL…...
HCIA-路由器相关知识和面试问题
二、 路由器 2.1 关于路由器的知识 2.1.1 什么是路由器 路由器是一种网络层互联设备，主要用于连接多个逻辑上分开的网络，实现不同网络之间的数据路由和通信。它能根据网络层地址（如 IP 地址）来转发数据包，在网络中起…...
2.【BUUCTF】bestphp‘s revenge
进入题目页面如下 进行代码审计 <?php // 1. 高亮显示当前PHP文件的源代码，方便开发者查看代码内容，在生产环境中不应使用此函数，可能会导致代码泄露。 highlight_file(__FILE__);// 2. 定义变量 $b ，其值为字符串 implode &…...
wx060基于springboot+vue+uniapp的宿舍报修系统小程序
开发语言：Java框架：springbootuniappJDK版本：JDK1.8服务器：tomcat7数据库：mysql 5.7（一定要5.7版本）数据库工具：Navicat11开发软件：eclipse/myeclipse/ideaMaven包&#…...
使用 meshgrid函数绘制网格点坐标的原理与代码实现
使用 meshgrid 绘制网格点坐标的原理与代码实现 在 MATLAB 中，meshgrid 是一个常用函数，用于生成二维平面网格点的坐标矩阵。本文将详细介绍如何利用 meshgrid 函数生成的矩阵绘制网格点的坐标，并给出具体的代码实现和原理解析。 实现思路 …...
快速上手Vim的使用
Vim Linux编辑器-vim使用命令行模式下所有选项都可以带数字底行模式可视块模式（ctrlV进入） Linux编辑器-vim使用 Vim有多种模式的编辑器。能帮助我们很快的进行代码的编辑，甚至完成很多其他事情。 默认情况下我们打开vim在命令模式下&#x…...
HCIA项目实践---ACL访问控制列表相关知识和配置过程
十 ACL访问控制列表 1 策略的概念 在网络连通之后， 把所有为了追求控制而实现的技术都叫策略 2 访问控制 在路由器流量流入或者流出的接口上，匹配流量，执行相应的动作。（流量流入或者流出的接口并不是一个固定的概念而是一个相对的…...
机器学习核心算法解析
机器学习核心算法解析 机器学习是人工智能的核心技术之一，它通过从数据中学习模式并做出预测或决策。本文将深入解析机器学习的核心算法，包括监督学习、无监督学习和强化学习，并通过具体案例和代码示例帮助读者理解这些算法的实际应用。 1. …...
Oracle 12c 并发统计信息收集功能：技术解析与实践指南
一、功能背景与核心价值 在Oracle数据库的早期版本中，统计信息收集（如通过DBMS_STATS包）是串行执行的，即一次仅处理一个表或分区。对于大规模数据库或数据仓库环境，这种串行模式可能导致统计信息收集耗时过长…...
Android Studio：EditText常见4种监听方式
1. 文本变化监听（TextWatcher） TextWatcher 主要用于监听 EditText 里的文本变化，它有三个方法： beforeTextChanged（文本变化前）onTextChanged（文本正在变化时）afterTextChanged&a…...
【第2章：神经网络基础与实现——2.3 多层感知机（MLP）的构建与调优技巧】
在当今科技飞速发展的时代，人工智能早已不是一个陌生的词汇，它已经渗透到我们生活的方方面面，从智能语音助手到自动驾驶汽车，从图像识别到自然语言处理。而支撑这一切的核心技术之一，就是神经网络。作为机器学习领域的璀璨明星，神经网络已经在众多任务中取得了令人瞩目的…...
C++ 网络编程
1. socket Socket 是一种用于网络通信的编程接口，它提供了一种类似于文件描述符的接口，允许不同计算机之间的进程进行通信。Socket 可以工作在多种协议上，最常用的是 TCP/IP 和 UDP/IP 协议 1.1 UDP 1.1.1 概念 UDP（用户数据报协…...
SQL-leetcode—1683. 无效的推文
1683. 无效的推文 表：Tweets ----------------------- | Column Name | Type | ----------------------- | tweet_id | int | | content | varchar | ----------------------- 在 SQL 中，tweet_id 是这个表的主键。 content 只包含美式键盘上的字符&am…...
vue前端可视化大屏页面适配方案
参考了其他博主的代码，但发现会有滚动条，并且居中的位置不太对，所以改了一下css，修复了这些问题，直接上代码 <template> <div class"ScaleBoxA"><divclass"ScaleBox"ref"Sca…...
mars3d接入到uniapp的时候ios上所有地图的瓦片都无法加载解决方案
用的是【Mars3d】官网的uniapp的仓库，安卓没有问题，但是ios的不行 相关链接 mars3d-uni-app: uni-app技术栈下的Mars3D项目模板 解决方案：感觉所有图片请求全被拦截了 uniapp的ios内核不允许跨域，需要先把瓦片下载后转base64&…...
Dockfile语法
目录 dockerfile的作用 1. 构建 Docker 映像 2. 提高开发和运维效率 3. 版本控制 4. 提供可移植性和灵活性 使用示例 总结 dockerfile应该放的位置 为什么放在根目录？ 例外情况 调用构建 dockerfile的基本结构和常用指令 基本结构和常用指令 示例 Dock…...
Nginx负载均衡
一。Nginx负载均衡的算法以及过程 二。nginx四层负载均衡的配置（四层） 1.vi /etc/nginx/conf.d/lb.conf 比较常见：weight：设置权重，backup：当其他主机全部用不了，这个作为备份 2.systemctl r…...
【C】初阶数据结构5 -- 栈
前面学习了两种最基本的数据结构 -- 顺序表和链表，接下来就可以基于这两种数据结构来实现其他数据结构了。其实，其他的数据结构的物理结构要么是数组，要么就是链表，所以学好顺序表和链表是学好其他数据结构的基础。接下里…...
Linux查找占用的端口,并杀死进程的简单方法
在Linux系统管理中，识别并管理占用特定端口的进程是一项常见且重要的任务。以下是优化过的步骤指南，帮助您高效地完成这一操作，同时提供了一个简洁的命令参考表。 Linux下识别并终止占用端口的进程 1. 探寻端口占用者 使用 lsof命令 lsof…...
为什么Pytorch中实例化模型会直接调用forward方法？
在 PyTorch 中，为何定义一个继承自 nn.Module 的自定义类并实现 forward 方法后，直接调用模型实例时，便会自动调用其 forward 方法？例如使用 output model(x) 这种形式。 因为自定义的神经网络类所继承的 nn.Module 类对 __call_…...
easyexcel快速使用
1.easyexcel EasyExcel是一个基于ava的简单、省内存的读写Excel的开源项目。在尽可能节约内存的情况下支持读写百M的Excel 即通过java完成对excel的读写操作， 上传下载 2.easyexcel写操作 把java类中的对象写入到excel表格中 步骤 1.引入依赖 <depen…...
DeepSeek的出现会对百度有多大影响？
当DeepSeek与ChatGPT等大模型接管搜索入口，我们正见证百年一遇的信息革命。 01 传统搜索已死？AI助手正在重写游戏规则！ 当DeepSeek与ChatGPT等大模型接管搜索入口，我们正见证百年一遇的信息革命。 就像汽车淘汰马车、触屏终结按键…...
生成格雷码
以下是Verilog实现格雷码的两种常见方法： 1. 二进制转格雷码（组合逻辑实现） module binary_to_gray #(parameter N 4 // 默认4位位宽 )(input [N-1:0] binary, // 二进制输入output [N-1:0] gray // 格雷码输出 );assign gray binary…...
【STM32】BootLoader和IAP详解
文章目录 0 前言1 基本概念2 BootLoader3 主程序相关配置4 相关理论：芯片启动与中断响应5 特殊情况：Cortex-M0内核的芯片 0 前言 最近在研究一个RT-Thread的项目，遇到很多之前没咋遇见过的STM32相关的知识，想着顺带也整体过一遍。…...
Threadlocal的实现原理
文章目录 ThreadLocal与Thread关系分析Threadlocal 不支持继承性lnheritableThreadLocal 类 ThreadLocal与Thread关系分析 由该图可知， Thread 类中有一个 threadLocals 和一个 inheritableThreadLocals ， 它们 都是 ThreadLocalMap 类型 的变量 &#x…...
【Elasticsearch】多字段查询方式汇总
在 Elasticsearch 中，实现多字段查询的常见方式有以下几种，每种方式适用于不同的场景： --- ### 1. **multi_match 查询** - **用途**：在多个字段中执行同一查询，支持多种匹配策略。 - **关键参数**：…...
协议,json格式)
Unity使用反射进行Protobuf(CS/SC)协议,json格式
protobuf生成的协议,有挺多协议的.利用反射生成dto进行伪协议的响应 和 发送请求 应用场景: 请求(CS)_后端先写完了,前端还搞完时,可使用此请求,可自测 响应(SC)_可自行构建一个响应,对数据进行测试 // 请求 使用物品 CS message ReqUseItem{optional Opcodes MessageID1[def…...
MySQL和SQL server的区别
在当今数据驱动的世界里，数据库技术的选择对于企业和个人开发者来说至关重要。MySQL 和 SQL Server 是两个广泛使用的数据库管理系统（DBMS），它们各自拥有独特的优势和适用场景。本文将深入探讨这两个数据库系统之间的区别…...
SpringMVC请求执行流程源码解析
文章目录 0.SpringMVC九大内置组件1.processRequest方法1.请求先到service方法2.然后不管是get还是post都会跳转到processRequest方法统一处理 2.doService方法3.doDispatch方法1.代码2.checkMultipart 4.核心流程 0.SpringMVC九大内置组件 1.processRequest方法 1.请求先到se…...
LabVIEW与小众设备集成
在LabVIEW开发中，当面临控制如布鲁克OPUS红外光谱仪这类小众专业设备的需求，而厂家虽然提供了配套软件，但由于系统中还需要控制其他设备且不能使用厂商的软件时，必须依赖特定方法通过LabVIEW实现设备的控制。开发过程中࿰…...
docker-compose暴露端口，但其他主机无法访问问题。
问题描述：docker-compose暴露端口，但其他主机无法访问问题。 排障思路： 执行命令：ss -antlp | grep 80，发现端口正常监听0.0.0.0:80（ps：如果是127.0.0.1:80则只能本机访问同区域网段服务器执行…...
)
【MySQL】 基本查询(上)
欢迎拜访：雾里看山-CSDN博客 本篇主题：【MySQL】 基本查询(上) 发布时间：2025.2.14 隶属专栏：MySQL CRUD : Create(创建), Retrieve(读取)，Update(更新)，Delete（删除） 目录 Create基…...
python 爬虫教程 0 基础入门 一份较为全面的爬虫python学习方向
文章目录 前言一、Python 爬虫简介二、环境搭建1. 下载 Python2. 安装 Python3. 安装必要的库 三、一个简单的爬虫示例四、应对网站反爬机制五、深入学习方向 前言 以下是一份较为全面的 Python 爬虫教程，涵盖基础知识、环境搭建、简单示例、反爬应对及深入学习方向…...
总结：使用JDK原生HttpsURLConnection，封装HttpsUtil工具类，加载自定义证书验证，忽略ssl证书验证
总结：使用JDK原生HttpsURLConnection，封装HttpsUtil工具类，加载自定义证书验证，忽略ssl证书验证 一HttpsUtil工具类二SSLUtil工具类 一HttpsUtil工具类 package com.example.util;import javax.net.ssl.HttpsURLConnection; impo…...
你认为如何理解“约定大于配置”？
SpringBoot的“约定大于配置”（Convention Over Configuration）是一种核心理念，旨在简化开发过程，减少开发人员在配置上的繁琐工作。以下是对其含义的详细介绍： 一、定义与目的 定义：约定优于配置&#x…...
Linux 基础IO——重定向和缓冲区
目录 一、重定向 1、重定向的本质 2、使用 dup2 系统调用 （1）输出重定向 （2）追加重定向 (3) 输入重定向 二、缓冲区 1.理解缓冲区 2.缓冲区刷新问题 3.为什么要有缓冲区？ 4.这个缓冲区在哪里ÿ…...