当前位置：首页 > news >正文

[特殊字符]实战：使用 Canal + MQ + ES + Redis + XXL-Job 打造高性能地理抢单系统

news 来源：原创 2025/6/16 12:52:44

📚目录

项目背景
技术栈总览
详细流程分析
- 3.1 Canal监听MySQL Binlog
- 3.2 MQ中转传递订单变化
- 3.3 Elasticsearch存储并查询附近订单
- 3.4 Redis高性能抢单+Lua防止抢单冲突
- 3.5 XXL-Job定时任务处理
完整系统流程图
总结

一、项目背景

针对类似外卖、跑腿、上门维修等业务场景，存在大量订单需要快速分配给周边服务人员。为了保证抢单速度快、系统高可用，我们设计了一套基于：

MySQL主库 + Canal监听Binlog
MQ异步推送订单变更
Elasticsearch进行地理位置查询
Redis加速抢单并防止重复抢单
XXL-Job异步修正状态

的完整解决方案。

二、技术栈总览

技术	用途
Canal	监听数据库Binlog变化
MQ (RocketMQ)	订单变更异步推送
Elasticsearch	地理位置检索订单
Redis	高并发缓存抢单、Lua保证原子操作
XXL-Job	定时任务处理订单

三、详细流程分析

3.1 Canal监听MySQL Binlog

目的：实时感知订单表（如：order）中数据变化（新建/更新/删除）。

步骤：

Canal连接MySQL，模拟一个Slave。
订阅需要监听的表，比如：
```
instance.filter.regex = db_name.order
```
把监听到的变更事件，转换成统一格式，推送到MQ。

注意：

Canal要有正确的binlog起始点。
reset master后要删除Canal的meta.dat文件。

Canal配置关键项：

canal.instance.master.address=127.0.0.1:3306
canal.instance.dbUsername=canal
canal.instance.dbPassword=canal
canal.instance.filter.regex=order.*

3.2 MQ中转传递订单变化

目的：削峰填谷，异步解耦，解放数据库压力。

Canal将每条订单变更消息发送到MQ，例如RocketMQ的OrderChangeTopic。
消费端程序监听此Topic，异步拉取消息，处理数据同步到ES和Redis。

RocketMQ发送格式示例（JSON）：

{"eventType": "UPDATE","orderId": "123456","status": "NEW","longitude": 113.2644,"latitude": 23.1291
}

3.3 Elasticsearch存储并查询附近订单

目的：让服务人员可以基于地理位置检索周边5km内未被抢的订单。

订单结构设计（Mapping）：

{"mappings": {"properties": {"orderId": { "type": "keyword" },"status": { "type": "keyword" },"location": { "type": "geo_point" }}}
}

Java (ES 8+ Lambda Client) 地理查询示例：

SearchResponse<OrderDoc> response = client.search(s -> s.index("orders").query(q -> q.bool(b -> b.must(m -> m.match(mq -> mq.field("status").query("NEW"))).filter(f -> f.geoDistance(gd -> gd.field("location").distance("5km").location(l -> l.latlon(23.1291, 113.2644)))))),
OrderDoc.class
);

注意：

地理位置需要保存为geo_point格式。
查询时注意单位（km、m）。

3.4 Redis高性能抢单+Lua防止抢单冲突

目的：防止高并发下，出现多个服务人员抢到同一订单的问题。

抢单流程：

抢单时直接查Redis，避免访问MySQL。
使用Lua脚本，原子性判断是否已被抢。

Lua抢单脚本示例：

if redis.call("get", KEYS[1]) == false thenredis.call("set", KEYS[1], ARGV[1])return 1
elsereturn 0
end

Java调用Lua脚本示例：

DefaultRedisScript<Long> redisScript = new DefaultRedisScript<>();
redisScript.setScriptText(luaScriptContent);
redisScript.setResultType(Long.class);Long result = stringRedisTemplate.execute(redisScript,Collections.singletonList("order:123456"),"TAKEN"
);if (result == 1L) {// 抢单成功
} else {// 已被抢
}

注意：

KEY设计为order:{orderId}
失效时间根据业务设置，比如订单未支付自动失效。

3.5 XXL-Job定时任务处理

目的：在服务人员未支付、超时未接单等情况下，自动取消订单，释放资源。

常见定时任务：

每分钟扫描未支付的订单，关闭超时订单。
抢单后超时未接单，订单重新入池。

XXL-Job处理示例：

@XxlJob("orderTimeoutHandler")
public void orderTimeoutHandler() {List<String> timeoutOrderIds = orderService.findTimeoutOrders();for (String orderId : timeoutOrderIds) {orderService.cancelOrder(orderId);}
}

调度配置：

调度周期：每1分钟
失败重试：3次
超时时间：30秒

四、完整系统流程图

五、总结

通过这一套组合：

Canal保证数据库变化实时捕捉
MQ解耦数据同步和订单更新
ES支撑复杂地理位置查询
Redis + Lua保障高并发原子抢单
XXL-Job负责后置状态修正

整套抢单系统实现了：

✅ 高可用
✅ 高性能
✅ 地理范围精准控制
✅ 数据一致性

适合各类跑腿、外卖、上门维修等业务场景。

[特殊字符]实战：使用 Canal + MQ + ES + Redis + XXL-Job 打造高性能地理抢单系统

📚目录项目背景技术栈总览详细流程分析 3.1 Canal监听MySQL Binlog 3.2 MQ中转传递订单变化 3.3 Elasticsearch存储并查询附近订单 3.4 Redis高性能抢单Lua防止抢单冲突 3.5 XXL-Job定时任务处理完整系统流程图总结一、项目背景针对类似外卖、跑…...

编程日记 2025/5/27 4:42:09

FPGA基础之基础语法

一、基本模块结构 Verilog 代码以模块（Module） 为单位，每个模块对应一个硬件功能单元（如逻辑门、寄存器等）。基本格式： module 模块名 (// 输入输出端口声明input 端口1,input 端口2,output 端口3 );…...

编程日记 2025/5/29 19:26:46

影楼精修-皮肤瑕疵祛除算法解析

注意：本文样例图片为了避免侵权，均使用AIGC生成； 顾名思义，皮肤瑕疵祛除旨在祛除人像照片皮肤区域的痘痘/斑点/痣/胎记等瑕疵；当前主流算法方案可分为传统图像处理方法和基于深度学习的方法，本文重点介绍基…...

编程日记 2025/5/29 13:21:29

2025蓝桥杯省赛网络安全组wp

文章目录黑客密室逃脱ezEvtxflowzipEnigma星际xml解析器EBC-TrainAES-CBC 黑客密室逃脱提示猜文件名，猜几个常见的，app.py读到源码这里也是脑抽了一下，把密钥看成1236了。。。卡了五分钟左右，解出来的时候已经降到300多分了&a…...

编程日记 2025/5/27 8:24:22

【数据结构】·励志大厂版（复习+刷题）：二叉树

前引：哈喽小伙伴们！经过几个月的间隔，还是逃脱不了再次复习的命运！！！本篇文章没有冗杂的闲话，全是干货教学，带你横扫二叉树的几种遍历，怎么前序、、中序、后续&#xff1…...

编程日记 2025/5/29 11:48:10

Spark-Streaming2

一．有状态转化操作 1. UpdateStateByKey UpdateStateByKey 原语用于记录历史记录，有时，我们需要在 DStream 中跨批次维护状态(例如流计算中累加 wordcount)。针对这种情况，updateStateByKey()为我们提供了对一个状态变量的访问&…...

编程日记 2025/5/29 10:01:33

《深入浅出Git：从版本控制原理到高效协作实战》

Git的原理和使用 1、Git初识与安装2、Git基本操作2.1、创建Git本地仓库2.2、配置Git2.3、认识工作区、暂存区、版本库2.4、修改文件2.5、版本回退2.6、撤销修改2.7、删除文件 3、Git分支管理3.1、理解分支3.2、创建、切换、合并分支3.3、删除分支3.4、合并冲突3.5、合并模式3.6…...

编程日记 2025/5/27 7:19:56

内耗型选手如何能做到不内耗？

以下是针对「内耗型选手」的系统性解决方案，结合认知神经科学、行为心理学和效能管理理论，提供可落地的策略框架： 一、建立「内耗熵值」监测系统 1. 绘制内耗热力图用时间轴记录每日内耗触发点： 时间段内耗场景能量损耗值&…...

编程日记 2025/5/29 16:23:15

不多解释直接上代码，少python包的自己直接下载 #!/usr/bin/env python # -*- encoding: utf-8 -*- from pyspark.sql import SparkSession import pandas as pd import os# 初始化 SparkSession 并启用 Hive 支持 spark SparkSession.builder \.appName("sel…...

编程日记 2025/5/29 18:44:43

Java大师成长计划之第5天：Java中的集合框架

📢 友情提示： 本文由银河易创AI（https://ai.eaigx.com）平台gpt-4o-mini模型辅助创作完成，旨在提供灵感参考与技术分享，文中关键数据、代码与结论建议通过官方渠道验证。在 Java 编程中，集合框架…...

编程日记 2025/5/31 8:36:28

rt-linux下的D状态的堆栈抓取及TASK_RTLOCK_WAIT状态

一、背景在之前的博客缺页异常导致的iowait打印出相关文件的绝对路径-CSDN博客里的 2.1 一节里的代码，我们已经有了一个比较强大的抓取D状态和等IO状态超过阈值的waker和wakee的堆栈状态的内核模块。在之前的博客增加等IO状态的唤醒堆栈打印及缺页异常导致iowa…...

编程日记 2025/5/27 6:39:07

数据结构【堆和链式结构】

堆和链式结构 1.堆的概念和定义1.1堆1.2二叉树的性质 2.堆的实现3.实现链式二叉树3.1链式二叉树的概念3.2前中后遍历3.3遍历（举例） 1.堆的概念和定义 1.1堆定义：是特殊的二叉树 #mermaid-svg-vWPNPMGSLe0nGNcd {font-family:"trebuch…...

编程日记 2025/5/27 14:14:50

聊一聊自动化测试

目录一、自动化测试的定义与核心价值 （一）什么是自动化测试 （二）核心价值：从人工到智能的跨越二、自动化测试的发展阶段 （一）萌芽阶段（早期） （二&…...

编程日记 2025/5/29 13:20:41

vue2 开发一个实习管理系统电脑端-前端静态网站练习

为了快速的掌握vue2的所学习到的知识点，最近又使用vue2和element-ui 做了一个实习管理系统来巩固自己的前端技术，我觉得对于新手来说，多写代码，多找一些项目练习，是提供自己编程能力的一个很好的办法，这也是…...

编程日记 2025/5/29 23:24:46

【Hive入门】Hive基础操作与SQL语法：DML操作全面解析

目录 1 Hive DML操作概述 2 数据加载操作 2.1 LOAD DATA语句 2.2 INSERT语句 3 数据导出操作 3.1 INSERT OVERWRITE DIRECTORY 3.2 使用HDFS命令导出 4 数据更新与删除 4.1 UPDATE语句 4.2 DELETE语句 5 MERGE操作（Hive 2.2） 6 性能优化建议…...

编程日记 2025/5/28 7:32:44

C++类和对象(上)

目录类的定义类定义格式访问限定符类域实例化实例化概念对象大小 this指针C和C语言实现Stack对比类的定义类定义格式在下面的代码中，class为定义类的关键字，Stack为类的名字，{}中为类的主体， 注意类定义结束时后面分号不能省…...

编程日记 2025/5/29 10:04:59

LS2K0300龙芯开发板——智能车竞赛

开启 LS2K0300 调车之旅（自己写的自己慢慢更，可能写的不好欢迎指教） 欢迎大家一起讨论共同进步！逐飞科技针对 LS2K0300 MCU 开发的开源库，涵盖多种实用功能，助力竞赛与产品开发。以下是快速上手指南&#…...

编程日记 2025/6/1 16:04:06

电子病历高质量语料库构建方法与架构项目（智能质控体系建设篇）

引言随着人工智能技术的迅猛发展，医疗信息化建设正经历着前所未有的变革。电子病历作为医疗机构的核心数据资产，其质量直接关系到临床决策的准确性和医疗安全。传统的病历质控工作主要依赖人工审核，存在效率低下、主观性强、覆盖面有限等问题。近年来，基于人工智能技术的…...

编程日记 2025/5/28 16:45:00

超级创新思路：基于CBAM-Transformer的强化学习时间序列预测模型（Python\matlab实现）

首先声明，该模型为原创！原创！原创！且该思路还未有成果发表，感兴趣的小伙伴可以借鉴！需要完整代码可私信或评论！本方案可用于医疗、金融、交通、零售、光伏功率预测、估计预测、天气预测、流量预测、故障检测等领域！目录首先声明，该模型为原创！原创！原创！且该思…...

编程日记 2025/6/1 16:04:08

JVM——垃圾收集策略

GC的基本问题什么是GC？ GC 是 garbage collection 的缩写，意思是垃圾回收——把内存（特别是堆内存）中不再使用的空间释放掉；清理不再使用的对象。为什么要GC？ 堆内存是各个线程共享的空间&#xff0c…...

编程日记 2025/5/29 10:56:02

从基础到实战的量化交易全流程学习：1.3 数学与统计学基础——概率与统计基础 | 数字特征

从基础到实战的量化交易全流程学习：1.3 数学与统计学基础——概率与统计基础 | 数字特征第一部分：概率与统计基础第2节：数字特征：期望值、方差、协方差与相关系数一、期望值（Expected Value）&#xff1a…...

编程日记 2025/5/29 1:03:45

【MySQL】数据类型和表的操作

目录一. 常用的数据类型 1.数值类型 1.1 整形类型 1.2 浮点型类型 2.字符串类型 char和varchar的区别如何选择char和varchar 3.日期类型 4.二进制类型二. 表的操作 1.查看所有表 2.表的创建 3.查看表的结构 4.表的修改 4.1 添加新的列 4.2 修改表中现有的列 4…...

编程日记 2025/5/30 16:59:31

Tauri打包时出现WixTools以及NSIS报错

前言 Tauri构建时会通过github下载Wix和NSIS，由于国内网络限制，所以这个过程基本都会失败，而且你无法使用挂代理的方式解决此问题，唯一的办法就是先下载对于的库，然后把库丢到对应的文件夹内来解决此问题。。。文章目…...

编程日记 2025/5/31 10:40:47

Linux操作系统学习---进程地址空间

前言: 在学习c,c这些偏底层的语言时,我们常常会对一个变量取地址,一遍对他进行一系列的操作 . 可是 , 这真的是真实的物理地址吗 ? 其实并非如此 , 通过了解进程地址空间,我们就能解开这个困惑. 一、虚拟地址空间的概念: 同地址,不同值的代码示例: 下面通过创建子进程来看一个…...

编程日记 2025/5/29 19:05:53

docker compose -p的踩坑经验

刚才启动ragflow解析了几百个文件，再次启动登录时报错没有这个账户，心疼token几秒。。。再次回顾之前的启动方式和当前的启动方式，才发现有出入。问题： 第一次启动sudo docker compose up -d 第二次启动sudo docker compose -…...

编程日记 2025/6/4 13:36:13

深入理解 Linux 用户管理：从基础到实践

在 Linux 操作系统中，用户管理是确保系统安全、合理分配资源的核心环节。无论是个人开发者搭建本地开发环境，还是运维人员管理企业级服务器集群，熟练掌握 Linux 用户管理都是一项必备技能。本文将从用户管理的基础概念出发，结合实…...

编程日记 2025/5/29 12:48:13

Go语言之路————指针、结构体、方法

Go语言之路————指针、结构体、方法前言指针结构体声明初始化使用组合引用结构体和指针结构体的标签方法例子结合结构体总结前言我是一名多年Java开发人员，因为工作需要现在要学习go语言，Go语言之路是一个系列，记录着我从0开始接触Go…...

编程日记 2025/5/29 11:05:05

【漫话机器学习系列】227.信息检索与数据挖掘中的常用加权技术（TF-IDF）

在自然语言处理（NLP）、信息检索（IR）和数据挖掘（DM）领域中，TF-IDF 是一种非常经典且常用的加权技术。无论是搜索引擎排序、文本挖掘，还是特征工程，TF-IDF都扮演着重要角色…...

编程日记 2025/5/28 8:30:41

【音视频】FFmpeg过滤器框架分析

ffmpeg的filter⽤起来是和Gstreamer的plugin是⼀样的概念，通过avfilter_link，将各个创建好的filter按⾃⼰想要的次序链接到⼀起，然后avfilter_graph_config之后，就可以正常使⽤。⽐较常⽤的滤镜有：scale、trim、over…...

编程日记 2025/5/29 16:40:37

硬盘损坏数据恢复后对python程序的影响

最近硬盘突然间坏掉了，让数据商恢复了2个月今天终于拿到了恢复后的数据。但是一测试问题就来了： PS E:\geosystem> python manage.py runserver 0.0.0.0:5000 Unhandled exception in thread started by <function check_errors.<locals>.…...

编程日记 2025/6/3 15:02:45

Azure Devops - 尝试一下在Pipeline中使用Self-hosted Windows agent

1.简单介绍 Azure Devops是微软提供的辅助软件的开发，测试，部署以及计划和进度跟踪的平台，通过Azure Devops可以使开发者，项目经理，运维人员在软件的整个生命周期中更紧密地合作，同时借助Continuous Integ…...

编程日记 2025/6/1 18:30:47

Linux红帽：RHCSA认证知识讲解（十四）分区管理、交换分区，创建逻辑卷与调整逻辑卷的大小

Linux红帽：RHCSA认证知识讲解（十四）分区管理、交换分区，创建逻辑卷与调整逻辑卷的大小前言一、分区管理，使用fdisk管理分区1.1 找到硬盘1.2 使用fdisk分区1.3 格式化分区1.4 挂载分区二、创建逻辑卷，调整…...

编程日记 2025/6/1 11:57:24

详解 Unreal Engine（虚幻引擎）

详解 Unreal Engine（虚幻引擎） Unreal Engine（简称 UE）是由 Epic Games 开发的一款全球领先的实时渲染引擎，自 1998 年随首款游戏《Unreal》问世以来，已发展成为覆盖游戏开发、影视制作、建筑可视化、汽车…...

编程日记 2025/5/29 2:25:26

【Linux网络】Http服务优化 - 增加请求后缀、状态码描述、重定向、自动跳转及注册多功能服务

📢博客主页：https://blog.csdn.net/2301_779549673 📢博客仓库：https://gitee.com/JohnKingW/linux_test/tree/master/lesson 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！ &…...

编程日记 2025/6/3 15:52:48

Docker compose 部署微服务项目（从0-1出发纯享版无废话）

目录一.Docker安装 （1）安装依赖 （2）安装Docker （3）启动Docker服务 （4）系统配置 （5）镜像加速配置 （6）验证安装二.编写Docke…...

编程日记 2025/5/29 13:38:08

C#学习第19天：多线程

什么是多线程？ 定义：多线程允许一个程序分成多个独立的执行路径来进行并发操作。用途：提高程序的执行效率，特别是在I/O操作、计算密集型任务和用户交互中。多线程核心概念 1. 创建和管理线程使用 Thread 类 using System; u…...

编程日记 2025/6/1 8:55:00

day7 python针对心脏病数据集预处理

在数据科学与机器学习领域，数据预处理与可视化是挖掘数据价值的关键前置步骤。本文以 heart1.csv 心脑血管疾病数据集为例，借助 Python 中的 pandas、matplotlib、seaborn 以及 scikit-learn 库，详细演示数据加载、缺失值处理、特征相关性分析…...

编程日记 2025/5/29 10:37:27

树莓派学习专题＜9＞：使用V4L2驱动获取摄像头数据--设定分辨率和帧率

树莓派学习专题＜9＞：使用V4L2驱动获取摄像头数据--设定分辨率和帧率 1. 设定分辨率2. 设定帧率3. 设定分辨率代码解析4. 获取与设定帧率代码解析5. 实测 1. 设定分辨率使用如下代码设定摄像头的分辨率： #define CAMERA_RESOLUTI…...

编程日记 2025/6/2 10:12:03

模态链：利用视觉-语言模型从多模态人类视频中学习操作程序

25年4月来自谷歌 DeepMind 和斯坦福大学的论文“Chain-of-Modality: Learning Manipulation Programs from Multimodal Human Videos with Vision-Language-Models”。从人类视频中学习执行操作任务，是一种很有前景的机器人教学方法。然而，许多操作任务…...

编程日记 2025/6/4 16:45:55

JAVAEE初阶01

个人主页 JavaSE专栏 JAVAEE初阶01 操作系统 1.对下（硬件）管理各种计算机设备 2.对上（软件）为各种软件提供一个稳定的运行环境线程运行的程序在操作系统中以进程的形式存在进程是系统分配资源的最小单位进程与线程的关…...

编程日记 2025/6/1 7:28:13

【网络安全】用 Linux 命令行 CLI 日志文件处理指南

Linux 命令行 CLI 神技回忆录：日志文件处理指南（以 Zeek Logs 为例） 1. CLI简介2. 基础操作3. 文件读取4. 查找与筛选5. 进阶操作6. Zeek 日志骚操作7. 结语 1. CLI简介在数据分析的世界里，图形界面（GUI）…...

编程日记 2025/5/29 6:06:09

[C++] 高精度乘法

目录引入: 大整数比较比较方法例题1-青蛙计数题目描述输入描述输出描述输入输出样例AC代码高精度乘法模版高精度运算小合集(这集乘法上集加法) 注意: 若还没有学过高精度运算的话先去看高精度加法引入: 大整数比较比较方法大整数比较可以使用此方法比较(注释有讲解): …...

编程日记 2025/5/25 2:19:48

反事实——AI与思维模型【82】

一、定义反事实思维模型是一种心理认知模型，它指的是人们在头脑中对已经发生的事件进行否定，然后构建出一种可能性假设的思维活动。简单来说，就是思考“如果当时……，那么就会……”的情景。这种思维方式让我们能够超越现实的限制，设想不同的可能性和结果，从而对过去的…...

编程日记 2025/5/28 1:46:12

Java学习手册：Java开发常用的内置工具类包

以下是常用 Java 内置工具包。 • 日期时间处理工具包 • java.time包（JSR 310）：这是 Java 8 引入的一套全新的日期时间 API，旨在替代陈旧的java.util.Date和java.util.Calendar类。其中的LocalDate用于表示不带时区的日期&…...

编程日记 2025/5/29 10:20:12

JAVA多线程（8.0）

目录线程池为什么使用线程池线程池的使用工厂类Executors（工厂模式） submit 实现一个线程池线程池为什么使用线程池在前面我们都是通过new Thread() 来创建线程的，虽然在java中对线程的创建、中断、销毁、等值等功能提供了支持…...

编程日记 2025/6/3 21:49:54

通过门店销售明细表用Python Pandas得到每月每个门店的销冠和按月的同比环比数据

假设我在本地有Excel销售表，包含ID主键、门店ID、日期、销售员姓名和销售额，需要用Pandas统计出每个月所有门店和各门店销售额最高的人，不一定是一个人，以及他所在的门店ID和月总销售额。步骤1：导入数据并处理日期 …...

编程日记 2025/5/31 21:17:48

详解最新链路追踪skywalking框架介绍、架构、环境本地部署配置、整合微服务springcloudalibaba 、日志收集、自定义链路追踪、告警等

1.skywalking介绍多种监控手段，可以通过语言探针和service mesh 获得监控数据支持多种语言自动探针，包含java/net/nodejs轻量高效，无需大数据平台和大量的服务器资源模块化，UI、存储、集群管理都有多种机制可选支持告警优秀的可…...

编程日记 2025/5/31 15:36:50

【OSG学习笔记】Day 11: 文件格式与数据交换

OSG 常用文件格式简介在开始转换前，先了解 OSG 生态中常见的文件格式： .osg：OSG 标准二进制格式，存储场景图数据，体积小、加载快，适合实时渲染。 .ive：OSG 标准文本格式，可读性强，便于手动编辑或调试场景图结构（本质是 XML 格式的文本描述）。 .osgb：OSG 二进制格…...

编程日记 2025/5/27 4:20:47