当前位置：首页 > news >正文

使用 Celery + Redis + Eventlet 实现 Python 异步编程（Windows 环境）

news 来源：原创 2025/8/14 1:03:44

一、环境搭建与依赖安装

1. 安装依赖包

pip install celery redis eventlet

celery：异步任务队列框架。
redis：作为消息中间件（Broker）和结果存储（Backend）。
eventlet：用于 Windows 环境下的协程支持（解决多进程兼容性问题）。

2. 启动 Redis 服务

下载 Windows 版本 Redis：

https://github.com/tporadowski/redis/releases

启动 Redis 服务：
```
redis-server.exe redis.windows.conf
```

二、代码实现

在这里插入图片描述

1. 定义 Celery 任务（`tasks.py`）

import time
from celery import Celery# 创建 Celery 实例，指定 Broker（Redis）和结果存储（Redis）
broker = 'redis://127.0.0.1:6379/1'
backend = 'redis://127.0.0.1:6379/2'
app = Celery('tasks',broker=broker,  # Redis 队列backend=backend   # Redis 结果存储
)@app.task
def add(x, y):"""异步加法任务"""print("x+y的结果:", x+y)time.sleep(1)return x + y

2. 调用任务（`demo.py`）

from tasks import addresult = add.delay(62, 4)  # 异步调用任务，返回 AsyncResult 对象
print(result.get())  # 阻塞等待任务结果

三、问题现象与解决方案

1. 问题：`result.get()` 阻塞无输出

现象描述

执行 demo.py 时，result.get() 会一直阻塞，直到启动 Celery Worker 后才输出结果。

原因分析

Celery 的异步执行流程：
1. add.delay(62, 4) 将任务发送到 Redis 队列（Broker）。
2. Worker 未启动 时，任务无法被消费，结果不会写入 Backend。
3. result.get() 会尝试从 Backend 获取结果，但因结果未写入，会 无限等待。

解决方案

启动 Celery Worker：
```
celery -A tasks worker -l info -P eventlet
```
- -P eventlet：指定使用 Eventlet 协程池（Windows 必须）。
- 启动后，Worker 会从 Redis 队列中拉取任务并执行，结果写入 Redis Backend。
- result.get() 会立即返回结果。

四、Celery 异步原理详解（测试工程师友好版）

1. Celery 的核心架构

Celery 是一个 生产者-消费者 模型，由三部分组成：

Broker（消息中间件）
- 作用：存储待执行的任务队列。
- 类比：快递公司的分拣中心，接收包裹（任务）并分发给快递员（Worker）。
Worker（任务执行单元）
- 作用：从 Broker 拿取任务并执行。
- 类比：快递员，负责派送包裹（执行任务）。
Backend（结果存储）
- 作用：存储任务执行结果。
- 类比：快递柜，任务完成后将结果存入，供用户（调用方）查询。

2. 异步执行流程图解

调用 add.delay(62, 4) → 任务写入 Redis(Broker)↓
Worker 启动后从 Redis 拿取任务 → 执行 add(62, 4)↓
执行结果写入 Redis(Backend)↓
调用 result.get() → 从 Redis 读取结果 → 输出 66

3. 为什么需要 Eventlet？

Windows 的限制：
Windows 不支持多进程（multiprocessing），而 Celery 默认使用多进程模式。
Eventlet 的作用：
通过 协程（Coroutine） 实现并发，模拟多线程效果，解决 Windows 环境下 Worker 启动失败的问题。

五、测试工程师的异步思维训练

1. 同步 vs 异步

场景	同步（阻塞）	异步（非阻塞）
发送邮件	用户等待邮件发送完成再继续操作	邮件在后台发送，用户可继续操作
文件处理	用户必须等待文件处理完成	处理完成后通知用户

2. 异步编程的核心思想

事件驱动：任务遇到 I/O（如网络请求、文件读写）时，主动让出 CPU，执行其他任务。
事件循环：不断检查任务状态，调度协程执行（如 asyncio 的事件循环）。

六、完整示例验证

1. 启动 Redis

可参考往期文章：Redis原理与Windows环境部署实战指南：助力测试工程师优化Celery调试

redis-server.exe redis.windows.conf

2. 启动 Celery Worker

celery -A tasks worker -l info -P eventlet

3. 运行 `demo.py`

python demo.py

输出结果：

七、总结

1. 关键点回顾

Celery + Redis：生产者将任务写入 Redis，Worker 从 Redis 拿取任务并执行，结果存回 Redis。
Eventlet 的必要性：解决 Windows 环境下的多进程兼容性问题。
异步的本质：通过事件驱动和协程实现高并发，避免阻塞主线程。

2. 测试工程师的实践建议

验证异步任务：通过 result.get() 验证结果是否写入 Backend。
监控任务状态：使用 result.status 查看任务状态（PENDING/SUCCESS/FAILURE）。
调试技巧：检查 Redis 中的键值对，确认任务是否被正确处理。

通过以上步骤，你可以在 Windows 环境下轻松实现 Celery + Redis + Eventlet 的异步编程方案。异步编程的核心在于“让等待时间做其他事”，而 Celery 让你无需关心底层细节，专注于任务逻辑本身！

使用 Celery + Redis + Eventlet 实现 Python 异步编程（Windows 环境）

一、环境搭建与依赖安装 1. 安装依赖包 pip install celery redis eventletcelery：异步任务队列框架。redis：作为消息中间件（Broker）和结果存储（Backend）。eventlet：用于 Windows 环境下的协程…...

编程日记 2025/8/14 1:03:44

Selenium Web自动化测试学习笔记（二）--八大元素定位

前置设置及代码目录结构如下，将驱动器chromedriver.exe复制粘贴到此目录下，具体环境配置参考笔记一： Selenium Web自动化测试学习笔记（一）-CSDN博客首先和笔记（一）一样导入一些包用于设置谷…...

编程日记 2025/8/14 1:03:29

如何设置飞书多维表格，可以在扣子平台上使用

扣子可以链接到飞书多维表格，但很多人不知道具体如何操作，今天给大家分享下操作流程。大家好，我是涛涛，欢迎来到我的空间。因为需要管理员审核，所以最好有管理员的手机就在旁边方便操作。 (一) 进入应用中心 https…...

编程日记 2025/6/29 4:17:32

C++初阶-string类的简单应用

目录 1.仅仅反转字母 2.字符串中第一个唯一字符 3.字符串最后一个单词的长度 4.验证回文串 5.字符串相加 6.总结 1.仅仅反转字母题目链接：https://leetcode.cn/problems/reverse-only-letters/description/ 在数据结构中我们学了一种方法叫做前后指针法&…...

编程日记 2025/8/14 1:01:55

企业数字化转型第二课：接受不完美（1/2）

一.引言先看一组中国企业数字化转型相关的数据： 战略认知层面：92%中国企业将数字化纳入战略核心（麦肯锡2023）执行困境层面：63%企业转型首年遭遇重大挫折（BCG 2024追踪）价值释放周期&#xff1…...

编程日记 2025/8/14 1:00:33

【MCP】function call与mcp若干问题整理

前言：大模型里agent 的 funcation call 是什么概念在大模型中，Agent是一个能够理解目标、进行自主规划，并利用可用工具（包括Function Call）来执行任务以达成目标的系统或程序。Function Call是大型语言模型提供的一项…...

编程日记 2025/8/11 20:25:15

QT聊天项目DAY09

1. 安装Redis 直接从老师的网盘下载链接: https://pan.baidu.com/s/1v_foHZLvBeJQMePSGnp4Ow?pwdyid3 提取码: yid3 启动Redis服务看一下，启动成功了 .\redis-server.exe .\redis.windows.conf 启动客户端看一下 2. 配置redis库，调用API 编译一下 …...

编程日记 2025/6/29 3:24:10

JAVA八股文

一、JAVA基础 1.面向对象： 面向对象编程是一种以对象为核心的编程，通过封装、继承、多态和抽象管理代码。 1.封装：将数据（属性）和行为（方法）绑定在一个对象中，隐藏内部细节&#…...

编程日记 2025/8/9 14:19:18

2.库的操作 2.1 创建数据库语法： CREATE DATABASE [IF NOT EXISTS] db_name [create_specification [,create_specification]….]create_spcification:[DEFAULT] CHARACTER SET charset_nam[DEFAULT] COLLATE collation_name说明： 大写的表示关键字 …...

编程日记 2025/6/29 4:20:42

1688拍立淘搜索相似商品API接口概述，json数据示例参考

1688拍立淘搜索相似商品API接口概述 1688拍立淘是阿里巴巴1688平台提供的以图搜图功能，允许开发者通过上传商品图片或图片URL，快速检索1688平台上的相似商品。该接口基于图像识别技术，结合1688的海量商品库，为商家、采购商或开发…...

编程日记 2025/8/9 23:27:48

使用 Java 11 的 HttpClient 处理 RESTful Web 服务

在现代 Web 开发中，与 RESTful Web 服务交互是一项核心任务。Java 作为一种广泛使用的编程语言，提供了多种处理 HTTP 请求的方法。在 Java 11 之前，开发者通常使用 HttpURLConnection 或第三方库（如 Apache HttpClient）。然而，这些方法要么过于底层，要么需要额外依赖。J…...

编程日记 2025/6/29 3:24:00

学习笔记：黑马程序员JavaWeb开发教程(2025.3.30)

11.6 案例-文件上传-阿里云OSS-集成从程序中获取URL给前端，前端显示图片拿到URL，但是在浏览器里面是直接下载，展示可以使用html中的<image>标签 Spring环境下，不建议再去new对象，将其交给IOC容器管理&#xff…...

编程日记 2025/8/14 1:00:34

【MySQL】-- 联合查询

文章目录 1. 简介1.1 为什么要使用联合查询1.2 多表联合查询时MySQL内部是如何进行计算的 2. 内连接2.1 语法2.2 示例 3. 外连接3.1 语法3.2 示例 4. 自连接4.1 应用场景4.2 示例4.3 表连接练习 5. 子查询5.1 语法5.2 单行子查询5.3 多行子查询5.4 多列子查询5.5 在from 子句中…...

编程日记 2025/6/29 3:47:00

《C++ Templates》：有关const、引用、指针的一些函数模板实参推导的例子

1.T按值传递最简单的模板例子： template<typename T> void func(T x) {std::cout << typeid(T).name() << std::endl;x 20;cout << x; } 这种情况下，T永远不会被推导成带顶层const或引用的类型【顶层const即变量本身不能…...

编程日记 2025/8/9 21:18:40

【算法】随机快速排序和随机选择算法

文章目录 1、随机快速排序1.1 什么是随机快排1.2 随机快排的好处 2、随机选择算法前言： 快速排序就是每次划分前，通过一种方法将一个基准值的位置确定好，再进入不同的部分重复相同的工作以此确定好每个值的位置以达到有序。如果你之前并不了…...

编程日记 2025/6/29 3:17:47

si551x时钟芯片linux下调试总结

目录前言一、依赖文档、工具二、让芯片工作的流程三、以上步骤的SOC下代码实现前言本文总结调试SKYWORKS芯片厂商Si5512时钟芯片时的笔记，基于linux5.10.xxx内核，在arm64架构的SOC上验证； 一、依赖文档、工具文档名说明下载链接Si5518…...

编程日记 2025/8/10 9:21:21

5.6-DAE实现

解决问题： 随机缺失（实验室指标未检测）系统性噪声（设备测量误差）类别不平衡（健康/患病人群比例悬殊） 思路：引入可控噪声 → 重建原始数据实现步骤 (1)…...

编程日记 2025/8/10 17:51:25

MCU怎么运行深度学习模型

Gitee仓库 git clone https://gitee.com/banana-peel-x/freedom-learn.git项目场景： 解决面试时遗留的问题，面试官提了两个问题：1.单片机能跑深度学习的模型吗？ 2.为什么FreeRTOS要采用SVC去触发第一个任务，只用Pend…...

编程日记 2025/6/29 4:56:26

背单词软件开发英语app开发，超级单词表开发，河南数匠软件开发

在数字化教育浪潮席卷全球的当下，英语教育行业面临着教学模式创新与教学效率提升的双重挑战。如何借助技术力量，为学生提供更优质、更高效的英语学习体验，成为众多英语教育机构亟待解决的问题。河南数匠软件开发有限公司，作为专注…...

编程日记 2025/8/10 1:36:38

AI视觉质检的落地困境与突破路径

摘要人工智能（AI）视觉质检技术凭借其在提升效率、降低成本和优化质量控制方面的巨大潜力，正成为现代制造业转型升级的关键驱动力。然而，尽管前景广阔，AI视觉质检在实际落地过程中仍面临诸多严峻挑战，主要…...

编程日记 2025/6/29 4:31:02

检测内存条好坏有工具，推荐几款内存检测工具

检测内存条的好坏其实很重要，这直接就关系到计算机是不是能够稳定的运行，也有一部分人就会关注内存检测的工具。你应该如何来选择的，不如看一下以下的这几个。 MemTest86是一个比较受到大家喜欢的内存检测工具，会支持各种类型&…...

编程日记 2025/6/29 2:29:01

认识tomcat（了解）

启动 1. windows版本解压后，就能用，启动，是bin路径下的startup.bat , 关闭是ctrl C . 启动后，可以访问 http://127.0.0.1:8080。为什么是8080，因为如下这个配置文件部署将项目放置到webapps目录下，即…...

编程日记 2025/6/29 4:45:23

[20250507] AI边缘计算开发板行业调研报告 (2024年最新版）

[20250507] AI边缘计算开发板行业调研报告 (2024年最新版） 一、行业背景随着物联网设备激增与AI模型轻量化，边缘计算成为AI落地核心场景。AI边缘计算开发板（Edge AI Board）作为硬件载体，需满足低延迟…...

编程日记 2025/6/29 3:14:07

前端实现文件下载

目录 1.说明 2.示例--excel 3.示例--csv 1.说明在开发中经常会出现下载csv或者excel文件，可以通过后端下载，也可以通过前端下载，如果在前端页面中可以直接获取到要下载的数据，可以通过前端下载的方式，更加高效便捷…...

编程日记 2025/8/11 4:38:23

深入理解Redis缓存与数据库不一致问题及其解决方案

什么是Redis缓存数据与数据库不一致在现代应用中，Redis作为一种高速缓存系统，被广泛用于提升系统性能。Redis缓存数据与数据库不一致，指的是缓存中的数据与数据库中的数据不匹配，导致读取缓存时得到的不是最新或正确的数据。 R…...

编程日记 2025/6/29 4:31:09

六级阅读———2024.12卷一仔细阅读2

文章 An awakening has been taking place in the physical world against the beauty model that has been dictated to us for years.But in the digital arena,social media determines what is considered beautiful.(51) The two opposing struggles are taking place i…...

编程日记 2025/8/10 8:25:10