当前位置：首页 > news >正文

2 celery环境搭建

news 来源：原创 2025/8/15 10:17:11

1. 安装 Celery 及依赖

1.1 安装 Celery

使用 pip 安装 Celery（推荐 Python 3.7+ 环境）：

pip install celery

1.2 选择并安装 Broker

Celery 需要一个消息中间件（Broker）来传递任务。以下是两种常用 Broker 的安装方式：

选项一：Redis

Redis 轻量且适合快速上手，安装步骤如下：

# 安装 Redis 服务（Ubuntu/Debian）
sudo apt-get install redis-server# 启动 Redis
sudo systemctl start redis# 安装 Python 的 Redis 客户端库
pip install redis

选项二：RabbitMQ

RabbitMQ 是 Celery 官方推荐的 Broker，适合生产环境：

# 安装 RabbitMQ（Ubuntu/Debian）
sudo apt-get install -y erlang
sudo apt-get install rabbitmq-server# 启动 RabbitMQ
sudo systemctl start rabbitmq-server# 可选：启用 Web 管理界面
sudo rabbitmq-plugins enable rabbitmq_management

提示：生产环境推荐使用 RabbitMQ，开发环境可用 Redis 快速测试。

2. 最小化示例：编写第一个异步任务

2.1 创建 Celery 应用

新建文件 tasks.py，编写以下代码：

from celery import Celery# 创建 Celery 实例，指定 Broker 和 Backend
app = Celery('tasks',broker='redis://localhost:6379/0',  # 使用 Redis 作为 Brokerbackend='redis://localhost:6379/0'   # 使用 Redis 存储结果
)# 定义一个异步任务
@app.task
def add(x, y):return x + y

2.2 调用异步任务

在同一目录下打开 Python Shell，测试任务：

from tasks import add# 异步调用任务（立即返回 AsyncResult 对象）
result = add.delay(4, 6)# 查看任务是否完成（非阻塞）
print(result.ready())  # 输出 False（任务未完成）# 获取任务结果（阻塞等待）
print(result.get(timeout=10))  # 输出 10

3. 命令行工具：启动 Worker 与查看状态

3.1 启动 Worker 节点

在项目目录下执行以下命令启动 Worker：

celery -A tasks worker --loglevel=info

-A tasks：指定 Celery 应用模块（tasks.py 中的 app）。
--loglevel=info：设置日志级别为详细信息。

输出示例：

[config]
.> app:         tasks:0x7f8d1c3b3d90
.> transport:   redis://localhost:6379/0
.> results:     redis://localhost:6379/0
.> concurrency: 4 (prefork)
[queues]
.> celery           exchange=celery(direct) key=celery

3.2 查看 Worker 状态

使用 celery inspect 命令检查 Worker 是否存活：

celery -A tasks inspect ping

正常响应示例：

-> celery@ubuntu: OKpong

3.3 监控任务结果（可选）

如果配置了 backend（如 Redis），可通过以下命令查看任务结果：

# 进入 Redis CLI
redis-cli# 查看结果（假设任务 ID 为 7a9d8c3a-...）
127.0.0.1:6379> GET celery-task-meta-7a9d8c3a...
"{\"status\": \"SUCCESS\", \"result\": 10, ...}"

4. 常见问题与解决

4.1 Broker 连接失败

现象：Worker 启动时报错 ConnectionRefusedError。
解决：
1. 确认 Broker 服务已启动（如 systemctl status redis）。
2. 检查防火墙是否开放 Broker 端口（默认 Redis: 6379，RabbitMQ: 5672）。
3. 验证连接 URL 格式（如 redis://:password@host:port/db）。

4.2 任务未执行

现象：任务长时间处于 PENDING 状态。
解决：
1. 确认 Worker 已启动且未卡死。
2. 检查任务是否被正确路由到队列（默认队列为 celery）。

5. 环境验证

通过浏览器访问 RabbitMQ 管理界面（默认地址 http://localhost:15672，用户名/密码为 guest/guest）或 Redis CLI，确认消息正常流转。

2 celery环境搭建

1. 安装 Celery 及依赖 1.1 安装 Celery 使用 pip 安装 Celery（推荐 Python 3.7 环境）： pip install celery1.2 选择并安装 Broker Celery 需要一个消息中间件（Broker）来传递任务。以下是两种常用 Broker 的安装方…...

编程日记 2025/8/15 10:17:11

alertManager部署安装、告警规则配置详解及告警消息推送

java接受告警请求RestController RequestMapping("/alert") Slf4j public class TestApi {private static final DateTimeFormatter FORMATTER DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss");RequestMappingpublic void sendTemplate(HttpServl…...

编程日记 2025/8/15 10:17:10

day45——非递减数列（LeetCode-665）

题目描述给你一个长度为 n 的整数数组 nums ，请你判断在最多改变 1 个元素的情况下，该数组能否变成一个非递减数列。我们是这样定义一个非递减数列的： 对于数组中任意的 i (0 < i < n-2)，总满足 nums[i] < nums[i …...

编程日记 2025/8/11 4:44:04

LeetCode19.删除链表的倒数第N个节点

题目给你一个链表，删除链表的倒数第 n 个结点，并且返回链表的头结点。请用一次扫描实现示例 1： 输入：head [1,2,3,4,5], n 2 输出：[1,2,3,5]示例 2： 输入：head [1], n 1 输出&#xff…...

编程日记 2025/8/10 20:07:07

Kafka系列之：计算kafka集群topic占的存储大小

Kafka系列之：计算kafka集群topic占的存储大小 topic存储数据格式统计topic存储大小定时统计topic存储大小topic存储数据格式单位是字节大小 size_bytes{directory="/data/datum/kafka/optics-all" } 782336计算topic存储大小脚本逻辑是：计算指定目录或文件的大小…...

编程日记 2025/8/11 19:16:17

Logisim数字逻辑实训——计数器设计与应用

4位递增计数器六进制计数器十进制计数器六十进制计数器二十四进制计数器计时器...

编程日记 2025/8/2 18:18:49

安卓手机如何改ip地址教程

对于安卓手机用户而言，ip修改用在电商、跨境电商、游戏搬砖、社交软件这些需要开多个账号的项目。因为多个设备或账号又不能在同一ip网络下，所以修改手机的IP地址防检测成为一个必要的操作。以下是在安卓手机上更改IP地址的多种方法及详细步骤&#xff0…...

编程日记 2025/8/2 18:18:47

论文阅读--Orient Anything

通过渲染3D模型来学习不同方向下物体的外观，并从单张和自由视角的图像中估计物体方向 1. 数据生成：基于 3D 渲染构建大规模方向标注数据集 - 数据来源： 使用 Objaverse 数据库中的高质量 3D 模型，进行筛选和预处理。 - 筛选规范…...

编程日记 2025/8/10 4:23:07

ASP.NET MVC 实现增删改查（CRUD）操作的完整示例

提供一个完整的 ASP.NET MVC 实现增删改查（CRUD）操作的示例。该示例使用 SQL Server 数据库，以一个简单的 Product 实体为例。步骤 1：创建 ASP.NET MVC 项目首先，在 Visual Studio 中创建一个新的 ASP.NET MVC 项目…...

编程日记 2025/8/9 15:53:59

ASP.NET常见安全漏洞及修复方式

Microsoft IIS 版本信息泄露查看网页返回的 Header 信息，默认会包含 IIS，ASP.NET 版本信息： 隐藏 Server 标头编辑 web.config 文件，在 system.webServer 节点中配置 requestFiltering 来移除Server标头： <sec…...

编程日记 2025/8/12 15:41:16

文件系统的npu和内核的npu有什么区别

我在编译rk3588的内核和文件系统时候，发现都编译到rknpu这个文件，那么文件系统的npu和内核的npu有什么根本的区别吗？ 我可以理解为，文件系统下是应用程序，内核下是驱动程序。功能定位内核中的 NPU 源码核心功能&am…...

编程日记 2025/8/6 6:31:38

RUI桌面TV版最新版免费下载-安卓电视版使用教程

在智能电视的使用中，拥有一款好用的桌面应用能极大提升体验，RUI桌面TV版就是这样一款实用的工具。下面为大家带来它的免费下载及安卓电视版使用教程。一、下载步骤首先确保你的安卓电视已连接网络。打开电视自带的应用商店，在搜索栏输入“…...

编程日记 2025/8/13 1:34:20

android的配置检查查看安卓设备配置

Android系统属性配置与内存管理指南在Android开发过程中，了解系统属性配置和内存管理机制对应用性能优化至关重要。本文将介绍如何通过adb命令查询和修改系统属性，以及如何合理管理应用内存。一、adb命令查询当前堆内存信息 1. 查询所有配置 adb s…...

编程日记 2025/8/11 13:34:13

RHCE的简单配置

一：配置qq第三方客户端验证 1.安装第三方邮件客户端软件 2.mail程序登录验证qq账号 3.在qq客户端程序（如浏览器中进入邮箱登录QQ邮箱->设置->账户）中通过设置开启imap/smtp服务提供第三方程序账号的授权码 4.因为需要 QQ 邮箱的 S…...

编程日记 2025/8/6 18:13:48

日语学习-日语知识点小记-构建基础-JLPT-N4阶段（7）：（1）ながら一边。。一边（2）。。。し。。。し。。又……又……

日语学习-日语知识点小记-构建基础-JLPT-N4阶段（7）：（1）ながら一边。。一边 （2）。。。し。。。し。。又……又…… 1、前言（1）情况说明（2）工程师…...

编程日记 2025/8/15 2:00:30

【图像梯度处理，图像边缘检测】图像处理（OpenCv）-part6

13 图像梯度处理 13.1 图像梯度边缘提取是图像处理中的一个重要任务，其目的是检测图像中灰度值发生显著变化的区域，这些区域通常对应于图像中的物体边界、纹理变化或深度变化等。边缘提取的原理可以分为以下几个关键步骤： 1. 边缘的定义和…...

编程日记 2025/8/9 18:15:12

一本通 2063：【例1.4】牛吃牧草 1005：地球人口承载力估计

Topic： Ideas： 为什么把这两道题放在一起呢？就是因为这两道题很类似，都是很简单的数学题，只要你会列出数学等式，你就学会这道题了！ 下面把计算过程展示给大家 Code： //2025/04/18…...

编程日记 2025/8/15 1:17:31

下载HBuilder X，使用uniapp编写微信小程序

到官网下载HBuilder X 地址：HBuilderX-高效极客技巧下载完成后解压打开解压后的文件夹找到HBuilderX.exe 打开显示更多，发送到桌面快捷方式到桌面上启动HBuilderX.exe启动应用在工具点击插件安装选择安装Vue3编译器点击新建创建Vue3项目编写项目…...

编程日记 2025/8/14 1:33:22

4.18---缓存相关问题（操作原子性，击穿，穿透，雪崩，redis优势）

为什么要用redis做一层缓存，相比直接查mysql有什么优势？ 首先介绍Mysql自带缓存机制的问题： MySQL 的缓存机制存在一些限制和问题,它自身带的缓存功能Query Cache只能缓存完全相同的查询语句，对于稍有不同的查询语句&#xff0c…...

编程日记 2025/8/8 0:18:47

前端：uniapp中uni.pageScrollTo方法与元素的overflow-y:auto之间的关联

在uniapp中，uni.pageScrollTo方法与元素的overflow-y:auto属性之间存在以下关联和差异： 一、功能定位差异 ‌uni.pageScrollTo‌ 属于‌页面级滚动控制‌，作用于整个页面容器‌34。要求页面内容高度必须超过屏幕高度，且由根元素下…...

编程日记 2025/8/15 1:25:02

获取不到AndroidManifest中的meta-data

现象描述最近在项目中接入穿山甲广告的sdk，快速实现了核心功能验证。接下来就准备规范代码正式使用，却掉了一个坑，略做记录。穿山甲sdk提供了一个appid的参数，不同渠道包是不同的，所以将其配入了gradle的productFl…...

编程日记 2025/8/14 14:49:42

Python学习之Matplotlib

Python学习之Matplotlib Matplotlib是一个Python的2D绘图库,它以各种硬拷贝格式和跨平台的交互式环境生成出版质量级别的图形.通过Matplotlib,开发者可以仅需要几行代码,便可以生成饼图,直方图,功率谱,条形图,错误图,散点图等 1.1 图形的基本构成一个完整的图,包括figure,a…...

编程日记 2025/8/2 18:18:10

Motion Tracks：少样本模仿学习中人-机器人之间迁移的统一表征

25年1月来自Cornell和Stanford的论文“MOTION TRACKS: A Unified Representation for Human-Robot Transfer in Few-Shot Imitation Learning”。教会机器人自主完成日常任务仍然是一项挑战。模仿学习 (IL) 是一种强大的方法，它通过演示向机器人灌输技能&#xff…...

编程日记 2025/8/14 4:26:50

【Spring Boot】MyBatis入门：连接Mysql数据库、测试单元、连接的常见错误

MyBatis入门 1.什么是MyBatis？2.准备工作2.1.创建项目2.2.MySQL数据准备2.3.创建对应的实体类 3.写配置文件和获取数据3.1写配置文件3.2 持久层代码 4.单元测试5.连接数据库时常见的错误5.1 url 配置错误5.2 MySQL账号密码错误5.3 找不到数据库5.4 表错误5.3 云服务…...

编程日记 2025/8/13 13:28:59

【AI插件开发】Notepad++ AI插件开发实践：支持配置界面

一、引用此前的系列文章已基本完成了Notepad的AI插件的功能开发，但是此前使用的配置为JSON配置文件，不支持界面配置。本章在此基础上集成支持配置界面，这样不需要手工修改配置文件，直接在界面上操作，方便快捷。注…...

编程日记 2025/8/15 4:31:07

《Spring Boot 测试框架指南：@SpringBootTest与Mockito的最佳实践》

大家好呀！👋 今天我要和大家聊聊Spring Boot测试的那些事儿。作为一名Java开发者，写代码很重要，但写测试同样重要！💯 想象一下，你建了一座漂亮的房子🏠，但如果没有质量检…...

编程日记 2025/8/11 13:16:40

《数据结构初阶》【时间复杂度 + 空间复杂度】

《数据结构初阶》【时间复杂度空间复杂度】前言：-----------------------------------------1. 什么是数据结构？2. 什么是算法？ -----------------------------------------算法的时间复杂度和空间复杂度1. 为什么要引入时间复杂度和空间复…...

编程日记 2025/8/14 0:23:35

【深度学习—李宏毅教程笔记】Self-attention

目录一、Self-attention 的引入 1、多样化的输入形式 2、典型的下游任务下游任务 3、传统“全连接窗口”方法的局限 4、Self‑Attention 的引入二、Self-attention 的架构 1、Self-attention层的框图表示 2、Self-attention 层的矩阵运算过程三、Multi-head Self…...

编程日记 2025/8/8 17:20:40

PHP腾讯云人脸核身获取Access Token

参考腾讯云官方文档： 人脸核身获取 Access Token_腾讯云 public function getAccessToken(){$data [appId > , //WBappid,https://cloud.tencent.com/document/product/1007/49634secret > ,grant_type > client_credential, //授权类型version > 1…...

编程日记 2025/8/14 16:39:10

pytorch基本操作2

torch.clamp 主要用于对张量中的元素进行截断（clamping），将其限制在一个指定的区间范围内。函数定义 torch.clamp(input, minNone, maxNone) → Tensor 参数说明 input 类型：Tensor 需要进行截断操作的输入张…...

编程日记 2025/8/10 11:24:32

Linux服务器配置Anaconda环境、Pytorch库（图文并茂的教程）

引言：为了方便后续新进组的师弟/师妹使用课题组的服务器，特此编文（ps：我导从教至今四年，还未招师妹） ✅ NLP 研 2 选手的学习笔记笔者简介：Wang Linyong，NPU，2023级&a…...

编程日记 2025/8/12 20:55:43

idea 许可证过期

今天打开IDEA写代码突然提示：Your idea evaluation has expired. Your session will be limited to 30 minutes 评估已过期，您的会话将限制为 30 分钟。也就是说可以使用，但30min就会自动关闭 1 下载 ide-eval-resetter-2.1.6.zip https…...

编程日记 2025/8/12 15:29:11

Git常用命令分类汇总

Git常用命令分类汇总一、基础操作初始化仓库git init添加文件到暂存区git add file_name # 添加单个文件 git add . # 添加所有修改提交更改git commit -m "提交描述"查看仓库状态git status二、分支管理创建/切换分支git branch branch_name …...

编程日记 2025/8/12 3:05:01

归并排序：数据排序的高效之道

🧑 博主简介：CSDN博客专家，历代文学网（PC端可以访问：https://literature.sinhy.com/#/literature?__c1000，移动端可微信小程序搜索“历代文学”）总架构师，15年工作经验，…...

编程日记 2025/8/4 10:08:30

分布式训练（记录）

为什么要分布式训练？ 单机训练有物理上限： 显存不够（大模型根本放不下） 单机计算慢（数据量一多就耗时太长） 多卡并行性不高分布式训练的常见方式 Data Parallel（数据并行） 每个G…...

编程日记 2025/8/8 21:34:33

vue3中使用拖拽组件vuedragable@next

vue3中使用拖拽组件vuedragablenext 官网传送门下载 npm install vuedraggablenext基本使用 <script setup> import draggable from vuedraggable import { ref } from vue const list ref([{ id:1,name:第一个 },{ id:2,name:第二个 },{ id:3,name:第三个 }, ]) <…...

编程日记 2025/8/15 5:46:56

Oracle、MySQL、PostgreSQL三大数据库对比分析

Oracle、MySQL、PostgreSQL 三大数据库的对比分析，结合 Java SpringBoot 项目开发的实际场景，重点说明分库分表、主从复制的实现难度及案例。一、数据库核心对比 1. 核心区别与适用场景维度OracleMySQLPostgreSQL定位企业级商业数据库轻量级开源数据…...

编程日记 2025/8/13 15:28:26

java八股之并发编程

1.java线程和操作系统线程之间的区别？ 现在java线程本质上是操作系统线程，java中采用的是一对一的线程模型（一个用户线程对应一个内核进程） 2.什么是进程和线程？ 1.进程是操作系统一次执行，资源分配和调度的…...

编程日记 2025/8/14 8:33:31

Qt 入门 5 之其他窗口部件

Qt 入门 5 之其他窗口部件本文介绍的窗口部件直接或间接继承自 QWidget 类详细介绍其他部件的功能与使用方法 1. QFrame 类 QFrame类是带有边框的部件的基类。它的子类包括最常用的标签部件QLabel另外还有 QLCDNumber、QSplitter,QStackedWidget,QToolBox 和 QAbstractScrol…...

编程日记 2025/8/13 19:59:14

Linux系统之----冯诺依曼结构

1.简要描述冯诺依曼体系结构是现代计算机的基本设计思想，其核心理念是将计算机的硬件和软件统一为一个整体，通过存储程序的方式实现计算。冯诺依曼体系结构的核心思想是通过存储程序实现自动计算，其五大部件协同工作，奠定了现代…...

编程日记 2025/8/12 4:38:51

C++11新特性

目录引入 C11新特性统一的初始化列表一切皆可{}初始化 std::initializer_list 统一的声明 auto decltype nullptr 范围for STL新增容器 STL新增容器接口左值引用和右值引用左值和右值左值引用和右值引用右值引用的优势(移动语义) 右值引用的使用场景 …...

编程日记 2025/8/11 13:31:17

492Q 型气缸盖双端面铣削组合铣床总体设计

一、引言 492Q 型气缸盖是发动机的重要组成部分，其双端面的加工精度对发动机的性能和可靠性有着重要影响。设计一款适用于 492Q 型气缸盖双端面铣削的组合铣床，能够提高加工效率和质量，满足发动机生产的需求。二、总体设计要求加工精度&…...

编程日记 2025/8/3 4:14:14

《软件设计师》复习笔记（4.2）——关系代数、函数依赖、范式

目录一、关系代数基本运算笛卡尔积（） 投影（π） 选择（σ） 自然连接（⋈） 真题示例： 二、函数依赖基本概念 Armstrong公理系统键与约束三、范式&#xff…...

编程日记 2025/8/5 11:40:40

IO流（二）

一、字符流使用字节流可以读取文件中的字节数据。但是如果文件中有中文使用字节流来读取，就有可能读到半个汉字的情况，这样会导致乱码。虽然使用读取全部字节的方法不会出现乱码，但是如果文件过大又不太合适。所以Java专门为我们提供了另…...

编程日记 2025/8/14 7:32:42

#Linux动态大小裁剪以及包大小变大排查思路

1 动态库裁剪库分为动态库和静态库，动态库是在程序运行时才加载，静态库是在编译时就加载到程序中。动态库的大小通常比静态库小，因为动态库只包含了程序需要的函数和数据，而静态库则包含了所有的函数和数据。静态库可以理解为引入…...

编程日记 2025/8/11 18:23:45

天梯赛数据结构合集

1.集合操作：PTA | 程序设计类实验辅助教学平台主要是注意set的取交集操作，AC代码： #include<bits/stdc.h> using namespace std; int n,m,k; set<int> a[60]; int main(){cin>>n;for(int i1;i<n;i){cin>>m;for…...

编程日记 2025/8/14 22:54:56

pdfjs库使用记录1

import React, { useEffect, useState, useRef } from react; import * as pdfjsLib from pdfjs-dist; // 设置 worker 路径 pdfjsLib.GlobalWorkerOptions.workerSrc /pdf.worker.min.js; const PDFViewer ({ url }) > { const [pdf, setPdf] useState(null); const […...

编程日记 2025/8/12 21:24:15

LIMS引领综合质检中心数字化变革，赋能质量强国战略

在质量强国战略的深入推进下，我国综合质检机构迎来了前所未有的发展机遇，同时也面临着诸多严峻挑战。随着检测领域从传统的食品药品监督向环境监测、新材料检测等新兴领域不断拓展，跨领域协同管理的复杂度呈指数级增长。作为提升产品质量的关…...

编程日记 2025/8/13 13:26:38

MySQL+Redis实战教程：从Docker安装部署到自动化备份与数据恢复20250418

MySQLRedis实战教程：从Docker安装部署到自动化备份与数据恢复一、前言在企业应用中，对MySQL和Redis运维的要求越来越高： 不能仅是启动就算部署运行稳定、隔离、访问控制、备份恢复、安全可靠，才是企业级的基本功能本文将手…...

编程日记 2025/8/10 1:04:41

嵌入式音视频开发指南：从MPP框架到QT实战全解析

嵌入式音视频开发指南：从MPP框架到QT实战全解析一、音视频技术全景概述 1.1 技术演进里程碑 2003-2010年：标清时代（H.264/AVC + RTMP）2011-2018年：高清时代（H.265/HEVC + WebRTC）2019-至今：智能时代（AV1 + AI编解码 + 低延迟传输）1.2 现代音视频技术栈 #mermaid-s…...

编程日记 2025/8/4 19:52:46