当前位置：首页 > news >正文

深入浅出：Python 中的异步编程与协程

news 来源：原创 2025/7/2 14:49:31

引言

大家好，今天我们来聊聊 异步编程 和协程，这是近年来编程语言领域中的热点话题之一，尤其在 Python 中，它作为一种全新的编程模型，已经成为处理 IO密集型 任务的强力工具。尽管很多人对异步编程望而却步，觉得它复杂难懂，但其实掌握了它，你就能感受到异步编程带来的速度提升，尤其是在高并发、网络爬虫、爬虫框架、聊天机器人等领域，异步编程简直是神器！

所以，今天我们就从头开始，带你一步步搞懂异步编程和协程，带着你从基本概念到实际应用，通俗易懂又不失深度的讲解这项技术。

1. 什么是异步编程？

首先，来搞清楚异步编程和同步编程到底有什么区别。

同步编程：代码按照书写顺序逐行执行，每一行执行完，才会执行下一行。比如，你去餐厅点了菜，厨师开始做饭，直到你吃完饭才能结账离开，这个过程就叫做同步。
异步编程：代码执行时，不会阻塞其他任务，可以让程序在等待某些任务的结果时，去做其他事情。继续以餐厅为例，当你点了菜后，厨师开始做饭，你可以先去刷会儿手机，聊天什么的，等做完了菜再叫你吃，这个过程就叫做异步。

简单总结：同步是“做一件事等着做完”，而异步是“做事的时候，不等，去做其他事情”。如果我们把程序执行的时间浪费在等待 IO 操作（比如网络请求、数据库查询等）上，那就不如使用异步方式，让程序继续执行其他任务。

2. Python 中的异步编程

在 Python 中，异步编程通常借助 asyncio 库来实现。asyncio 是 Python 的标准库之一，专门用于写异步 I/O 代码。Python 中的异步编程主要通过协程来实现。

2.1 什么是协程？

在 Python 中，协程（Coroutine）是一种特殊的函数，它可以在执行过程中被暂停并在后续某个时间恢复执行。协程最常见的应用就是处理 I/O 操作（比如读取文件、发送网络请求等），因为这些操作可能需要等待一段时间，如果用同步代码，程序会一直等待，浪费了大量时间，而使用协程就能“挂起”执行并切换到其他任务。

你可以把协程想象成一个可以中途暂停并恢复的任务。这种灵活性非常适合处理大量并发 I/O 请求。

3. 如何写一个协程？

Python 使用 async 和 await 关键字来定义和执行协程。让我们先看一个简单的例子：

import asyncioasync def hello_world():print("Hello")await asyncio.sleep(1)  # 模拟IO操作，暂停1秒print("World")# 运行协程
asyncio.run(hello_world())

在上面的代码中：

async def 用来定义一个异步函数，也就是协程。
await 关键字用于在协程中调用另一个异步函数。在这个例子中，asyncio.sleep(1) 会暂停协程的执行 1 秒钟，模拟一个耗时的 I/O 操作。
asyncio.run() 用来启动协程。

4. 让多个协程并发执行

协程的强大之处在于我们可以通过 asyncio 轻松地让多个任务并发执行。接下来，我们创建多个协程任务，让它们并行执行。

import asyncioasync def task(n):print(f"Task {n} started")await asyncio.sleep(2)print(f"Task {n} completed")async def main():# 创建多个任务并发执行tasks = [task(i) for i in range(5)]await asyncio.gather(*tasks)  # 等待所有任务完成asyncio.run(main())

在上面的例子中，asyncio.gather(*tasks) 会将多个协程任务并行执行，而不是一个接一个地执行。这样，就能够在等待 I/O 操作的同时执行其他任务，充分利用时间。

5. 异步编程的优势

异步编程最明显的优势就是它能够在高并发情况下提高程序的效率，尤其在处理大量 I/O 操作时（比如网络请求、文件读写等）。

高效利用 CPU 资源：由于异步编程不会阻塞程序的执行，它允许 CPU 在等待 I/O 时去处理其他任务。
减少延迟：在传统的同步方式中，IO 操作会造成大量的延迟，而异步编程可以在等待期间执行其他任务，从而减少整体的响应时间。
处理大并发：使用异步编程，你可以在同一时间内启动成百上千的任务，而不会占用大量的系统资源。

6. 异步编程的陷阱

尽管异步编程非常强大，但它也有一些潜在的陷阱，尤其是当你刚接触这个概念时：

异步不适合所有任务：如果你的程序是 CPU 密集型的，异步编程反而可能导致性能下降。因为异步编程的优势主要体现在 I/O 密集型任务上。
错误处理：在异步代码中，异常的处理和同步代码有些不同，特别是在并发执行的情况下，如何捕获并处理异常需要特别注意。
调试困难：由于协程的执行是分散的，调试异步程序相对来说比同步程序更为复杂，尤其是在多个任务并行执行的情况下。

7. 异步与多线程的对比

很多人会问，异步编程和多线程编程有何区别。简单来说：

异步编程：是基于事件循环的方式，不需要多线程，适用于 I/O 密集型任务，通过非阻塞的方式提升并发度。
多线程编程：是通过多个线程并行执行任务，适合计算密集型任务，但也带来了线程切换的开销和数据竞争等问题。

异步编程的优势在于它能够在单个线程中高效地处理大量并发任务，而不会像多线程那样产生上下文切换的开销。

8. 实际应用案例：异步爬虫

异步编程非常适合用来写爬虫程序。假设我们需要爬取多个网页，每个网页的请求都需要花费一定的时间，如果采用同步编程，程序就会一个接一个地等待每个网页的响应，效率低下。而使用异步编程，可以让爬虫程序在等待某个网页响应时，去请求其他网页。

下面是一个简单的异步爬虫示例：

import aiohttp
import asyncioasync def fetch_url(url):async with aiohttp.ClientSession() as session:async with session.get(url) as response:return await response.text()async def main():urls = ['http://example.com', 'http://example.org', 'http://example.net']tasks = [fetch_url(url) for url in urls]results = await asyncio.gather(*tasks)for result in results:print(result[:100])  # 打印前100个字符asyncio.run(main())

在这个爬虫例子中，我们使用 aiohttp 库异步地请求多个网页，并且使用 asyncio.gather 来并行执行这些请求。这种方式比传统的同步爬虫效率更高，因为我们能够在等待网页响应时进行其他操作。

9. 总结

通过本文的讲解，我们了解了 Python 中的异步编程以及协程的基本概念、应用场景以及注意事项。异步编程在处理大量 I/O 操作时能够显著提升程序的性能，特别是在高并发的情况下，它能够更高效地利用计算机资源。不过，异步编程并不是万灵药，适合 I/O 密集型任务，但对于 CPU 密集型任务，传统的多线程或多进程编程仍然更为高效。

最后，异步编程的学习曲线可能有些陡峭，但一旦掌握了这一概念，它将为你开发高效、高性能的应用程序提供强大的支持！

深入浅出：Python 中的异步编程与协程

引言大家好，今天我们来聊聊异步编程和协程，这是近年来编程语言领域中的热点话题之一，尤其在 Python 中，它作为一种全新的编程模型，已经成为处理 IO密集型任务的强力工具。尽管很多人对异步编程望而却步&#xff0…...

编程日记 2025/7/2 14:49:31

iOS Swift算法之KDF2

后端用Java开发的，用到了org.bouncycastle.crypto.generators.KDF2BytesGenerator，一开始在网上各种搜，没找到相关的接口或第三方库，白白浪费了几天时间，后面才想到照着Java代码自己实现，于是乎参考BaseKDF…...

编程日记 2025/6/28 11:42:47

PyQt6/PySide6 QImage 类

PyQt6/PySide6 QImage 类详解一、QImage 概述 QImage 是 Qt 框架中用于处理图像数据的核心类，提供： 独立于硬件的图像表示像素级访问和操作多种图像格式支持（PNG/JPEG/BMP等）图像转换和基本处理功能 from PyQt6.QtGui import…...

编程日记 2025/6/29 23:32:27

Java8新特性Optional,Function,Supplier,Consumer

Java8新特性 1.Optional 首先，Optional 它不是一个函数式接口，设计它的目的是为了防止空指针异常（NullPointerException），要知道在 Java 编程中， 空指针异常可是臭名昭著的。让我们来快速了解一下 Opti…...

编程日记 2025/7/1 7:18:44

腾讯云服务器中Ubuntu18.04搭建python3.7.0与TensorFlow1.15.0与R-4.0.3环境

所有踩过的坑，都化成了这条平坦的路云服务器配置基础配置选择竞价实例（便宜/需求小） 选择地区（距离自己近的就行） 实例配置选择异构计算（能力较强，性价比高）根据GPU显存需求选择…...

编程日记 2025/7/2 13:47:09

01.Docker 概述

Docker 概述 1. Docker 的主要目标2. 使用Docker 容器化封装应用程序的意义3. 容器和虚拟机技术比较4. 容器和虚拟机表现比较5. Docker 的组成6. Namespace7. Control groups8. 容器管理工具9. docker 的优缺点10. 容器的相关技术 docker 官网: http://www.docker.com 帮助文档…...

编程日记 2025/7/2 12:37:04

DedeBIZ系统审计小结

之前简单审计过DedeBIZ系统，网上还没有对这个系统的漏洞有过详尽的分析，于是重新审计并总结文章，记录下自己审计的过程。 https://github.com/DedeBIZ/DedeV6/archive/refs/tags/6.2.10.zip 📌DedeBIZ 系统并非基于 MVC 框架&…...

编程日记 2025/7/2 13:25:23

序本文主要研究一下如何用docker运行perplexica 步骤 git clone git clone https://github.com/ItzCrazyKns/Perplexica.gitapp.dockerfile FROM docker.1ms.run/node:20.18.0-alpineARG NEXT_PUBLIC_WS_URLws://127.0.0.1:3001 ARG NEXT_PUBLIC_API_URLhttp://127.0.0.1…...

编程日记 2025/6/30 21:48:50

【ThreeJS Basics 1-3】Hello ThreeJS，实现第一个场景

文章目录环境创建一个项目安装依赖基础 Web 页面概念解释编写代码运行项目环境我的环境是 node version 22 创建一个项目首先，新建一个空的文件夹，然后 npm init -y , 此时会快速生成好默认的 package.json 安装依赖在新建的项目下用 npm 安装依…...

编程日记 2025/6/30 21:47:25

解决珠玑妙算游戏问题：C 语言实现

一、引言珠玑妙算游戏（the game of master mind）是一个有趣的逻辑推理游戏。在编程领域，我们可以通过编写代码来模拟游戏中计算猜中与伪猜中次数的过程。本文将详细介绍如何使用 C 语言实现这一功能，并对核心代码进行解析。二、…...

编程日记 2025/7/1 16:08:23

【清晰教程】本地部署DeepSeek-r1模型

【清晰教程】通过Docker为本地DeepSeek-r1部署WebUI界面-CSDN博客目录 Ollama 安装Ollama DeepSeek-r1模型安装DeepSeek-r1模型 Ollama Ollama 是一个开源工具，专注于简化大型语言模型（LLMs）的本地部署和管理。它允许用户在本地计算机…...

编程日记 2025/7/2 0:18:06

Java/Kotlin 使用 Chrome 无头浏览器

1. 概念无头浏览器在类似于流行网络浏览器的环境中提供对网页的自动控制，但是通过命令行界面或使用网络通信来执行。它们对于测试网页特别有用，因为它们能够像浏览器一样呈现和理解超文本标记语言，包括页面布局、颜色、字体选择以及JavaSc…...

编程日记 2025/6/30 10:47:11

AI前端开发：赋能开发者，提升解决实际问题的能力

近年来，人工智能技术飞速发展，深刻地改变着各行各业。在软件开发领域，AI写代码工具的出现更是引发了一场革命，尤其是前端开发领域，AI的应用正在显著提升开发者的解决实际问题的能力。本文将探讨AI前端开发如何提升效率…...

编程日记 2025/6/30 1:38:47

【Elasticsearch】Elasticsearch检索方式全解析：从基础到实战（二）

接着上一篇文章；我们继续来研究es的复杂检索文章目录 (1) bool用来做复合查询（2）Filter【结果过滤】（3）term（4）Aggregation（执行聚合） (1) bool用来做复合查询复合语…...

编程日记 2025/6/29 23:24:28

ASP.NET Core SignalR的分布式部署

假设聊天室程序被部署在两台服务器上，客户端1、2连接到了服务器A上的ChatRoomHub，客户端3、4连接到服务器B上的ChatRoomHub，那么客户端1发送群聊消息时，只有客户端1、2能够收到，客户端3、4收不到；在客户端3…...

编程日记 2025/6/30 16:28:14

kafka的架构和工作原理

目录 Kafka 架构 Kafka 工作原理 Kafka 数据流 Kafka 核心特性总结 Kafka 架构 1. 生产者（Producer） 2. 消费者（Consumer） 3. 主题（Topic） 4. 分区（Partition） 5. 副本（Replica） 6. 代理（Broker） 7. ZooKeeper（旧版本）/KRaft（新版本） Kafka 工作…...

编程日记 2025/6/30 16:27:03

当没有OpenGL时，Skia如何绘制？

Skia 是可以在没有 OpenGL 的情况下进行图形绘制的，但是具体能否成功绘制图形，取决于 Skia 是如何配置的，以及平台上是否提供了其他的底层图形 API。 Skia 的底层依赖 Skia 的目标是提供一种跨平台的 2D 图形绘制接口。为了加速图形渲染&…...

编程日记 2025/7/1 5:40:41

Java小白入门基础知识（一）

1.初识Java java源程序通过javac 编译生成字节码文件，通过java命令运行java程序总结： 1）在一个Java文件中，只能有一个public class 2）public class一定要和文件名一致 3）类里面包含方法 4&#xff09…...

编程日记 2025/6/30 1:34:27

游戏内常见加密

加密只是增大破解难度，没法说绝对安全，避免过度加密导致性能消耗过大。通用算法库 lua的加密算法库：https://github.com/somesocks/lua-lockbox/tree/master 比如通信协议就用到里面一些算法cry.encrypt 算法优劣：AES加解密-CBC…...

编程日记 2025/6/30 16:26:28

【Java八股文】02-Java集合面试篇

【Java八股文】02-Java集合面试篇概念数组与集合区别常用集合Java中的线程安全的集合是什么？Collections和Collection的区别 Listjava中list的几种实现把ArrayList变成线程安全的有哪些方法？CopyOnWriteArrayList是如何保证线程安全的？ Mapj…...

编程日记 2025/6/30 16:27:38

springCloud-2021.0.9 之 GateWay 示例

文章目录前言springCloud-2021.0.9 之 GateWay 示例1. GateWay 官网2. GateWay 三个关键名称3. GateWay 工作原理的高级概述4. 示例4.1. POM4.2. 启动类4.3. 过滤器4.4. 配置 5. 启动/测试前言如果您觉得有用的话，记得给博主点个赞，评论，收…...

编程日记 2025/6/30 16:26:10

公然上线传销项目，Web3 的底线已经被无限突破

作者：Techub 热点速递撰文：Yangz，Techub News 今天早些时候，OKX 将上线 PI 的消息在圈内引起轩然大波，对于上线被板上钉钉为传销盘子的「项目」 ，Techub News 联系了 OKX 公关，但对方拒绝置评…...

编程日记 2025/6/30 16:26:46

SQL数据清理：去除字段值中的多余符号（Demo例子）

目录前言1. 基础2. 进阶前言 Excel中有大量不合法的符号，导入到系统之后，数据库有很多脏数据，对此下述展开sql的清洗教程在数据库的文本字段中，可能会存在多余的逗号或符号，如,销售,, 或二手车,销售,,这种情况希…...

编程日记 2025/7/1 6:21:28

MongoDB 的使用场景

一、内容管理系统 1. 博客平台文章内容、作者信息、标签、评论等数据结构多样，MongoDB 的无模式特性可轻松应对。比如 WordPress 等博客系统，使用 MongoDB 能灵活存储不同格式和长度的文章内容，以及与文章相关的各种元数据。 2. 新闻网站…...

编程日记 2025/7/1 15:02:33

STM32 RTC 实时时钟说明

目录背景 RTC(实时时钟)和后备寄存器 32.768HZ 如何产生1S定时 RTC配置程序第一次上电RTC配置第1步、启用备用寄存器外设时钟和PWR外设时钟第2步、使能RTC和备份寄存器访问第3步、备份寄存器初始化第4步、开启LSE 第5步、等待LSE启动后稳定状态第6步、配置LSE为…...

编程日记 2025/7/2 4:13:58

微服务SpringCloud Alibaba组件nacos教程【详解naocs基础使用、服务中心配置、集群配置，附有案例+示例代码】

一.Nacos教程文章目录一.Nacos教程1.1 Nacos简介1.2 nacos基本使用直接下载打包服务源码方式启动 1.3 创建nacos客服端1.4 nacos集群配置1.5 nacos配置中心 1.1 Nacos简介 nacos是spring cloud alibaba生态中非常重要的一个组件，它有两个作用： 1:注册…...

编程日记 2025/7/2 13:16:11

深度整理总结MySQL——Expalin指南(二)

Expalin指南(二前言Extrano tables usedImpossible whereNo matching min/max rowUsing indexUsing index conditionUsing whereUsing join buffer (Block Nested Loop)Not existsUsing intersect(...)、Using union(...)和Using sort_union(...)Zero limitUsing filesortUsin…...

编程日记 2025/6/28 12:18:18

引言