Python的秘密基地--[章节11] Python 性能优化与多线程编程
第11章：Python 性能优化与多线程编程
在开发复杂系统时，性能优化和并发编程是不可忽视的重点。Python 提供了多种工具和技术用于优化代码性能，并通过多线程、多进程等方式实现并发处理。本章将探讨如何在 Python 中提升性能，并实现多线程和多进程编程。
11.1 Python 性能优化
11.1.1 使用内置函数与库
Python 的内置函数和标准库通常经过高度优化，能够显著提高性能。
示例：使用内置函数代替循环
# 使用 sum 内置函数
numbers = [1, 2, 3, 4, 5]
result = sum(numbers) # 比手动循环累加更快
优选库：NumPy
对于需要处理大量数值计算的场景，使用 NumPy 代替纯 Python 代码会有显著性能提升。
import numpy as nparray = np.array([1, 2, 3, 4, 5])
print(np.sum(array)) # 更高效的数组运算
11.1.2 使用缓存技术
Python 的 functools.lru_cache 提供了一种简单的缓存机制，用于存储函数调用的结果，从而避免重复计算。
示例：递归斐波那契加速
from functools import lru_cache@lru_cache(maxsize=None)
def fibonacci(n):if n < 2:return nreturn fibonacci(n-1) + fibonacci(n-2)print(fibonacci(50)) # 快速计算
11.1.3 优化数据结构选择
根据使用场景选择合适的数据结构，例如：
- 列表（list）：适合动态大小的数组操作。
- 集合（set）：适合快速去重和查找。
- 字典（dict）：适合键值对存储和快速查找。
示例：利用集合去重
# 去除重复元素
data = [1, 2, 2, 3, 4, 4]
unique_data = set(data)
11.1.4 使用并行化与向量化
对于 CPU 密集型任务，可以使用 多线程、多进程 或 向量化计算 来提高性能。
示例：并行化处理大规模数据
from multiprocessing import Pooldef square(n):return n ** 2with Pool(4) as pool:results = pool.map(square, range(1000000))
11.2 Python 并发编程
11.2.1 线程与线程池
Python 的 threading 模块支持多线程编程，但由于 GIL（全局解释器锁） 的限制，多线程更适合 I/O 密集型任务。
示例：使用 threading 模块
import threadingdef print_numbers():for i in range(5):print(i)# 创建线程
thread = threading.Thread(target=print_numbers)
thread.start()
thread.join()
线程池
对于大量线程管理，使用 concurrent.futures 模块中的线程池更加高效。
from concurrent.futures import ThreadPoolExecutordef square(n):return n ** 2with ThreadPoolExecutor(max_workers=4) as executor:results = list(executor.map(square, range(10)))
print(results)
11.2.2 多进程编程
Python 的 multiprocessing 模块绕过了 GIL，更适合 CPU 密集型任务。
示例：使用多进程
from multiprocessing import Processdef print_numbers():for i in range(5):print(i)process = Process(target=print_numbers)
process.start()
process.join()
进程池
与线程池类似，multiprocessing.Pool 提供了简洁的多进程管理。
from multiprocessing import Pooldef square(n):return n ** 2with Pool(4) as pool:results = pool.map(square, range(10))
print(results)
11.2.3 协程与异步编程
Python 的 asyncio 模块支持协程，用于处理高效的异步 I/O。
示例：基本异步任务
import asyncioasync def hello():print("Hello")await asyncio.sleep(1)print("World")asyncio.run(hello())
多个异步任务并发执行
async def task(name, delay):await asyncio.sleep(delay)print(f"Task {name} completed")async def main():tasks = [task("A", 2), task("B", 1)]await asyncio.gather(*tasks)asyncio.run(main())
11.3 性能分析工具
11.3.1 使用 cProfile
cProfile 是 Python 内置的性能分析工具，用于查找代码中的性能瓶颈。
示例：分析代码性能
import cProfiledef slow_function():total = 0for i in range(100000):total += ireturn totalcProfile.run('slow_function()')
11.3.2 使用 line_profiler
line_profiler 是一个第三方工具，用于逐行分析函数性能。
安装
pip install line_profiler
示例
在函数顶部添加装饰器 @profile，然后运行 kernprof 工具进行分析：
@profile
def slow_function():total = 0for i in range(100000):total += ireturn total
运行命令：
kernprof -l -v script.py
11.4 小结
本章介绍了：
- 性能优化：使用内置函数、缓存技术、优化数据结构和并行计算提升程序性能。
- 并发编程：利用多线程、多进程和协程实现高效并发。
- 性能分析工具：使用
cProfile和line_profiler分析代码性能。
下一章我们将进入 Python 网络编程的世界！ 🌐📡
相关文章：
Python的秘密基地--[章节11] Python 性能优化与多线程编程
第11章：Python 性能优化与多线程编程 在开发复杂系统时，性能优化和并发编程是不可忽视的重点。Python 提供了多种工具和技术用于优化代码性能，并通过多线程、多进程等方式实现并发处理。本章将探讨如何在 Python 中提升性能，并实…...
【Unity3D】利用IJob、Burst优化处理切割物体
参考文章： 【Unity】切割网格 【Unity3D】ECS入门学习（一）导入及基础学习_unity ecs教程-CSDN博客 【Unity3D】ECS入门学习（十二）IJob、IJobFor、IJobParallelFor_unity ijobparallelfor-CSDN博客 工程资源地址&…...
初学stm32 --- ADC模拟/数字转换器工作原理
目录 常见的ADC类型 并联比较型工作示意图 逐次逼近型工作示意图 ADC的特性参数 STM32各系列ADC的主要特性 ADC框图简介 参考电压/模拟部分电压 输入通道（ F1为例） 转换序列（F1为例） 规则组和注入组执行优先级对比 规则…...
【MySQL】SQL菜鸟教程（一）
1.常见命令 1.1 总览 命令作用SELECT从数据库中提取数据UPDATE更新数据库中的数据DELETE从数据库中删除数据INSERT INTO向数据库中插入新数据CREATE DATABASE创建新数据库ALTER DATABASE修改数据库CREATE TABLE创建新表ALTER TABLE变更数据表DROP TABLE删除表CREATE INDEX创建…...
BM25（Best Match 25）:信息检索的排序函数；稠密矩阵检索技术：RoBERTa
BM25（Best Match 25）:信息检索的排序函数 常用于搜索引擎等场景，以下是关于它检索的内容及举例说明： 一、BM25检索的内容 文本数据： 文档集合：可以是大量的网页、学术论文、新闻文章、书籍内容等各种形式的文本集合。例如，一个学术搜索引擎可能会使用BM25对包含数百万…...
高级软件工程-复习
高级软件工程复习 坐标国科大，下面是老师说的考试重点。 Ruby编程语言的一些特征需要了解要能读得懂Ruby程序Git的基本命令操作知道Rails的MVC工作机理需要清楚，Model, Controller, View各司什么职责明白BDD的User Story需要会写，SMART要求能…...
Java常用设计模式
单例模式 单例模式就是: 在程序运行期间, 某些类有且最多只有一个实例对象 饿汉模式(静态常量) 饥饿模式又称为饿汉模式, 指的是JVM在加载类的时候就完成类对象的创建 //饿汉式(静态常量) public class Singleton1 {//构造器私有化，外部不能newprivate Singleto…...
29.Java 集合线程安全（ArrayList 类线程安全问题处理方案、HashSet 、HashMap 类线程安全问题处理方案）
一、ArrayList 类线程安全问题 1、概述 ArrayList 类存在线程安全问题 2、异常演示 ListNoSafeTest.java，演示 ArrayList 类线程安全问题 package com.my.listsafe;import java.util.ArrayList; import java.util.UUID;public class ListNoSafeTest {public st…...
解锁企业数字化转型新力量：OpenCoze（开源扣子）
在当今数字化浪潮席卷之下，企业对于高效管理和协同运作的需求愈发迫切，而开源技术正逐渐成为众多企业破局的关键利器。今天，想给大家介绍一款极具潜力的开源项目 ——OpenCoze，中文名称 “开源扣子”。 一、OpenCoze 是什么&…...
Docker 使用Dockerfile创建镜像
创建并且生成镜像 在当前目录下创建一个名为Dockerfile文件 vi Dockerfile填入下面配置 # 使用 CentOS 作为基础镜像 FROM centos:7# 设置工作目录 WORKDIR /app# 复制项目文件到容器中 COPY bin/ /app/bin/ COPY config/ /app/config/ COPY lib/ /app/lib/ COPY plugin/ /a…...
linux网络 | https前置知识 | 数据加密与解密、数据摘要
前言:本节内容讲述https的相关内容。 https博主会着重讲解https如何让一个请求和一个响应能够安全的进行交互。 https博主将用两篇文章进行讲解。本篇是两篇中第一篇。会把http的安全问题引出来， 然后说一下https的基本解决方法。 下面废话不多说， 开始我…...
01 Oracle自学环境搭建（Windows系统）
1 Oracle12C安装 1.1 下载 官网地址：https://www.oracle.com/ 进入官网→Resource→Customer Downloads 如果没有登录，会提示登录后后才能下载 选择适合自己的版本（我电脑是Windows系统 64位） 选择需要的安装包进行下载 双击下载…...
负载均衡原理及算法
什么是负载均衡？ 负载均衡 指的是将用户请求分摊到不同的服务器上处理，以提高系统整体的并发处理能力以及可靠性。负载均衡服务可以有由专门的软件或者硬件来完成，一般情况下，硬件的性能更好，软件的价格更便宜&#x…...
STM32第5章、IWDG
一、简介 IWDG：全称是Independent watchdog，即独立看门狗。本质上是一个能产生系统复位信号的计数器。 特性： 是一个递减计数器。 时钟信号由独立的RC振荡器提供，可在待机和停止模式下运行。 看门狗被激活后，当递减计…...
[python3]Uvicorn库
Uvicorn 是一个用于运行 ASGI（Asynchronous Server Gateway Interface）应用程序的轻量级服务器。ASGI 是 Python Web 应用程序接口的一种扩展，它不仅支持传统的同步 Web 请求处理，还支持异步请求处理、WebSockets 以及 HTTP/2。 h…...
openEuler 22.04使用yum源最快速度部署k8s 1.20集群
本文目的 openEuler的官方源里有kubernetes 1.20，使用yum源安装是最快部署一个k8s集群的办法 硬件环境 主机名系统架构ipmasteropenEuler release 22.03 (LTS-SP2)arm192.168.3.11edgeopenEuler release 22.03 (LTS-SP2)arm192.168.3.12deviceopenEuler release 22.…...
【深度学习】数据预处理
为了能用深度学习来解决现实世界的问题，我们经常从预处理原始数据开始， 而不是从那些准备好的张量格式数据开始。 在Python中常用的数据分析工具中，我们通常使用pandas软件包。 像庞大的Python生态系统中的许多其他扩展包一样，pan…...
Oracle：ORA-00904: “10“: 标识符无效报错详解
1.报错Oracle语句如下 SELECT YK_CKGY.ID,YK_CKGY.DJH,YK_CKGY.BLRQ,YK_CKGY.ZBRQ,YK_CKGY.SHRQ,YK_CKGY.YT,YK_CKGY.ZDR,YK_CKGY.SHR,YK_CKGY.BZ,YK_CKGY.JZRQ,YK_CKGY.ZT,YK_CKGY.CKLX,(case YK_CKGY.CKLXwhen 09 then药房调借when 02 then科室退药when 03 then损耗出库when…...
CentOS 7 下 Nginx 的详细安装与配置
1、安装方式 1.1、通过编译方式安装 下载Nginx1.16.1的安装包 https://nginx.org/download/nginx-1.16.1.tar.gz 下载后上传至/home目录下。 1.2、通过yum方式安装 这种方式安装更简单。 2、通过编译源码包安装Nginx 2.1、安装必要依赖 sudo yum -y install gcc gcc-c sudo…...
Vue.js：现代前端开发的灵活框架
大家好！我是 [数擎 AI]，一位热爱探索新技术的前端开发者，在这里分享前端和 Web3D、AI 技术的干货与实战经验。如果你对技术有热情，欢迎关注我的文章，我们一起成长、进步！ 开发领域：前端开发 | A…...
VideoPlayer插件的功能和用法
文章目录 1. 概念介绍2. 使用方法2.1 实现步骤2.2 具体细节3. 示例代码4. 内容总结我们在上一章回中介绍了"如何获取文件类型"相关的内容，本章回中将介绍如何播放视频.闲话休提，让我们一起Talk Flutter吧。 1. 概念介绍 播放视频是我们常用的功能，不过Flutter官方…...
GPT-SoVITS学习01
1.什么是TTS TTS（Text-To-Speech）这是一种文字转语音的语音合成。类似的还有SVC（歌声转换）、SVS（歌声合成）等。 2.配置要求 GPT-SoVITS对电脑配置有较高的要求。 训练：对于Windows电脑&#…...
C语言程序环境和预处理详解
本章重点： 程序的翻译环境 程序的执行环境 详解：C语言程序的编译链接 预定义符号介绍 预处理指令 #define 宏和函数的对比 预处理操作符#和##的介绍 命令定义 预处理指令 #include 预处理指令 #undef 条件编译 程序的翻译环境和执行环…...
DBeaver执行本地的sql语句文件避免直接在客户端运行卡顿
直接在客户端运行 SQL 语句和通过加载本地文件执行 SQL 语句可能会出现不同的性能表现，原因可能包括以下几点： 客户端资源使用： 当你在客户端界面直接输入和执行 SQL 语句时，客户端可能会消耗资源来维护用户界面、语法高亮、自动完…...
【Linux】5.Linux常见指令以及权限理解（3）
文章目录 3. Linux指令如何把自己的公网IP配置到XShell里面日志3.9 时间相关的指令3.10 Cal指令3.11 find指令：（灰常重要）3.12 grep指令3.13 zip/unzip指令：3.14 tar指令（重要）：打包/解包&#…...
QT鼠标、键盘事件
一、鼠标 鼠标点击 mousePressEvent 鼠标释放 mouseReleaseEvent 鼠标移动 mouseMoveEvent 鼠标双击 mouseDoubleClickEvent 鼠标滚轮 QWheelEvent 二、键盘 键盘按下 keyPressEvent 键盘松开keyReleaseEvent 一、鼠标 #include <QMouseEvent> 鼠标点击 mouse…...
LabVIEW启动时Access Violation 0xC0000005错误
问题描述 在启动LabVIEW时，可能出现程序崩溃并提示以下错误：Error 0xC0000005 (Access Violation) Access Violation错误通常是由于权限不足、文件冲突或驱动问题引起的。以下是解决此问题的全面优化方案： 解决步骤 1. 以管理员身份运行…...
WPF中组件之间传递参数的方法研究
在 WPF (Windows Presentation Foundation) 中，组件（或称为控件）之间传递参数的方法有很多种。不同的传递方式适用于不同的应用场景，具体选择取决于应用需求、性能、可维护性等因素。以下是几种常见的传递参数的方法，并…...
本地大模型工具哪家强？对比Ollama、LocalLLM、LM Studio
前言 对于AIGC的初学者， 你一定想尝试在本地搭建一个私有的开源大模型，比如常见的chatglm、llama或者qwen。在实践过程你会发现，每个模型单独配置环境，下载模型文件，还要确保它们互不干扰。这不仅耗时耗力，…...
dify 常见问题总结 2025 持续更新
任何 Dify 问题评论区留言。 问题总结 Q：模型在回答时出现异常情况该如何处理？ A： 可以通过记录异常情况并分析其原因来进行处理。通常可以调整提示词、重新训练模型或增加异常处理机制来改进模型的表现。 关键词：提示词、模型、…...
贪心算法笔记
贪心算法笔记 大概内容 贪心就是对于一个问题有很多个步骤，我们在每一个步骤中都选取最优的那一个，最后得出答案。就是在一些函数中可行，但是有些比如二次函数，因为它的转折点不一定最优，就是不可行的。那么如何判断贪心呢？有这么几种 看时间复杂度，一般的就是 O ( n…...
切比雪夫插值
切比雪夫插值是一种基于切比雪夫节点的多项式插值方法，其优势是减少插值误差(特别是龙格现象：表现为高维插值时在边缘处插值误差骤增)。本文对其基本操作进行说明。 1. 切比雪夫节点 切比雪夫插值的核心是使用切比雪夫节点作为插值点。切比雪夫节点是切…...
西电-神经网络基础与应用-复习笔记
此为24年秋研究生课程复习笔记 导论 神经网络的研究方法分为 连接主义，生理学派，模拟神经计算。高度的并行、分布性，很强的鲁棒和容错性。便于实现人脑的感知功能(音频图像的识别和处理)。符号主义，心理学派，基于符号…...
【面试题】简单聊一下什么是云原生、什么是k8s、容器，容器与虚机相比优势
云原生（Cloud Native） 定义：云原生是一种构建和运行应用程序的方法，旨在充分利用云计算的优势。它涵盖了一系列技术和理念，包括容器化、微服务架构、自动化部署与管理等。特点：云原生应用程序被设计为可弹性…...
Vue 3 Diff 算法过程及基本实现方式
Vue 3 的 Diff 算法 Vue 3 使用的是一种高效的 DOM Diff 算法，主要用于在虚拟 DOM 树发生变化时，计算最小的操作以更新真实 DOM。相比 Vue 2，Vue 3 的 Diff 算法做了很多优化。 Diff 算法的背景与目的 虚拟 DOM 树的对比：在 Vue…...
EasyCVR视频汇聚平台如何配置webrtc播放地址？
EasyCVR安防监控视频系统采用先进的网络传输技术，支持高清视频的接入和传输，能够满足大规模、高并发的远程监控需求。平台支持多协议接入，能将接入到视频流转码为多格式进行分发，包括RTMP、RTSP、HTTP-FLV、WebSocket-FLV、HLS、W…...
PowerApps助力PowerBI实现数据写回
原文发布日期: 2019-08-01 06:03:50 0000 注：本文旨在介绍Power BI如何利用PowerApps实现用户在前端对数据源进行增删查改，关于此，你也可以在Google上找到更详细但较零散的资料 正文 在SSAS多维数据集中，开发者可以给数据开启&q…...
数据结构：DisjointSet
Disjoint Sets意思是一系列没有重复元素的集合。一种常见的实现叫做，Disjoint-set Forest可以以接近常数的时间复杂度查询元素所属集合，用来确定两个元素是否同属一个集合等，是效率最高的常见数据结构之一。 Wiki链接：https://en…...
React 元素渲染
React 元素渲染 React 是一个用于构建用户界面的 JavaScript 库，它允许开发人员创建大型应用程序，这些应用程序可以随着时间的推移而高效地更新和渲染。React 的核心概念之一是元素渲染，它描述了如何将 JavaScript 对象转换为 DOM࿰…...
【Leetcode 每日一题】3270. 求出数字答案
问题背景 给你三个 正 整数 n u m 1 num_1 num1， n u m 2 num_2 num2 和 n u m 3 num_3 num3。 数字 n u m 1 num_1 num1， n u m 2 num_2 num2 和 n u m 3 num_3 num3 的数字答案 k e y key key 是一个四位数，定义如下&…...
eNSP之家----ACL实验入门实例详解（Access Control List访问控制列表）（重要重要重要的事说三遍）
ACL实验（Access Control List访问控制列表）是一种基于包过滤的访问控制技术，它可以根据设定的条件对接口上的数据包进行过滤，允许其通过或丢弃。访问控制列表被广泛地应用于路由器和三层交换机。 准备工作 在eNSP里面部署设备&a…...
【git】-2 分支管理
目录 一、分支的概念 二、查看、创建、切换分支 1、查看分支-git branch 2、创建分支- git branch 分支名 3、切换分支- git checkout 分支名 三、git指针 -实现分支和版本间的切换 四、普通合并分支 git merge 文件名 五、冲突分支合并 【git】-初始gi…...
硬件设计-齐纳管
目录 摘要 详情 齐纳管的工作电流、 摘要 齐纳管（Zener Diode）是一种特殊的二极管，它能够在特定的反向电压下保持电流稳定。正常情况下，二极管只允许正向电流通过，而阻止反向电流流过。而齐纳管在一定的反向电压下可…...
Github出现复杂问题 无法合并 分支冲突太多 如何复原
目录 问题再现 解决思路 当然我所指的是在 main 分支开一个新的分支 删除本地文件夹 重新克隆 开一个新分支 切换分支 下载远程分支 文件覆盖 合并到主分支 问题再现 太复杂了 无法更改 编译器现状 全部崩溃了 无法更改 即使创建一个新的分支也无济于…...
《分布式光纤传感：架设于桥梁监测领域的 “智慧光网” 》
桥梁作为交通基础设施的重要组成部分，其结构健康状况直接关系到交通运输的安全和畅通。随着桥梁建设规模的不断扩大和服役年限的增长，桥梁结构的安全隐患日益凸显，传统的监测方法已难以满足对桥梁结构健康实时、全面、准确监测的需求。分布式…...
java_抽象类最佳实践-模板设计模式
基本介绍 模板设计模式可解决的问题 最佳实践 Template类 package com.hspedu.abstract_; abstract public class Template { //抽象类-模板设计模式public abstract void job();//抽象方法public void calculateTime() {//实现方法，调用 job 方法//得到开始的时间…...
linux网络 | http结尾、理解长连接短链接与cookie
前言：本节是http章节的最后一部分，主要解释一些小概念。讲解到了HTTP的方法，表单， 重定向等等。 现在废话不多说， 开始我们的学习吧。 ps：本节内容都是概念， 知道就行， 友友们放心观…...
dtdug汇编指令练习
r 通用寄存器 m 代表内存 imm 代表立即数 r8 代表8位通用寄存器 m8 代表8位内存 imm8 代表8位立即数 mov指令练习 MOV 的语法: mov 目标操作数，源操作数 作用:拷贝源操作数到目标操作数 1、源操作数可以是立即数、通用寄存器、段寄存器、或者内存单元. 2、目标操作数…...
Windows自动化Python pyautogui RPA操作
依赖包 import time import pyautogui import pyperclip import os import psutil from pywinauto.application import Application睡眠： pyautogui.sleep(1)鼠标事件： pyautogui.moveTo(100, 100, duration0.25) pyautogui.click(100, 100, duration0.…...
Ollama私有化部署大语言模型LLM
目录 一、Ollama介绍 二、安装Ollama 1、标准安装 2、国内加速 三、升级Ollama版本 四、使用Ollama 1、启动ollama服务 systemctl start ollama.service ollama serve 2、使用ollama命令 ollama run 运行模型 ollama ps 查看正在运行的模型 ollama list 查看(本地)…...