当前位置：首页 > news >正文

Python生成器：高效处理大数据的秘密武器

news 来源：原创 2025/6/21 22:56:48

生成器概述

生成器是 Python 中的一种特殊迭代器，通过普通函数的语法实现，但使用 yield 语句返回数据。生成器自动实现了 __iter__() 和 __next__() 方法，因此可以直接用于迭代。生成器的核心特点是延迟计算（lazy evaluation），即只在需要时生成下一个值，而不是一次性计算并存储所有值。

生成器的作用与优势

作用：

节省内存空间
按需生成数据项
支持无限序列生成
简化复杂迭代逻辑的代码

优势：

内存效率高，适用于大数据集
可以创建惰性求值的数据流
代码结构更加简洁易读

生成器的使用场景

场景	描述
处理大数据集	当数据量非常大以至于无法全部加载到内存中时，生成器可以逐个生成数据项
创建无限序列	如自然数列、斐波那契数列等理论上没有终点的数据流
简化代码结构	在某些情况下，使用生成器可以让代码更加简洁、易维护

生成器表达式 vs 列表推导式

类型	语法	是否立即执行	示例	特点
列表推导式	使用方括号 `[]`	✅ 是	`[i * 5 for i in range(5)]`	立即计算结果并保存在内存中
生成器表达式	使用圆括号 `()`	❌ 否	`(i * 5 for i in range(5))`	延迟计算，每次迭代才会生成一个值

示例代码：

li = [i * 5 for i in range(5)]
print(li)  # 输出: [0, 5, 10, 15, 20]gen = (i * 5 for i in range(5))
print(gen)  # 输出: <generator object ...>
print(gen.__next__())  # 输出: 0

生成器函数：yield 的作用

带有 yield 关键字的函数称为生成器函数。它不像普通函数那样返回一个值后就结束，而是可以在多个调用之间“暂停”和“恢复”。类似于中断函数。

yield 的特点：

每次调用 next() 会从上次 yield 的位置继续执行
保留函数的状态
返回值不会被一次性计算出来，而是按需生成

示例代码：

def test():yield 'a'yield 'b'yield 'c'gen = test()
print(gen.__next__())  # 输出: a
print(gen.__next__())  # 输出: b
print(gen.__next__())  # 输出: c

可迭代对象、迭代器、生成器三者关系

名称	定义	特点
可迭代对象（Iterable）	实现了 `__iter__()` 方法的对象	可以用 `for...in` 遍历，如 `list`、`str`、`dict`、迭代器、生成器
迭代器（Iterator）	实现了 `__next__()` 方法的对象	可以使用 `next()` 获取下一个元素
生成器（Generator）	一种特殊的迭代器，由 `yield` 函数或生成器表达式产生	自动实现 `__iter__()` 和 `__next__()`

三者关系图示：

可迭代对象包含迭代器迭代器包含生成器

可迭代对象 ⊃ 迭代器 ⊃ 生成器

实战对比：列表 vs 生成器处理大数据

比较两种方式处理一千万个数字（0~9999999），并对每个数字进行平方操作。

使用模块：

time：用于计时
sys：用于查看内存占用

代码如下：

import time
import sys# 方法一：使用列表
def use_list():start_time = time.time()numbers = [i for i in range(10_000_000)]  # 生成列表squares = [x * x for x in numbers]         # 计算平方end_time = time.time()print(f"【列表】耗时: {end_time - start_time:.4f} 秒")print(f"【列表】占用内存: {sys.getsizeof(numbers) + sys.getsizeof(squares)} 字节")# 方法二：使用生成器
def number_generator(n):for i in range(n):yield idef use_generator():start_time = time.time()gen = number_generator(10_000_000)squares = (x * x for x in gen)  # 生成器表达式，不会立即计算count = 0for square in squares:count += 1  # 强制执行生成器end_time = time.time()print(f"【生成器】耗时: {end_time - start_time:.4f} 秒")print(f"【生成器】生成器对象本身占用内存: {sys.getsizeof(gen)} 字节")# 运行测试
print("=== 开始测试 ===\n")
use_list()
print("\n------------------------\n")
use_generator()
print("\n=== 测试结束 ===")

结果分析（根据机器性能不同，数值可能略有差异）：

指标	列表方式	生成器方式
内存占用	非常大（约 184MB）	极小（约 112B）
耗时	略快	略慢
是否适合大数据	❌ 不适合	✅ 非常适合

总结

生成器是一种强大而高效的工具，特别适用于：

数据量庞大的场景
需要延迟加载的场景
需要节省内存的场景
需要简化复杂迭代逻辑的场景

虽然生成器在速度上略逊于列表，但它在内存使用上的优势使其成为处理大规模数据的首选方式。

Python生成器：高效处理大数据的秘密武器

生成器概述生成器是 Python 中的一种特殊迭代器，通过普通函数的语法实现，但使用 yield 语句返回数据。生成器自动实现了 __iter__() 和 __next__() 方法，因此可以直接用于迭代。生成器的核心特点是延迟计算（lazy evaluation&…...

编程日记 2025/6/21 22:56:48

C++11（2）

文章目录右值引用和移动语义在传参中的提效list容器push_back & insert右值版本的模拟实现类型分类 (了解即可）引用折叠万能引用完美转发（跟引用折叠有关） 简介：这篇文章是继续介绍C11的一些新语法知识点，也是对…...

编程日记 2025/5/25 12:02:16

unity terrain 在生成草，树，石头等地形障碍的时候，无法触发碰撞导致人物穿过模型

1.terrain地形的草，石头之类要选择模型预制体 2.在人物身上挂碰撞器和刚体，或者单挂一个character controller组件也行 3.在预制体上挂碰撞盒就好了，挂载meshcollider会导致碰撞无效...

编程日记 2025/5/28 7:50:45

以项目的方式学QT开发C++（二）——超详细讲解（120000多字详细讲解，涵盖qt大量知识）逐步更新！

API 描述函数原型参数说明 push_back() 在 list 尾部添加一个元素 void push_back(const T& value); value ：要添加到尾部的元素这个示例演示了如何创建 std::list 容器，并对其进行插入、删除和迭代操作。在实际应用中&am…...

编程日记 2025/5/23 19:18:14

养生：健康生活的极简攻略

在追求高效生活的当下，养生也能化繁为简。通过饮食、运动、睡眠与心态的精准调节，就能轻松为健康续航。饮食上，遵循 “均衡、节制” 原则。早餐用一杯热豆浆搭配水煮蛋和半个苹果，唤醒肠胃活力；午餐以糙米饭为主食&am…...

编程日记 2025/5/24 5:05:44

C语言-8.数组

8.1数组 8.1.1初试数组如何写一个程序计算用户输入的数字的平均数？ #include<stdio.h> int main() {int digit;//输入要求平均数的数字double sum=0;//记录输入数字的和int count=0;//记录输入数字的个数printf("请输入一组数字，用来求平均数，以-1结束\n&quo…...

编程日记 2025/5/29 15:30:11

代码随想录算法训练营第四十一天

LeetCode题目: 739. 每日温度496. 下一个更大元素 I503. 下一个更大元素 II 其他: 今日总结往期打卡 739. 每日温度跳转: 739. 每日温度学习: 代码随想录公开讲解问题: 给定一个整数数组 temperatures ，表示每天的温度，返回一个数组 answer &…...

编程日记 2025/6/21 22:55:16

c++,windows,多线程编程详细介绍

目录一、C11 标准库 <thread> 实现多线程编程1. 基本线程创建2. 线程管理3. 线程传参4. 同步机制5. 异步编程二、Windows API 实现多线程编程1. 基本线程创建2. 线程管理3. 线程传参三、两种方法的对比在 Windows 平台上使用 C 进行多线程编程，可以通过 C…...

编程日记 2025/5/16 19:51:09

Python多线程

Python多线程作为一名Python开发者，你是否遇到过这样的场景：程序需要同时处理多个任务，但单线程执行效率太低？这时候，多线程技术就能派上用场了。本文将带你深入浅出地理解Python多线程，并通过丰富的示例…...

编程日记 2025/6/21 22:37:51

VisionPro斑点寻找工具Blob

斑点寻找工具Blob 斑点概述斑点分析探测并且分析图像中的二维形状Blob是先根据用户设定好的灰阶范围对图像进行分割，然后对目标进行查找和分析。斑点报告多种属性： 面积质心周长主轴…….. 应用场景 Blob分析非常适合以下场合的应用： 对…...

编程日记 2025/5/16 19:18:10

【Python】【面试凉经】Fastapi为什么Fast

核心的关键词：ASGI、原生异步、协程、uvloop、异步生态、Pydantic编译时生成校验代码、DI system预计算依赖树 interviewer 00:32:49 FastAPI 它优越于其他一些主流web框架像 django或 flask 的这个点在哪里？ 我 00:33:00fastapi 就是说它的 fast 性能高…...

编程日记 2025/5/16 19:12:52

LocalDateTime类型的时间在前端页面不显示或者修改数据时因为LocalDateTime导致无法修改，解决方案

1.数据库中的时间数据，在控制台可以正常返回，在前端无法返回，即显示空白，如下图所示: 2.这种问题一般时由于数据库和我们实体类的名称不一致引起的，我们数据库一般采用_的方式命名，但是在Java中我们一般采用…...

编程日记 2025/5/27 5:19:27

【Linux】gcc从源码编译安装，修改源码，验证修改的源码

前阵子电脑使用的win10，win10过几天就让升级，烦得不行。然后把操作系统切换到ubuntu24的样子,然后也是让升级，又烦的不行，然后切换到ubuntu server版本，感觉用起来要舒服些了，至少不会天天让升级。回到标…...

编程日记 2025/6/21 22:46:38

牛客网NC22157:牛牛学数列2

牛客网NC22157:牛牛学数列2 📝 题目描述 🔍 输入输出说明输入描述： 输入一个整数 N，范围在 0 到 1000 输出描述： 输出一个保留6位小数的浮点数示例： 输入：2输出：1.500000 …...

编程日记 2025/5/29 10:42:24

智能手表集成测试报告（Integration Test Report）

📄 智能手表集成测试报告（Integration Test Report） 项目名称：Aurora Watch S1 测试阶段：系统集成测试测试周期：2025年xx月xx日 – 2025年xx月xx日报告编号：AW-S1-ITR-2025-001 版本&#xf…...

编程日记 2025/5/22 19:41:31

1C:ENTERPRISE 8.3 实用开发者指南-示例和标准技术（Session1-Session3）

1C:ENTERPRISE 8.3（1课-3课） 本博客是全网首个关于1C:Enterprice的中文指南，支持快速吸收使用 1C:Enterprise 8.3 软件开发和调整应用程序的技术在这篇博客中我会基于实际应用示例，演示各种系统对象的结构、功能和用法。使用内…...

编程日记 2025/6/21 22:29:28

AgenticSeek开源的完全本地的 Manus AI。无需 API，享受一个自主代理，它可以思考、浏览 Web 和编码，只需支付电费。

一、软件介绍文末提供程序和源码下载 AgenticSeek开源的完全本地的 Manus AI。无需 API，享受一个自主代理，它可以思考、浏览 Web 和编码，只需支付电费。这款支持语音的 AI 助手是 Manus AI 的 100% 本地替代品 ，可自主浏览网页…...

编程日记 2025/5/20 18:33:18

Java类一文分解:JavaBean,工具类,测试类的深度剖析

解锁Java类的神秘面纱：从JavaBean到测试类的深度剖析前言一、JavaBean 类：数据的守护者（一）JavaBean 类是什么（二）JavaBean 类的特征（三）JavaBean 类的使用场景（四&…...

编程日记 2025/6/21 22:54:06

2025认证杯数学建模第二阶段C题：化工厂生产流程的预测和控制，思路+模型+代码

2025认证杯数学建模第二阶段思路模型代码，详细内容见文末名片一、探秘化工世界：问题背景大揭秘在 2025 年 “认证杯”数学中国数学建模网络挑战赛第二阶段 C 题中，我们一头扎进了神秘又复杂的化工厂生产流程预测与控制领域。想象一下&…...

编程日记 2025/6/21 22:49:09

day 17 无监督学习之聚类算法

一、聚类流程 1. 利用聚类发现数据模式无监督算法中的聚类，目的就是将数据点划分成不同的组或 “簇”，使得同一簇内的数据点相似度较高，而不同簇的数据点相似度较低，从而发现数据中隐藏的模式。 2. 对聚类后的类别特征进行可视…...

编程日记 2025/5/29 11:53:06

渗透测试流程-上篇

#作者：允砸儿 #日期：乙巳青蛇年四月十八本期就开始进入到网安的内容了笔者会和大家一起开始实操练习。在此之前笔者的老师和我说要知己知彼，胆大心细。笔者也把他的理念传出去，网安的知识比较复杂且使用的工具很多。笔者看过…...

编程日记 2025/5/25 18:35:53

Ubuntu离线安装Minio

MinIO 支持在 Linux 环境下离线安装，非常适合内网或无法联网的服务器环境。下面是详细的 Linux 离线安装 MinIO 服务端的步骤： ✅ 一、准备工作 1. 创建安装目录（可选） mkdir -p /opt/minio cd /opt/minio2. 下载 MinIO 可执行…...

编程日记 2025/6/3 13:51:37

2025年山东省数学建模F题思路

2025年山东省数学建模F题思路一、问题背景在现代金融市场中，资产价格波动呈现出非线性、高噪声、强跨市场联动性等复杂动态特征。例如，2020年新冠疫情期间，美股数次熔断事件引发全球股市剧烈震荡；而2023年美元加息周期&#x…...

编程日记 2025/6/21 22:55:15

C++核心编程--3 函数提高

函数的一些高级用法。 3.1 函数形参默认值 C中，函数的形参可以有默认值，调用函数时，未进行赋值的形参会使用默认值 void func(int f_var1 10, int f_var2 20); // 声明 void func(int f_var1, int f_var2) // 定义 {std::cout <&l…...

编程日记 2025/6/1 18:38:08

AI Agent开发第67课-彻底消除RAG知识库幻觉(1)-文档分块全技巧

开篇在上篇《AI Agent开发第66课-彻底消除RAG知识库幻觉-带推理的RAG》放出后，网友们反响很大。有得告诉我：原来还有Rewrite这么一招？早知道这一招很多之前的一些遗留问题都能解决了。不过在上一篇结尾我已经提到了，要真正解决一个AI Agent在响应时产生的幻觉我们用提示语…...

编程日记 2025/6/1 15:46:48

c++多态面试题之（析构函数与虚函数）

有以下问题展开析构函数要不要定义成虚函数？基类的析构函数要不要定义成虚函数？如果不定义会有什么问题，定义了在什么场景下起作用。 1. 基类析构函数何时必须定义为虚函数？ 当且仅当通过基类指针（或引用）…...

编程日记 2025/5/29 13:12:18

buildroot使用外部编译链编译bluez蓝牙工具

buildroot使用外部编译链编译bluez蓝牙工具主要参见这个csdn buildroot使用外部编译链编译bluez蓝牙工具_bluez编译-CSDN博客设置交叉编译工具路径时，设置到bin目录之前如果menuconfig不能改路径，就去 .config下去改这样才能编译过...

编程日记 2025/5/26 7:39:36

自定义类型：结构体

1.结构体类型的声明 1.1.1结构的声明 struct tag {member-list; }variable-list; 描述一个学生：只包含了学生的名字、年龄、性别、学号 struct Stu {char name[20];//名字int age;//年龄char sex[5];//性别char id[20];//学号 }; 1.1.2 结构体变量的创建和初始…...

编程日记 2025/6/4 7:47:01

以项目的方式学QT开发C++（一）——超详细讲解（120000多字详细讲解，涵盖qt大量知识）逐步更新！

以项目的方式学QT开发以项目的方式学QT开发 P1 QT介绍 1.1 QT简介 1.2 QT安装 1.2.1 Windows QT安装 1.2.2 QT Creator 使用基本介绍 P2 C基础 2.1 命名空间 2.1.1 命名空间作用 2.1.2 自定义命名空间 2.2 从C语言快速入门 2.2.1 输入输出 2.2.2 基…...

编程日记 2025/5/30 17:13:50

Spring框架的事务管理

引言在企业级应用开发中，事务管理是一个至关重要的环节，它确保了数据的一致性和完整性。Spring 框架为我们提供了强大而灵活的事务管理功能，能够帮助开发者更轻松地处理复杂的事务场景。本文将深入探讨 Spring 框架的事务管理，包…...

编程日记 2025/5/27 15:29:23

TypeScript：类

一、基本概念 TypeScript 类是基于 ES6 类的语法扩展，增加了类型注解和访问修饰符等特性，提供了更强大的面向对象编程能力。二、基本语法 class Person {name: string;age: number;constructor(name: string, age: number) {this.name name;this.ag…...

编程日记 2025/5/25 0:31:27

Python继承

在Python编程中，继承是一个让新手又爱又怕的概念。今天我们就来聊聊这个看似高深实则简单的特性，保证让你看完后能拍着胸脯说：“继承嘛，小菜一碟！” 一、什么是继承？ 想象一下你正在玩一个养成游戏。你创…...

编程日记 2025/5/31 14:38:25

浏览器宝塔访问不了给的面板地址

注意你们的端口，服务器的端口开放了没！！！宝塔给的端口是否在范围之内！！ 我的当时是1000/10000 （阿里云服务器） 但是宝塔给的是 4W多对不上！！ 更换安全组…...

编程日记 2025/5/28 13:16:26

强化学习入门：马尔科夫奖励过程

文章目录前言1、组成部分2、应用例子3、马尔科夫奖励过程总结前言最近想开一个关于强化学习专栏，因为DeepSeek-R1很火，但本人对于LLM连门都没入。因此，只是记录一些类似的读书笔记，内容不深，大多数只是一些概念的东…...

编程日记 2025/5/24 1:25:00

RHCE实验：通过脚本判断用户是否存在

一、实验要求 1、写一个脚本，使用函数完成 1 、函数能够接受一个参数，参数为用户名； 判断一个用户是否存在如果存在， 就返回此用户的 shell 和 UID ；并返回正常状态值； 如果不存在，就说此用…...

编程日记 2025/5/29 21:22:47

Windows软件插件-音视频捕获

下载本插件音视频捕获就是获取电脑外接的话筒，摄像头，或线路输入的音频和视频。本插件捕获电脑外接的音频和视频。最多可以同时获取4个视频源和4个音频源。插件可以在win32和MFC程序中使用。使用方法首先，加载本“捕获”DLL&#xff0c…...

编程日记 2025/5/19 13:40:26

每日算法 - 【Swift 算法】Two Sum 问题：从暴力解法到最优解法的演进

【Swift 算法】Two Sum 问题：从暴力解法到最优解法的演进本文通过“Two Sum”问题，带你了解如何从最直观的暴力解法，逐步优化到高效的哈希表解法，并对两者进行对比，适合算法入门和面试准备。 💡 问题描述 …...

编程日记 2025/5/31 15:23:45

2025年，如何制作并部署一个完整的个人博客网站

欢迎访问我的个人博客网站：欢迎来到Turnin的个人博客 github开源地址：https://github.com/Re-restart/my_website 前言 2024年年初，从dji实习回来之后，我一直想着拓宽自己的知识边界。在那里我发现虽然大家不用java，…...

编程日记 2025/5/19 14:14:38

深度学习框架---TensorFlow概览

一、TensorFlow 概述 1. 发展历程 1.x 版本：基于静态图（Graph）和会话（Session），需预先定义计算图，调试较复杂。2.x 版本：默认启用动态图（Eager Execution）&…...

编程日记 2025/5/28 7:40:03

鸿蒙OSUniApp制作自定义的下拉菜单组件（鸿蒙系统适配版）#三方框架 #Uniapp

UniApp制作自定义的下拉菜单组件（鸿蒙系统适配版） 前言在移动应用开发中，下拉菜单是一个常见且实用的交互组件，它能在有限的屏幕空间内展示更多的选项。虽然各种UI框架都提供了下拉菜单组件，但在一些特定场景下&…...

编程日记 2025/5/29 10:27:45

扣子(Coze)案例：工作流生成小红书心理学卡片

大家好！我是 Robin。专注于 AI 技术探索与实践，持续分享 Coze 智能体、Coze 模板，以及 Coze 工作流搭建案例。工作流智能体作用： 输入需要生成小红书心理学知识卡片的数量，工作流自动批量生成图文。首先演示一下生…...

编程日记 2025/5/23 19:11:27

深度理解用于多智能体强化学习的单调价值函数分解QMIX算法：基于python从零实现

引言：合作式多智能体强化学习与功劳分配在合作式多智能体强化学习（MARL）中，多个智能体携手合作，共同达成一个目标，通常会收到一个团队共享的奖励。在这种场景下，一个关键的挑战就是功劳分配&a…...

编程日记 2025/5/29 18:16:04

C语言经典笔试题目分析（持续更新）

1. 描述下面代码中两个static 各自的含义 static void func (void) {static unsigned int i; }static void func(void) 中的 static 作用对象：函数 func。含义： 限制函数的作用域（链接属性），使其仅在当前源文件&…...

编程日记 2025/5/29 16:45:55

射击游戏demo11

完善地图，加载出装饰品，检测人员与地面的碰撞，检测子弹与岩壁的碰撞，检测手雷与地面的碰撞。 import pygame import sys import os import random import csv # 初始化Pygame pygame.init()# 屏幕宽度 SCREEN_WIDTH 1200 # 屏幕高…...

编程日记 2025/5/30 0:33:21

多智能体Multi-Agent应用实战与原理分析

一：Agent 与传统工具调用的对比在当今的开发环境中，Agent 的出现极大地简化了工作流程。其底层主要基于提示词、模型和工具。用户只需向 Agent 输入需求，Agent 便会自动分析需求，并利用工具获取最终答案。而传统方式下，若没有 Agent，我们则需要手动编码来执行工具，还要…...

编程日记 2025/5/29 20:08:47

专项智能练习（定义判断）_DA_01

1. 单选题热传导是介质内无宏观运动时的传热现象，其在固体、液体和气体中均可发生。但严格而言，只有在固体中才是纯粹的热传导，在流体（泛指液体和气体）中又是另外一种情况，流体即使处于静止状态&#xff0…...

编程日记 2025/5/29 1:04:27

关于NLP自然语言处理的简单总结

参考： 什么是自然语言处理？看这篇文章就够了！ - 知乎 (zhihu.com) 所谓自然语言理解，就是研究如何让机器能够理解我们人类的语言并给出一些回应。自然语言处理（Natural Language Processing，NLP&#xff0…...

编程日记 2025/5/28 8:46:20

SLAM定位与地图构建

SLAM介绍 SLAM全称Simultaneous Localization And Mapping，中文名称同时定位与地图构建。旨在让移动设备在未知环境中同时完成以下两个任务（定位需要地图，而建图又依赖定位信息，两者互为依赖）： 定位&#…...

编程日记 2025/5/20 8:20:35

REST架构风格介绍

一.REST（表述性状态转移） 1.定义 REST（Representational State Transfer）是由 Roy Fielding 在 2000 年提出的一种软件架构风格，用于设计网络应用的通信模式。它基于 HTTP 协议，强调通过统一的接口&#…...

编程日记 2025/6/1 18:35:53

前端流行框架Vue3教程：16. 组件事件配合`v-model`使用

组件事件配合v-model使用如果是用户输入，我们希望在获取数据的同时发送数据配合v-model 来使用，帮助理解组件间的通信和数据绑定。 🧩 第一步：创建子组件（SearchComponent.vue） 这个组件用于处理用户的搜…...

编程日记 2025/5/31 17:39:50