使用Python pickle模块进行序列化
使用Python pickle模块进行序列化
在Python中,pickle
模块是一个用于实现数据序列化与反序列化的强大工具。与json
模块不同的是,pickle
支持将几乎所有的Python对象进行序列化,包括字典、列表、类实例,甚至函数。这使得它在处理复杂数据时具有明显优势。
1. 什么是pickle
模块
- 序列化:
pickle
模块可以将Python对象转换为二进制格式,便于存储到文件或通过网络传输。 - 反序列化:
pickle
模块可以将二进制格式的数据还原为原始的Python对象。
由于pickle
生成的是二进制数据,因此它并不适合人类直接阅读,但对于存储和传输复杂的数据结构非常高效。
2. 使用pickle
进行序列化
pickle
模块提供了pickle.dump()
和pickle.dumps()
方法来实现序列化:
pickle.dump()
:将Python对象序列化并写入文件。pickle.dumps()
:将Python对象序列化为二进制格式的字符串。
示例:将Python对象序列化为二进制数据
import pickle# Python数据
data = {"name": "Alice","age": 30,"skills": ["Python", "Machine Learning", "Data Science"]
}# 将数据序列化并写入文件
with open("data.pkl", "wb") as file: # "wb"表示写入二进制文件pickle.dump(data, file)
print("数据已序列化并保存到 data.pkl 文件中。")# 将数据序列化为二进制字符串
binary_data = pickle.dumps(data)
print("序列化后的二进制数据:")
print(binary_data)
解析:
在这段代码中,我们首先创建了一个包含用户信息的Python字典data
,然后使用pickle.dump()
方法将其保存到一个名为data.pkl
的文件中。同时,使用pickle.dumps()
方法将数据转换为二进制字符串并输出。通过这两种方式,pickle
模块有效地实现了Python对象的序列化。
3. 使用pickle
进行反序列化
pickle
模块提供了pickle.load()
和pickle.loads()
方法来实现反序列化:
pickle.load()
:从文件中加载二进制数据并将其还原为Python对象。pickle.loads()
:从二进制字符串加载数据并将其还原为Python对象。
示例:从文件和二进制字符串中反序列化数据
# 从文件中加载数据
with open("data.pkl", "rb") as file: # "rb"表示读取二进制文件loaded_data = pickle.load(file)
print("从 data.pkl 文件加载的Python对象:")
print(loaded_data)# 从二进制字符串中加载数据
decoded_data = pickle.loads(binary_data)
print("从二进制数据加载的Python对象:")
print(decoded_data)
解析:
通过pickle.load()
方法,我们可以从文件中恢复原始的Python对象,而pickle.loads()
方法则可以直接将二进制字符串还原为Python对象。这两种方式可以灵活地满足数据恢复的需求。代码中展示了如何从文件和字符串分别加载已保存的序列化数据。
4. 使用pickle
的注意事项
- 安全性问题:
pickle
模块不适用于不受信任的数据,因为反序列化可能会执行恶意代码。只有在确保数据来源安全时才使用pickle
。 - 跨版本兼容性:
pickle
数据在不同版本的Python之间可能无法兼容。如果需要跨版本使用,建议采用更通用的格式如JSON。 - 二进制文件:
pickle
生成的数据是二进制格式,无法直接编辑或查看,需要通过代码加载和解析。
5. 处理复杂数据的优势
相比于json
模块,pickle
具有以下优势:
- 支持复杂对象:
pickle
可以序列化Python中的几乎所有对象,包括类实例、函数和嵌套数据结构。 - 高效存储:
pickle
以二进制格式存储数据,文件大小通常比JSON更小。
示例:序列化自定义对象
class Person:def __init__(self, name, age):self.name = nameself.age = agedef __repr__(self):return f"Person(name={self.name}, age={self.age})"# 创建一个类实例
person = Person("Bob", 40)# 序列化类实例
with open("person.pkl", "wb") as file:pickle.dump(person, file)# 反序列化类实例
with open("person.pkl", "rb") as file:loaded_person = pickle.load(file)
print("从 person.pkl 文件加载的类实例:")
print(loaded_person)
解析:
在这段代码中,我们创建了一个自定义类Person
并实例化一个对象person
。通过pickle.dump()
方法将这个对象序列化并存储到文件中。随后,我们使用pickle.load()
方法将文件中的数据反序列化为Person
对象。整个过程中,pickle
模块展示了强大的序列化能力,能够轻松处理复杂对象。
6. 总结
pickle
模块是Python中一个强大的工具,特别适用于需要处理复杂数据结构的场景。通过pickle
,我们可以高效地保存和加载多种数据类型,包括自定义对象和嵌套数据结构。然而,开发者在使用pickle
时应注意其安全性和跨版本兼容性问题。在实际项目中,pickle
为解决复杂数据的持久化提供了极大的便利。
相关文章:
使用Python pickle模块进行序列化
使用Python pickle模块进行序列化 在Python中,pickle模块是一个用于实现数据序列化与反序列化的强大工具。与json模块不同的是,pickle支持将几乎所有的Python对象进行序列化,包括字典、列表、类实例,甚至函数。这使得它在处理复杂…...
责任链模式(ChainofResponsibilityPattern)
文章目录 1.定义2.结构3.问题描述代码实现 1.定义 允许你将请求沿着处理者链进行发送。 收到请求后, 每个处理者均可对请求进行处理, 或将其传递给链上的下个处理者。 2.结构 处理者(Handler):声明了所有具体处理者的通用接口。 该接口通常…...
自定义 Element Plus 树状表格图标
在开发使用 Element Plus 的树状表格时,默认的展开/收起图标可能不能满足设计需求。为了更符合项目要求,可以通过覆盖样式的方式来自定义这些图标。以下记录了实现自定义树状表格图标的完整过程。 实现效果 有子节点且未展开时:显示一个加号…...
Vue2:用一个例子理解一下vue template中属性前面的冒号“:“
常用写法 table中绑定数据,我们通常这么写: <el-table :data="tableData" style="width: 100%">data() {tableData:[], } data绑定变量名可变的动态对象 但是上一篇文中,因为要生成15组相似的table,它们的格式都一样,只是数据…...
AF3 partition_tensor函数源码解读
该函数将输入张量按原子维度 (n_atoms) 分块,以局部窗口方式滑动,生成 滑动窗口张量。 在神经网络中,尤其是处理大规模序列数据(例如蛋白质原子特征)时,直接对整个序列执行操作可能会导致计算和内存效率问题。partition_tensor 函数通过对输入张量进行分块(partitions)…...
C++类与对象上
1.面向过程和面向对象初步认识 C语言是面向过程的,关注的是过程,分析出求解问题的步骤,通过函数调用逐步解决问题 例如洗衣服: C是基于面向对象的,关注的是对象,讲一件事拆分成不同的对象,靠对…...
中巨伟业推出高安全高性能32位智能卡内核可编程加密芯片SMEC88SP/ST
1、产品特性 以最高安全等级的智能卡芯片内核为基础,具有极高的软硬件安全性 实现客户关键功能或算法代码下载,用户可以灵活实现自有知识产权的保护 标准 SOP8、SOT23-6 封装形式,器件封装小 标准 I2C 接口,具有接…...
Python微博动态爬虫
本文是刘金路的《语言数据获取与分析基础》第十章的扩展,详细解释了如何利用Python进行微博爬虫,爬虫内容包括微博指定帖子的一级评论、评论时间、用户名、id、地区、点赞数。 整个过程十分明了,就是用户利用代码模拟Ajax请求,发…...
包管理工具npm、yarn、pnpm、cnpm详解
1. 包管理工具 1.1 npm # 安装 $ node 自带 npm# 基本用法 npm install package # 安装包 npm install # 安装所有依赖 npm install -g package # 全局安装 npm uninstall package # 卸载包 npm update package # 更新包 npm run script #…...
Docker和Kubernetes(K8s)区别
目录 1. Docker Docker 的核心概念: Docker 的功能: Docker 常见使用场景: 2. Kubernetes (K8s) Kubernetes 的核心概念: Kubernetes 的功能: Kubernetes 常见使用场景: 3.Docker 和 Kubernetes 的…...
龙智出席2024零跑智能汽车技术论坛,分享功能安全、需求管理、版本管理、代码扫描等DevSecOps落地实践
龙智快讯 2024年12月5日,由零跑和盖世汽车主办的“2024零跑智能汽车技术论坛”在杭州零跑总部圆满落幕。此次技术论坛聚焦AI语言大模型、AUTOSAR AP平台、DevOps、端到端自动驾驶等热点话题展开探讨,旨在推动智能汽车技术的创新与发展。 龙智作为国内领先…...
SQL进阶技巧:如何分析双重职务问题?
目录 0 背景描述 1 数据准备 2 问题分析 方法2:利用substr函数,充分利用数据特点【优秀解法】 3 小结 0 背景描述 在 CompuServe 刚成立时,Nigel Blumenthal 遇到一个应用程序中的困难。他需要获取公司人员所担任角色的源表,…...
SAQ问卷的定义,SAQ问卷是什么?
SAQ问卷,全称为可持续发展评估问卷(Sustainability Assessment Questionnaire),是一种在线自评工具,其深远意义与广泛应用在当今商业环境中愈发凸显。它不仅是一种衡量企业在环境、社会和治理(ESGÿ…...
Express.js 有哪些常用的中间件?
在使用 Express.js 开发应用程序时,中间件(Middleware)是处理请求和响应的关键组件。它们可以执行各种任务,如解析请求体、添加HTTP头部、记录日志等。以下是一些常用的中间件: body-parser 用于解析传入的请求体。它…...
K8s DaemonSet的介绍
1. 什么是 DaemonSet? DaemonSet 是 Kubernetes 中的一种控制器,用于确保每个(或某些指定的)节点上运行一个 Pod 副本。它是为部署守护进程设计的,例如需要在每个节点上运行的任务或工具。 特点: Pod 会随…...
同步异步日志系统:设计模式
设计模式是前辈们对代码开发经验的总结,是解决特定问题的⼀系列套路。它不是语法规定,⽽是⼀ 套⽤来提⾼代码可复⽤性、可维护性、可读性、稳健性以及安全性的解决⽅案。 为什么会产生设计模式这样的东西呢?就像人类历史发展会产生兵法。最开…...
【GO基础学习】Gin 框架中间件的详解
文章目录 中间件详解中间件执行全局中间件路由级中间件运行流程中间件的链式执行中断流程 代码示例 gin框架总结 中间件详解 Gin 框架中间件是其核心特性之一,主要用于对 HTTP 请求的处理进行前置或后置的逻辑插入,例如日志记录、身份认证、错误处理等。…...
ubuntu停止.netcore正在运行程序的方法
在Ubuntu系统中停止正在运行的.NET Core程序,你可以使用以下几种方法: 使用kill命令: 如果你知道.NET Core程序的进程ID(PID),你可以直接使用kill命令来停止它。首先,使用ps命令配合grep来查找.…...
图神经网络_图嵌入_Struc2Vec
0 背景 之前的node embedding方式,都是基于近邻关系,但是有些节点没有近邻,也有结构相似性。如图中的u、v节点。 struc2vec算法适用于捕获结构相似性。 1 相似度(距离)计算 1.1 公式 f k ( u , v ) f k − 1 ( u …...
LabVIEW应用在工业车间
LabVIEW作为一种图形化编程语言,以其强大的数据采集和硬件集成功能广泛应用于工业自动化领域。在工业车间中,LabVIEW不仅能够实现快速开发,还能通过灵活的硬件接口和直观的用户界面提升生产效率和设备管理水平。尽管其高成本和初期学习门槛可…...
js-000000000000
1、js书写的位置 - 内部 <body> <!-- 习惯把 js 放到 /body 的后面 --> <script> console.log(这是内部 js 的书写位置) alert(内部js) </script> </body> <body><!-- 习惯把 js 放到 /body 的后面 --><script>console.log(这…...
【微信小程序】3|首页搜索框 | 我的咖啡店-综合实训
首页-搜索框-跳转 引言 在微信小程序中,首页的搜索框是用户交互的重要入口。本文将通过“我的咖啡店”小程序的首页搜索框实现,详细介绍如何在微信小程序中创建和处理搜索框的交互。 1. 搜索函数实现 onClickInput函数在用户点击搜索框时触发&#x…...
虚幻引擎是什么?
Unreal Engine,是一款由Epic Games开发的游戏引擎。该引擎主要是为了开发第一人称射击游戏而设计,但现在已经被成功地应用于开发模拟游戏、恐怖游戏、角色扮演游戏等多种不同类型的游戏。虚幻引擎除了被用于开发游戏,现在也用于电影的虚拟制片…...
分布式光纤传感|分布式光纤测温|线型光纤感温火灾探测器DTS|DTS|DAS|BOTDA的行业16年的总结【2024年】
背景: 从2008年,从事分布式光纤传感行业已经过了16年时间了,依稀记得2008年,看的第一遍论文就是中国计量大学张在宣老爷子的分布式光纤测温综述,我的经历算是行业内极少数最丰富的之一。混过学术圈: 发表…...
【无标题】学生信息管理系统界面
网页是vue框架,后端直接python写的没使用框架...
ES7+ React/Redux/GraphQL/React-Native snippets 使用指南
VS Code React Snippets 使用指南 目录 简介基础方法React 相关React Native 相关Redux 相关PropTypes 相关控制台相关React 组件相关 简介 ES7 React/Redux/GraphQL/React-Native snippets 是一个用于 VS Code 的代码片段插件,它提供了大量用于 React 开发的代…...
Java中三大构建工具的发展历程(Ant、Maven和Gradle)
🐸 背景 我们要写一个Java程序,一般的步骤是编译,测试,打包。 这个构建的过程,如果文件比较少,我们可以手动使用java, javac,jar命令去做这些事情。但当工程越来越大,文件越来越多,…...
【国产NI替代】32振动/电压(配置复合型)高精度终端采集板卡,应用于复杂的大型测量场景
32振动/电压(配置复合型)高精度终端采集板卡 采用 EP4CE115F29I7 型号的 FPGA ,是一款 高精度,多通道动态信号采集器,主要应用 在复杂的大型测量并对成本要求不敏感的场 合,默认具备 8 个测量板卡&#…...
服务器上加入SFTP------(小白篇 1)
在服务器上配置 SFTP (基于 SSH 的文件传输协议) 通常比传统 FTP 更安全,因为它默认加密通信。以下是详细的配置步骤,以 Ubuntu 或 CentOS 为例。 1.服务器上加入SFTP------(小白篇 1) 2.加入SFTP 用户------(小白篇 2) 3.代码加入SFTP JAVA —&#…...
突围边缘:OpenAI开源实时嵌入式API,AI触角延伸至微观世界
当OpenAI宣布开源其名为openai-realtime-embedded-sdk的实时嵌入式API时,整个科技界都为之震惊。这一举动意味着,曾经遥不可及的强大AI能力,如今可以被嵌入到像ESP32这样的微型控制器中,真正地将AI的触角延伸到了物联网和边缘计算…...
【含开题报告+文档+PPT+源码】基于SpringBoot+Vue的影视网站系统的设计与实现
开题报告 随着互联网的快速发展和普及,人们对于娱乐和信息的需求越来越大。影视网站作为一种提供短视频、影视、电视剧、综艺节目等视频资源的网站,受到了广大用户的喜爱。然而,现有的影视网站系统仍然存在着一些安全性不强,用户…...
前端技术(26) : 全年排班日历
来源: 通义千问 效果图 代码 <!DOCTYPE html> <html lang"zh-CN"><head><meta charset"UTF-8"><title>年度日历</title><style>body {font-family: Arial, sans-serif;}.calendar-container {margin: 20px au…...
Linux网络——TCP的运用
系列文章目录 文章目录 系列文章目录一、服务端实现1.1 创建套接字socket1.2 指定网络接口并bind2.3 设置监听状态listen2.4 获取新链接accept2.5 接收数据并处理(服务)2.6 整体代码 二、客户端实现2.1 创建套接字socket2.2 指定网络接口2.3 发起链接con…...
Elasticsearch 数据存储底层机制详解
Elasticsearch 数据存储底层机制详解 Elasticsearch 的底层存储机制依赖 Lucene 来实现数据的组织和管理。下面从数据存储的 流转过程 和 管理机制 两个方面来详细说明。 1. 数据存储流程 当一个文档通过 REST API 被写入 Elasticsearch 时,会经历以下流程&#x…...
Spring Boot 中 Map 的最佳实践
在Spring Boot中使用Map时,请遵循以下最佳实践: 1.避免在Controller中 直接使用Map。应该使用RequestBody 接收-个DTO对象或者 RequestParam接收参数,然后在Service中处 理Map。 2.避免在Service中 直接使用原始的Map。应该使用Autowired 注入-个专门…...
es6 字符串每隔几个中间插入一个逗号
const insertCommaEveryNChars (str, n) > {// 将字符串转换为数组,以便我们可以更容易地操作每个字符const chars str.split();// 使用map遍历数组,并在每隔n个字符后插入逗号const result chars.map((char, index) > {// 检查当前位置是否是n…...
区块链共识机制深度揭秘:从PoW到PoS,谁能主宰未来?
区块链的技术背后,最大的挑战之一就是如何让多个分布在全球各地的节点在没有中心化管理者的情况下达成一致,确保数据的一致性和安全性。这一切都依赖于区块链的核心——共识机制。共识机制不仅决定了区块链的安全性、效率和去中心化程度,还对…...
SQL Server 新建 用户 登录失败。 (Microsoft SQL Server,错误: 18456)
新建用户后用SQLserver shen身份验证一直提示用户登录用户 登录失败。 (Microsoft SQL Server,错误: 18456)。 问题: 新建标题: 连接到服务器 无法连接到 DESKTOP-GKBXLEE。 其他信息: 用户 ‘’ 登录失败。 (Microsoft SQL Server,错误: 18456) 解…...
AW36518芯片手册解读(3)
接前一篇文章:AW36518芯片手册解读(2) 二、详述 3. 功能描述 (1)上电复位 当电源电压VIN降至预定义电压VPOR(典型值为2.0V)以下时,该设备会产生复位信号以执行上电复位操作&#x…...
有没有免费提取音频的软件?音频编辑软件介绍!
出于工作和生活娱乐等原因,有时候我们需要把音频单独提取出来(比如歌曲伴奏、人声清唱等、乐器独奏等)。要提取音频必须借助音频处理软件,那么有没有免费提取音频的软件呢?下面我们将为大家介绍几款免费软件࿰…...
一次医院RIS系统的升级
2020-03-11 目录 数据库升级... 1 数据结构升级... 1 系统配置... 2 WEB服务器准备... 3 启动ASP.NET State Service服务... 3 检查IIS. 4 发布站点... 4 添加应用程序池... 4 发布网站... 5 处理打印模板... 6 web.config的配置... 6 处理图片文件目录... 6 修改W…...
clickhouse测试报告
一、背景 针对当前实施的项目,面临着两个主要挑战:一是需要存储更详细的原始数据和中间数据,二是现有基于MySQL的数据存储解决方案在数据量增长时性能受限,特别是在进行跨年历史数据的即时分析时。为了解决这些问题…...
Elasticsearch安装和数据迁移
Elasticsearch安装和数据迁移 Elasticsearch安装 下载并解压Elasticsearch 首先下载Elasticsearch的tar.gz文件,并将其解压: wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.8.2-linux-x86_64.tar.gz tar -xzf elastics…...
K8s证书过期
part of the existing bootstrap client certificate is expired: 2023-11-27 12:44:12 0000 UTC 查看运行日志: journalctl -xefu kubelet 重新生成证书: #重新生成证书 kubeadm alpha certs renew all #备份旧的配置文件 mv /etc/kubernetes/*.conf…...
JSONException:java.lang.String cannot be converted to JSONObject异常的解决方法
在用org.json.JSONObject解析从网络获取的json数据时,遇到JSONException:java.lang.String cannot be converted to JSONObject,打印字符串,查看json字符串没有问题,研究了好长时间,终于找到问题,造成问题的…...
[源码解析] 模型并行分布式训练Megatron (2) --- 整体架构
link [源码解析] 模型并行分布式训练Megatron (2) --- 整体架构 目录 [源码解析] 模型并行分布式训练Megatron (2) --- 整体架构 0x00 摘要0x01 启动 1.1 分布式启动1.2 构造基础 1.2.1 获取模型1.2.2 获取数据集1.2.3 步进函数 1.2.3.1 广播数据0x02 Pretrain0x03 初始化 3.1 …...
kubeadm搭建k8s集群
前置环境: 准备三台虚拟机 192.168.1.104(用来做k8s的mater节点) 192.168.1.105(节点node2) 192.168.1.109(节点node3) 关闭防火墙 systemctl stop firewalld systemctl disable firewalld安装…...
家用无线路由器的 2.4GHz 和 5GHz
家中的无线路由器 WiFi 名称有两个,一个后面带有 “5G” 的标记,这让人产生疑问:“连接带‘5G’的 WiFi 是不是速度更快?” 实际上,这里的 “5G” 并不是移动通信中的 5G 网络,而是指路由器的工作频率为 5G…...
#渗透测试#漏洞挖掘#红蓝攻防#漏洞挖掘#未授权漏洞-Es未授权漏洞
免责声明 本教程仅为合法的教学目的而准备,严禁用于任何形式的违法犯罪活动及其他商业行为,在使用本教程前,您应确保该行为符合当地的法律法规,继续阅读即表示您需自行承担所有操作的后果,如有异议,请立即停…...
Windows 使用 非安装版MySQL 8
1.下载MySQL 8 https://cdn.mysql.com//Downloads/MySQL-8.0/mysql-8.0.40-winx64.zip 2.创建my.ini 下载解压后,发现根目录没有my.ini文件,需手动创建 my.ini # For advice on how to change settings please see # http://dev.mysql.com/doc/refma…...