当前位置：首页 > news >正文

TensorFlow中数据集的创建

news 来源：原创 2025/8/3 17:10:54

前言

TensorFlow 的 tf.data.Dataset API 提供了一种灵活且高效的方式来加载和预处理数据。它可以轻松处理大规模数据集，并支持多种数据源格式。所有数据集相关的内容都在tf.data中，from_tensor_slices：可以从元组, 列表, 字典, ndarray中创建dataset。

示例

示例1

import tensorflow as tf
import numpy as npdataset = tf.data.Dataset.from_tensor_slices(np.arange(10))  
print (dataset)# 数据集最基础的用法就是取数据
for item in dataset:print(item)

结果如下：

<TensorSliceDataset shapes: (), types: tf.int32>
tf.Tensor(0, shape=(), dtype=int32)
tf.Tensor(1, shape=(), dtype=int32)
tf.Tensor(2, shape=(), dtype=int32)
tf.Tensor(3, shape=(), dtype=int32)
tf.Tensor(4, shape=(), dtype=int32)
tf.Tensor(5, shape=(), dtype=int32)
tf.Tensor(6, shape=(), dtype=int32)
tf.Tensor(7, shape=(), dtype=int32)
tf.Tensor(8, shape=(), dtype=int32)
tf.Tensor(9, shape=(), dtype=int32)

示例2

import tensorflow as tf
import numpy as np# 从元组创建dataset, (x,y)
x = np.array([[1, 2], [3, 4], [5, 6]])
y = np.array(['cat', 'dog', 'fox'])
dataset = tf.data.Dataset.from_tensor_slices((x, y))
for item_x, item_y in dataset:print(item_x.numpy(), item_y.numpy().decode())

结果如下

[1 2] b'cat'
[3 4] b'dog'
[5 6] b'fox'

示例3

import tensorflow as tf
import numpy as np# 从元组创建dataset, (x,y)
x = np.array([[1, 2], [3, 4], [5, 6]])
y = np.array(['cat', 'dog', 'fox'])
dataset = tf.data.Dataset.from_tensor_slices({'feature': x,'label': y
})
for item in dataset:print(item['feature'].numpy(), item['label'].numpy())

结果如下

[1 2] b'cat'
[3 4] b'dog'
[5 6] b'fox'

示例4

import tensorflow as tf
import numpy as np# interleave
# 最常见用法 : 文件名dataset  --> 具体数据集
dataset = tf.data.Dataset.from_tensor_slices(np.arange(10))
dataset = dataset.repeat(3).batch(7)
# map_fn, cycle_length 并行长度, block_length 
dataset = dataset.interleave(lambda v: tf.data.Dataset.from_tensor_slices(v),cycle_length = 5,block_length = 5
)
for item in dataset:print(item)

结果如下

tf.Tensor(0, shape=(), dtype=int32)
tf.Tensor(1, shape=(), dtype=int32)
tf.Tensor(2, shape=(), dtype=int32)
tf.Tensor(3, shape=(), dtype=int32)
tf.Tensor(4, shape=(), dtype=int32)
tf.Tensor(7, shape=(), dtype=int32)
tf.Tensor(8, shape=(), dtype=int32)
tf.Tensor(9, shape=(), dtype=int32)
tf.Tensor(0, shape=(), dtype=int32)
tf.Tensor(1, shape=(), dtype=int32)
tf.Tensor(4, shape=(), dtype=int32)
tf.Tensor(5, shape=(), dtype=int32)
tf.Tensor(6, shape=(), dtype=int32)
tf.Tensor(7, shape=(), dtype=int32)
tf.Tensor(8, shape=(), dtype=int32)
tf.Tensor(1, shape=(), dtype=int32)
tf.Tensor(2, shape=(), dtype=int32)
tf.Tensor(3, shape=(), dtype=int32)
tf.Tensor(4, shape=(), dtype=int32)
tf.Tensor(5, shape=(), dtype=int32)
tf.Tensor(8, shape=(), dtype=int32)
tf.Tensor(9, shape=(), dtype=int32)
tf.Tensor(5, shape=(), dtype=int32)
tf.Tensor(6, shape=(), dtype=int32)
tf.Tensor(2, shape=(), dtype=int32)
tf.Tensor(3, shape=(), dtype=int32)
tf.Tensor(9, shape=(), dtype=int32)
tf.Tensor(0, shape=(), dtype=int32)
tf.Tensor(6, shape=(), dtype=int32)
tf.Tensor(7, shape=(), dtype=int32)

TensorFlow中数据集的创建

目录前言示例示例1示例2示例3示例4 前言 TensorFlow 的 tf.data.Dataset API 提供了一种灵活且高效的方式来加载和预处理数据。它可以轻松处理大规模数据集，并支持多种数据源格式。所有数据集相关的内容都在tf.data中，from_tensor_slices：…...

编程日记 2025/8/3 17:10:54

OpenHarmony SystemUI开发——实现全局导航栏和状态栏关闭

在实际生产中，进场遇到需要关闭导航栏和状态栏的需求，现分享解决办法： 开发环境 OpenHarmony 5.0.0r 代码分析思路： launcher本身可以关闭导航栏（实际是公共事件，发送消息给systemUI来实控制&#x…...

编程日记 2025/8/3 1:24:09

机器视觉的平板电脑屏幕组件覆膜应用

在现代智能制造业中，平板电脑屏幕组件覆膜工序是确保产品外观和功能完整性的重要环节。随着技术的进步，传统的覆膜方式已经无法满足高速度、高精度的生产需求。而MasterAlign视觉系统的出现，将传统覆膜工艺转变为智能化、自动化的生产流程。在…...

编程日记 2025/8/3 6:35:47

Windows 10 无法启动或黑屏的修复指南（适用于更新失败或磁盘故障）

Windows 10 无法启动或黑屏的修复指南（适用于更新失败或磁盘故障） 当 Windows 10 突然无法启动（黑屏、无限重启、更新失败后断电等情况），很可能是由于启动引导程序损坏或系统映像异常（如系统磁盘出现坏道&…...

编程日记 2025/8/3 9:13:33

AI星智协脑：智能驱动的高效协作管理平台全解读

前言想象一下：早上刚开电脑，十几条未读消息如机关枪般扫射而来，各路任务像陨石雨一样砸向你，会议排得比热播剧还密集，文档版本堪比宫斗剧剧情反转，同事围着你转圈追KPI，活脱脱一场《职场大逃杀…...

编程日记 2025/8/3 11:25:12

WebSocket：实时通信的新时代

在现代Web应用中，实时通信变得越来越重要。传统的HTTP协议虽然能够满足基本的请求-响应模式，但在需要频繁更新数据的场景下，其效率和性能显得捉襟见肘。WebSocket协议应运而生，它提供了一种在单个TCP连接上进行全双工通信的机制&a…...

编程日记 2025/7/30 22:49:38

NetSuite Saved Search如何在Criteria中利用Expressions处理不同Transaction之间的关系？

最近有几个Saved Search都用到了Criteria中的Use Expressions的参数，具体的场景是我们想要对不同的Transaction Type做出不同条件的限定，这里有两个不同的举例。 1.除了ER类型头和行的内容要根据实际取，其余所有Transaction类型都取头信息&a…...

编程日记 2025/8/4 11:13:22

2025年全新 AI 编程工具 Cursor 安装使用教程

一、Cursor 软件下载首选，登录Cursor官网，进行软件下载，官网下载地址如下： Cursor AI IDE 下载二、Cursor软件安装配置此处以Windows10系统安装为例，下载完成之后，右键安装包，以管理员身份…...

编程日记 2025/7/30 22:49:33

跨平台编码规范文档

1. 引言 1.1 目的与范围本编码规范旨在为软件开发团队提供统一的代码编写标准，以提高代码质量、可维护性和团队协作效率。适用于使用C#、Java、安卓和Web前端（HTML/CSS/JavaScript/TypeScript）的项目开发，不针对特定语言特性&a…...

编程日记 2025/7/30 22:49:31

Spring创建的线程池

在自动审核的方法上加上Async注解（标明要异步调用） Async//异步方法调用public void audit(WmNews wmNews) {//这个方法处理时间很长，单体异步思想，线程池}在自媒体引导类中使用EnableAsync注解开启异步调用 SpringBootApplicati…...

编程日记 2025/7/30 22:49:29

【深度学习新浪潮】苹果在显示算法技术上的研发进展调研

苹果的显示算法技术研发呈现三大趋势：AI深度整合（如HDR增强、动态校准）、多模态环境感知（光、温湿度、生物特征）、软硬件协同优化（芯片、传感器、算法深度耦合）。一、动态刷新率与功耗管理 1. ProMotion技术的算法升级技术修正：像素级功耗管理：iPhone 13系列的Pr…...

编程日记 2025/7/30 22:49:27

图像画质算法记录(前言)

一、背景介绍本篇主要是对图像画质增强相关，进行简单整理和记录。二、整体流程整体效果主要受到两部分影响： 1、前端isp处理。 2、后端画质增强。三、isp常规流程可以参考：刘斯宁：Understanding ISP Pipeline 四、后端画质…...

编程日记 2025/8/3 15:02:42

uniapp-商城-47-后台分类数据的生成（通过数据）

在第46章节中，我们为后台数据创建了分类的数据表结构schema，使得可以通过后台添加数据并保存，同时使用云函数进行数据库数据的读取。文章详细介绍了如何通过前端代码实现分类管理功能，包括获取数据、添加、更新和删除分类。主要代…...

编程日记 2025/8/4 4:57:00

阿里云服务器数据库故障排查指南?

阿里云服务器数据库故障排查指南? 以下是针对阿里云服务器（如ECS自建数据库或阿里云RDS等托管数据库）的故障排查指南，涵盖常见问题的定位与解决方案： 一、数据库连接失败检查网络连通性 ECS自建数据库确认安全组规则放行数据库…...

编程日记 2025/8/3 15:51:52

服务器不备案有影响吗

在当今数字化的时代，服务器成为了众多企业和个人开展业务、展示自我的重要工具。然而，有一个问题常常被忽视，那就是服务器不备案到底有没有影响？ 答案是肯定的！服务器不备案，影响可不小。据相关数据显示&a…...

编程日记 2025/8/1 18:23:50

LVGL9保姆级教程（源码获取）

文章目录 🌟 LVGL 9 源码获取全流程指南📥 获取 LVGL 9 源码✅ 官方 GitHub 仓库下载📌 下载步骤： 🛠️ 获取 LVGL Code::Blocks 工程源码下载步骤有两种方式：🚀 方法一：通过 README…...

编程日记 2025/8/4 1:22:45

【react组件】矩形框选小组件，鼠标左键选中 div，键盘 ESC 清空

在线预览 GitHub demo import React, { useState } from react; import Chooser from rc-chooser;const containerStyle: React.CSSProperties {display: flex,alignItems: center,justifyContent: center,flexWrap: wrap, };const boxStyle: React.CSSProperties {width:…...

编程日记 2025/8/3 7:24:20

数据结构5.0

大家好，今天是队列的知识哦~ 目录一、概念 1.0单链表 2.0双链表 3.0数组二、队列的方法 1.0 offer方法 2.0 poll方法 3.0 peek方法 4.0 isEmpty方法三、队列的题目 1.0 用队列实现栈 2.0 用栈实现队列 3.0 设计循环队列一、概念数组、单链表和双…...

编程日记 2025/8/4 6:30:09

Python字典：数据操作的核心容器

在Python编程生态中，字典（dict）是最常用且功能强大的内置数据结构之一。它以键值对（Key-Value Pair）的形式存储数据，为快速查找、灵活映射关系提供了天然支持。无论是数据清洗、算法实现还是Web开发&#x…...

编程日记 2025/7/30 8:30:11

Midjourney-V7：支持参考图片头像或背景生成新保真图

Midjourney-V7重磅升级Omni Reference：全能图像参考神器！再也不用担心生成图片货不对版了！ 就在上周，Midjourney发版它最新的V7版本：Omini Reference，提供了全方位图像参考功能，它可以参考你提…...

编程日记 2025/8/3 1:24:27

【MySQL数据库】--SQLyog创建数据库+python连接

目录 1.连接本地数据库 2.创建数据库和表 3.使用 python读取数据 1.连接本地数据库进入SQLyog 2.创建数据库和表创建数据库gyp_test： CREATE DATABASE gyp_test CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci; 创建表student_grade: CREATE TABLE …...

编程日记 2025/8/3 10:19:11

深入解析：思维链模型在大语言模型中的应用与实践

在人工智能领域，大语言模型的发展正以前所未有的速度改变着我们的生活和工作方式。从早期的文本生成到如今的复杂推理，模型的能力不断进化。而其中，思维链（Chain-of-Thought, CoT）技术的出现，更是为大模型的…...

编程日记 2025/7/30 21:48:29

服务器多客户端连接核心要点（1）

刷题服务器多客户端连接核心要点多进程服务器实现原理 fork子进程：每次accept新客户端后，调用fork创建子进程。独立处理：子进程负责与客户端通信（如read/write），父进程继续监听新连接。特点隔离性…...

编程日记 2025/8/3 18:46:36

SIGIR 2025端到端生成式推荐ETEGRec

文章目录 1. 背景2. 方法2.1 框架图2.2 问题定义2.3 Item Tokenizer2.4 Generative Recommender2.5 ⭐️Sequence-Item Alignment2.6 ⭐️Preference-Semantic Alignment2.7 交替优化 3. 总结现阶段 GRM 大多是两阶段的模型，第一阶段进行内容理解-行为语义对齐&…...

编程日记 2025/8/3 18:55:14

rust 中的 EBNF 介绍

在 rust 参考手册中，有大量类似： 句法 MacroInvocation :SimplePath ! DelimTokenTreeDelimTokenTree :( TokenTree* )| [ TokenTree* ]| { TokenTree* }TokenTree :Token排除定界符(delimiters) | DelimTokenTreeMacroInvocationSemi :SimplePath ! (…...

编程日记 2025/8/3 13:19:24

解决 Redis 缓存与数据库一致性问题的技术指南

Redis 缓存与数据库一致性是分布式系统中常见的挑战，尤其在高并发场景下（如电商、用户管理、对账系统）。Redis 作为高性能缓存，常用于加速数据访问，但其与数据库（如 MySQL）之间的数据同步可能因…...

编程日记 2025/7/30 14:40:21

LlamaIndex 第六篇 SimpleDirectoryReader

SimpleDirectoryReader 是将本地文件数据加载到 LlamaIndex 的最简单方式。虽然在实际生产场景中，您更可能需要使用 LlamaHub 提供的多种数据读取器（Reader），但 SimpleDirectoryReader 无疑是快速入门的理想选择。支持的文件类型…...

编程日记 2025/7/30 21:48:19

window 显示驱动开发-配置内存段类型

视频内存管理器（VidMm）和显示硬件仅支持某些类型的内存段。因此，内核模式显示微型端口驱动程序（KMD）只能配置这些类型的段。 KMD 可以配置内存空间段和光圈空间段，其中不同： 内存空间段由保存…...

编程日记 2025/8/4 14:01:31

【人工智能学习之动作识别TSM训练与部署】

【人工智能学习之动作识别TSM训练与部署】基于MMAction2动作识别项目的开发一、MMAction2的安装二、数据集制作三、模型训练1. 配置文件准备2. 关键参数修改3. 启动训练4. 启动成功 ONNX模型部署方案一、环境准备二、执行转换命令基于MMAction2动作识别项目的开发一、MMAct…...

编程日记 2025/8/4 6:09:54

PostgreSQL冻结过程

1.冻结过程冻结过程有两种模式，依特定条件而择其一执行。为方便起见，将这两种模式分别称为惰性模式（lazy mode）和迫切模式（eager mode）。并发清理（Concurrent VACUUM）通常在内部…...

编程日记 2025/7/31 1:31:40

SSHv2公钥认证示例-Paramiko复用 Transport 连接

在 Paramiko 中复用 Transport 连接时，若要通过公钥认证（而非密码）建立连接，需手动加载私钥并与 Transport 关联。以下是详细操作步骤及完整代码示例： 步骤 1：加载私钥文件使用 RSAKey 或 Ed25519Key 类…...

编程日记 2025/8/4 1:41:40

华为5.7机考-最小代价相遇的路径规划Java题解

题目内容输入描述输出描述示例： 输入： 2 1 2 2 1 输出： 3 思路： Dijkstra 算法实现 dijkstra(int sx, int sy, int[][] dirs) 方法： 参数：起点坐标 (sx, sy) 和允许的移动方向初始化&#xff1…...

编程日记 2025/7/31 1:31:36

element-ui分页的使用及修改样式

1.安装 npm install element-ui -S 2.在main.js中引入,这里是全部引入，也可以按需引入 import ElementUI from element-ui import element-ui/lib/theme-chalk/index.css Vue.use(ElementUI) 3.使用 layout"prev, pager, next, jumper" ：jumpe…...

编程日记 2025/7/31 1:31:34

[Unity]-[UI]-[Image] 关于UI精灵图资源导入设置的详细解释

Unity UI Sprite UI资源导入详解图片导入项目Texture TypeTexture ShapeAdvanced Setting 高级设置图片设置案例常见细节问题知识点详解来源 UI资源导入详解 Unity中的UI资源有图片、矢量图、字体、预制体、图集、动画等等资源。这其中图片是最重要以及最基础的资源组成&a…...

编程日记 2025/8/3 18:51:49

MLX-Audio：高效音频合成的新时代利器

MLX-Audio：高效音频合成的新时代利器现代社会的快节奏生活中，对语音技术的需求越来越高。无论是个性化语音助手，还是内容创作者所需的高效音频生成工具，语音技术都发挥着不可或缺的作用。今天，我们将介绍一个创新的开…...

编程日记 2025/8/3 19:34:19

操作系统导论——第27章插叙：线程API

关键问题：如何创建和控制线程？ 操作系统应该提供哪些创建和控制线程的接口？这些接口如何设计得易用和实用？ 一、线程创建编写多线程程序的第一步就是创建新线程，因此必须存在某种线程创建接口。在 POSIX 中&#xff1…...

编程日记 2025/7/31 1:31:27

代采系统：定义、优势与未来趋势

一、代采系统的定义代采系统是一种基于互联网的集中采购平台，它通过整合供应链资源，为中小企业或个人提供采购代理服务。商家可以在没有自己库存的情况下销售产品，当客户下单时，订单信息会自动或手动发送给供应商，由…...

编程日记 2025/8/3 19:25:40

后缀表达式+栈（详解）（c++）

前言很抱歉，上一期没有介绍栈stack的用法，今天简要介绍一下，再讲讲后缀表达式，用stack栈做一些后缀表达式的练习。栈栈stack是c中系统给出的栈，有了它，就不用自己创建栈啦！ 头文件栈sta…...

编程日记 2025/8/3 16:22:14

Kaggle图像分类竞赛实战总结详细代码解读

前言我是跟着李沐的动手学深度学习v2视频学习深度学习的，光看不做假把式，所以在学习完第七章-现代卷积神经网络之后，参加了一次李沐发布的Kaggle竞赛。自己动手，从组织数据集开始，到训练，再到推理&#x…...

编程日记 2025/7/31 1:31:21

开源AI对比--dify、n8n

原文网址：开源AI对比--dify、n8n-CSDN博客简介本文介绍开源AI工作流工具的选型。对比项difyn8n占优者学习难度简单中等dify核心理念用LLM构建应用。“连接一切”。以工作流自动化连接各系统。平手工作模式 Chatflow：对话。支持用户意图识别、上下…...

编程日记 2025/8/4 7:22:10

【SQL系列】多表关联更新

💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。推荐:kwan 的首页,持续学…...

编程日记 2025/7/31 1:31:17

软件设计师教程——第一章计算机系统知识（下）

前言在竞争激烈的就业市场中，证书是大学生求职的重要加分项。中级软件设计师证书专业性强、认可度高，是计算机相关专业学生考证的热门选择，既能检验专业知识，又有助于职业发展。本教程将聚焦核心重点，以点带面构建知…...

编程日记 2025/7/31 1:31:13

华为银河麒麟 V10（ARM）系统软件部署全攻略：Redis、RabbitMQ、MySQL 等集群搭建指南

一、Redis 集群部署（主从哨兵模式） 1. 环境准备系统：华为银河麒麟 V10（ARM64）节点：3 台服务器（1 主 2 从 3 哨兵） 2. 安装包下载 bash # 华为镜像站 wget https://update.c…...

编程日记 2025/7/31 1:31:11

World of Warcraft [CLASSIC][80][Deluyia] [Fragment of Val‘anyr]

瓦兰奈尔的碎片 [Fragment of Valanyr] 有时候下个班打个游戏，没想到套路也这么多，唉，何况现实生活，这一个片版本末期才1000G，30个，也就30000G，时光徽章等同月卡15000G，折合一下也就…...

编程日记 2025/7/31 1:31:10

C++:求分数序列和

【描述】有一个分数序列 2/1,3/2,5/3,8/5,13/8,21/13,.... 求这个分数序列的前n项之和。输入输入有一行：正整数n。输出输出有一行：分数序列的和（浮点数，精确到小数点后4位）。【样例输入】 99 【样例输出】 160.4…...

编程日记 2025/8/4 14:46:09

支付宝沙盒模式商家转账经常出现响应异常: 解包错误

2025年5月9日16:27:08 php8.3 laravel11 octane swoole加速测试时不时就出现响应异常: 解包错误错误信息： Yansongda\Artful\Exception\InvalidResponseException: 响应异常: 解包错误 in /opt/www/vendor/yansongda/artful/src/Direction/CollectionDirect…...

编程日记 2025/8/4 1:41:30