当前位置：首页 > news >正文

TensorFlow充分并行化使用CPU

news 来源：原创 2025/9/14 1:30:56

关键字：TensorFlow 并行化、TensorFlow CPU多线程

场景：在没有GPU或者GPU性能一般、环境不可用的机器上，对于多核CPU，有时TensorFlow或上层的Keras默认并没有完全利用机器的计算能力（CPU占用没有接近100%），因此想让它通过多线程、并行化充分利用计算资源，提升效率。

1.‌get_inter_op_parallelism_threads(...)‌ 获取用于独立操作之间并行执行的线程数。

此方法用于查询当前配置中，可并行执行多个独立操作（如无依赖关系的运算符）的线程池大小。独立操作间的并行性通过线程池调度实现，适用于计算图中无数据依赖的分支操作‌。

‌2.get_intra_op_parallelism_threads(...)‌ 获取单个操作内部用于并行执行的线程数。

此方法返回单个运算符（如矩阵乘法、卷积等）内部并行计算时使用的线程数。某些复杂运算符可通过多线程加速计算，例如利用多核 CPU 并行处理子任务‌。

‌3.set_inter_op_parallelism_threads(...)‌ 设置用于独立操作之间并行执行的线程数。

通过此方法调整线程池大小，控制独立操作间的并行度。例如，在多个无依赖关系的运算符同时运行时，提高此值可提升整体吞吐量，但需避免过度占用资源导致竞争‌。

‌4.set_intra_op_parallelism_threads(...)‌设置单个操作内部用于并行执行的线程数。

针对支持内部并行的运算符（如 matmul、reduce_sum），此方法设置其内部子任务的最大并行线程数。合理调整此值可优化计算密集型操作的性能，但需考虑 CPU 核心数和实际负载‌。

参考链接： https://www.tensorflow.org/api_docs/python/tf/config/threading

完整写法：tf.config.threading.set_inter_op_parallelism_threads(num_threads)

注意事项‌：线程数设置需在会话初始化前完成，且某些环境变量（如 OMP_NUM_THREADS）可能影响最终效果‌。

import os
# 注意：环境变量需在导入TensorFlow之前设置才能确保生效
os.environ["OMP_NUM_THREADS"] = "1"       # 禁用OpenMP的多线程（由TensorFlow自己管理）
os.environ["KMP_BLOCKTIME"] = "0"         # 设置线程在空闲后立即回收import tensorflow as tfdef configure_cpu_parallelism(intra_threads=8, inter_threads=2):"""参数说明：intra_threads - 控制单个操作内部并行度（如矩阵乘法），建议设为物理CPU核心数inter_threads - 控制多个操作间的并行度，建议根据任务类型调整（计算密集/IO密集）推荐设置：对于计算密集型任务，inter_threads建议设为CPU的NUMA节点数或较小数值总线程数不应超过CPU逻辑核心数（可通过os.cpu_count()查看）"""try:# 设置操作内并行线程数（针对单个操作的多核并行）tf.config.threading.set_intra_op_parallelism_threads(intra_threads)# 设置操作间并行线程数（针对计算图多个操作的流水线并行）tf.config.threading.set_inter_op_parallelism_threads(inter_threads)except RuntimeError as e:# TensorFlow运行时一旦初始化后无法修改配置print(f"配置失败：{str(e)}（请确保在创建任何TensorFlow对象前调用本函数）")# 示例配置（假设8核CPU）
configure_cpu_parallelism(intra_threads=8, inter_threads=2)# 验证配置
print("\n验证当前线程配置：")
print(f"Intra-op threads: {tf.config.threading.get_intra_op_parallelism_threads()}")
print(f"Inter-op threads: {tf.config.threading.get_inter_op_parallelism_threads()}")
print(f"物理CPU核心数: {os.cpu_count()}")
print(f"OMP_NUM_THREADS: {os.environ.get('OMP_NUM_THREADS', '未设置')}")

TensorFlow充分并行化使用CPU

关键字：TensorFlow 并行化、TensorFlow CPU多线程场景：在没有GPU或者GPU性能一般、环境不可用的机器上，对于多核CPU，有时TensorFlow或上层的Keras默认并没有完全利用机器的计算能力（CPU占用没有接近100%）…...

编程日记 2025/9/14 1:30:56

JAVA Web_定义Servlet_1 欢迎考生

题目假定：本地服务器（127.0.0.1）上有一名为jspExam的Web项目，现按要求定义一Servlet，实现以下功能： 1）Servlet的类名自定义，假定可以用以下url访问该Servlet, http://127.0.0.1:80…...

编程日记 2025/9/13 0:29:58

鸿蒙NEXT开发Emitter工具类（ArkTs）

import { emitter } from kit.BasicServicesKit;/*** TODO Emitter工具类（进行线程间通信）* author: 鸿蒙布道师* since: 2025/04/11*/ export class EmitterUtil {/*** 发送事件* param eventId 事件ID，string类型的eventId不支持空字符串。…...

编程日记 2025/9/10 6:32:26

vue3项目引入tailwindcss vue3 vite tailwindcss3 版本初始化项目 npm create vitelatest --template vue cd vue npm install npm run dev安装tailwindcss3 和 postcss 引入 npm install -D tailwindcss3 postcss autoprefixer // 初始化引用 npx tailwindcss init -p…...

编程日记 2025/9/8 13:32:48

Quartz修仙指南：从定时任务萌新到调度大能的终极奥义

各位被Thread.sleep()和ScheduledExecutorService折磨的道友们！今天要解锁的是Java界任务调度至尊法宝——Quartz！这货能让你像玉皇大帝安排天庭日程一样，精确控制每个任务的执行时机！准备好告别蹩脚的手动定时器了吗？…...

编程日记 2025/9/11 14:22:33

Process Explorer 性能调优实战：精准定位资源泄漏与高负载进程

一、下载与安装 ‌下载地址‌ Process Explorer安装包下载：https://pan.quark.cn/s/950c36ba5364下载后解压压缩包，运行 procexp.exe（32 位系统）或 procexp64.exe（64 位系统）‌。 ‌界面概览‌ 主界面以树…...

编程日记 2025/9/11 14:25:03

Docker 常用命令指南

Docker 提供了丰富的命令行工具来管理镜像、容器、网络和数据卷等资源。本指南按类别整理 Docker 的常用命令，并为每个命令提供简体中文说明和示例，以帮助您快速查询和掌握日常使用。 1. 镜像管理 Docker 镜像（Image）是打包好的应用程序及其依赖环境，可用于创建容器。常用…...

编程日记 2025/9/9 1:31:28

3.1A、34V DC/DC 同步降压转换器WD5034

以下是对 WD5034 相关内容的编辑： WD5034 是一款性能卓越的高效率、单片同步降压 DC/DC 转换器，凭借其先进的恒定频率、平均电流模式控制架构，在众多电源管理芯片中脱颖而出。以下是其详细特点和优势： 出色的负载能力：…...

编程日记 2025/9/4 1:20:48

面向对象高级(1)

文章目录 final认识final关键字修饰类：修饰方法：修饰变量final修饰变量的注意事项常量单例类什么是设计模式？单例怎么写?饿汉式单例的特点是什么？单例有啥应用场景，有啥好处？懒汉式单例类。枚举类认识枚…...

编程日记 2025/9/11 7:19:14

Vim 编辑器的常用快捷键介绍

以下是 Vim 编辑器的常用快捷键分类介绍，帮助你快速掌握高效编辑技巧： 一、基础模式切换 Vim 的核心是模式化操作，常用模式包括： 普通模式（默认）：导航、命令输入。插入模式：输入/…...

编程日记 2025/9/13 19:00:40

如何使用AI辅助开发R语言

R语言是一种用于统计计算和图形生成的编程语言和软件环境，很多学术研究和数据分析的科学家和统计学家更青睐于它。但对与没有编程基础的初学者而言，R语言也是有一定使用难度的。不过现在有了通义灵码辅助编写R语言代码，我们完全可以用自然语言…...

编程日记 2025/9/8 14:01:17

docker 运行自定义化的服务-后端

docker 运行自定义化的服务-前端-CSDN博客运行自定义化的后端服务具体如下： ①打包后端项目，形成jar包 ②编写dockerfile文件，文件内容如下： # 使用官方 OpenJDK 镜像 FROM jdk8:1.8LABEL maintainer"ATB" version&…...

编程日记 2025/9/11 22:44:49

【Grok 大模型深度解析】第二期：架构探秘与训练哲学

在上一期的内容中，我们对 Grok 大模型从技术溯源的角度，了解了它从 Transformer 架构局限性出发，迈向混合架构创新的历程，同时也梳理了从 Grok - 1 到 Grok - 3 的版本迭代所带来的技术跃迁以及其独特的差异化优势。这一期，我们将深入到 Grok 大模型的架构内部，探究其精妙…...

编程日记 2025/9/9 16:49:15

oracle update 原理

Oracle 11g 中的 UPDATE 操作是数据库修改数据的关键机制，其核心原理涉及事务管理、多版本并发控制（MVCC）、Undo/Redo 日志、锁机制等 1. 执行前的准备 SQL 解析与执行计划： Oracle 解析 UPDATE 语句，生成执行计划&…...

编程日记 2025/9/10 19:46:35

优化项目缓慢卡顿

大家好，好久不见，因为最近在搞几个老项目，没怎么跟大家见面。在做老项目的时候发现了一些小问题拿出来跟大家分享分享。因为这个问题是生产环境下面出现的，所以在开发环境的时候很难发现，而且网速快的话也很难发现&a…...

编程日记 2025/9/11 19:56:43

【黑客帝国连接虚拟与现实：数据采集系统（DAQ）硬核技术深度解析】

1. DAQ系统核心架构：从物理世界到数字域的精密映射 1.1 传感器与信号调理：物理量到电信号的精准转换传感器的物理原理与非线性补偿热电偶（Thermocouple）：基于塞贝克效应，其输出电压与温度差的非线性关系…...

编程日记 2025/9/14 7:31:06

解决unity设置鼠标图标发布以后没有效果的问题

public Texture2D dragCursor; Cursor.SetCursor(dragCursor, Vector2.zero, CursorMode.Auto); 首先设置一个Texture2D的变量，用来保存自己想要设置的图，然后将鼠标设置为自己定义的图片。原本是很简单的功能，而且在编辑器里面运行也正常。…...

编程日记 2025/9/9 1:31:29

CExercise_10_1动态数组Vector

题目： 动手自己实现动态数组Vector，基于以下结构体定义和函数声明： typedef int ElementType; typedef struct { ElementType *data; // 指向堆空间的数组 int size; // 元素的个数 int capacity; // 数组的容量 } Vector; // 请实现下面方法…...

编程日记 2025/9/9 16:02:12

Nextra + TypeScript + MDX 项目的完整目录结构

典型的 Nextra TypeScript MDX 博客项目的完整目录结构。 Pages 架构 my-blog/ ├── components/ # React 组件 │ ├── HelloWorld.tsx # 示例组件 │ └── ... # 其他组件 ├── pages/ # 页面…...

编程日记 2025/9/4 20:44:30

MDM功能演示：远程锁定与数据擦除，保障企业移动设备安全

在当今高度互联的商业环境中，企业数据伴随着员工穿梭于不同城市、时区和设备之间。智能手机、平板电脑和笔记本电脑赋予员工随时随地办公的能力，但也带来了新的安全挑战：设备一旦遗失或落入不当之手，企业数据就面临泄露风险。无…...

编程日记 2025/9/12 7:53:02

快速idea本地和推送到远程仓库

在你需要推送的那个文件夹打开 #创建本地仓库 git init#添加文件并首次提交 git add . git commit -m "Initial commit"#添加远程仓库地址 git remote add origin https://gitee.com/你的用户名/你的仓库名.git#查看远程仓库是否设置chengg git remote -v#原来远程仓…...

编程日记 2025/9/10 12:28:00

django数据迁移操作受阻

错误信息： django.db.utils.OperationalError: (1227, Access denied; you need (at least one of) the SYSTEM_VARIABLES_ADMIN or SESSION_VARIABLES_ADMIN privilege(s) for this operation)根据错误信息分析，该问题是由于MySQL用户缺乏SYSTEM_VARI…...

编程日记 2025/9/7 20:04:35

使用Lombok的@Slf4j和idea构建:找不到log符号-解决

问题：在使用Lombok的Slf4j构建项目时提示如下内容： MvcConfiguration.java:26:9 java: cannot find symbol symbol: variable log location: class cn.edu.wynu.mrcinerec.mrserver.config.WebMvcConfiguration查了网上的方法都是改配置但是使用Googl…...

编程日记 2025/9/10 0:08:09

物联网传感器技术架构与功能解析

物联网传感器作为物联网体系的关键组成部分，主要承担环境或物体状态信息的捕获与传输功能。其通过检测物理、化学或生物参数，将模拟信号转化为数字格式，并利用多种通信协议实现数据交互，最终服务于各类智能化应用。核心功能模块分…...

编程日记 2025/9/8 6:48:14

wx213基于php+vue+uniapp的新闻资讯小程序

开发语言：PHP框架：phpuniapp数据库：mysql 5.7（一定要5.7版本）数据库工具：Navicat11开发软件：PhpStorm 系统展示管理员登录界面管理员功能界面新闻类别管理新闻信息管理用户管理管理员管…...

编程日记 2025/9/12 10:12:49

SOEM编译Ubuntu 22.04

下载SOEM源码 $ git clone https://github.com/OpenEtherCATsociety/SOEM.git编译源码进入SOEM源码目录 $ mkdir build && cd build $ cmake .. $ make测试 eth1 位网卡名 $ cd test/linux/slaveinfo/ $ sudo ./slaveinfo eth1SOEM (Simple Open EtherCAT Master) …...

编程日记 2025/9/10 1:27:02

栈和队列（Stack和Queue）

栈和队列（Stack和Queue） 1：栈的概念示意图： 2：创建一个类Stack，给定一个整形数组elem，数组已使用长度usedSize，默认长度default_size为10，再给定一个构造方法&#xff0…...

编程日记 2025/9/12 14:23:54

Django的定制以及admin

Django是一个全面的Python Web开发框架，具有丰富的功能，和众多开箱即用的接口。简单使用我们使用Django的django-admin工具创建项目： django-admin startproject project1 cd project1 django-admin startapp app1以后，一个简…...

编程日记 2025/9/13 4:03:54

LLM架构解析：编码器-解码器架构（Encoder-Decoder Architecture）（第四部分）—— 从基础原理到实践应用的深度探索

本专栏深入探究从循环神经网络（RNN）到Transformer等自然语言处理（NLP）模型的架构，以及基于这些模型构建的应用程序。本系列文章内容： NLP自然语言处理基础词嵌入（Word Embeddings&#xff09…...

编程日记 2025/9/13 18:21:21

Unity VideoPlayer 播放无声音

增加一个videoPlayer下挂，audiorSource脚本 this.videoPlayer.EnableAudioTrack(0, true); this.videoPlayer.audioOutputMode VideoAudioOutputMode.AudioSource; this.videoPlayer.SetTargetAudioSource(0, this.videoPlayer.GetComponent<AudioSource>()…...

编程日记 2025/9/11 1:14:31

【Kafka基础】监控与维护：动态配置管理，灵活调整集群行为

1 基础配置操作 1.1 修改主题保留时间 /export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-configs.sh --alter \--bootstrap-server 192.168.10.33:9092 \--entity-type topics \--entity-name yourtopic \--add-config retention.ms86400000 参数说明： retention…...

编程日记 2025/9/9 15:08:58

AutoGen深度解析：从核心架构到多智能体协作的完整指南

AutoGen是微软推出的一个革命性多智能体(Multi-Agent)框架，它通过模块化设计和灵活的对话机制，极大地简化了基于大型语言模型(LLM)的智能体系统开发。本文将深入剖析AutoGen的两个核心模块——core基础架构和agentchat多智能体对话系统，带您全…...

编程日记 2025/9/6 16:56:24

接口请求控制工具

接口请求控制工具功能说明代理转发安全控制访问控制错误处理配置管理日志管理技术栈快速开始环境要求配置说明启动服务工具源码功能说明代理转发支持多路由配置支持静态资源代理灵活的路由规则配置支持请求转发和响应处理支持负载均衡支持多目标服务器配置提供多种负载…...

编程日记 2025/9/13 22:51:03

Git 实践笔记

这里写自定义目录标题一、将当前改动追加到某次commit上二、git 强制修改分支位置一、将当前改动追加到某次commit上 stash工作区中的当前改动 git stash假设需要修改的commit是 f744c32，将HEAD移动到需要改动的commit的父提交上 git rebase f744c32^ --interact…...

编程日记 2025/9/7 1:50:42

记一个Unity中Humanoid中骨骼与武器脱离的问题

在Untiy中，有时人物的Humanoid的骨骼对应上了，但是套用动画的时候武器等节点有时会脱离，这是因为Humanoid只包含了人物骨骼，不包括其他额外的骨骼，因此如果想要武器节点也跟随，需要在Humanoid中也绑定骨骼设…...

编程日记 2025/9/11 22:38:34

Python asyncio

一些Pre关键概念 asyncio 本质上还是单进程单线程的Python程序； 建立event_loop 概念，上面event_loop 可以理解为大脑，下面是若干个可执行的Task； Task 没有控制权，没有办法控制event_loop 执行某个Task，只…...

编程日记 2025/9/12 0:14:28

【前端分享】JavaScript异步编程详解！

JavaScript 的异步编程是其核心特性之一，主要用于处理非阻塞操作（如网络请求、文件读写、定时任务等）。由于 JavaScript 是单线程的，异步机制可以避免代码阻塞，提高性能和用户体验。以下是 JavaScript 异步编程的核心概…...

编程日记 2025/9/9 3:49:08

深度学习基础--CNN经典网络之InceptionV1研究与复现(pytorch)

🍨 本文为🔗365天深度学习训练营中的学习记录博客🍖 原作者：K同学啊前言 InceptionV1是提出并行卷积结构，是CNN的经典网络之一；本次任务是探究InceptionV1结构并进行复现实验；欢迎收藏关注…...

编程日记 2025/9/5 0:25:29

用 Vue 3 + D3.js 实现动态数据流图

文章目录一、项目背景与功能概览二、项目准备与依赖安装2.1 安装 Vue 3 项目2.2 安装 D3.js2.3 项目结构三、实现动态数据流图3.1 创建 DataFlowChart 组件3.2 动态更新数据流3.2.1 动态更新边和节点位置3.2.2 动画效果四、节点拖拽与编辑功能实现4.1 添加节点拖拽功能4.2 编…...

编程日记 2025/9/9 3:51:26

46、Spring Boot 详细讲义（三）

五、Spring Boot 与 Web 开发 1. 简介 Spring Boot 是基于 Spring Framework 开发的一个框架，旨在简化配置，快速构建应用。它内嵌 Tomcat 等 servlet 容器，支持 RESTful API 开发，处理静态资源，以及集成视图层技术如 Thymeleaf 和 Freemarker。 2. Spring MVC 集成 Sp…...

编程日记 2025/9/9 16:53:07

为了避免unboundLocalError和为什么X的值一直不变呢？

## 1.为了避免unboundLocalError 发生unboundLocalError！ def generate_integer(level):if level 1:X randint(1,9)return X这里出错的原因在于，一旦if 后面的条件没有成立，然后X根本没出生，然后你去使用它，这是有…...

编程日记 2025/9/10 1:27:05

Express中间件(Middleware)详解：从零开始掌握(1)

1. 中间件是什么？ 想象中间件就像一个"加工流水线"，请求(Request)从进入服务器到返回响应(Response)的过程中，会经过一个个"工作站"进行处理。简单定义：中间件是能够访问请求对象(req)、响应对象(res)和下…...

编程日记 2025/9/3 9:21:58

Linux升级gcc版本

目录 1.安装 scl 工具集 2.安装新版本gcc 3.启用新版本 gcc 4.将启动新版本gcc指令写入配置文件本文主要讲述如何去升级 linux 操作系统下的 gcc 编译器版本。 1.安装 scl 工具集 sudo yum install centos-release-scl scl-utils-build 由于作者已经安装过，…...

编程日记 2025/9/11 15:43:47

【概念】什么是UI（User interface）什么是UX（User experience）？

1. 软件生命周期管理 (Software Life Cycle Management) 解释： 中文： 软件生命周期管理是指从软件规划、设计、开发、测试、部署到后续维护甚至退役的整个过程。English: Software Life Cycle Management refers to the systematic process of plannin…...

编程日记 2025/9/11 3:25:06

【GIT】git pull --rebase 功能解析

1. git pull 命令基础 git pull 是一个常用的 Git 命令，用于从远程仓库获取最新的更改，并尝试将这些更改合并到当前分支中。这通常涉及两个步骤：首先，git fetch 命令从远程仓库下载最新的更改；然后，git me…...

编程日记 2025/9/6 8:03:36

难度偏低，25西电人工智能学院821、833、834考研录取情况

1、人工智能学院各个方向 2、人工智能学院近三年复试分数线对比学长、学姐分析由表可看出： 1、智能院25年院线相对于24年院线全部专业下降比较多，其中控制科学与工程下降20分，计算机科学与技术下降20分，计算机技术[专硕]下降…...

编程日记 2025/9/12 18:19:36

L2-051 满树的遍历

L2-051 满树的遍历 - 团体程序设计天梯赛-练习集 (pintia.cn) 题解数据结构选择为了表示树的结构，我们可以使用邻接表。邻接表是一种常用的图和树的表示方法，它能够高效地存储每个节点的子节点信息。在本题中，我们可以使用一个数组 g&am…...

编程日记 2025/9/5 7:32:34

2025年电子电气与新材料国际学术会议

重要信息官网：www.iceenm.org（点击了解详情） 时间：2025年4月25-27日地点：中国-杭州部分介绍征稿主题电子电气新材料电力电子器件和系统设计可再生能源与电网集成技术下一代半导体…...

编程日记 2025/9/13 20:24:54

数字人：打破次元壁，从娱乐舞台迈向教育新课堂（4/10）

摘要：数字人正从娱乐领域的璀璨明星跨界到教育领域的智慧导师，展现出无限潜力。从虚拟偶像、影视游戏到直播短视频，数字人在娱乐产业中大放异彩，创造巨大商业价值。在教育领域，数字人助力个性化学习、互动课堂和虚拟实…...

编程日记 2025/9/12 17:41:16

相关文章：