当前位置： 首页 > news >正文

【AI深度学习基础】NumPy完全指南进阶篇：核心功能与工程实践（含完整代码）

news 来源：原创 2025/9/12 22:22:22

NumPy系列文章

  • 入门篇
  • 进阶篇
  • 终极篇

一、引言

在掌握NumPy基础操作后，开发者常面临真实工程场景中的三大挑战：如何优雅地处理高维数据交互？如何在大规模计算中实现内存与性能的平衡？怎样与深度学习框架实现高效协同？

本篇进阶指南将深入NumPy的六大核心维度：

  1. 智能广播：解析维度自动扩展机制，揭秘图像归一化与特征矩阵运算背后的广播原理
  2. 内存视图：剖析数组切片与转置操作的零拷贝特性，掌握7种避免内存复制的实战技巧
  3. 异构处理：构建结构化数组实现数据库级查询，对比Pandas在千万级数据过滤中的性能差异
  4. 跨域协同：打通与TensorFlow/PyTorch的物理内存共享通道，实现GPU与CPU的无缝数据交换
  5. 缺陷防御：识别广播维度不匹配、视图意外修改等12个典型陷阱，配备交互式调试方案
  6. 性能跃迁：通过内存预分配、NumExpr表达式编译、BLAS加速三重方案，实现关键运算5-20倍性能提升

针对深度学习工程中的特征工程、模型推理、数据增强等场景，本文提供可直接集成到生产环境的18个最佳实践方案，助您在以下场景游刃有余：

  • 百GB级图像数据集的内存映射加载
  • 高维张量的安全维度变换
  • 与PyTorch共享内存的梯度计算
  • 多模态数据的混合类型存储

“真正的NumPy高手，能在ndarray的视图与副本间精准起舞"——让我们开启这场深度与效率并重的数值计算进阶之旅。

二、NumPy数组高级用法

2.1 要点说明

  1. 广播机制
  • 维度匹配：从右向左对齐维度，维度值相同或其中一维为1时兼容
  • 高效运算：避免显式复制数据，内存效率比显式扩展高10倍以上
  • 应用场景：归一化计算（(x - mean)/std）、图像像素批量处理

  1. 堆叠与拆分

    • 垂直操作：vstack/vsplit沿第一个轴（行方向）操作
    • 水平操作：hstack/hsplit沿第二个轴（列方向）操作
    • 典型应用：合并多个数据集、拆解多通道信号

  2. 条件与统计

    • 布尔索引：支持复杂逻辑组合（(arr>5) & (arr<10)）
    • 统计函数：bincount对非负整数统计频次，unique返回排序后唯一值
    • 性能建议：优先使用向量化操作替代循环过滤

  3. 函数应用

    • 轴方向处理：apply_along_axis支持按行/列应用自定义函数
    • 替代方案：复杂运算优先使用np.vectorize（伪向量化）或重写为矢量形式

  4. 跨库交互

    • 数据转换：与Pandas互通实现统计分析，与SciPy结合处理稀疏数据
    • 内存共享：通过df.values直接获取NumPy数组视图，避免数据复制

2.2 示例代码

import numpy as np
import pandas as pd
from scipy import sparse# ===== 1.广播机制 =====
a = np.array([[1], [2], [3]])  # shape(3,1)
b = np.array([[10, 20, 30, 40]])  # shape(1,4)
result = a + b  # 广播后shape(3,4)
print("广播运算结果:\n", result)
"""
[[11 21 31 41][12 22 32 42][13 23 33 43]]
"""# ===== 2.数组堆叠与拆分 =====
arr1 = np.array([[1,2], [3,4]])
arr2 = np.array([[5,6], [7,8]])# 垂直堆叠
v_stack = np.vstack((arr1, arr2))
print("\n垂直堆叠:\n", v_stack)
"""
[[1 2][3 4][5 6][7 8]]
"""# 水平拆分
split_arr = np.hsplit(v_stack, 2)
print("\n水平拆分结果:", [a.tolist() for a in split_arr])
# [[[1], [3], [5], [7]], [[2], [4], [6], [8]]]# ===== 3.数组操作与变换 =====
data = np.array([-3, 1, 5, -2, 5, 5])# 布尔索引过滤
filtered = data[data > 0]
print("\n正数过滤:", filtered)  # [1 5 5 5]# 统计值频次
counts = np.bincount(data[data > 0])
print("正数频次:", counts)  # [0 1 0 0 0 3]# ===== 4.数组迭代与应用 =====
matrix = np.arange(6).reshape(2,3)# 按行应用函数
def normalize(x):return (x - np.mean(x)) / np.std(x)applied = np.apply_along_axis(normalize, axis=1, arr=matrix)
print("\n行标准化结果:\n", applied)
"""
[[-1.22474487  0.          1.22474487][-1.22474487  0.          1.22474487]]
"""# ===== 5.跨库交互 =====
# 转Pandas DataFrame
df = pd.DataFrame(matrix, columns=['A','B','C'])
print("\nDataFrame:\n", df)# 转SciPy稀疏矩阵
sparse_matrix = sparse.csr_matrix(matrix)
print("\n稀疏矩阵:\n", sparse_matrix)## 一、高效内存管理与视图机制
```python
import numpy as np# 创建大数组
arr = np.random.rand(1000000)  # 7.63MB内存# 视图操作（零拷贝）
arr_view = arr[::2]  # 仅创建视图，不复制数据
arr_view[0] = 0.0  # 修改原始数组# 复制操作（显式内存分配）
arr_copy = arr.copy()
arr_copy[0] = 1.0  # 不影响原始数组

三、高级索引与布尔掩码

# 布尔索引
data = np.array([5, -3, 8, -1, 0])
mask = data > 0
filtered = data[mask]  # [5, 8]# 花式索引
matrix = np.arange(25).reshape(5,5)
selected = matrix[[1,3], [0,2]]  # 获取(1,0)和(3,2)元素# 混合索引
rows = [1, 3]
cols = np.array([True, False, True, False, False])
mixed = matrix[rows][:, cols]

总结：

  • 布尔索引适合基于条件的元素选择
  • 花式索引实现任意位置的元素访问
  • 组合索引可构建复杂查询逻辑

注意事项：

  • 布尔数组必须与索引维度严格匹配
  • 花式索引总是返回副本而非视图
  • 避免在循环中使用高级索引

四、结构化数组与数据表处理

# 定义结构化数据类型
dtype = np.dtype([('name', 'U20'),  # Unicode字符串('age', np.int32),('score', np.float64)
])# 创建结构化数组
people = np.array([('Alice', 28, 89.5),('Bob', 35, 92.3)
], dtype=dtype)# 字段访问
ages = people['age']  # array([28, 35], dtype=int32)
mean_score = people['score'].mean()  # 90.9

总结：

  • 处理异构数据的高效解决方案
  • 支持类似数据库的字段查询
  • 比Pandas更轻量级的内存管理

注意事项：

  • 字段名长度限制为32字符
  • 字符串类型需要预先指定长度
  • 排序操作需使用np.sort的order参数

五、广播机制与矢量化编程

# 广播实例
A = np.arange(6).reshape(2,3)  # (2,3)
B = np.array([10, 20, 30])     # (3,)
C = A + B  # B被广播为(1,3) -> (2,3)# 矢量化运算
def scalar_func(x):return x**2 + 3*x - 5vec_func = np.vectorize(scalar_func)
result = vec_func(np.linspace(0, 5, 6))

总结：

  • 广播规则：从右向左对齐，维度为1的扩展
  • 矢量化运算避免显式循环
  • 使用np.vectorize封装自定义函数

注意事项：

  • 广播可能导致意外的高内存消耗
  • 复杂运算优先使用内置ufunc
  • np.vectorize本质仍是循环，性能有限

六、性能优化与并行计算

# 预分配内存优化
result = np.empty_like(A)
np.multiply(A, B, out=result)# 使用NumExpr加速
import numexpr as ne
expr = ne.evaluate('log(a) + sqrt(b)', {'a': np.random.rand(1e6), 'b': np.random.rand(1e6)})# 多线程运算（需要BLAS支持）
np.show_config()  # 查看加速库信息

总结：

  • 避免动态扩展数组，预分配内存
  • 复杂表达式用numexpr优化
  • 链接高性能数学库（如MKL、OpenBLAS）

注意事项：

  • 多线程可能引发GIL冲突
  • 内存对齐影响SIMD指令效率
  • 某些操作（如np.dot）自动并行化

七、与深度学习框架集成

# TensorFlow互操作
import tensorflow as tf
np_data = np.random.rand(32, 224, 224, 3)
tf_tensor = tf.convert_to_tensor(np_data)
recovered_np = tf_tensor.numpy()# PyTorch内存共享
import torch
torch_tensor = torch.from_numpy(np_data)
torch_tensor[0,0,0,0] = 1.0  # 修改共享内存

总结：

  • 框架原生支持NumPy格式数据
  • 实现零拷贝数据传输
  • 利用GPU加速NumPy运算（如CuPy）

注意事项：

  • 确保数据连续内存布局（C-order）
  • 类型转换注意精度损失
  • GPU数据需显式传回CPU

八、工程实践与高级技巧

# 内存映射处理超大文件
large_array = np.memmap('bigdata.bin', dtype=np.float32, mode='r', shape=(1000000, 1000))# 安全维度处理
def safe_normalize(x, axis=None, eps=1e-8):norm = np.linalg.norm(x, axis=axis, keepdims=True)return x / (norm + eps)# 避免内存复制的reshape
def smart_reshape(arr, new_shape):if arr.size == np.prod(new_shape):return arr.reshape(new_shape)else:raise ValueError("Incompatible shape")

总结：

  • 使用内存映射处理超大数据
  • 数值计算考虑稳定性
  • 验证reshape操作的可行性

注意事项：

  • 内存映射文件需要手动刷新
  • keepdims参数保持维度信息
  • 跨步数组可能无法reshape

九、常见错误与调试技巧

典型错误案例：

# 广播维度不匹配
A = np.ones((3, 4))
B = np.ones((4, 3))
try:C = A + B  # 触发ValueError
except ValueError as e:print(f"Broadcast error: {e}")# 原地操作风险
arr = np.arange(5)
arr_slice = arr[1:3]
arr_slice[:] = 0  # 修改原始数组

调试建议：

  1. 使用np.shares_memory()检查内存共享
  2. 通过flags属性查看数组内存布局
  3. 利用np.testing.assert_*系列进行验证

结语

NumPy在深度学习工程中扮演着数据预处理、模型调试、结果分析等关键角色。掌握这些进阶技巧后，建议：

  1. 深入研读NumPy C-API文档
  2. 探索Dask实现分布式计算
  3. 研究内存布局对GPU计算的影响
  4. 关注Eager Execution对传统范式的影响

附录：

  • 性能对比工具：%timeit, line_profiler
  • 内存分析工具：memory_profiler
  • 可视化工具：Matplotlib, Seaborn

相关文章：

【AI深度学习基础】NumPy完全指南进阶篇：核心功能与工程实践（含完整代码）

NumPy系列文章 入门篇进阶篇终极篇 一、引言 在掌握NumPy基础操作后&#xff0c;开发者常面临真实工程场景中的三大挑战&#xff1a;如何优雅地处理高维数据交互&#xff1f;如何在大规模计算中实现内存与性能的平衡&#xff1f;怎样与深度学习框架实现高效协同&#xff1f;…...

编程日记 2025/9/12 22:22:22

爬虫获取微店商品快递费 item_feeAPI 接口的完整指南

在电商运营中&#xff0c;快递费用的计算是影响用户体验和商家成本的重要因素。通过获取快递费数据&#xff0c;商家可以优化定价策略、提升用户体验&#xff0c;甚至实现个性化的营销方案。本文将详细介绍如何通过爬虫技术调用微店的快递费 API 接口&#xff0c;获取商品的快递…...

编程日记 2025/9/12 22:21:12

etcd 3.15 三节点集群管理指南

本文档旨在提供 etcd 3.15 版本的三节点集群管理指南&#xff0c;涵盖节点的新增、删除、状态检查、数据库备份和恢复等操作。 1. 环境准备 1.1 系统要求 操作系统&#xff1a;Linux&#xff08;推荐 Ubuntu 18.04 或 CentOS 7&#xff09; 内存&#xff1a;至少 2GB 磁盘&a…...

编程日记 2025/9/12 22:18:08

Python 数据可视化（一）熟悉Matplotlib

目录 一、安装包 二、先画个折线图 1、修改标签文字和线条粗细 2、内置样式 3、scatter() 绘制散点图 4、scatter() 绘制多个点 5、设置样式 6、保存绘图 数据可视化指的是通过可视化表示来探索和呈现数据集内的规律。 一、安装包 win R 打开终端 安装 Matplotlib&…...

编程日记 2025/9/12 22:21:10

使用自动化运维工具 Ansible 集中化管理服务器

一、概述 Ansible 是一款为类 Unix 系统开发的自由开源的配置和自动化工具 官方网站：https://www.ansible.com/ Ansible 成立于 2013 年，总部设在北卡罗来纳州达勒姆，联合创始人 ad Ziouani 和高级副总裁 Todd Barr都是红帽的老员工。Ansible 旗下的开源软件 Ansible 十分…...

编程日记 2025/9/12 22:18:40

STL 算法库中的 min_element 和 max_element

在 C STL中&#xff0c;min_element 和 max_element 是两个非常实用的算法函数&#xff0c;用于快速找到容器或范围内的最小值和最大值&#xff0c;这里以min为例。 头文件&#xff1a;<algorithm> 语法&#xff1a; template <class ForwardIterator> ForwardIt…...

编程日记 2025/9/12 22:18:41

YOLOv11-ultralytics-8.3.67部分代码阅读笔记-ops.py

ops.py ultralytics\models\utils\ops.py 目录 ops.py 1.所需的库和模块 2.class HungarianMatcher(nn.Module): 3.def get_cdn_group(batch, num_classes, num_queries, class_embed, num_dn100, cls_noise_ratio0.5, box_noise_scale1.0, trainingFalse): 1.所需的库…...

编程日记 2025/9/12 22:19:54

翻译: 深入分析LLMs like ChatGPT 一

大家好&#xff0c;我想做这个视频已经有一段时间了。这是一个全面但面向普通观众的介绍&#xff0c;介绍像ChatGPT这样的大型语言模型。我希望通过这个视频让大家对这种工具的工作原理有一些概念性的理解。 首先&#xff0c;我们来谈谈你在这个文本框里输入内容并点击回车后背…...

编程日记 2025/9/11 22:39:20

【1162. 地图分析 中等】

题目&#xff1a; 你现在手里有一份大小为 n x n 的 网格 grid&#xff0c;上面的每个 单元格 都用 0 和 1 标记好了。其中 0 代表海洋&#xff0c;1 代表陆地。 请你找出一个海洋单元格&#xff0c;这个海洋单元格到离它最近的陆地单元格的距离是最大的&#xff0c;并返回该…...

编程日记 2025/9/12 22:18:39

PyQT6是干啥的？

PyQt6 是一个用于创建图形用户界面&#xff08;GUI&#xff09;的 Python 库&#xff0c;基于 Qt 框架。它允许开发者用 Python 编写跨平台的桌面应用程序&#xff0c;支持 Windows、macOS 和 Linux 等操作系统。 主要功能 GUI 开发&#xff1a;提供丰富的控件&#xff08;如按…...

编程日记 2025/9/12 22:18:07

华为云之使用鲲鹏弹性云服务器部署Node.js环境【玩转华为云】

华为云之使用鲲鹏弹性云服务器部署Node.js环境【玩转华为云】 一、本次实践介绍1.1 实践环境简介1.3 本次实践完成目标 二、 相关服务介绍2.1 华为云ECS云服务器介绍2.2 Node.js介绍 三、环境准备工作3.1 预置实验环境3.2 查看预置环境信息 四、登录华为云4.1 登录华为云4.2 查…...

编程日记 2025/9/11 22:34:08

PyCharm怎么集成DeepSeek

PyCharm怎么集成DeepSeek 在PyCharm中集成DeepSeek等大语言模型（LLM）可以借助一些插件或通过代码调用API的方式实现，以下为你详细介绍两种方法： 方法一：使用JetBrains AI插件（若支持DeepSeek） JetBrains推出了AI插件来集成大语言模型，不过截至2024年7月，官方插件主要…...

编程日记 2025/9/12 22:19:55

NFC拉起微信小程序申请URL scheme 汇总

NFC拉起微信小程序&#xff0c;需要在微信小程序开发里边申请 URL scheme &#xff0c;审核通过后才可以使用NFC标签碰一碰拉起微信小程序 有不少人被难住了&#xff0c;从微信小程序开发社区汇总了以下信息&#xff0c;供大家参考 第一&#xff0c;NFC标签打开小程序 https://…...

编程日记 2025/9/12 22:19:53

使用Docker方式一键部署MySQL和Redis数据库详解

一、前言 数据库是现代应用开发中不可或缺的一部分&#xff0c;MySQL和Redis作为两种广泛使用的数据库系统&#xff0c;分别用于关系型数据库和键值存储。本文旨在通过Docker和Docker Compose的方式&#xff0c;提供一个简洁明了的一键部署方案&#xff0c;确保数据库服务的稳…...

编程日记 2025/9/12 22:18:08

spring注解开发（Spring整合MyBatis——Mapper代理开发模式、(Spring、MyBatis、Jdbc)配置类）(6)

目录 一、纯MyBatis独立开发程序。 &#xff08;1&#xff09;数据库与数据表。 &#xff08;2&#xff09;实体类。 &#xff08;3&#xff09;dao层接口。&#xff08;Mapper代理模式、无SQL映射文件——注解配置映射关系&#xff09; &#xff08;4&#xff09;MyBatis核心配…...

编程日记 2025/9/12 22:15:38

Spring Boot项目集成Redisson 原始依赖与 Spring Boot Starter 的流程

Redisson 是一个高性能的 Java Redis 客户端&#xff0c;提供了丰富的分布式工具集&#xff0c;如分布式锁、Map、Queue 等&#xff0c;帮助开发者简化 Redis 的操作。在集成 Redisson 到项目时&#xff0c;开发者通常有两种选择&#xff1a; 使用 Redisson 原始依赖。使用 Re…...

编程日记 2025/9/12 22:17:38

Maven中一些基础知识点

早些时候只知道创建或者开发springboot项目时候&#xff0c;有一个叫pom.xml的文件可以用来管理项目所需的依赖/第三方工具。 索性稍微深入了解了一下&#xff0c;然后把自己认为重要的记录下来。 首先我们要引入新的依赖自然是在dependencies下写dependency&#xff0c;这个…...

编程日记 2025/9/12 11:26:28

塑造网络安全的关键事件

注&#xff1a;本文为 “网络安全” 相关文章合辑。 机翻&#xff0c;未校。 Timeline of Cyber Security: Key Events that Shaped the Field 网络安全时间表&#xff1a;塑造该领域的关键事件 October 29, 2023 Cyberattacks are an everyday threat, always changing. T…...

编程日记 2025/9/12 22:21:11

前端项目打包生成 JS 文件的核心步骤

前端项目打包生成 JS 文件的过程通常涉及以下核心步骤&#xff0c;以主流工具&#xff08;如 Webpack、Vite、Rollup 等&#xff09;为例&#xff1a; 一、项目准备阶段 项目结构 源代码目录&#xff08;如 src/&#xff09;包含 JS/TS、CSS、图片等资源配置文件&#xff08;pa…...

编程日记 2025/9/12 22:21:11

【Pandas】pandas Series fillna

Pandas2.2 Series Computations descriptive stats 方法描述Series.backfill(*[, axis, inplace, limit, …])用于填充 Series 中缺失值&#xff08;NaN&#xff09;的方法Series.bfill(*[, axis, inplace, limit, …])用于填充 Series 中缺失值&#xff08;NaN&#xff09;的…...

编程日记 2025/9/12 22:18:40

微信小程序自定义导航栏实现指南

文章目录 微信小程序自定义导航栏实现指南一、自定义导航栏的需求分析二、代码实现1. WXML 结构2. WXSS 样式样式解析：3. JavaScript 逻辑三、完整代码示例四、注意事项与优化建议五、总结微信小程序自定义导航栏实现指南 在微信小程序开发中，默认的导航栏样式可能无法满足所…...

编程日记 2025/9/12 22:16:22

GitCode 助力 python-office：开启 Python 自动化办公新生态

项目仓库&#xff1a;https://gitcode.com/CoderWanFeng1/python-office 源于需求洞察&#xff0c;打造 Python 办公神器 项目作者程序员晚枫在运营拥有 14w 粉丝的 B 站账号 “Python 自动化办公社区” 时&#xff0c;敏锐察觉到非程序员群体对 Python 学习的强烈需求。在数字…...

编程日记 2025/8/26 12:13:31

C#开发的Base64编码及解码完整源码及注意事项

在软件开发时&#xff0c;经常用Base64编码和解码功能。本文介绍一个简单易用的Base64 编码和解码工具&#xff0c;顾名思义&#xff0c;就是简单快捷地进行 Base64 代码的解码或编码操作。您的数据可以轻松地编码为 Base64 编码&#xff0c;也可以解码为可读的格式。传输数据时…...

编程日记 2025/9/12 22:19:55

deepseek部署：ELK + Filebeat + Zookeeper + Kafka

## 1. 概述 本文档旨在指导如何在7台机器上部署ELK&#xff08;Elasticsearch, Logstash, Kibana&#xff09;堆栈、Filebeat、Zookeeper和Kafka。该部署方案适用于日志收集、处理和可视化场景。 ## 2. 环境准备 ### 2.1 机器分配 | 机器编号 | 主机名 | IP地址 | 部署组件 |-…...

编程日记 2025/9/8 17:20:58

[密码学实战]Java实现国密（SM2）密钥协商详解：原理、代码与实践

一、代码运行结果 二、国密算法与密钥协商背景 2.1 什么是国密算法？ 国密算法是由中国国家密码管理局制定的商用密码标准，包括： SM2：椭圆曲线公钥密码算法（非对称加密/签名/密钥协商）SM3：密码杂凑算法（哈希）SM4：分组密码算法（对称加密）2.2 密钥协商的意义 在安全…...

编程日记 2025/9/10 9:09:17

STM32学习——RTC实时时钟（BKP与RTC外设）

RTC实时时钟 RTC实时时钟 想记录或读取日期和事件&#xff0c;就可以通过操作RTC实现 RTC与BKP和PWR经常同时出现 一般情况下&#xff0c;VBTA是电池供电口&#xff0c;需要接备用电池 在BKP备份寄存器写入两个数据&#xff0c;然后再读出之后显示&#xff0c;BKP的数据&a…...

编程日记 2025/9/12 12:06:43

SQL打折日期交叉问题

1. 数据结构&#xff1a;数据为平台商品促销数据 表名&#xff1a;good_promotion 字段名&#xff1a;brand&#xff08;品牌&#xff09;、stt&#xff08;打折开始日期&#xff09;、edt&#xff08;打折结束日期&#xff09;。 2. 需求&#xff1a; ① 创建表 ② 计算每个…...

编程日记 2025/9/12 3:47:46

智能机器人加速进化：AI大模型与传感器的双重buff加成

Deepseek不仅可以在手机里为你解答现在的困惑、占卜未来的可能&#xff0c;也将成为你的贴心生活帮手&#xff01; 2月21日&#xff0c;追觅科技旗下Dreamehome APP正式接入DeepSeek-R1大模型&#xff0c;2月24日发布的追觅S50系列扫地机器人也成为市面上首批搭载DeepSeek-R1的…...

编程日记 2025/9/9 15:09:45

AI大模型-提示工程学习笔记21-图提示 (Graph Prompting)

目录 1. 图提示的核心思想 (1) 传统提示的局限性 (2) Graph Prompting 的解决方案 2. Graph Prompting 的工作流程 (1) 图构建 (2) 图选择/子图提取 (3) 图编码 (4) 提示构建 (5) LLM 推理与生成 3. Graph Prompting 的关键组件 (1) 大语言模型 (LLM) (2) 图数据库…...

编程日记 2025/9/10 12:56:47

C++ 中的 for 循环语句教程

摘要 for 循环是 C 中最常用的循环结构之一&#xff0c;用于重复执行一段代码&#xff0c;直到满足特定条件。它特别适合在已知循环次数的情况下使用。本教程将详细介绍 for 循环的语法、用法以及一些常见示例。 1. for 循环的基本语法 for 循环的语法如下&#xff1a; for …...

编程日记 2025/9/10 20:13:31

UniApp 中封装 HTTP 请求与 Token 管理（附Demo）

目录 1. 基本知识2. Demo3. 拓展 1. 基本知识 从实战代码中学习&#xff0c;上述实战代码来源&#xff1a;芋道源码/yudao-mall-uniapp 该代码中&#xff0c;通过自定义 request 函数对 HTTP 请求进行了统一管理&#xff0c;并且结合了 Token 认证机制 请求封装原理&#xff…...

编程日记 2025/9/8 1:43:30

paddlehub hub TypeError 错误

pip install paddlehub hub install chinese_ocr_db_crnn_mobile 提示错误&#xff1a; TypeError: Descriptors cannot be created directly. If this call came from a _pb2.py file, your generated code is out of date and must be regenerated with protoc > 3.19.0…...

编程日记 2025/9/10 21:12:02

机器学习--（随机森林，线性回归）

一、集成学习方法之随机森林 集成学习的基本思想就是将多个分类器组合&#xff0c;从而实现一个预测效果更好的集成分类器。集成算法可以说从一方面验证了中国的一句老话&#xff1a;三个臭皮匠&#xff0c;赛过诸葛亮。集成算法大致可以分为&#xff1a;Bagging&#xff0c;B…...

编程日记 2025/9/9 15:46:38

和鲸科技推出人工智能通识课程解决方案，助力AI人才培养

2025年2月&#xff0c;教育部副部长吴岩应港澳特区政府邀请&#xff0c;率团赴港澳宣讲《教育强国建设规划纲要 (2024—2035 年)》。在港澳期间&#xff0c;吴岩阐释了教育强国目标的任务&#xff0c;并与特区政府官员交流推进人工智能人才培养的办法。这一系列行动体现出人工智…...

编程日记 2025/9/12 8:41:51

从暴力破解到时空最优：LeetCode算法设计核心思维解密

一、算法优化金字塔模型&#xff08;时间复杂度/空间复杂度协同优化&#xff09; 1.1 复杂度分析的本质 大O记号的三层认知&#xff1a; ① 理论复杂度边界&#xff08;理想模型&#xff09; ② 硬件架构影响&#xff08;缓存命中率/分支预测&#xff09; ③ 语言特性损耗&am…...

编程日记 2025/9/7 7:40:08

关于在java项目部署过程MySQL拒绝连接的分析和解决方法

前言 在最近一次部署项目一次项目部署过程中&#xff0c;由于没有对MySQL数据库的部分权限和远程连接进行授权&#xff0c;导致了在执行项目功能API时&#xff0c;出现MySQL连接异常或MySQL拒绝连接的问题。 问题 以下是部分报错截图&#xff1a; 分析 根据日志提示&#xf…...

编程日记 2025/9/8 12:49:21

『抓包工具』安卓抓包小黄鸟 lsp过检测 雷电模拟器root（保姆级图文）

目录 准备工作雷电9.0.74 64位下载对应工具通过面具鸭安装面具安装防检测模块设置Zygisk安装小黄鸟简易抓包教程总结欢迎关注 『抓包工具』 专栏，持续更新中 欢迎关注 『抓包工具』 专栏，持续更新中 请注意不要随便升级雷电模拟器了 不然你需要重新通过面具鸭安装面具 准备工…...

编程日记 2025/9/9 4:24:07

k8S通过代理将集群外的中间件引入集群内访问 —— 筑梦之路

背景说明 有部分中间件是跑在Kubernetes集群之外&#xff0c;我们希望通过service的方式来访问集群外的中间件&#xff0c;比如访问我们k8s集群外的elasticsearch集群。 ES节点本身又处在一个负载均衡IP&#xff1a;192.168.100.100 之后&#xff0c;但是代理的端口号是9202&am…...

编程日记 2025/9/10 18:47:22

【考试大纲】高级系统架构设计师考试大纲

目录 引言一、 考试说明1．考试目标2．考试要求3．考试科目设置二、 考试范围考试科目1：系统架构设计综合知识考试科目2:系统架构设计案例分析考试科目3:系统架构设计论文引言 最新的系统架构设计师考试大纲出版于 2022 年 11 月，本考试大纲基于此版本整理。 一、 考试说明…...

编程日记 2025/9/10 7:06:57

三个小时学完vue3 —— 简单案例（二）

三个小时学完vue3&#xff08;二&#xff09; 图片轮播案例 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><…...

编程日记 2025/9/7 10:12:45

筑牢安全防线：工商业场所燃气泄漏防护新方案

燃气安全是企业经营不可逾越的生命线。在餐饮后厨、化工车间、酒店锅炉房等场所&#xff0c;可燃气体一旦泄漏&#xff0c;极易引发严重事故。如何实现精准监测、快速响应&#xff0c;成为工业及商业领域安全管理的核心诉求。旭华智能深耕安全监测领域&#xff0c;推出的工业及…...

编程日记 2025/9/6 14:15:45

git上传仓库操作

在 Visual Studio Code (VSCode) 中&#xff0c;手动将本地仓库与远程仓库关联起来是一个常见的需求。以下是详细的操作步骤和解释&#xff1a; 前提条件 已安装 Git&#xff1a;确保你的系统中已经安装了 Git&#xff0c;并且可以通过命令行运行 git 命令。已初始化本地仓库&…...

编程日记 2025/9/9 6:46:14

广义线性模型下的数据分析（R语言）

一、实验目的&#xff1a; 通过上机试验&#xff0c;掌握利用R实现线性回归分析、逻辑回归、列联分析及方差分析&#xff0c;并能对分析结果进行解读。 数据&#xff1a; 链接: https://pan.baidu.com/s/1JqZ_KbZJEk-pqSUWKwOFEw 提取码: hxts 二、实验内容&#xff1a; 1、2…...

编程日记 2025/9/11 20:55:27

贪心算法精品题

1.找钱问题 本题的贪心策略在于我们希望就可能的保留作用大的5元 class Solution { public:bool lemonadeChange(vector<int>& bills) {std::map<int ,int> _map;for(auto ch:bills){if(ch 5) _map[ch];else if(ch 10){if(_map[5] 0) return false;else{_m…...

编程日记 2025/9/12 21:09:12

爱普生汽车用显示控制器IC：ScalerIC,汽车接口IC,相机接口IC

爱普生汽车显示控制器IC&#xff0c;汽车显示控制器芯片可以分为三类&#xff1a;爱普生显示控制芯片Scaler IC &#xff0c;爱普生汽车接口IC&#xff0c;爱普生相机接口IC。下面就给大家分别介绍下这三类芯片的具体型号的特征及用途。 爱普生显示控制芯片 Scaler IC Scaler…...

编程日记 2025/9/7 6:32:37

深度学习基础--ResNet50V2网络的讲解，ResNet50V2的复现(pytorch)以及用复现的ResNet50做鸟类图像分类

&#x1f368; 本文为&#x1f517;365天深度学习训练营 中的学习记录博客&#x1f356; 原作者&#xff1a;K同学啊 前言 如果说最经典的神经网络&#xff0c;ResNet肯定是一个&#xff0c;从ResNet发布后&#xff0c;作者又进行修改&#xff0c;命名为ResNe50v2&#xff0c…...

编程日记 2025/9/11 6:40:05

物理竞赛中的线性代数

线性代数 1 行列式 1.1 n n n 阶行列式 定义 1.1.1&#xff1a;称以下的式子为一个 n n n 阶行列式&#xff1a; ∣ A ∣ ∣ a 11 a 12 ⋯ a 1 n a 21 a 22 ⋯ a 2 n ⋮ ⋮ ⋱ ⋮ a n 1 a n 2 ⋯ a n n ∣ \begin{vmatrix}\mathbf A\end{vmatrix} \begin{vmatrix} a_{11…...

编程日记 2025/9/12 0:29:44

OptiTrack光学跟踪系统：引领工厂机器人应用的革新浪潮

在现代化的工厂生产线上&#xff0c;一台机械臂正以惊人的毫米级精度执行着精密零件的装配任务。这一精准操作的背后&#xff0c;是OptiTrack光学跟踪系统的实时捕捉与优化&#xff0c;它正助力生产效率与产品质量迈向新的高度。如今&#xff0c;这一技术正在全球范围内广泛应用…...

编程日记 2025/9/9 17:10:09

Coze/Dify/Ollama在玩ai时候的用途

Coze、Dify 和 Ollama 是三种不同的工具或平台&#xff0c;它们各自有不同的定位和用途。以下是对它们的区别、优缺点以及部署和使用方式的详细分析。 1. Coze 简介 Coze 是一个专注于构建基于大语言模型&#xff08;LLM&#xff09;的应用程序的开发平台。它类似于 Dify&…...

编程日记 2025/9/10 18:42:25

使用Docker Compose部署 MySQL8

MySQL 8 是一个功能强大的关系型数据库管理系统，而 Docker 则是一个流行的容器化平台。结合使用它们可以极大地简化 MySQL 8 的部署过程，并且确保开发环境和生产环境的一致性。 安装 Docker 和 Docker Compose 首先，确保你的机器上已经安装了 Docker 和 Docker Compose。 …...

编程日记 2025/9/7 10:58:23