当前位置： 首页 > news >正文

稳定运行的以Oracle NoSQL数据库为数据源和目标的ETL性能变差时提高性能方法和步骤

news 来源：原创 2025/8/4 3:22:50

提高基于Oracle NoSQL数据库的ETL（提取、转换、加载）性能时，主要从多个角度进行优化。

提高基于Oracle NoSQL数据库的ETL性能需要综合考虑多个方面，关键是减少不必要的I/O操作、优化数据转换和加载过程、合理配置Oracle NoSQL数据库及ETL工具的并行化处理能力。通过持续的监控与调优，可以确保ETL流程在稳定运行的基础上进一步提升性能。以下是一些常见的优化方法和步骤：

1. 分析和优化数据提取（Extract）阶段

  • 分区处理： 使用Oracle NoSQL的分区功能，将数据分布到多个节点上，提高并行处理能力。ETL工具可以通过设置分区来并行提取数据，减少单一任务的负担。
  • 增量加载： 避免全量数据提取。可以通过记录数据的最后更新时间戳或增量标识符（如主键ID的增量）来进行增量提取，从而减少每次提取的数据量。
  • 适当的查询优化： 确保ETL提取过程中查询的效率，特别是在读取大数据集时。可以考虑调整查询条件、限制返回字段数、避免复杂的嵌套查询等。
  • 批量提取： 将数据分成小批量进行提取，避免单次提取大量数据导致性能瓶颈。

2. 优化数据转换（Transform）阶段

  • 内存中的转换： 尽量将转换操作放在内存中进行处理，而不是在数据库中执行。内存中的数据处理速度较快，且避免了与数据库频繁交互。
  • 并行化转换： 如果有多个独立的转换任务，可以使用多线程或并行处理的方式提高效率。
  • 使用流处理（Stream Processing）： 对于大数据量的转换，考虑采用流式处理模型，逐批次、逐行处理数据，避免一次性加载所有数据。
  • 优化数据结构： 确保在转换过程中使用高效的数据结构和算法，以减少处理时间。

3. 优化数据加载（Load）阶段

  • 批量插入： 使用Oracle NoSQL数据库支持的批量操作接口，避免逐条插入数据。批量操作通常会显著减少网络开销和I/O操作，从而提高加载性能。
  • 数据预处理： 在ETL加载过程中，进行数据清洗、格式转换等操作时，要确保这些操作对数据库的写入负担最小化。比如，避免在加载时进行复杂的计算或排序。
  • 适当的索引： 确保目标数据库的索引是必要的，但避免过多的索引，因为它们会在插入或更新数据时导致性能下降。
  • 数据分片： 如果数据量较大，可以通过分片技术将数据分散到不同的数据库节点上进行并行加载，减少单点负载。

4. 网络和硬件优化

  • 带宽和延迟： 确保ETL过程中的网络连接足够稳定和快速。Oracle NoSQL数据库对网络的依赖较高，尤其是数据的读写操作，因此网络带宽和延迟是影响性能的关键因素。
  • 硬件资源分配： 监控ETL任务执行期间的CPU、内存、磁盘I/O等资源使用情况，并根据需要扩展硬件资源，避免性能瓶颈。

5. Oracle NoSQL数据库配置和调优

  • 适当的容量规划： 根据数据量的规模，合理配置Oracle NoSQL数据库的存储节点，避免单个节点的负载过重。
  • 调整数据一致性设置： Oracle NoSQL数据库允许调整数据的一致性模型（例如，使用最终一致性 vs 强一致性），选择适当的级别可以提高性能。
  • 缓存和索引优化： Oracle NoSQL支持内存缓存机制，合理配置缓存可以显著提高性能。优化索引策略，避免不必要的索引会提高查询速度。
  • 性能监控和日志分析： 使用Oracle NoSQL数据库的监控工具来识别和分析性能瓶颈。根据日志中的信息调整数据库配置和ETL流程。

6. ETL工具的调优

  • 并行处理和分布式执行： 选择支持并行化的ETL工具，通过多任务并行执行来提高整体效率。
  • 缓存机制： 一些ETL工具支持对中间数据进行缓存，避免重复查询和数据处理。合理利用缓存可以减少I/O负载。
  • 批处理和流处理： 结合批量处理和流处理，优化ETL的负载，并减少处理延迟。

7. ETL流程的自动化与监控

  • 自动化调度： 使用ETL调度工具（如Apache Airflow）来自动化ETL任务的执行，避免人为操作导致的性能波动。
  • 监控和警报： 配置ETL监控和性能报警系统，实时监控ETL任务的执行情况，及时发现和解决性能瓶颈。

8. Oracle NoSQL数据库性能优化

当Oracle NoSQL数据库性能出现下降时，可以采取以下步骤来诊断和提高性能：

1. 诊断性能瓶颈

通过以下方式诊断性能瓶颈，找出性能下降的根本原因：

  • 监控资源使用情况：

    • 检查CPU、内存、磁盘和网络的使用情况，确定是否是硬件资源限制导致的性能问题。
    • 使用操作系统的监控工具（如top, htop, vmstat, iostat等）和Oracle NoSQL提供的监控工具（如Oracle NoSQL DB Admin Console）查看资源消耗情况。

  • 查看日志：

    • 查看数据库日志文件，寻找错误、警告或者异常。
    • 检查NoSQL数据库的执行计划、慢查询等，查看是否存在性能瓶颈。

  • 查询性能分析：

    • 使用Oracle NoSQL的monitor工具，查看运行的查询和事务，分析哪些操作消耗了最多的时间。
2. 调整数据库配置

  • 增大缓存：

    • 提高cache size可以减少磁盘I/O，提高性能。Oracle NoSQL数据库有针对缓存的配置，可以根据实际情况调整。

  • 调整副本和分区设置：

    • 增加数据分区数（sharding），或者调整副本因子的设置，确保数据的负载均衡。
    • 根据业务需求优化副本设置和分区策略，使数据查询和存储更加高效。

  • 数据库连接池：

    • 确保连接池的大小配置合理。过小的连接池会导致连接频繁创建和销毁，增加开销；过大的连接池则可能占用过多的资源。
3. 硬件和网络优化

  • 优化硬件资源：

    • 确保数据库所在的服务器有足够的CPU、内存和磁盘IO性能支持。特别是在磁盘IO上，使用SSD替代HDD会有显著的性能提升。

  • 网络带宽：

    • 检查网络带宽，确保数据库节点之间的网络延迟低，并且带宽充足。如果数据库集群中有节点间通信频繁，可以考虑减少节点之间的网络传输或优化网络架构。
4. 优化数据模型

  • 选择合适的数据模型：

    • Oracle NoSQL数据库的性能和数据模型密切相关，采用合适的行键和列设计可以减少查询时间和存储空间。
    • 使用合适的索引可以提高查询速度，但是要注意避免过多的索引，避免影响插入性能。

  • 数据冗余：

    • 如果数据模型中有大量的重复数据，考虑进行去重或者优化存储方式，减少存储压力。

  • 批量写入：

    • 如果应用涉及大量的写入操作，考虑使用批量写入（bulk inserts）而非单条写入，以减少I/O操作的开销。
5. 更新和维护

  • 保持系统更新：

    • 确保Oracle NoSQL数据库和操作系统处于最新版本，及时安装修复程序和性能改进补丁。

  • 定期优化：

    • 执行定期的数据库优化任务，例如整理数据、清理过期的记录、调整索引等。

  • 内存管理：

    • 定期监测和调整内存使用，确保没有内存泄漏或资源争用。
6. 集群扩展

  • 增加节点：

    • 如果当前集群的节点资源不足，考虑扩展集群，增加更多的数据库节点来分担负载。

  • 负载均衡：

    • 在多节点的情况下，确保请求均匀分布到各个节点，避免某些节点负载过高。
7. 性能基准和测试

  • 进行基准测试：

    • 定期进行性能基准测试，以评估系统在不同负载下的表现。基准测试有助于发现性能问题并进行相应优化。

  • 使用诊断工具：

    • 利用Oracle NoSQL提供的性能诊断工具（如kvstat、dbstat等），分析系统的实时性能和历史趋势，查找性能下降的原因。
8. 提高表和视图的读写效率

在 Oracle NoSQL 中提高表和视图的读写效率涉及多个方面，主要可以从数据模型设计、索引优化、存储策略、以及查询优化等多个角度进行调整。以下是一些提高读写效率的方法：

1. 数据模型优化
  • 合理的数据建模：设计适当的数据模型是提高效率的基础。在设计表结构时，要尽量考虑到数据访问的模式，避免频繁的全表扫描或不必要的数据读取。
  • 使用合适的分区策略：在 Oracle NoSQL 中，可以对表进行分区，这样有助于数据的水平扩展，减小单个节点的负载，提高查询效率。例如，可以根据访问模式选择按时间或按地理位置等分区。
  • 避免过度的嵌套结构：尽量避免使用复杂的嵌套 JSON 对象，因为嵌套结构可能会导致解析时性能下降。如果需要频繁访问某些字段，考虑将这些字段拆分到独立的表中。
2. 索引优化
  • 创建索引：在高频查询字段上创建索引，可以显著提升查询性能。Oracle NoSQL 提供了多种类型的索引，如二级索引、全局二级索引等，合理使用索引可以加速查询。
  • 避免不必要的索引：虽然索引可以提高查询性能，但过多的索引会增加写入操作的开销。因此，只在最常用的查询字段上创建索引，避免为每个字段都创建索引。
  • 索引覆盖查询：确保创建索引时，包含查询所需的所有字段，以避免查询时仍需回表操作。
3. 存储和缓存策略
  • 使用合适的数据存储选项：Oracle NoSQL 提供了不同的存储类型，可以根据应用需求选择合适的存储选项，例如 SSD 或传统硬盘存储。根据工作负载选择合适的存储硬件，有助于提升性能。
  • 缓存常用数据：将频繁访问的数据缓存在应用层或数据库层，减少直接访问存储的次数，提升读操作的效率。
4. 查询优化
  • 避免全表扫描：尽量避免全表扫描，因为这会导致性能下降。在设计查询时，确保能够利用索引进行高效的检索。
  • 避免复杂的多表连接：尽量避免复杂的联接查询。如果需要联接多个表，可以考虑将相关数据预先合并或使用聚合来减少查询的复杂性。
  • 使用分页查询：对于大数据集的查询，采用分页查询来逐步获取数据而不是一次性返回全部数据，可以有效减小查询压力。
  • 合理使用视图：如果视图的查询非常复杂，可能会导致性能瓶颈。可以通过物化视图等方式减少计算开销。
5. 写入优化
  • 批量写入：对于大量的写入操作，尽量使用批量写入操作，这样可以减少网络开销和写入延迟。
  • 选择合适的写入一致性级别：在保证数据一致性的前提下，选择适当的写入一致性级别，避免过高的一致性要求导致写入性能下降。
  • 数据合并和去重：确保写入的数据是清晰的，避免重复或冗余数据的写入，这样可以减少存储空间的浪费，并提高写入效率。
6. 事务和并发管理
  • 合理的事务管理：避免长时间持有锁，导致性能下降。合理的事务粒度和并发控制可以减少事务冲突，提高整体性能。
  • 乐观并发控制：采用乐观并发控制来减少锁的竞争，从而提高并发写入效率。
7. 定期监控和调优
  • 监控性能：定期通过 Oracle NoSQL 的监控工具查看表的读写性能，识别瓶颈并进行优化。
  • 定期进行存储压缩：如果数据量大，可以定期进行数据压缩，减小存储空间，提升读写效率。
9. 提高只用于读取数据的表的读取效率

在Oracle NoSQL中，针对只用于读取数据的表，有几个策略可以用来提高读取效率：

1. 使用合适的分区策略
  • 分区键选择： 在Oracle NoSQL中，表是分区存储的，因此，选择一个合适的分区键非常重要。合理的分区键可以减少查询时的数据扫描范围，提高查询效率。对于只读表，应该选择能够均匀分布数据的字段作为分区键，避免出现热点分区。
  • 范围分区： 如果查询大多数基于时间或范围值，可以考虑选择基于范围的分区方式，这样读取时能够更高效地定位数据。
2. 索引优化
  • 创建适当的索引： 对常用的查询条件（如主键、索引字段）创建二级索引可以显著提高查询性能。对于频繁使用的字段（例如ID、日期等），可以创建二级索引，使得查询时可以直接根据索引进行检索，而无需扫描整个表。
  • 避免过多的索引： 虽然索引能加速查询，但过多的索引会影响性能，特别是在写入时会增加负担。对于只读表，保持必要的索引即可，不要过多创建无用索引。
3. 使用查询缓存
  • Oracle NoSQL支持查询缓存（Query Cache），它可以缓存某些查询的结果，减少频繁的相同查询的计算时间。可以通过配置查询缓存来提高读取效率。
4. 合适的数据模型
  • 扁平化表结构： 对于频繁读取的表，使用更简化的表结构（例如，避免复杂的嵌套数据）可以减少查询时的计算和IO负担。
  • 避免频繁的联接操作： 对于只读数据表，尽量避免设计需要联接操作的复杂模型。如果表间有关系，可以通过 denormalization（反规范化）来减少联接的需要，从而提高查询性能。
5. 优化读取操作
  • 选择适当的读取一致性： 如果应用不需要强一致性，可以选择较低的一致性级别（如最终一致性），这可以减少读取延迟并提高吞吐量。
  • 批量读取： 如果有大量的读取请求，可以使用批量读取操作，将多个读取请求合并为一个操作，减少网络开销并提高效率。
6. 调优系统配置
  • 调整存储和内存： 通过调整Oracle NoSQL的存储配置和内存分配，可以提高性能。例如，增大内存缓存可以减少磁盘IO，从而提高读取效率。
  • 硬件优化： 如果表的数据量非常大，可以考虑优化硬件配置，如使用更快的磁盘存储或增加服务器的计算能力。

相关文章：

稳定运行的以Oracle NoSQL数据库为数据源和目标的ETL性能变差时提高性能方法和步骤

提高基于Oracle NoSQL数据库的ETL（提取、转换、加载）性能时，主要从多个角度进行优化。 提高基于Oracle NoSQL数据库的ETL性能需要综合考虑多个方面，关键是减少不必要的I/O操作、优化数据转换和加载过程、合理配置Oracle NoSQL数据…...

编程日记 2025/8/4 3:22:50

ORACLE 19.8版本数据库环境EXPDP导数据的报错处理

近期用户在做EXPDP导出时，报错异常termination终止;EXPDP本身是简单的功能并且这个环境也是经常做导出的，到底是什么原因导致了这个问题呢？ 导出脚本报错： 分析导出日志，当时系统资源充足但是进程启动失败，…...

编程日记 2025/8/3 20:20:20

GPT-5 将免费向所有用户开放？

GPT-5 将免费向所有用户开放？ 硅谷知名分析师 Ben Thompson 最近与 OpenAI CEO Sam Altman 进行了一场深度对谈，其中Sam Altman透漏GPT-5将免费向大家发放。 OpenAI 这波操作可不是一时冲动，而是被逼出来的。DeepSeek 这个新秀横空出世&am…...

编程日记 2025/8/4 3:18:04

【AI模型】深度解析：DeepSeek的联网搜索的实现原理与认知误区

一、大模型的“联网魔法”：原来你是这样上网的！ 在人工智能这个舞台上，大模型们可是妥妥的明星。像DeepSeek、QWen这些大模型，个个都是知识渊博的“学霸”，推理、生成文本那叫一个厉害。不过，要是论起上网…...

编程日记 2025/8/4 3:13:06

学习笔记--基于Sa-Token 实现Java项目单点登录+同端互斥检测

目录 同端互斥登录 单点登录SSO 架构选型 模式二: URL重定向传播 前后端分离 整体流程 准备工作 搭建客户端 搭建认证中心SSO Server 环境配置 开放认证接口 启动类 跨域处理 同端互斥登录 同端互斥登陆 模块 同端互斥登录指：同一类型设备上只允许单地…...

编程日记 2025/8/2 19:14:28

Can通信流程

下面给出一个更详细的 CAN 发送报文的程序流程说明，结合 HAL 库的使用及代码示例，帮助你了解每一步的具体操作和内部原理。 一、系统与外设初始化 1.1 HAL 库初始化 在 main() 函数开头，首先调用 HAL 库初始化函数： HAL_Init()…...

编程日记 2025/7/22 17:41:03

基于BClinux8部署Ceph 19.2(squid)集群

#作者&#xff1a;闫乾苓 文章目录 1.版本选择Ceph版本发布历史目前官方在维护的版本 2.部署方法3.服务器规划4.前置配置4.1系统更新4.2配置hosts cat >> /etc/hosts << EOFssh-keygenssh-copy-id ceph01ssh-copy-id ceph02ssh-copy-id ceph034.5 Python34.6 Syst…...

编程日记 2025/8/1 23:38:16

Workerman5.0如何实现一对一聊天

文章精选推荐 1 JetBrains Ai assistant 编程工具让你的工作效率翻倍 2 Extra Icons&#xff1a;JetBrains IDE的图标增强神器 3 IDEA插件推荐-SequenceDiagram&#xff0c;自动生成时序图 4 BashSupport Pro 这个ides插件主要是用来干嘛的 &#xff1f; 5 IDEA必装的插件&…...

编程日记 2025/7/31 8:09:06

c#难点整理2

1.对象池的使用 就是先定义一系列的对象&#xff0c;用一个&#xff0c;调一个。 public class ObjectPool<T> where T : new(){private Queue<T> pool; // 用于存储对象的队列private int maxSize; // 对象池的最大容量// 构造函数public ObjectPool(int maxSi…...

编程日记 2025/7/31 20:19:32

STM32基础教程——定时器

前言 TIM定时器&#xff08;Timer&#xff09;:STM32的TIM定时器是一种功能强大的外设模块&#xff0c;通过时基单元&#xff08;包含预分频器、计数器和自动重载寄存器&#xff09;实现精准定时和计数功能。其核心原理是&#xff1a;内部时钟&#xff08;CK_INT&#xff09;或…...

编程日记 2025/7/27 16:22:08

How to share files with Windows via samba in Linux mint 22

概述 Windows是大家日常使用最多的操作系统&#xff0c;在Windows主机之间&#xff0c;可以共享文件&#xff0c;那么如何在Windows主机与Linux主机之间共享文件呢&#xff1f; 要在Windows主机与Linux主机之间共享文件&#xff0c;我们可以借助Samba协议完成。借助Samba协议…...

编程日记 2025/8/1 20:35:24

[AI速读]如何构建高效的AMBA协议检查器（Checker IP）

在芯片验证过程中，检查器（Checker）是确保设计符合协议规范的关键工具。本文基于一篇技术论文，分享如何为AMBA协议（如AXI、AHB）构建可重用的检查器IP（Checker IP，简称CIP），并简化其核心思路，帮助工程师快速上手。 一、什么是Checker IP？ Checker IP是一组用SystemVe…...

编程日记 2025/7/9 19:37:43

VBA-Excel

VBA 一、数据类型与变量 常用数据类型&#xff1a; Byte&#xff1a;字节型&#xff0c;0~255。Integer&#xff1a;整数型&#xff0c;用于存储整数值&#xff0c;范围 -32768 到 32767。Long&#xff1a;长整型&#xff0c;可存储更大范围的整数&#xff0c;范围 -214748364…...

编程日记 2025/8/2 22:17:43

网络华为HCIA+HCIP IPv6

目录 IPv4现状 IPv6基本报头 IPv6扩展报头 IPv6地址 IPv6地址缩写规范 ​编辑 IPv6地址分配 IPv6单播地址分配 IPv6单播地址接口标识 IPv6常见单播地址 - GUA &#xff08;2 / 3 开头&#xff09; IPv6常见单播地址 - ULA IPv6常见单播地址 - LLA IPv6组播地…...

编程日记 2025/7/28 22:58:25

LeetCode 每日一题 2025/3/17-2025/3/23

记录了初步解题思路 以及本地实现代码&#xff1b;并不一定为最优 也希望大家能一起探讨 一起进步 目录 3/17 1963. 使字符串平衡的最小交换次数3/18 2614. 对角线上的质数3/19 2610. 转换二维数组3/20 2612. 最少翻转操作数3/21 2680. 最大或值3/22 2643. 一最多的行3/23 2116…...

编程日记 2025/8/3 19:26:58

git tag以及git

git tag 以及git 一、先说收获吧 1. git bash 在windows上 类似于linux的bash提供的shell命令行窗口&#xff0c;可以执行很多linux命令&#xff0c;cd pwd ls vim cat touch mkdir&#xff0c;还可以用正则匹配查看标签。相当于在windows上装了一个小的linux。git init myproj…...

编程日记 2025/8/2 16:44:02

Android 自定义变形 MD5 算法

版权归作者所有&#xff0c;如有转发&#xff0c;请注明文章出处&#xff1a;https://cyrus-studio.github.io/blog/ MD5是一种哈希函数&#xff0c;用于将任意长度的数据映射为一个固定长度的哈希值。它由 Ron Rivest 在 1991 年设计&#xff0c;是继 MD4 之后的改进版本。 M…...

编程日记 2025/7/28 6:56:25

【SpringBoot】MorningBox小程序的完整后端接口文档

以下是「晨光宅配」小程序的完整接口文档，涵盖了所有12个表的接口。 每个接口包括请求方法、URL、请求参数、响应格式和示例 接口文档 1. 用户模块 1.1 获取用户信息 URL: /user/{userId}方法: GET请求参数: userId (路径参数): 用户ID响应格式:{"userId": 1,&qu…...

编程日记 2025/8/3 14:45:44

2025年01月03日微创网络（杭州银行外包）前端面试

目录 html 块级元素和行内元素有哪些阴影的几个属性垂直水平居中的实现方式定位的几种方式盒子模型的方式js的数组方法有哪些vue2 vue3 区别vuex哈希路由和浏览器路由的区别浏览器缓存的几个方式react hooks的优势react 组件传值vue 组件传值如何进行性能优化前端监控get post…...

编程日记 2025/8/3 10:48:04

工单分类总结

微调BERT-base模型，构建层次化分类器，Top-3准确率达97.2%，并自动识别出问题的关键类别 1. 具体微调的BERT-base模型是什么模型？ BERT-base模型是一个预训练的Transformer模型，包含12个Transformer块、12个自注意头和隐藏大小为768。该模型在大规模文本数据上进行了预训练…...

编程日记 2025/7/29 18:36:55

2025年了，5G还有三个新变化

最近舆论开始讨论5G为什么不火了&#xff1f;5G是不是停滞发展了。 实际上&#xff0c;5G不仅在发展&#xff0c;还迎来了它的升级版5G-A。 在今年西班牙举行的世界移动通信大会上&#xff0c;5G-A就是焦点之一。 被誉为全球通信领域风向标的MWC&#xff0c;汇聚了华为、中兴通…...

编程日记 2025/8/2 6:38:37

区块链交易所平台开发全解析

在数字化飞速发展的今天&#xff0c;区块链技术已成为金融领域的核心驱动力之一。作为数字货币交易的关键平台&#xff0c;区块链交易所的开发不仅涉及复杂的技术环节&#xff0c;还需要兼顾用户体验、安全性、合规性等多个方面。本文将深入探讨区块链交易所平台的开发流程、关…...

编程日记 2025/8/4 1:34:22

hexo+butterfly博客功能完善和美化（四）---博客上传

hexobutterfly博客功能完善和美化&#xff08;四&#xff09;—博客上传 这是最后一期讲美化和功能完善了&#xff0c;笔者会陆续把csdn上面的博客转移到我的博客网站上面&#xff0c;大家可以来访问 Darlingの妙妙屋 文章目录 hexobutterfly博客功能完善和美化&#xff08;…...

编程日记 2025/8/1 18:25:32

源码分析之Leaflet中dom模块DomEvent.DoubleTap的实现原理

概述 DomEvent.DoubleTap模块是Leaflet中用于模拟双击(dbclick)事件的模块&#xff0c;主要解决移动端浏览器对双击事件支持不完善或延迟的问题&#xff0c;同时避免与标签(<label>)关联的表单元素误触发。 源码分析 源码实现如下 DomEvent.DoubleTap的源码实现如下&…...

编程日记 2025/8/3 1:37:02

记录一次，rabbitmq开启stomp插件之后，还是连不上15674端口的问题

原因是装在docker 里面的rabbitmq 没有映射15674端口&#xff0c;需重新删除容器之后重新运行 docker run -d --name rabbitmq -p 5672:5672 -p 15672:15672 -p 15674:15674 -p 1883:1883 -p 15675:15675 rabbitmq:版本号 进入docker容器开启插件 docker exec -it rabbitm…...

编程日记 2025/8/3 1:37:07

git clone项目报错fatal: fetch-pack: invalid index-pack output问题

前情回顾&#xff1a;git项目放在公司服务器上面&#xff0c;克隆等操作需要连接VPN才能操作。由于项目比较大&#xff0c;网速比较慢&#xff0c;克隆项目经常出现fetch-pack: invalid index-pack output。在网上查找各种解决方法。也就这一种有点效果。仅供参考&#xff0c;不…...

编程日记 2025/7/20 14:50:09

【access开发】导入excel 并生成表

hi&#xff0c;大家好呀&#xff01; 最近天气越来越暖了&#xff0c;在这个春暖花开的季节了&#xff0c;每天心情应该都是美美的&#xff0c;正所谓一年之计在于春&#xff0c;在这个美好的季节&#xff0c;大家一起努力学习学习吧&#xff01;那我们来看看今天学点啥呢&…...

编程日记 2025/7/31 11:52:51

利用knn算法实现手写数字分类

利用knn算法实现手写数字分类 1.作者介绍2.KNN算法2.1KNN&#xff08;K-Nearest Neighbors&#xff09;算法核心思想2.2KNN算法的工作流程2.3优缺点2.4 KNN算法图示介绍 3.实验过程3.1安装所需库3.2 MNIST数据集3.3 导入手写数字图像进行分类3.4 完整代码3.5 实验结果 1.作者介…...

编程日记 2025/7/31 20:24:42

从零开始实现 C++ TinyWebServer 处理请求 HttpRequest类详解

文章目录 HTTP 请求报文HttpRequest 类实现 Init() 函数实现 ParseRequestLine() 函数实现 ParseHeader() 函数实现 ParsePath() 函数实现 ParseBody() 函数实现 ParsePost() 函数实现 ParseFromUrlEncoded() 函数实现 UserVerify() 函数实现 Parse() 函数HttpRequest 代码Http…...

编程日记 2025/7/19 11:05:25

Android开发layer-list

Android开发layer-list 它的用处可以在drawable上进行多图拼接&#xff0c;比如启动页&#xff0c;不想图片被拉伸就这么做。还有做某些线突出来。 示例代码&#xff1a; <?xml version"1.0" encoding"utf-8"?> <layer-list xmlns:android&q…...

编程日记 2025/8/2 16:44:03

如何提升库存系统的高并发和稳定性：算法与设计模式

库存系统是企业运营的核心模块&#xff0c;尤其是在电商、零售和供应链管理中&#xff0c;系统的高并发和稳定性直接影响订单处理的准确性和效率。面对海量订单、复杂的库存管理需求&#xff0c;如何在高并发环境下确保库存数据的准确性和系统的稳定性&#xff1f;本文将从架构…...

编程日记 2025/7/30 8:20:43

关于CNN,RNN,GAN,GNN,DQN,Transformer,LSTM,DBN你了解多少

以下是神经网络中常见的几种模型的简要介绍&#xff1a; 1. ​CNN (Convolutional Neural Network, 卷积神经网络) ​用途: 主要用于图像处理和计算机视觉任务。​特点: 通过卷积核提取局部特征&#xff0c;具有平移不变性&#xff0c;能够有效处理高维数据&#xff08;如图像…...

编程日记 2025/8/3 6:30:06

设计模式之装饰器模式

装饰器模式(Decorator)依然是我们设计模式中的结构型模式&#xff0c;其中的构造思想仍然是对多个类进行组合使用&#xff0c;以达成系统调用实现指定功能的设计模式。装饰器模式不论在我们日常开发过程中还是在我们提升技术阅读源码过程中都是比较常见的&#xff0c;但是整体学…...

编程日记 2025/7/30 4:11:25

Mistral AI发布开源多模态模型Mistral Small 3.1：240亿参数实现超越GPT-4o Mini的性能

法国人工智能初创公司Mistral AI于2025年3月正式推出新一代开源模型Mistral Small 3.1 &#xff0c;该模型凭借240亿参数的轻量级设计&#xff0c;在多项基准测试中表现优异&#xff0c;甚至超越了Google的Gemma 3和OpenAI的GPT-4o Mini等主流专有模型。 1、核心特性与优势 多…...

编程日记 2025/7/29 1:36:53

SpringBoot3实战（SpringBoot3+Vue3基本增删改查、前后端通信交互、配置后端跨域请求、数据批量删除(超详细)）(3)

目录 一、从0快速搭建SpringBoot3工程、SpringBoot3集成MyBatis、PageHelper分页查询的详细教程。(博客链接) 二、实现前端与后端通信对接数据。(axios工具) &#xff08;1&#xff09;安装axios。(vue工程目录) &#xff08;2&#xff09;封装请求工具类。(request.js) <1&…...

编程日记 2025/8/1 17:28:34

LabVIEW发电平台数据采集系统

本文详细介绍了基于LabVIEW的摇臂式波浪发电平台数据采集系统的设计与实现。通过整合LabVIEW软件与多种传感器技术&#xff0c;本系统能够有效提升数据采集的准确性和效率&#xff0c;为波浪能的利用和发电设备的优化提供科学依据。 ​ 项目背景 随着全球能源需求增长和环境保…...

编程日记 2025/8/2 16:43:51

人工智能（AI）系统化学习路线

一、为什么需要系统化学习AI&#xff1f; 人工智能技术正在重塑各行各业&#xff0c;但许多初学者容易陷入误区&#xff1a; ❌ 盲目跟风&#xff1a;直接学习TensorFlow/PyTorch&#xff0c;忽视数学与算法基础。 ❌ 纸上谈兵&#xff1a;只看理论不写代码&#xff0c;无法解…...

编程日记 2025/7/30 1:22:43

oracle事务的组成

1)数据库事务由以下的部分组成: 一个或多个DML 语句 ; 一个 DDL(Data Definition Language – 数据定义语言) 语句&#xff1b; 一个 DCL(Data Control Language – 数据控制语言)语句&#xff1b; 2)事务的执行开始&#xff1a; 以第一个 DML 语句的执行作为开始 &#xff0c;…...

编程日记 2025/8/3 18:16:01

第二十八篇 数据获取与数据分析：数仓体系下的专业化分工与协同

声明&#xff1a;文章内容仅供参考&#xff0c;需仔细甄别。文中技术名称属相关方商标&#xff0c;仅作技术描述&#xff1b;代码示例为交流学习用途&#xff0c;部分参考开源文档&#xff08;Apache 2.0/GPLv3&#xff09;&#xff1b;案例数据已脱敏&#xff0c;技术推荐保持…...

编程日记 2025/8/4 1:28:09

SpringSecurity——前后端分离登录认证

SpringSecurity——前后端分离登录认证的整个过程 前端&#xff1a; 使用Axios向后端发送请求 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>登录</title><script src"https://cdn…...

编程日记 2025/7/28 15:01:34

【AI】Orin Nano+ubuntu22.04上移植YoloV11，并使用DeepStream测试成功

1、准备工作 使用 sdk-manager 烧写 OrinNano， JetPack版本为6.0 DP，对应操作系统为：Ubuntu22.04 参见博客：【NVIDIA】Jetson Orin Nano系列：烧写Ubuntu22.04 2、安装 PyTorch 2.1 下载依赖 1）安装onnx pip install onnx -i https://pypi.tuna.tsinghua.edu.cn/sim…...

编程日记 2025/8/1 20:41:02

RHCE 使用nginx搭建网站

一。准备工作 Windows dns映射 创建目录网页 vim 编辑内容 添加如下 重启nginx服务&#xff0c;在Windows浏览器进行测试...

编程日记 2025/7/3 12:58:34

arm linux下的读写信号量rw_semphore的实现

本文基于arm linux 5.10来介绍内核中使用的读写信号量rw remphore的实现代码。 内核中信号量结构体struct rw_semaphore的定义在include/linux/rwsem.h 32位architectures下&#xff0c;结构体struct rw_semaphore中的count的使用如下&#xff1a; 先来看信号量的定义和初始化…...

编程日记 2025/7/31 13:09:25

搭建主从DNS、nfs、nginx

任务需求&#xff1a; 客户端通过访问 www.nihao.com 后&#xff0c;能够通过 dns 域名解析&#xff0c;访问到 nginx 服务中由 nfs 共享的首页文件&#xff0c;内容为&#xff1a;Very good, you have successfully set up the system. 各个主机能够实现时间同步&#xff0c;…...

编程日记 2025/7/28 1:20:55

Qt6+QML实现Windows屏幕录制

前言 Qt6提供了更丰富的多媒体支持类&#xff0c;使用Qt6 QMediaCaptureSession、QScreenCapture、QMediaRecorder&#xff0c;来实现一个屏幕录制的demo&#xff0c;其中QScreenCapture 最低版本 Qt6.5。支持录制的清晰度设置&#xff0c;选择视频保存位置&#xff0c;UI使用…...

编程日记 2025/8/3 6:30:13

python二级每日十题(1)

\ 第一题,在Python中&#xff0c;变量名的命名规则&#xff1a;以字母或下划线开头&#xff0c;后面跟字母、下划线和数字&#xff1b;不能以数字开头.故选c项,博主正确 缩进&#xff1a;在逻辑行首的空白&#xff08;空格和制表符&#xff09;用来决定逻辑行的缩进层次&…...

编程日记 2025/7/31 9:42:59

记录一次truncate导致MySQL夯住的故障

目录 环境信息&#xff1a; 故障描述&#xff1a; 处理过程&#xff1a; 原理分析&#xff1a; show processlist结果中的system lock含义&#xff1a; truncate原理&#xff1a; 1. TRUNCATE 的执行流程 2、TRUNCATE 表导致数据库夯住的原因 3、 TRUNCATE 表导致…...

编程日记 2025/7/23 22:49:33

Java Web应用程序实现用户登录、学生信息管理和验证码验证以及页面跳转等基本功能（IDEA）含（Ajax、JSTL）

一、具体框架以及代码功能的展示&#xff1a; 1. 文件结构 web03: 项目根目录。 src: 包含Java源代码。 cn.lvb: 主包。 bean: 包含实体类&#xff0c;如 Book 和 Student。 controller: 包含处理HTTP请求的Servlet类&#xff0c;如 DoLogin, Index, StuList1, VerifyCode。 …...

编程日记 2025/7/23 20:05:53

【Mybatis-plus】在mybatis-plus中 if test标签如何判断 list不为空

博主介绍&#xff1a;✌全网粉丝22W&#xff0c;CSDN博客专家、Java领域优质创作者&#xff0c;掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域✌ 技术范围&#xff1a;SpringBoot、SpringCloud、Vue、SSM、HTML、Nodejs、Python、MySQL、PostgreSQL、大数据、物…...

编程日记 2025/7/31 7:40:51

MySQL 事务（Transaction）详解

MySQL 事务&#xff08;Transaction&#xff09;详解 1. 什么是事务&#xff1f; 事务&#xff08;Transaction&#xff09;是一组要么全部执行&#xff0c;要么全部回滚的 SQL 语句&#xff0c;用于保证数据一致性。事务一般用于银行转账、订单支付等操作&#xff0c;确保多个…...

编程日记 2025/7/27 4:45:00