当前位置: 首页 > news >正文

Java 并发性能优化:线程池的最佳实践

Java 并发性能优化:线程池的最佳实践

在 Java 并发编程的世界里,线程池堪称提高应用性能与稳定性的神器。恰如其分地运用线程池,能让我们在多线程任务调度时游刃有余,既能避免线程频繁创建销毁带来的开销,又能合理管控资源、防止系统过载。接下来,让我们一同深入探寻 Java 线程池的最佳实践之道。

一、线程池核心原理剖析

线程池本质上是一个对线程进行复用的容器,它遵循着 “生产者 - 消费者” 模型:提交的任务(生产者)被放置到任务队列中,线程池中的线程(消费者)则从队列取任务并执行。

其核心组件包括:

  • 线程工厂(ThreadFactory) :负责创建新线程,可自定义线程名称、优先级等属性,便于定位问题。
  • 任务队列(WorkQueue) :存放待处理任务的阻塞队列,常见的有直接交还队列(SynchronousQueue,任务直接交给线程执行,若无空闲线程则会拒绝)、有界队列(ArrayBlockingQueue,规定了任务队列容量上限)、无界队列(LinkedBlockingQueue,队列容量极大,但可能引发内存溢出)。
  • 拒绝策略(RejectedExecutionHandler) :当线程池无法再接收新任务时的处理策略,如抛异常(AbortPolicy)、丢弃任务(DiscardPolicy)、丢弃 oldest 任务(DiscardOldestPolicy)、调用者自己执行任务(CallerRunsPolicy)。

二、线程池创建最佳实践

(一)基于业务场景选择线程池类型

  • CPU 密集型场景

对于计算密集型任务,线程数量应与 CPU 核心数紧密关联。可使用如下代码创建固定大小的线程池:

int cpuCores = Runtime.getRuntime().availableProcessors();
ExecutorService cpuIntensivePool = Executors.newFixedThreadPool(cpuCores);

这样的配置,能让 CPU 高效运转而不被过多线程切换拖累。

  • IO 密集型场景

IO 密集型任务大量时间在等待 IO 操作完成,适合配置稍多线程来提高资源利用率。例如:

ExecutorService ioIntensivePool = Executors.newFixedThreadPool(cpuCores * 2);

不过这只是一个经验公式,实际还需依据业务详细测试调整。

  • 混合场景

若任务兼具计算与 IO 操作,线程池大小介于两者之间。可先按 CPU 核心数的 1.5 - 2 倍设定,后续通过性能监控工具(如 VisualVM、Arthas)持续优化。

(二)避免使用 Executors 工厂方法的潜在风险

虽说 Executors 提供的 newFixedThreadPool、newCachedThreadPool 等方法使用起来十分便捷,但它们隐藏着隐患。例如,newCachedThreadPool 创建的线程池,允许无限创建线程,且线程空闲时会立即回收。当任务突发增多时,可能瞬间创建大量线程,耗尽系统资源。

// 不推荐,存在潜在风险
ExecutorService riskyPool = Executors.newCachedThreadPool();

相比之下,直接使用 ThreadPoolExecutor 构造函数自定义线程池更为稳妥,能精准控制核心线程数、最大线程数、任务队列等关键参数。

三、线程池调优技巧

(一)合理设置核心线程数与最大线程数

核心线程数是线程池初始化时就创建的线程数量,即使它们处于空闲状态也不会被销毁(除非设置了 allowCoreThreadTimeOut)。最大线程数则是线程池能容纳的线线程数量上限。两者的设置要基于业务流量峰谷:

// 自定义线程池示例
ExecutorService customPool = new ThreadPoolExecutor(corePoolSize, // 核心线程数maximumPoolSize, // 最大线程数keepAliveTime, TimeUnit.SECONDS, // 空闲线程存活时间workQueue, // 任务队列threadFactory, // 线程工厂handler // 拒绝策略
);

在业务平稳期,核心线程足以应对任务;当流量激增,新线程会陆续创建直至达到最大线程数。

(二)选择合适的任务队列

  • 直接交还队列(SynchronousQueue)

此队列无缓冲空间,提交的任务直接交给线程执行。若所有线程都忙于执行任务,新任务会因无法入队而触发拒绝策略。它适合用于短时任务场景,能快速响应,但对突发大流量适应性差。

// 使用直接交还队列
ExecutorService syncPool = new ThreadPoolExecutor(corePoolSize,maximumPoolSize,keepAliveTime, TimeUnit.SECONDS,new SynchronousQueue<Runnable>(),threadFactory,handler
);
  • 有界队列(ArrayBlockingQueue)

规定了明确的队列容量,能有效防止内存溢出。当队列满时,后续任务依据拒绝策略处理。它适用于对任务积压有一定容忍度的场景,例如定时任务调度系统。

// 设置有界队列
ExecutorService boundedPool = new ThreadPoolExecutor(corePoolSize,maximumPoolSize,keepAliveTime, TimeUnit.SECONDS,new ArrayBlockingQueue<Runnable>(queueCapacity),threadFactory,handler
);
  • 无界队列(LinkedBlockingQueue)

理论上队列容量无限大(实际受内存限制),任务提交基本不会被拒绝。但若任务源源不断地涌入,可能耗尽内存。在消息队列消费等场景,配合监控系统谨慎使用。

// 使用无界队列
ExecutorService unboundedPool = new ThreadPoolExecutor(corePoolSize,maximumPoolSize,keepAliveTime, TimeUnit.SECONDS,new LinkedBlockingQueue<Runnable>(),threadFactory,handler
);

(三)优化拒绝策略

默认的拒绝策略(AbortPolicy)会抛出 RejectedExecutionException 异常,这在某些业务场景下可能过于粗暴。我们可以自定义拒绝策略,实现优雅降级:

RejectedExecutionHandler gracefulHandler = new RejectedExecutionHandler() {@Overridepublic void rejectedExecution(Runnable r, ThreadPoolExecutor executor) {// 尝试将任务存入备选队列,或记录日志报警logger.warn("Task rejected, consider alternative handling...");// 实现具体业务逻辑,如将任务存入数据库延后处理等}
};ExecutorService pool = new ThreadPoolExecutor(... , // 其他参数gracefulHandler
);

当线程池拒收任务时,能按既定规则妥善处理,保障业务连续性。

四、线程池监控与常见错误应对

(一)监控线程池状态

借助线程池提供的 getter 方法,实时监控关键指标:

// 获取线程池活跃线程数
int activeCount = pool.getActiveCount();
// 查看线程池已完成任务数
long completedTaskCount = pool.getCompletedTaskCount();
// 获取线程池任务队列中待处理任务数
int queueSize = pool.getQueue().size();
// 获取线程池最大线程数
int maximumPoolSize = pool.getMaximumPoolSize();

将这些指标接入监控系统(如 Prometheus),设定阈值告警,能及时洞察线程池是否出现过载、任务积压等问题。

(二)常见错误及修复

  • 线程池耗尽内存

若无界队列滥用,或任务产生速度远超消费速度,可能引发内存溢出(OutOfMemoryError)。解决方案是切换为有界队列,并合理限制任务提交速率。

// 错误示例:无界队列引发内存问题
ExecutorService brokenPool = new ThreadPoolExecutor(... ,new LinkedBlockingQueue<Runnable>() // 无界队列
);// 修复后:替换为有界队列
ExecutorService fixedPool = new ThreadPoolExecutor(... ,new ArrayBlockingQueue<Runnable>(queueCapacity)
);
  • 线程泄漏

当线程池中的线程未正确关闭,或任务中存在死锁、长时间阻塞等情况,可能导致线程泄漏。务必在任务执行完毕后,合理关闭线程池:

// 正确关闭线程池
pool.shutdown(); // 停止接受新任务,等待已提交任务完成
try {if (!pool.awaitTermination(60, TimeUnit.SECONDS)) {pool.shutdownNow(); // 强制关闭线程池}
} catch (InterruptedException e) {pool.shutdownNow();
}

五、线程池替代方案与扩展

在某些特殊场景,传统线程池可能力不从心:

  • CompletableFuture 与异步编程

对于简洁的异步任务,CompletableFuture 提供了更优雅的 API:

CompletableFuture.supplyAsync(() -> {// 异步任务逻辑return result;
}).thenAccept(result -> {// 处理任务结果
});

它内置了灵活的任务链式调用、异常处理等机制,适用于微服务间异步通信等场景。

  • Quartz 定时任务框架

若业务需求集中在定时任务调度,Quartz 框架能提供更精准、灵活的定时规则配置,如按 Cron 表达式设定任务执行周期。

六、总结

Java 线程池是并发编程的利器,但要真正驾驭它,需深入理解其原理、依业务场景精妙配置参数、持续监控调优,并知晓其局限性及替代方案。在实际开发中,线程池的合理运用,能让我们从容应对高并发挑战,打造高效、稳定的 Java 应用。希望这些最佳实践,能助你在并发编程的道路上不断精进。

在这里插入图片描述

相关文章:

Java 并发性能优化:线程池的最佳实践

Java 并发性能优化&#xff1a;线程池的最佳实践 在 Java 并发编程的世界里&#xff0c;线程池堪称提高应用性能与稳定性的神器。恰如其分地运用线程池&#xff0c;能让我们在多线程任务调度时游刃有余&#xff0c;既能避免线程频繁创建销毁带来的开销&#xff0c;又能合理管控…...

QML动画--ParallelAnimation和SequentialAnimation

一、ParallelAnimation ParallelAnimation 是 QML 中用于并行执行多个动画的容器动画类型&#xff0c;可以同时运行多个子动画。 基本用法 qml import QtQuick 2.15Rectangle {id: rectwidth: 100; height: 100color: "red"x: 0; y: 0; opacity: 1.0ParallelAnim…...

深入解析进程与线程:区别、联系及Java实现

引言 在现代操作系统中&#xff0c;进程和线程是并发编程的两大核心概念。理解它们的区别与联系对开发高性能、高可靠性的程序至关重要。本文将通过原理分析和Java代码示例&#xff0c;深入探讨这两个关键概念。 一、基本概念 1.1 进程&#xff08;Process&#xff09; 定义&…...

c++:线程(std::thread)

目录 从第一性原理出发&#xff1a;为什么需要线程&#xff1f; ✅ 本质定义&#xff1a; &#x1f4cc; 使用基本语法&#xff1a; 线程之间的“并发”与“并行”的区别 线程安全与数据竞争&#xff08;Race Condition&#xff09; 如何让线程“安全地”访问数据&#x…...

基于LSTM-AutoEncoder的心电信号时间序列数据异常检测(PyTorch版)

心电信号&#xff08;ECG&#xff09;的异常检测对心血管疾病早期预警至关重要&#xff0c;但传统方法面临时序依赖建模不足与噪声敏感等问题。本文使用一种基于LSTM-AutoEncoder的深度时序异常检测框架&#xff0c;通过编码器-解码器结构捕捉心电信号的长期时空依赖特征&#…...

[密码学基础]GM/T 0018-2023 密码设备应用接口规范深度解析:技术革新与开发者实践

GM/T 0018-2023 密码设备应用接口规范深度解析&#xff1a;技术革新与开发者实践 GM/T 0018-2023《密码设备应用接口规范》是中国密码行业的重要标准&#xff0c;于2023年12月4日发布&#xff0c;2024年6月1日正式实施&#xff0c;替代了2012年版标准。该标准旨在规范密码设备…...

深入理解 Java 多线程:锁策略与线程安全

文章目录 一、常见的锁策略1. 乐观锁&&悲观锁2. 读写锁3. 重量级锁&&轻量级锁4. 自旋锁5. 公平锁&&不公平锁6. 可重入锁 && 不可重入锁 二、CAS1. 什么是 CAS2. CAS 是怎么实现的3.CAS 有哪些应用1) 实现原子类2) 实现自旋锁 4. CAS 的 ABA 问…...

Java从入门到“放弃”(精通)之旅——数组的定义与使用⑥

Java从入门到“放弃”&#xff08;精通&#xff09;之旅&#x1f680;——数组⑥ 前言——什么是数组&#xff1f; 数组&#xff1a;可以看成是相同类型元素的一个集合&#xff0c;在内存中是一段连续的空间。比如现实中的车库&#xff0c;在java中&#xff0c;包含6个整形类…...

VsCode搭建

安全性问题的声明&#xff1a; VScode是一个由微软出品的开源软件编辑器 VScode下载 https://code.visualstudio.com/Download 官网直接下载即可&#xff0c;windows和linux的vscode使用命令是类似的。 VScode插件相关 为了方便安装&#xff0c;推荐设置并使用vscode插件的…...

【NLP 65、实践 ⑯ 基于Agent优化文章】

羁绊由我而起&#xff0c;痛苦也由我承担 —— 25.4.18 一、⭐【核心函数】定义大模型调用函数 call_large_model prompt&#xff1a;用户传入的提示词&#xff08;如 “请分析这篇作文的主题”&#xff09;&#xff0c;指导模型执行任务 client&#xff1a;Zhipu…...

【Redis】从单机架构到分布式,回溯架构的成长设计美学

前言 &#x1f31f;&#x1f31f;本期讲解关于分布式架构的发展相关知识介绍~~~ &#x1f308;感兴趣的小伙伴看一看小编主页&#xff1a;GGBondlctrl-CSDN博客 &#x1f525; 你的点赞就是小编不断更新的最大动力 &#x1f386;那么废…...

增量式PID基础解析与代码实例:温控系统

目录 1. 前言 2. 增量式PID控制的基本原理 2.1 PID控制的基本概念 2.2 增量式PID控制的特点 3. 增量式PID控制的Python实现&#xff1a;温控系统 3.1 构建增量式PID控制器 3.2 使用增量式PID控制器 3.3 运行模拟 3.4 完整代码 4. 参数调整与优化 4.1 参数选择 4.2…...

数据结构——栈以及相应的操作

栈(Stack) 在维基百科中是这样定义的&#xff1a; 堆栈(stack) 又称为栈或堆叠&#xff0c;是计算机科学中的一种抽象资料类型&#xff0c;只允许在有序的线性资料集合中的一端&#xff08;称为堆栈顶端&#xff0c;top&#xff09;进行加入数据&#xff08;push&#xff09;和…...

opencv 图像的旋转

图像的旋转 1 单点旋转2. 图片旋转&#xff08;cv2.getRotationMatrix2D&#xff09;3. 插值方法3.1 最近邻插值(cv2.INTER_NEAREST)3.2 双线性插值(cv2.INTER_LINEAR)3.3 像素区域插值&#xff08;cv2.INTER_AREA&#xff09;3.4 双三次插值&#xff08;cv2.INTER_CUBIC&#…...

P3916 图的遍历

P3916 图的遍历 题目来源-洛谷 题意 有向图中&#xff0c;找出每个节点能访问到的最大的节点 思路 每个节点的最大节点&#xff0c;不是最长距离&#xff0c;如果是每个节点都用dfs去找最大值&#xff0c;显然1e6*1e6 超时了&#xff0c;只能60分从第一个节点开始遍历&…...

Vue3 + Three.js 场景编辑器开发实践

文章目录 前言项目背景与意义项目技术栈在线演示核心功能实现1. 智能化场景管理2. 专业级模型处理3. 可视化材质与照明4. 相机与渲染引擎5. 场景操作 项目优势开发目标1. 几何模型和模型导入&#xff0c;场景新建按钮增加2. 提供场景内容的可视化编辑功能3. 渲染器场景&#xf…...

Vue3 本地打包启动白屏解决思路!! !

“为什么我访问 http://127.0.0.1:5501/index.html 白屏&#xff0c;删了 index.html 再访问 / 就又活过来了&#xff1f;” —— 你的项目与 SPA 路由的“宫斗大戏” 一、问题复现 场景 本地通过 VSCode Live Server&#xff08;或其他静态服务器&#xff09;启动了打包后的 V…...

Ubuntu 安装 Docker 教程(官方推荐方式)

✅ 步骤 1&#xff1a;卸载旧版本&#xff08;如果有&#xff09; for pkg in docker.io docker-doc docker-compose docker-compose-v2 podman-docker containerd runc; do sudo apt-get remove $pkg; done---### ✅ 步骤 2&#xff1a;更新 APT 索引并安装依赖项bash sudo a…...

WPF 点击按钮,显示隐藏另一个控件

<Button Content"显示隐藏" Click"operationDetails_Click" /> private void operationDetails_Click(object sender, RoutedEventArgs e) { 另一个控件的Name.Visibility 另一个控件的Name.Visibility Visibility.Visible ? Visibility.Col…...

RBAC的使用

1、简述RBAC的作用及工作流程 Rbac基于角色访问控制&#xff0c;用于管理用户对集群资源的访问权限&#xff0c;通过定义角色和绑定规则&#xff0c;将用户与权限进行关联&#xff0c;作用&#xff1a;权限精细化管理&#xff0c;操作便捷与统一管理&#xff0c;动态调整权限。…...

QML中的3D功能--模型导入与修改

在Qt 3D中导入和修改3D模型是开发3D应用程序的基础。以下是详细的流程和技术方案: 一、模型导入基础 1. 支持的文件格式 Qt 3D支持多种3D模型格式: OBJ (Wavefront) FBX (Autodesk) DAE (Collada) GLTF/GLB (推荐格式) STL (3D打印格式) 2. 基本导入方法 qml import Qt3…...

树莓派超全系列教程文档--(33)树莓派启动选项

树莓派启动选项 启动选项start_file &#xff0c;fixup_filecmdlinekernelarm_64bitramfsfileramfsaddrinitramfsauto_initramfsdisable_poe_fandisable_splashenable_uartforce_eeprom_reados_prefixotg_mode &#xff08;仅限Raspberry Pi 4&#xff09;overlay_prefix配置属…...

dotnet core webapi 实现 异常处理中间件

目录 第一步&#xff1a;创建异常处理中间件类&#xff08;自定义响应格式&#xff09; 第二步&#xff1a;在 Program.cs 中使用中间件 三、效果 第一步&#xff1a;创建异常处理中间件类&#xff08;自定义响应格式&#xff09; public static class ExceptionMiddleware…...

实现Azure Function安全地请求企业内部API返回数据

需要编写一个Function在Azure云上运行&#xff0c;它需要访问企业内部的API获取JSON格式的数据&#xff0c;企业有网关和防火墙&#xff0c;API有公司的okta身份认证&#xff0c;通过公司的域账号来授权访问&#xff0c;现在需要创建一个专用的域账号&#xff0c;让Function访问…...

实现Azure Databricks安全地请求企业内部API返回数据

需要编写一个Databricks在Azure云上运行&#xff0c;它需要访问企业内部的API获取JSON格式的数据&#xff0c;企业有网关和防火墙&#xff0c;API有公司的okta身份认证&#xff0c;通过公司的域账号来授权访问&#xff0c;现在需要创建一个专用的域账号&#xff0c;让Databrick…...

结合建筑业务讲述TOGAF标准处理哪种架构

TOGAF标准处理哪种架构 内容介绍业务架构业务策略&#xff0c;治理&#xff0c;组织和关键业务流程数据架构组织的逻辑和物理数据资产以及数据管理资源的结构应用架构待部署的各个应用程序&#xff0c;它们之间的交互以及与组织核心业务流程的关系的蓝图技术架构支持业务&#…...

深度学习--卷积神经网络CNN原理

文章目录 一、CNN图像原理1、了解CNN如何处理图像 二、CNN图像识别1、画面不变性2、主要表现1&#xff09;平移不变性2&#xff09;尺度不变性3&#xff09;旋转不变性 3、传统神经网络1&#xff09;数据预处理2&#xff09;特征提取3&#xff09;搭建神经网络模型4&#xff09…...

PostgreSQL 常用客户端工具

PostgreSQL 常用客户端工具 PostgreSQL 拥有丰富的客户端工具生态系统&#xff0c;以下是各类常用工具的详细分类和介绍&#xff1a; 一 图形化客户端工具 1.1 跨平台工具 工具名称特点适用场景许可证pgAdmin官方出品&#xff0c;功能全面开发/运维PostgreSQLDBeaver支持多…...

PostgreSQL数据库yum方式安装详解

PostgreSQL数据库yum方式安装 1. 基础环境配置2. 前期安装准备3. 软件安装3.1 YUM方式安装&#xff08;PG 13&#xff09;3.1.1 安装rpm仓库3.1.2 安装软件包PG133.1.3 初始化数据库3.1.4 启动数据库3.1.5 开机自启动3.1.6 编辑环境变量 4. 安装后配置 1. 基础环境配置 2. 前期…...

浅析vue2和vue3的区别

以下是 Vue 2 和 Vue 3 的主要区别: 一、核心特性 1. 响应式机制 Vue 2: 基于 Object.defineProperty 实现响应式。无法检测对象属性的新增和删除,需要使用 Vue.set 或 $set。Vue 3: 使用 Proxy 替代 Object.defineProperty。能够直接检测对象属性的新增和删除,无需额外方…...

【Linux我做主】make和makefile自动化构建

make和makefile自动化构建 make和makefile自动化构建github地址前言背景介绍为什么需要make和makefile&#xff1f; make和makefile解析什么是make和makefile依赖关系和依赖方法核心语法结构简单演示编译清理 多阶段编译示例 make时执行的顺序场景1&#xff1a;clean目标在前(特…...

spring boot应用部署IIS

Windows IIS 部署 Spring Boot 应用详细指南 本文档提供了在 Windows Server 上使用 IIS 部署 Spring Boot 应用的完整步骤和最佳实践。 目录 概述前期准备Spring Boot 应用准备安装配置必要组件配置 IIS 站点配置反向代理配置 Windows 服务配置应用自启动HTTPS 配置日志配置…...

Linux系统之部署TestNet资产管理系统

Linux系统之部署TestNet资产管理系统 一、TestNet 介绍1.1 TestNet简介1.2 主要特点1.3 主要使用场景 二、本次实践规划2.1 本地环境规划2.2 本次实践介绍 三、本地环境检查3.1 检查Docker服务状态3.2 检查Docker版本3.3 检查docker compose 版本 四、部署TestNet系统4.1 下载T…...

@EnableAsync+@Async源码学习笔记之六

接上文&#xff0c;我们本文分析 AsyncExecutionAspectSupport 的源码&#xff1a; package org.springframework.aop.interceptor;import java.lang.reflect.Method; import java.util.Map; import java.util.concurrent.Callable; import java.util.concurrent.CompletableFu…...

SQL系列:常用函数

1、【MySQL】合并字段函数&#xff08;列转行&#xff09; 它可以将两个字段中的数据合并到一个字段中。 1&#xff09;CONCAT函数 CONCAT函数可以将多个字段中的数据合并到一个字段中。它的语法格式如下&#xff1a; SELECT CONCAT(字段1,字段2,...字段N) FROM 表名;SELEC…...

Git 中修改某个特定的commit提交内容

在 Git 中修改某个特定的提交&#xff08;commit&#xff09;通常需要使用 交互式变基&#xff08;Interactive Rebase&#xff09; 或 修改提交&#xff08;Commit Amend&#xff09;。以下是不同场景下的具体操作步骤&#xff1a; 一、修改最近的提交&#xff08;最新提交&am…...

FHS --- linux目录结构(部分目录解释)

根目录&#xff08;/&#xff09; 的意义和内容 &#xff1a; 根目录是整个系统最重要的一个目录&#xff0c;因为不但所有的目录都是由根目录衍生出来的&#xff0c;同时根目录也与开机/还原/系统修复等动作有关 。 由于系统开机时需要特定的开机软件、核心档案、开机所需程序…...

不带无线网卡的Linux开发板上网方法

I.MX6ULL通过网线上网 设置WLAN共享修改开发板的IP 在使用I.MX6ULL-MINI开发板学习Linux的时候&#xff0c;有时需要更新或者下载一些资源包&#xff0c;但是开发板本身是不带无线网卡或者WIFI芯片的&#xff0c;尝试使用网口连接笔记本&#xff0c;笔记本通过无线网卡连接WIFI…...

图书管理系统C语言

图书管理系统C语言代码示例。 该系统可以实现图书信息&#xff08;包含图书编号、书名、作者、出版社、价格、库存数量&#xff09;的录入、显示、查询、修改、删除等功能&#xff0c;还具备一定的错误处理和输入验证。 #include <stdio.h> #include <stdlib.h> …...

关于大型语言模型的“生物学”

我知道我们已经聊过很多次&#xff0c;关于LLM是怎么运作的&#xff0c;它们的影响力&#xff0c;还有它们的使用场景。但尽管现在有那么多讲LLM的文章&#xff0c;它们本质上还是个黑箱。 但我们真正要问自己的问题是&#xff0c;为什么理解这些系统的内部结构很重要&#xf…...

图像预处理-图像边缘检测(流程)

一.高斯滤波 因为图像边缘检测就是把像素值有差异的地方提取出来&#xff0c;所以噪声会有很大影响&#xff0c;因此需要对图像进行平滑处理&#xff0c;高斯滤波是流程中常用的方法。 二.计算图像的梯度与方向 过程中通常使用sobel算子进行梯度计算&#xff0c;在OpenCV中&am…...

解锁思想道德修养的奥秘:用思维导图开启智慧之旅

在我们的成长过程中&#xff0c;思想道德修养如同基石&#xff0c;奠定了我们为人处世、面对生活挑战的基本态度和准则。而如何高效地梳理和掌握思想道德修养的丰富内容呢&#xff1f;思维导图这一强大工具为我们提供了独特视角和便捷途径。 思想道德修养的关键板块 道德理论…...

swagger的简介及使用方法

Swagger 是一个用于描述、生成、文档化和测试 RESTful API 的开源工具集。它可以自动生成 API 文档&#xff0c;帮助开发者理解和使用 API。Swagger 由 Swagger.io 提供&#xff0c;并已经发展成了一套广泛应用于 API 设计和文档的标准。 Swagger 项目的历史可以追溯到 2010 年…...

解决Ubuntu图形化界面操作适配问题

1 缘起 使用Ubuntu GNOME图形化系统作为开发机&#xff0c; 遇到与Windows操作不一致的地方&#xff0c;比如PyCharm、IntelliJ时无法正确代码跳转&#xff0c; 如CtrlAltLeft&#xff0c;CtrlAltRight无法正常在代码级别跳转&#xff0c;只能在文件级别跳转。 基于这个开端&a…...

End-to-End从混沌到秩序:基于LLM的Pipeline将非结构化数据转化为知识图谱

摘要:本文介绍了一种将非结构化数据转换为知识图谱的端到端方法。通过使用大型语言模型(LLM)和一系列数据处理技术,我们能够从原始文本中自动提取结构化的知识。这一过程包括文本分块、LLM 提示设计、三元组提取、归一化与去重,最终利用 NetworkX 和 ipycytoscape 构建并可…...

使用Ingress发布应用程序

使用Ingress发布应用程序 文章目录 使用Ingress发布应用程序[toc]一、什么是Ingress二、定义Ingress三、什么是Ingress控制器四、部署nginx Ingress控制器1.了解nginx Ingress控制器的部署方式2.安装nginx Ingress控制器3.本地实际测试 五、使用Ingress对外发布应用程序1.使用D…...

llama-factory微调报错:

报错信息 [INFO] [utils.py:789:see_memory_usage] CPU Virtual Memory: used 81.51 GB, percent 64.9% W0419 10:14:27.573000 108354 site-packages/torch/distributed/elastic/multiprocessing/api.py:897] Sending process 108373 closing signal SIGTERM W0419 10:14:27…...

【LLaMAFactory】LoRa + 魔搭 微调大模型实战

前言 环境准备 之前是在colab上玩&#xff0c;这次在国内的环境上玩玩。 魔搭&#xff1a;https://www.modelscope.cn/ 现在注册&#xff0c;有100小时的GPU算力使用。注册好了之后&#xff1a; 魔搭社区 这里使用qwen2.5-7B-Instruct模型&#xff0c;这里后缀Instruct是指…...

【愚公系列】《Python网络爬虫从入门到精通》054-Scrapy 文件下载

&#x1f31f;【技术大咖愚公搬代码&#xff1a;全栈专家的成长之路&#xff0c;你关注的宝藏博主在这里&#xff01;】&#x1f31f; &#x1f4e3;开发者圈持续输出高质量干货的"愚公精神"践行者——全网百万开发者都在追更的顶级技术博主&#xff01; &#x1f…...

db中查询关于null的sql该怎么写

正确示例 # 等于null select * from 表名 where 字段名 is NULL; # 不等于null select * from 表名 where 字段名 is not NULL;若需要同时判断字段不等于某个值且不为null select * from users where age ! 30 and age is not null; select * from users where age ! 30 or a…...