深度学习/强化学习调参技巧
深度调优策略
1. 学习率调整
- 技巧：学习率是最重要的超参数之一。过大可能导致训练不稳定，过小则收敛速度慢。可以使用学习率衰减（Learning Rate Decay）或自适应学习率方法（如Adam、RMSprop）来动态调整学习率。
- 例子：在训练一个图像分类模型时，初始学习率设置为0.001，使用学习率衰减策略，每经过10个epoch将学习率减少为原来的一半，或者使用Adam优化器自动调整学习率。
2. 批量大小（Batch Size）选择
- 技巧：批量大小影响模型的收敛速度和泛化性能。较大的批量大小可以加速训练，但也可能增加内存消耗；较小的批量大小可能导致训练不稳定。
3. 正则化（Regularization）
- 技巧：正则化方法如L2正则化、Dropout可以防止模型过拟合。Dropout率通常在0.2到0.5之间。
- 例子：在训练一个深度学习模型时，可以在全连接层中添加Dropout层，设置Dropout率为0.3，观察模型在验证集上的表现是否有所提升。
4. 网络架构优化
- 技巧：通过调整网络的层数、每层的神经元数量、激活函数等来优化模型。常见的激活函数有ReLU、Leaky ReLU、ELU等。
- 例子：在构建一个卷积神经网络（CNN）时，可以尝试增加或减少卷积层的数量，或者将ReLU激活函数替换为Leaky ReLU，观察模型性能变化。
5. 权重初始化
- 技巧：合适的权重初始化方法可以加速模型收敛。常见的初始化方法有He初始化、Xavier初始化等。相比于随机初始化，前两者可以更快地收敛并提高模型性能。
6. 数据增强（Data Augmentation）
- 技巧：数据增强可以增加数据的多样性，提高模型的泛化能力。常见的增强方法包括图像旋转、翻转、裁剪等。
- 例子：在训练一个图像分类模型时，对训练数据进行随机旋转、翻转和裁剪，增加数据的多样性，从而提升模型的泛化性能。
7. 超参数搜索
- 技巧：使用网格搜索（Grid Search）或随机搜索（Random Search）来寻找最佳超参数组合。更高效的方法是使用贝叶斯优化（Bayesian Optimization）。
- 例子：在优化一个推荐系统的模型时，使用贝叶斯优化方法搜索最佳的学习率、批量大小和正则化参数组合，从而提升模型性能。
深度强化学习调优技巧
1. 调整探索与利用的平衡
- 问题：奖励下降可能是由于探索不足（陷入局部最优）或过度探索（未有效积累经验）。
- 技巧：
- 调整探索率（ε-greedy）：初期高探索率（如ε=0.8），逐步衰减到低探索率（如ε=0.05）。
- 熵正则化（Entropy Regularization）：在策略梯度方法（如PPO、A3C）中增加熵项，防止策略过早收敛。
- 例子：
- 在训练DQN玩Atari游戏时，初始阶段设置ε=0.8以充分探索环境，并在训练过程中线性衰减到0.05，确保后期稳定利用已知策略。
2. 优化回报估计（Reward Shaping）
- 问题：稀疏奖励导致模型难以学习目标。
- 技巧：
- 设计中间奖励：提供与任务相关的辅助奖励信号。
- 奖励缩放（Reward Scaling）：将奖励范围标准化（如[-1,1]），避免梯度爆炸。
- 例子：
- 在机械臂抓取任务中，除了成功抓取的最终奖励（+100），添加距离目标的接近奖励（如每靠近1cm奖励+0.1），帮助模型更快学习。
3. 调整折扣因子（Gamma）
- 问题：奖励突然下降可能因未来奖励权重（gamma）不合理——gamma过高导致模型过于关注远期目标（可能难以收敛），过低导致短视。
- 技巧：逐步调整gamma，观察长期累积奖励。
- 例子：
- 在Mujoco行走任务中，初始gamma设置为0.99，但发现模型探索早期动作混乱，尝试逐步降低到0.95，模型更快稳定。
4. 改进经验回放（Experience Replay）
- 问题：奖励下降可能与数据集质量有关（如过期经验或关键样本缺失）。
- 技巧：
- 优先级经验回放（Prioritized Replay）：对高TD误差的经验优先采样。
- 调整缓冲区大小：缓冲区太小可能导致数据过时，太大可能引入噪声。
- 例子：
- 在训练DDPG算法控制四旋翼无人机时，缓冲区大小设置为1e6，并使用优先级采样。发现模型在复杂环境中的稳定性提升。
5. 调整策略更新频率
- 问题：Actor-Critic框架中，Actor（策略网络）和Critic（价值网络）更新频率不匹配可能导致策略劣化。
- 技巧：
- 策略更新延迟：Critic多次更新后，再更新Actor。
- Clipped Surrogate Objective（如PPO）：限制策略更新的幅度，防止突变。
- 例子：
- 在PPO训练机械臂避障任务时，设置每收集512个样本更新Critic 4次，再更新Actor 1次，避免破坏已学习的策略。
6. 网络架构调整
- 问题：模型表达力不足（欠拟合）或训练不稳定（梯度问题）。
- 技巧：
- 共享特征层：Actor和Critic共享前端网络（降低计算成本）。
- 梯度裁剪（Gradient Clipping）：防止Critic网络的梯度爆炸。
- 例子：
- 在Dueling DQN中，拆分状态价值和动作优势流（Value & Advantage streams），使模型在稀疏奖励下更鲁棒。
7. 动态调整学习率（Learning Rate Schedule）
- 问题：固定学习率可能导致后期策略震荡。
- 技巧：联用学习率衰减与自适应优化器（如Adam）。
- 例子：
- 在训练SAC算法时，初始学习率设为3e-4，每10万步衰减为原来的0.5，配合Adam优化器，使策略在后期微调时更稳定。
8. 课程学习（Curriculum Learning）
- 问题：复杂任务直接训练效果差。
- 技巧：从简单环境逐步过渡到复杂环境（“分阶段训练”）。
- 例子：
- 在Meta-RL任务中，先让机器人学习在平坦地面行走，再逐步增加障碍物和坡度，避免直接训练导致奖励骤降。
实际案例：训练奖励下降的调试步骤
- 现象：在训练一个基于PPO的自动导航无人机时，初期奖励上升，但中期奖励突然下降。
- 调试步骤：
- 检查探索率：发现ε衰减太快（从0.8到0.1仅10万步），导致Agent过早停止探索 → 调整为缓慢衰减（50万步）。
- 调整折扣因子gamma：原gamma=0.99 → 尝试0.95，短期动作选择更明确。
- 优化奖励函数：原奖励仅考虑终点成功，增加过程奖励（如避障平滑性）。
- 观察Critic损失曲线：发现Critic的预测误差震荡 → 增加Critic的网络宽度（128→256神经元）。
- 添加梯度裁剪：Critic网络梯度幅度限制在[-0.5, 0.5]防止震荡。
- 结果：奖励曲线恢复增长，最终性能提升30%。
总结：关键调试顺序
- 检查奖励函数是否合理（是否存在数值范围过大或逻辑错误）。
- 调整探索策略（优先确保充分探索）。
- 优化网络架构和超参数（gamma, learning rate, batch size）。
- 改进训练流程（经验回放、更新频率）。
- 引入课程学习或辅助任务（应对复杂环境）。
相关文章：
深度学习/强化学习调参技巧
深度调优策略 1. 学习率调整 技巧：学习率是最重要的超参数之一。过大可能导致训练不稳定，过小则收敛速度慢。可以使用学习率衰减（Learning Rate Decay）或自适应学习率方法（如Adam、RMSprop）来动态调整学习…...
Java常用正则表达式（身份证号、邮箱、手机号）格式校验
目录 身份证号的正则表达式 代码解释 正则表达式 方法 isValidIDCard 注意事项 校验邮箱的正则表达式 代码解释 正则表达式 方法 isValidEmail 注意事项 手机号的正则表达式 中国大陆手机号校验（支持空字符串） 代码解释 通用手机号校验&am…...
1.12.信息系统的分类【ES】
专家系统（ES）技术架构深度解析 一、ES核心定义 🧠 智能决策中枢 由三大核心能力构建的领域专家模拟系统： 存储专家级领域知识（10^4规则量级）支持不确定性推理（置信度>85%）动态…...
c语言程序设计--（结构体、共用体）冲刺考研复试中的面试问答，来看看我是怎么回答的吧！
结构体 1、谈谈你对结构体的理解。 答，首先在结构的基础知识上，结构是一些值的集合，这些值称为成员变量结构的每个成员可以是不同类型的变量。结构体其实就是把（一些单一类型的数据）不同类型的数据组合在一起的做法便…...
闭包：JavaScript 中的隐形大杀器
你可能已经在很多地方听说过闭包这个词，尤其是涉及到 JavaScript 的作用域和异步操作时。闭包是 JavaScript 中非常核心的概念，然而它又非常容易让开发者感到困惑。今天我们就来深入剖析闭包，帮助你真正理解它的工作原理，以及如何…...
分布式锁—7.Curator的分布式锁一
大纲 1.Curator的可重入锁的源码 2.Curator的非可重入锁的源码 3.Curator的可重入读写锁的源码 4.Curator的MultiLock源码 5.Curator的Semaphore源码 1.Curator的可重入锁的源码 (1)InterProcessMutex获取分布式锁 (2)InterProcessMutex的初始化 (3)InterProcessMutex.…...
linux---天气爬虫
代码概述 这段代码实现了一个天气查询系统，支持实时天气、未来天气和历史天气查询。用户可以通过终端菜单选择查询类型，并输入城市名称来获取相应的天气信息。程序通过 TCP 连接发送 HTTP 请求，并解析返回的 JSON 数据来展示天气信息。 #in…...
C++蓝桥杯基础篇（九）
片头 嗨！小伙伴们，大家好~ 今天我们将学习蓝桥杯基础篇（十），学习函数相关知识，准备好了吗？咱们开始咯！ 一、函数基础 一个典型的函数定义包括以下部分：返回类型、函数名…...
)
Java Spring MVC (2)
常见的Request Controller 和 Response Controller 的区别 用餐厅点餐来理解 想象你去一家餐厅吃饭： Request Controller（接单员）：负责处理你的点餐请求，记录你的口味、桌号等信息。Response Controller（…...
Elasticsearch：使用 BigQuery 提取数据
作者：来自 Elastic Jeffrey Rengifo 了解如何使用 Python 在 Elasticsearch 中索引和搜索 Google BigQuery 数据。 BigQuery 是 Google 的一个平台，允许你将来自不同来源和服务的数据集中到一个存储库中。它还支持数据分析，并可使用生成式 AI…...
接口-菜品分页查询
业务内容 页面上菜品根据菜品名称、菜品分类、售卖状态三个字段进行分页查询。 在请求参数中携带了菜品名称、菜品分类、售卖状态三个字段参数。 返回PageResult类型的实体。 注意：在返回数据中在records下有个categoryName，这个字段的内容在category…...
springboot3 RestClient、HTTP 客户端区别
1 RestClient使用 RestClient 是 Spring 6.1 M2 中引入的同步 HTTP 客户端，它取代了 RestTemplate。同步 HTTP 客户端以阻塞方式发送和接收 HTTP 请求和响应，这意味着它会等待每个请求完成后才继续下一个请求。本文将带你了解 RestClient 的功能以及它与…...
自我训练模型：通往未来的必经之路？
摘要 在探讨是否唯有通过自我训练模型才能掌握未来的问题时，文章强调了底层技术的重要性。当前，许多人倾向于关注应用层的便捷性，却忽视了支撑这一切的根本——底层技术。将模型简单视为产品是一种短视行为，长远来看，理…...
RuoYi框架添加自己的模块（学生管理系统CRUD）
RuoYi框架添加自己的模块（学生管理系统） 框架顺利运行 首先肯定要顺利运行框架了，这个我不多说了 设计数据库表 在ry数据库中添加表tb_student 表字段如图所示 如图所示 注意id字段是自增的 注释部分是后面成功后前端要展示的部分 导入…...
linux查看python版本
1.查看Linux是否安装python yum list all | grep python 2.Linux安装python yum install python 3.Linux查看python版本 python -V...
算法题（89）：单项链表
审题： 本题需要我们实现一个可以执行三个指令的数据结构来解决这里的问题 思路： 方法一：利用数组模拟链表 由于这里涉及插入删除操作，所以我们不能使用数组结构存储数据，这样子会超时，所以我们就利用数组来…...
开源之夏经验分享｜Koupleless 社区黄兴抗：在开源中培养工程思维
开源之夏经验分享｜Koupleless 社区黄兴抗：在开源中培养工程思维 文|黄兴抗 电子信息工程专业 Koupleless 社区贡献者 就读于南昌师范学院，电子信息工程专业的大三学生。 本文 2634 字，预计阅读 7 分钟 今天 SOFAStack 邀…...
体验开源openeuler openharmony stratovirt模拟器
文档 openeuler社区面向数字基础设施的开源操作系统 openharmony社区 OpenHarmony是由开放原子开源基金会（OpenAtom Foundation）孵化及运营的开源项目, 目标是面向全场景、全连接、全智能时代、基于开源的方式，搭建一个智能终端设备操作系统…...
【AI实践】基于TensorFlow/Keras的CNN（卷积神经网络）简单实现：手写数字识别的工程实践
深度神经网络系列文章 【AI深度学习网络】卷积神经网络（CNN）入门指南：从生物启发的原理到现代架构演进【AI实践】基于TensorFlow/Keras的CNN（卷积神经网络）简单实现：手写数字识别的工程实践 引言 在深度…...
深入探讨AI-Ops架构 第一讲 - 运维的进化历程以及未来发展趋势
首先，让我们一起回顾运维的进化之路，然后再深入探讨AI-Ops架构的细节。 运维的进化历程 1. AI 大范围普及前的运维状态 (传统运维) 在AI技术尚未广泛渗透到运维领域之前，我们称之为传统运维，其主要特点是： 人工驱动…...
2025年全球生成式AI消费应用发展趋势报告
原文链接：The Top 100 Gen AI Consumer Apps - 4th Edition | Andreessen Horowitz 核心要点：本报告由a16z发布，深度解析了2025年全球生成式AI消费应用的发展格局，揭示了技术迭代与商业化加速的双重趋势。 报告显示，A…...
VBA 列方向合并单元格，左侧范围大于右侧范围
实现功能如下： excel指定行列范围内的所有单元格 规则1：每一列的连续相同的值合并单元格 规则2：每一列的第一个非空单元格与其下方的所有空白单元格合并单元 规则3：优先左侧列合并单元格，合并后，右侧的单元…...
设计AI芯片架构的入门 研究生入行数字芯片设计、验证的项目 opentitan
前言 这几年芯片设计行业在国内像坐过山车。时而高亢，时而低潮。最近又因为AI的热潮开始high起来。到底芯片行业的规律是如何？ 我谈谈自己观点：芯片设计是“劳动密集型”行业。 “EDA和工具高度标准化和代工厂的工艺标准化之后，芯…...
【弹性计算】异构计算云服务和 AI 加速器（二）：适用场景
异构计算云服务和 AI 加速器（二）：适用场景 1.图形处理2.视频处理3.计算4.人工智能 异构计算 目前已经被广泛地应用于生产和生活当中，主要应用场景如下图所示。 1.图形处理 GPU 云服务器在传统的图形处理领域具有强大的优势&…...
JVM常用概念之移动GC和局部性
问题 非移动GC一定比移动GC好吗？ 基础知识 移动GC和非移动GC 移动GC 在进行垃圾回收时，为了减少碎片而移动对象来顺利完成垃圾回收的GC。 Serial GC 在单线程环境下，它在标记-清除（Mark-Sweep）算法的基础上进行…...
微服务保护：Sentinel
home | Sentinelhttps://sentinelguard.io/zh-cn/ 微服务保护的方案有很多，比如： 请求限流 线程隔离 服务熔断 服务故障最重要原因，就是并发太高！解决了这个问题，就能避免大部分故障。当然，接口的并发…...
使用Wireshark截取并解密摄像头画面
在物联网（IoT）设备普及的今天，安全摄像头等智能设备在追求便捷的同时，往往忽视了数据传输过程中的加密保护。很多摄像头默认通过 HTTP 协议传输数据，而非加密的 HTTPS，从而给潜在攻击者留下了可乘之机。本文…...
IDEA 基础配置: maven配置 | 服务窗口配置
文章目录 IDEA版本与MAVEN版本对应关系maven配置镜像源插件idea打开服务工具窗口IDEA中的一些常见问题及其解决方案IDEA版本与MAVEN版本对应关系 查找发布时间在IDEA版本之前的dea2021可以使用maven3.8以及以前的版本 比如我是idea2021.2.2 ,需要将 maven 退到 apache-maven-3.…...
20250-3-8 树的存储结构
一、树的逻辑结构回顾 树：一个分支结点可以有多课子树 如果按照二叉树的存储来实现树的存储，则只依靠数组下标，无法反映结点之间的逻辑关系。 二、双亲表示法（顺序存储） 1.因此：我们可以用链式存储的方法&…...
Visual-RFT视觉强化微调：用「试错学习」教会AI看图说话
📜 文献卡 英文题目: Visual-RFT: Visual Reinforcement Fine-Tuning;作者: Ziyu Liu; Zeyi Sun; Yuhang Zang; Xiaoyi Dong; Yuhang Cao; Haodong Duan; Dahua Lin; Jiaqi WangDOI: 10.48550/arXiv.2503.01785摘要翻译: 像OpenAI o1这样的大型推理模型中的强化微调…...
PDF处理控件Aspose.PDF，如何实现企业级PDF处理
PDF处理为何成为开发者的“隐形雷区”？ “手动调整200页PDF目录耗时3天，扫描件文字识别错误导致数据混乱，跨平台渲染格式崩坏引发客户投诉……” 作为开发者，你是否也在为PDF处理的复杂细节消耗大量精力？Aspose.PDF凭…...
DeepSeek-R1本地化部署（Mac）
一、下载 Ollama 本地化部署需要用到 Ollama，它能支持很多大模型。官方网站：https://ollama.com/ 点击 Download 即可，支持macOS,Linux 和 Windows；我下载的是 mac 版本，要求macOS 11 Big Sur or later，Ol…...
 创建并集成本地库)
Swift Package Manager (SPM) 创建并集成本地库
在macOS 项目中，使用 Swift Package Manager (SPM) 创建并集成本地库的完整步骤。 创建一个macos应用程序，选择 swift、oc、swiftui都可以。 创建好应用之后，开始创建SPM本地库。 打开终端app，进入项目根目录，逐次输…...
分布式锁—6.Redisson的同步器组件
大纲 1.Redisson的分布式锁简单总结 2.Redisson的Semaphore简介 3.Redisson的Semaphore源码剖析 4.Redisson的CountDownLatch简介 5.Redisson的CountDownLatch源码剖析 1.Redisson的分布式锁简单总结 (1)可重入锁RedissonLock (2)公平锁RedissonFairLock (3)联锁MultiL…...
文献分享: ConstBERT固定数目向量编码文档
😂图放这了，大道至简的 idea \text{idea} idea不愧是 ECIR \text{ECIR} ECIR 👉原论文 1. ConstBERT \textbf{1. ConstBERT} 1. ConstBERT的原理 1️⃣模型的改进点：相较于 ColBERT \text{ColBERT} ColBERT为每个 Token \text{Tok…...
如何使用SSH命令安全连接并转发端口到远程服务器
ssh -p 22546 rootconnect.westc.gpuhub.com d6IS/mQKq/iG ssh -CNgv -L 6006:127.0.0.1:6006 rootconnect.westc.gpuhub.com -p 22546 第一条命令：用于登录远程服务器，进行交互式操作。第二条命令：用于建立 SSH 隧道，进行端口转…...
SolidWorks 转 PDF3D 技术详解
在现代工程设计与制造流程中，不同软件间的数据交互与格式转换至关重要。将 SolidWorks 模型转换为 PDF3D 格式，能有效解决模型展示、数据共享以及跨平台协作等问题。本文将深入探讨 SolidWorks 转 PDF3D 的技术原理、操作流程及相关注意事项，…...
9.2 EvictionManager源码解读
本节重点总结 : evictionManager初始化了两个相同的manager对象 evictionManager做本机驱逐pod的判定和厨房evictionAdmitHandler用来kubelet创建Pod前进依据本机的资源压力进行准入检查 evictionManager判断内存驱逐阈值有两种方法 第一种使用内核的memcg的通知机制ÿ…...
考研数一非数竞赛复习之Stolz定理求解数列极限
在非数类大学生数学竞赛中，Stolz定理作为一种强大的工具，经常被用来解决和式数列极限的问题，也被誉为离散版的’洛必达’方法，它提供了一种简洁而有效的方法，使得原本复杂繁琐的极限计算过程变得直观明了。本文&#x…...
整理一下高级设施农业栽培学这门课程的所有知识点
整理一下高级设施农业栽培学这门课程的所有知识点 以下是高级设施农业栽培学这门课程从入门到精通需要学习的知识点： 一、设施农业概述 设施农业的概念与发展历程 了解设施农业的定义、特点及作用，掌握其发展历程、现状与未来趋势。熟悉国内外设施农业…...
2025最新软件测试面试八股文（含答案+文档）
1、请试着比较一下黑盒测试、白盒测试、单元测试、集成测试、系统测试、验收测试的区别与联系。 参考答案： 黑盒测试：已知产品的功能设计规格，可以进行测试证明每个实现了的功能是否符合要求。 白盒测试：已知产品的内部工作过程…...
系统架构设计师—系统架构设计篇—基于体系结构的软件开发方法
文章目录 概述基于体系结构的开发模型-ABSDM体系结构需求体系结构设计体系结构文档化体系结构复审体系结构实现体系结构演化 概述 基于体系结构（架构）的软件设计（Architecture-Based Software Design，ABSD）方法。 AB…...
求最大公约数【C/C++】
大家好啊，欢迎来到本博客( •̀ ω •́ )✧，我将带领大家详细的了解最大公约数的思想与解法。 一、什么是公约数 公约数，也称为公因数，是指两个或多个整数共有的因数。具体来说，如果一个整数能被两个或多个整数整除&…...
Transformer 代码剖析16 - BLEU分数（pytorch实现）
一、BLEU算法全景图 #mermaid-svg-uwjb5mQ2KAC6Rqbp {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-uwjb5mQ2KAC6Rqbp .error-icon{fill:#552222;}#mermaid-svg-uwjb5mQ2KAC6Rqbp .error-text{fill:#552222;stroke:…...
手机屏幕摔不显示了，如何用其他屏幕临时显示,用来导出资料或者清理手机
首先准备一个拓展坞 然后 插入一个外接的U盘 插入鼠标 插入有数字小键盘区的键盘 然后准备一根高清线，一端链接电脑显示器,一端插入拓展坞 把拓展坞的连接线，插入手机充电口（可能会需要转接头） 然后确保手机开机 按下键盘…...
labelimg标注的xml标签转换为yolo格式标签
本文不生产技术，只做技术的搬运工！！！ 前言 在yolo训练时，我们需要对图像进行标注，而使用labelimg标注时如果直接选择输出yolo格式的数据集，则原始数据的很多信息无法被保存，因此一版…...
Linux云计算SRE-第十七周
1. 做三个节点的redis集群。 1、编辑redis节点node0(10.0.0.100)、node1(10.0.0.110)、node2(10.0.0.120)的安装脚本 [rootnode0 ~]# vim install_redis.sh#!/bin/bash # 指定脚本解释器为bashREDIS_VERSIONredis-7.2.7 # 定义Redis的版本号PASSWORD123456 # 设置Redis的访问…...
K8S学习之基础十八：k8s的灰度发布和金丝雀部署
灰度发布 逐步扩大新版本的发布范围，从少量用户逐步扩展到全体用户。 特点是分阶段发布、持续监控、逐步扩展 适合需要逐步验证和降低风险的更新 金丝雀部署 将新版本先部署到一小部分用户或服务器，观察其表现，再决定是否全面推广。 特点&…...
WSL with NVIDIA Container Toolkit
一、wsl 下安装 docker 会提示安装 docekr 桌面版，所以直接安装 docker 桌面版本即可 二、安装 NVIDIA Container Toolkit NVIDIA Container Toolkit仓库 https://github.com/NVIDIA/nvidia-container-toolkitgithub.com/NVIDIA/nvidia-container-toolkit 安装…...
PAT线上考试 真题/注意细节（甲/乙级）
闲谈 从此以后！参加竞赛！ 都要为自己留够足够的时间练习！ 都要为自己留够足够的时间练习！ 都要为自己留够足够的时间练习！ 重要的事情说三遍，毕竟这只是我参加各种竞赛的开始！ \(ÿ…...