【大模型面试每日一题】Day 6:分布式训练中 loss 出现 NaN,可能原因及排查方法?
【大模型面试每日一题】Day 6:分布式训练中 loss 出现 NaN,可能原因及排查方法?
📌 题目重现 🌟🌟
面试官:你在使用 PyTorch 进行大规模语言模型的分布式训练时,发现 loss 变成 NaN。请分析可能导致该问题的原因,并给出一个系统性的排查流程。
🎯 核心考点
- 分布式训练机制理解能力:掌握DDP、混合精度、梯度同步等机制。
- 模型稳定性分析能力:能否识别梯度、归一化、激活函数中的数值陷阱。
- 工程调试与日志分析能力:是否有系统的排查思维和工具使用经验。
- 跨节点一致性意识:是否关注多GPU或多机之间数据不一致的问题。
📖 回答
一、常见导致 Loss NaN 的根源
类别 | 具体原因 | 发生频率 |
---|---|---|
梯度相关 | 梯度爆炸 | ⭐⭐⭐⭐ |
初始化问题 | 参数初始化不合理 | ⭐⭐⭐ |
数值精度 | 使用FP16或BF16时溢出 | ⭐⭐⭐ |
算子实现 | 自定义操作未做数值保护 | ⭐⭐ |
数据质量 | 输入包含inf/NaN | ⭐⭐⭐ |
分布式问题 | 多卡梯度聚合异常 | ⭐⭐ |
损失函数 | 实现错误或除零 | ⭐⭐⭐ |
二、系统性排查流程
第一步:确认是否为全局NaN
# 查看loss是否在所有设备上都是NaN
import torch.distributed as distprint(f"Rank {dist.get_rank()} - Loss: {loss.item()}")
- 若个别rank有NaN → 分布式问题
- 所有rank都有 → 模型结构或数据问题
第二步:启用PyTorch内置检测器
torch.autograd.set_detect_anomaly(True) # 启用异常检测
警告:会引入性能损耗,建议只在调试阶段开启。
输出示例:
Traceback:...In forward, at: outputs = layer(inputs)In backward, at: gradients = grad(loss, inputs)
第三步:打印中间变量统计信息
def print_tensor_stats(name, x):if not torch.isfinite(x).all():print(f"[ERROR] {name} contains NaN/Inf")print(f"{name} stats: min={x.min().item():.4f}, max={x.max().item():.4f}, mean={x.mean().item():.4f}")for name, param in model.named_parameters():print_tensor_stats(name, param)
第四步:逐层定位问题模块
class DebugWrapper(nn.Module):def __init__(self, module):super().__init__()self.module = moduledef forward(self, x):print_tensor_stats(f"Input to {self.module.__class__.__name__}", x)x = self.module(x)print_tensor_stats(f"Output from {self.module.__class__.__name__}", x)return x# 包裹某一层进行监控
model.encoder.layer[0] = DebugWrapper(model.encoder.layer[0])
第五步:检查数值稳定性关键点
1. Embedding 层异常
print_tensor_stats("Embeddings", model.embeddings.weight)
2. LayerNorm 异常
# 检查是否有除零风险
for m in model.modules():if isinstance(m, nn.LayerNorm):std = x.std(dim=-1, keepdim=True)if (std < 1e-5).any():print("LayerNorm std接近于零!")
3. softmax / log_softmax
# 修改为数值稳定的版本
log_probs = F.log_softmax(logits.float(), dim=-1) # 先转float
第六步:检查梯度是否爆炸
# 在optimizer.step前加入
grad_norm = torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)
print(f"Gradient norm: {grad_norm.item():.4f}")
if grad_norm.isnan() or grad_norm > 1e5:print("梯度爆炸!暂停训练!")
第七步:检查数据是否污染
def check_inputs(input_ids, attention_mask):if not torch.isfinite(input_ids).all():print("Input IDs contains NaN!")if (input_ids >= vocab_size).any():print("存在非法token ID!")if (attention_mask != 0) & (attention_mask != 1):print("Attention mask contain invalid value!")check_inputs(batch["input_ids"], batch["attention_mask"])
第八步:混合精度训练问题排查
scaler = GradScaler()with autocast():loss = model(**batch).loss
scaler.scale(loss).backward()# 打印loss看看是否一开始就NaN
print("Loss before scaling:", loss.item())
建议查看
amp
是否正确开启了,并且损失函数没有被缩放过。
⚡️ 工业级技术选型建议
技术 | 推荐场景 | 关键优势 | 避坑建议 |
---|---|---|---|
torch.autograd.detect_anomaly() | 单卡调试阶段 | 精准定位问题位置 | 性能差,勿用于生产 |
clip_grad_norm_ | 所有模型 | 控制梯度大小 | 可能影响收敛速度 |
detect_nan_inf | 所有阶段 | 易部署易扩展 | 需手工插入代码 |
distributed.launch + TORCH_DISTRIBUTED_DEBUG=INFO | 多卡训练 | 自动检测通信异常 | 需要设置环境变量 |
AMP+GradScaler | 大模型训练 | 降低显存 | 注意损失计算顺序 |
🏭 业界案例参考
1. LLaMA 训练日志片段
[ERROR] Rank 2: Loss is NaN.
[INFO] Checkpoint loaded at step 100000.
[INFO] Input stats: min=-5.2, max=12.3, mean=0.01
[ERROR] LayerNorm std < 1e-6 detected in TransformerBlock[12]
[INFO] Gradient norm: inf
→ 最终定位:第12层QKV投影矩阵初始化过大,配合AdamW lr=3e-4导致梯度爆炸。
2. Megatron-LM 故障诊断策略
export TORCH_DISTRIBUTED_DEBUG=DETAIL
输出详细通信日志,辅助判断是哪个rank首先出现问题。
🛠️ 工程实践技巧
1. 小批量复现法
# 用固定seed+小batch快速复现问题
import numpy as np
import torch
torch.manual_seed(42)
np.random.seed(42)
data = torch.randn(2, 512, 1024) # 构造小样本
2. 损失函数数值保护建议
# 不推荐
loss = -F.log_softmax(logits, dim=-1)[..., labels]# 推荐写法
log_probs = F.log_softmax(logits.float(), dim=-1)
loss = -log_probs.gather(dim=-1, index=labels).mean()
3. 日志记录模板
logger.info(f"Iter {step} | Loss: {loss.item():.4f} | Grad Norm: {grad_norm:.2f} | NaN Count: {nan_count}")
💡 深度追问
Q:为什么有些时候单卡训练没问题,而多卡训练却出现了NaN?
→ 可能原因:
- 多卡间梯度聚合时,某些rank的数据本身有问题
- 数据并行导致不同卡上的输入分布差异大
- BatchNorm在多卡下的统计量不一致
- 通信异常导致某些张量损坏
Q:如何判断是某个特定层导致的NaN?
可以使用如下方式逐层注入:
for i, layer in enumerate(model.transformer.layers):with torch.autograd.detect_anomaly():x = layer(x)
Q:如果上述方法都试过了还没发现问题怎么办?
尝试以下“终极方案”:
- 开启CUDA_LAUNCH_BLOCKING=1
- 设置环境变量NCCL_DEBUG=INFO
- 使用Valgrind检查内存泄漏
- 切换PyTorch版本测试(可能是框架Bug)
📈 总结速记图谱
✅ 一句话总结:Loss 出现 NaN 是训练过程中常见但棘手的问题,需从梯度、参数、数据、算子、分布式等多个角度系统性排查。建议在训练初期就集成自动检测机制,结合日志、可视化和人工验证手段构建完整的防护体系。
🚀 实战建议:早中期开发阶段保留完整 debug 模式,后期上线再关闭以提升性能。
🎬明日预告:
我们在训练千亿参数语言模型时发现,使用 Adam 优化器比 SGD 收敛更快且更稳定。请从算法原理、训练特性和工程实现三个维度分析其背后的原因。
(欢迎在评论区留下你的方案,次日公布参考答案)
🚅附录延展
1、难度标识:
• 🌟 基础题(校招必会)
• 🌟🌟 进阶题(社招重点)
• 🌟🌟🌟 专家题(团队负责人级别)
🚀 为什么值得关注?
- 每日进阶:碎片化学习大厂高频考点,30天构建完整知识体系
- 实战代码:每期提供可直接复现的PyTorch代码片段
- 面试预警:同步更新Google/Meta/字节最新面试真题解析
📣 互动时间
💬 你在面试中遇到过哪些「刁钻问题」?评论区留言,下期可能成为选题!
👉 点击主页「关注」,第一时间获取更新提醒
⭐️ 收藏本专栏,面试前速刷冲刺
#大模型面试 #算法工程师 #深度学习 #关注获取更新
👉 关注博主不迷路,大厂Offer快一步!
相关文章:
【大模型面试每日一题】Day 6:分布式训练中 loss 出现 NaN,可能原因及排查方法?
【大模型面试每日一题】Day 6:分布式训练中 loss 出现 NaN,可能原因及排查方法? 📌 题目重现 🌟🌟 面试官:你在使用 PyTorch 进行大规模语言模型的分布式训练时,发现 loss 变成 Na…...
[面试]SoC验证工程师面试常见问题(二)
SoC验证工程师面试常见问题(二) 摘要:面试SoC验证工程师时,SystemVerilog (SV) 和 UVM (Universal Verification Methodology) 是核心技能,而AXI总线是现代SoC中最常见的接口协议之一,因此也是必考点。以下是可能被问到的问题及优质答案的详细列表: 一、 System…...
BLE协议栈的解析
目录 概述 1 BLE协议栈层次结构 1.1 控制器(Controller) 1.2 主机(Host) 1.3 应用层(Application) 1.3.1 业务层功能 1.3.2 实现方法 2 重要属性介绍 2.1 GATT属性 2.2 服务(Service) 2.3 特征值…...
中小企业MES系统需求文档
适用对象:中小型离散制造企业(年产值1-5亿,员工200-800人) 版本:V1.0 日期:2025年5月2日 一、业务背景与目标 1.1 现状痛点 生产黑箱化:车间进度依赖人工汇报,异常响应延迟>2小…...
邹晓辉教授十余年前关于围棋程序与融智学的思考,体现了对复杂系统本质的深刻洞察,其观点在人工智能发展历程中具有前瞻性意义。我们可以从以下三个维度进行深入解析:
邹晓辉教授十余年前关于围棋程序与融智学的思考,体现了对复杂系统本质的深刻洞察,其观点在人工智能发展历程中具有前瞻性意义。我们可以从以下三个维度进行深入解析: 一、围棋程序的二元解构:数据结构与算法的辩证关系 1.1.形式…...
JAVA继承详细总结
看前摇一摇这篇文章:java 继承 补充:子类能继承父类中的哪些内容? - 小澳子 - 博客园 构造方法的继承规则 Java 中构造方法不会被子类继承。JLS 明确指出“构造方法不是类的成员,因此永远不会被继承”docs.oracle.com。博客原文在“继承内存…...
AntSK:基于大模型的一体化AI知识库解决方案深度解析
随着大模型(如GPT、LLM)技术的飞速发展,企业对智能知识管理和专属AI助手的需求日益增长。AntSK 正是在这一背景下诞生的企业级AI一体机解决方案。本文将从技术架构、核心功能、创新点和应用场景等方面,深入解析 AntSK 如何助力企业…...
C++11新特性_标准库_std::array
std::array 是 C11 标准库引入的一个容器,用于表示固定大小的数组。它定义在 <array> 头文件中。下面为你详细介绍其优势和使用方法。 优势 1. 类型安全 与传统的 C 风格数组不同,std::array 是一个模板类,它的类型信息在编译时就已…...
【AI面试准备】数据治理与GDPR脱敏机制构建
介绍数据治理:构建符合GDPR的测试数据脱敏机制。如何快速掌握,以及在实际工作中如何运用。 数据治理是确保数据质量、安全性和合规性的系统性方法,而构建符合GDPR(《通用数据保护条例》)的测试数据脱敏机制是其中的关…...
A2A Python 教程 - 综合指南
目录 • 介绍• 设置环境• 创建项目• 代理技能• 代理卡片• A2A服务器• 与A2A服务器交互• 添加代理功能• 使用本地Ollama模型• 后续步骤 介绍 在本教程中,您将使用Python构建一个简单的echo A2A服务器。这个基础实现将向您展示A2A提供的所有功能。完成本教…...
Linux:信号(一)
1. 信号是什么 信号的概念 Linux中信号(Signal)是进程间通信的一种基本机制,用于通知进程发生了某种事件或异常。信号是异步的,可能由操作系统、其他进程或进程自身触发。 kill -l 指令查看所有的信号 上面的SIGHUP、SIGINT本质就是define宏定义&…...
数据中台笔记01
一、数据中台大纲 1.1、 课程概述 1)数据中台诞生的背景和历史 核心价值:解决企业"重复造轮子"问题,通过统一平台实现多业务数据关联。典型问题:数据质量监控、血缘关系管理等场景的标准化处理。行业需求:阿里等企业实践验证了中台模式在数据治理中的必要性。2…...
[面试]SoC验证工程师面试常见问题(四)
SoC验证工程师面试常见问题(四) 摘要:作为 SoC 验证工程师,面试中可能会被问及与片内互联技术和具体协议(如 PCIe)相关的问题。这些问题通常旨在评估你对 SoC 架构、互联协议的理解以及验证这些技术的实践经验。以下是针对片内互联技术和 PCIe 协议可能提出的问题…...
流水线相关计算【计算机组成与体系结构】
一些概念 流水线周期 (T_cycle) 最长操作阶段耗时,决定整体节奏。若取指2ns,分析3ns,执行1ns,则流水线周期3ns(取最大值)如《笑傲江湖》中“独孤九剑”的九式,最慢一式&a…...
学习笔记:Qlib 量化投资平台框架 — OTHER COMPONENTS/FEATURES/TOPICS
学习笔记:Qlib 量化投资平台框架 — OTHER COMPONENTS/FEATURES/TOPICS Qlib 是微软亚洲研究院开源的一个面向人工智能的量化投资平台,旨在实现人工智能技术在量化投资中的潜力,赋能研究,并创造价值,从探索想法到实施生…...
值此五一劳动节来临之际,
值此五一劳动节来临之际,谨向全体员工致以节日的问候与诚挚的感谢!正是你们的敬业与奋斗,成就了今天的成绩。愿大家节日愉快,阖家幸福,身体健康! #北京先智先行科技有限公司 #先知AI #节日快乐...
深入理解C++构造函数:从入门到实践
1. 默认构造函数:对象的"出厂设置" 什么是默认构造函数? 没有参数的构造函数当你没有定义任何构造函数时,编译器自动生成用于创建对象时不传递参数的情况 class Smartphone { public:// 成员初始化方法一: 函数体内初始化Smartp…...
【安装指南】DevC++的安装和使用(超级详细)
目录 一、DevC 介绍 二、DevC 下载与安装 2.1 DevC 的下载方式 2.2 DevC 的安装 三、代码编写 3.1 新建源文件 3.1.1 步骤演示 3.1.2 快捷键指南 3.2 新建项目 3.3 多文件的效果演示 3.3.1 方式一 3.3.2 方式二 四、项目中的文件介绍 五、调试的使用 5.1 设置断…...
计算机组成原理实验(6) 微程序控制单元实验
实验六 微程序控制单元实验 一、实验目的 1、熟悉微程序控制器的原理 2、掌握微程序编制、写入并观察运行状态 二、实验要求 按照实验步骤完成实验项目,掌握设置微地址、微指令输出的方法 三、实验说明 3.1 微程序控制单元的构成:(…...
从文本到向量:揭秘词向量转换的奥秘与实践
从文本到向量:揭秘词向量转换的奥秘与实践 在自然语言处理(NLP)的世界里,计算机处理的是数字和向量,而人类交流使用的是文本语言。如何让计算机理解文本语义并进行分析处理呢?词向量转换便是其中的关键一环…...
在 Windows 中安装 Pynini 的记录
#工作记录 概述 Pynini 是一个用于加权有限状态文法编译的 Python 库,广泛应用于自然语言处理(NLP)领域。以下记录旨在用于回顾和帮助大家在 Windows 系统中安装 Pynini。 安装思路: 优先用conda虚拟环境 或 在python3.12的vir…...
美丽天天秒链动2+1源码(新零售商城搭建)
什么是链动21模式? 链动21主要是建立团队模式,同时快速提升销量。是目前成员中速度最快的裂变模式。链动21模式合理合规,同时激励用户 公司的利润分享机制,让您在享受购物折扣的同时,也能促进并获得客观收益。 链动21模…...
目标检测中的损失函数(三) | SIoU WIoUv1 WIoUv2 WIoUv3
🚀该系列将会持续整理和更新BBR相关的问题,如有错误和不足恳请大家指正,欢迎讨论!!! SCYLLA-IoU(SIoU)来自挂在2022年arxiv上的文章:《SIoU Loss: More Powerful Learnin…...
51、【OS】【Nuttx】【OSTest】参数解析:参数处理过程
背景 接上两篇 blog: 49、【OS】【Nuttx】【OSTest】参数解析:测试项 50、【OS】【Nuttx】【OSTest】参数解析:函数定义 getopt_common 来看 getopt_common 的实现过程 首先校验输入参数是否为空,如果没有输入参数࿰…...
python实现基于Windows系统计算器程序
Python实现Windows系统计算器程序(含高级功能) 下面我将介绍如何使用Python创建一个功能完整的Windows风格计算器程序,包含基本运算和高级数学功能。 1. 使用Tkinter实现基础计算器 import tkinter as tk from tkinter import ttk import …...
日语学习-日语知识点小记-构建基础-JLPT-N4阶段(14):かもしれません (~た・~ない)ほうがいいです
日语学习-日语知识点小记-构建基础-JLPT-N4阶段(14):かもしれません &(~た・~ない)ほうがいいです 1、前言(1)情况说明(2)工程师…...
AI Rack架构高速互连的挑战:损耗设计与信号完整性的设计框架
在AI驱动的时代,系统设计已经从单一PCB的视角,逐步转向以整个rack为单位来考量。 对于信号完整性而言,焦点以不再局限于单一PCB上的损耗,而是扩展到芯片与芯片之间的端到端互连损耗(end-to-end interconnect loss&…...
React useCallback函数
应用场景:父组件向子组件传递函数类型的props时...
【CTFer成长之路】XSS的魔力
XSS闯关 level1 访问url: http://c884a553-d874-4514-9c32-c19c7d7b6e1c.node3.buuoj.cn/level1?usernamexss 因为是xss,所以对传参进行测试,修改?username1,进行访问 会发现username参数传入什么,welcome之后就…...
多模态RAG演进-MRAG1.0->MRAG2.0->MRAG3.0
MRAG1.0 MRAG1.0是MRAG框架的初始阶段,通常被称为“伪MRAG”。它是对RAG范式的简单扩展,支持多模态数据。MRAG1.0通过利用现有的基于文本的检索和生成机制,实现了从RAG到MRAG的平稳过渡。 MRAG1.0的架构包括三个关键组件: 文档解…...
超预期!淘宝闪购提前开放全国全量,联合饿了么扭转外卖战局
饿了么由守转攻。 作者|景行 编辑|杨舟 淘宝饿了么,终于落子,“淘宝闪购”,横空出世,仅仅2天,业务加速。 4月30日上午,当外卖战场陷入沉寂时,淘宝宣布将即时零售业务“小时达”升级为“淘宝闪…...
Proxmox VE 8.4 显卡直通完整指南:NVIDIA 2080 Ti 实战
背景: PCIe Passthrough 技术允许虚拟机直接访问物理GPU设备,绕过宿主机系统,从而获得接近原生性能的图形处理能力. 参照:从Proxmox VE开始:安装与配置指南。在R740服务器完成了proxmox的安装,并且安装了一…...
算法技巧——打表
什么是打表? 打表,是一个信息学专用术语,意指对一些题目,通过打表技巧获得一个有序表或常量表,来执行程序某一部分,优化时间复杂度。这种算法也可用于在对某种题目没有最优解法时,用来得到分数的…...
JavaScript基础-逻辑运算符
在JavaScript编程中,逻辑运算符用于判断表达式的真假,并根据结果执行特定的操作。掌握逻辑运算符是理解条件控制结构的关键之一。本文将详细介绍JavaScript中的三种主要逻辑运算符:&&(逻辑与)、||(…...
P20:Inception v3算法实战与解析
🍨 本文为🔗365天深度学习训练营 中的学习记录博客🍖 原作者:K同学啊 使用InceptionV3实现天气识别 一、模型结构 Inception v3是Google团队在2015年提出的第三代Inception模型,属于卷积神经网络(CNN&…...
C++ - 数据容器之 list(创建与初始化、元素访问、容量判断、元素遍历、添加元素、删除元素)
一、创建与初始化 引入 <list> 并使用 std 命名空间 #include <list>using namespace std;创建一个空 list list<int> my_list;创建一个包含 5 个元素,每个元素初始化为 0 的 list list<int> my_list(5);创建一个包含 5 个元素…...
deepseek 技巧整理
1、导出word 和excel 功能,在使用以下提示词。 请帮我列出减肥期间可以吃的水果,并分析该水果含有的营养元素,以表格的形式星现。1.要以html的方式输出 2.要可以直接运行 3.页面要提供可以直接下载word和excel功能...
柔性PZT压电薄膜多维力传感器在微创手术机器人的应用
随着医疗技术的迅速发展,微创手术机器人正在成为外科手术的重要助手。与传统开放式手术相比,微创手术创伤小、恢复快、感染率低,对手术器械的精细操控性和感知能力提出了更高要求。多维力传感器作为机器人“触觉”的核心部件,对提…...
Java学习手册:Spring Boot 自动配置与快速开发
一、Spring Boot 自动配置概述 Spring Boot 的自动配置是其核心特性之一,它能够根据项目的依赖和配置自动地进行 Spring 应用程序的配置。自动配置的工作流程如下: SpringBootApplication 注解 :这是自动配置的起点,它是一个组合…...
ValueError: expected sequence of length 8 at dim 2 (got 0)
问题描述 在PyCharm中使用强化学习运行Python代码时报错ValueError: expected sequence of length 8 at dim 2 (got 0)。 问题原因 实际上原因就是gym中的env对象的reset、step等方法的返回值作了改动 解决方法 1、第一步: 将代码块中的(记得改的需…...
AI赋能新媒体运营:效率提升与能力突破实战指南
AI赋能新媒体运营:效率提升与能力突破实战指南 在信息爆炸的新媒体时代,运营人员面临着内容产出压力大、数据分析复杂、用户互动需求高等多重挑战。AI技术的迅猛发展为新媒体运营带来了革命性的变革可能。本文将为您揭示如何利用AI工具提升工作效率、培…...
单词规律(简单)
思路和同构字符串那道题一样。、但是这道题要注意的地方就是,检查 pattern 和 s 的单词数量是否一致以及在进行字符串比较的时候应该用equals来进行比较,而不能用“!”,“!”比较的是对象引用而非内容。 class Soluti…...
QGraphicsView QGraphicsScene QGraphicsItem 的关系
在Qt的图形视图框架中,QGraphicsView、QGraphicsScene和QGraphicsItem 三者协同工作,构成一个分层的结构,用于高效管理和显示复杂的图形界面。以下是它们的关系和职责的详细说明: 1. 核心角色 类名职责类比QGraphicsItem场景中的…...
re题(52)BUUCTF-[FlareOn5]Minesweeper Championship Registration
BUUCTF在线评测 jadx打开if条件就是flag...
c++环境和vscode常用的一些有用插件
环境 WSL需要安装cmake 编译器g14 应该是包含了所有std:c23把好像包含部分c26 vscode 需要插件cmake vscode clangd 方便提示吧 File Watch 插件目的在保存.h/.cpp文件时候自动执行vscode 的cmake吧 error lens 方便每次显示错误和警告的提示懒得每次点击去看错误 Edit Sugge…...
UE自动索敌插件Target System Component
https://www.fab.com/zh-cn/listings/9088334d-3bde-4e10-a937-baeb780f880f 一个完全用 C 编写的 UE插件,添加了对简单相机锁定/瞄准系统的支持。它最初在蓝图中开发和测试,然后转换并重写为 C 模块和插件。 特征: 可通过一组可在…...
从括号匹配看栈:数据结构入门的实战与原理
在计算机科学的世界里,数据结构是程序员的 “瑞士军刀”,不同的数据结构适用于不同的场景,能高效解决各类问题。其中,栈作为一种简单却强大的数据结构,在很多实际应用中发挥着关键作用。今天,我们就通过一个…...
ReLU函数及其Python实现
ReLU函数及其Python实现 文章目录 ReLU函数及其Python实现1. ReLU函数定义2. Python实现3. 在深度学习中的应用总结 1. ReLU函数定义 ReLU(Rectified Linear Unit,修正线性单元)函数是深度学习中常用的激活函数之一。它的定义非常简单&#…...
Rain World 雨世界 [DLC 解锁] [Steam Epic] [Windows SteamOS]
Rain World 雨世界 [DLC 解锁] [Steam & Epic] [Windows & SteamOS] 需要有游戏正版基础本体,安装路径不能带有中文,或其它非常规拉丁字符; DLC 版本 至最新全部 DLC 后续可能无法及时更新文章,具体最新版本见下载文件说明…...
n8n 工作流画布上下左右移动的操作方法
n8n 工作流画布上下左右移动的操作方法 1. n8n 工作流画布上下移动2. n8n 工作流画布左右移动3. n8n 工作流画布扩大和缩小4. n8n 工作流画布缩放到适合 1. n8n 工作流画布上下移动 鼠标滚轮向上滚动是向上移动鼠标滚轮向下滚动是向下移动 2. n8n 工作流画布左右移动 按照Shi…...