当前位置：首页 > news >正文

技术视界 | 青龙机器人训练地形详解（三）：复杂地形精讲之台阶

news 来源：原创 2025/8/11 18:27:53

在前两篇中，我们依次讲解了“如何创建一个地形”以及“如何将地形添加到训练环境中”。从基础出发，逐步构建机器人可交互的三维仿真环境。在机器人强化学习训练中，地形的复杂度决定了策略的泛化能力，仅靠 jump_plat 和 jump_pit 等基础地形，难以满足真实场景下的鲁棒性需求。今天，我们将进入更复杂的训练场景：台阶地形与金字塔形台阶地形，它们是机器人强化学习中不可或缺的“能力测试场”。

为什么选择“台阶地形”？

台阶结构在现实生活中十分常见，比如楼梯、斜坡、道路突起等，都是非连续地形的体现。通过引入台阶地形，不仅能有效模拟这些真实障碍场景，也能显著提高机器人在以下几个方面的能力：一方面，它能锻炼策略在不同地形结构中的泛化表现，确保学习的动作在新地形上依旧可用；另一方面，台阶对平衡与协调的要求更高，有助于强化机器人姿态控制系统。

面对阶梯变化的地形，机器人必须依赖更精确的地形感知和动作决策机制，从而训练出更强大的感知能力。更重要的是，经过复杂地形训练的策略通常具有更强的鲁棒性，可以有效降低摔倒或失误的发生率，提高在现实世界部署的可靠性。

图片来自互联网

基础台阶地形（Stairs Terrain）

基础台阶地形的实现逻辑其实非常清晰，核心依旧是对 terrain.height_field_raw 数组中地形高度值的直接操作。在每一次迭代中，通过将一段水平方向上的高度值叠加，逐渐堆叠形成多个“阶梯”。例如：


def stairs_terrain(terrain, step_width, step_height):"""Generate a stairsParameters:terrain (terrain): the terrainstep_width (float):  the width of the step [meters]step_height (float):  the height of the step [meters]Returns:terrain (SubTerrain): update terrain"""# switch parameters to discrete unitsstep_width = int(step_width / terrain.horizontal_scale)step_height = int(step_height / terrain.vertical_scale)num_steps = terrain.width // step_widthheight = step_heightfor i in range(num_steps):terrain.height_field_raw[i * step_width: (i + 1) * step_width, :] += heightheight += step_heightreturn terrain

其中，step_width 控制每一级台阶的水平宽度，而 step_height 控制垂直高度的增长幅度。随着循环进行，地形高度逐渐升高，形成稳定的阶梯结构。如果传入负值的 step_height 参数，还可以生成“下楼梯”的情境，丰富了机器人训练的地形类型。

添加图片注释，不超过 140 字（可选）

不过，这种简单台阶的最大问题在于它的“拼接性”较差。当台阶地形与其他类型的地形拼接时，可能会出现突兀的高度差。这种地形不连续性在训练中会造成策略不稳定，甚至导致机器人频繁摔倒，降低训练效率。

金字塔台阶地形（Pyramid Stairs）：结构过渡的优雅解法

在训练地形中直接使用台阶地形是不可取的，因为会出现地形不连续的情况，一块地形与其接壤的地形会出现非常大的高度差，导致机器人在训练中非常容易摔倒。为了解决台阶结构之间突变的问题，引入“金字塔台阶”是一种更为合理的解决方案。它的核心理念是用一种环形递进的方式，使地形的高度逐层递增，从而在空间上实现更自然的过渡。

其实现方式是：在每次 while 循环中，将地形的有效区域从四周逐步向中心收缩，同时逐步抬高高度值，最终形成一个以中心平台为顶点的金字塔状阶梯结构。这一过程不仅确保了地形的连续性，还为机器人在中心区域停留、观察或进行任务切换提供了良好的平台基础。实现逻辑如下：

def pyramid_stairs_terrain(terrain, step_width, step_height, platform_size=1.):"""Generate stairsParameters:terrain (terrain): the terrainstep_width (float):  the width of the step [meters]step_height (float): the step_height [meters]platform_size (float): size of the flat platform at the center of the terrain [meters]Returns:terrain (SubTerrain): update terrain"""# switch parameters to discrete unitsstep_width = int(step_width / terrain.horizontal_scale)step_height = int(step_height / terrain.vertical_scale)platform_size = int(platform_size / terrain.horizontal_scale)height = 0start_x = 0stop_x = terrain.widthstart_y = 0stop_y = terrain.lengthwhile (stop_x - start_x) > platform_size and (stop_y - start_y) > platform_size:start_x += step_widthstop_x -= step_widthstart_y += step_widthstop_y -= step_widthheight += step_heightterrain.height_field_raw[start_x: stop_x, start_y: stop_y] = heightreturn terrain

可以看到，在每次 while 循环的迭代中：

- start_x 和 start_y 增加 step_width，即从左下到中心（以上为x轴正方向，右为y轴正方向）。

- stop_x 和 stop_y 减少 step_width，即从右上向中心。

- height 增加 step_height，表示生成的阶梯高度不断增加。

最终形成中心平台+阶梯上升的金字塔结构。这种结构不仅能单独使用，还可以通过多个金字塔拼接组合出自然过渡的大面积复杂地形，非常适合策略迁移和鲁棒性测试。逻辑图解如下：

实践应用建议

在实际应用中，我们建议根据不同的训练目标选用不同的地形类型。

例如，在早期阶段，可使用 jump_pit 或 jump_flat 地形作为基础步态和跳跃动作的训练场景。在需要训练机器人应对高度变化时，台阶地形是理想选择，能有效测试策略的爬升能力与协调性。而金字塔台阶则更适合用于设计连续过渡地形或核心区域的多场景整合。通过将多个金字塔结构拼接在一起，还能形成更为复杂、可控的过渡环境，进一步检验策略的稳定性与适应性。

从模拟到现实的桥梁

台阶与金字塔台阶地形的引入，不仅丰富了训练环境的复杂性，也帮助我们更接近真实世界中机器人的使用场景。合理设计地形，是让机器人“聪明地行动”的第一步。结合高质量策略与结构合理的训练环境，我们将能训练出在多种真实环境中都能稳定运行的机器人。

在理解了台阶与金字塔台阶之后，我们即将进入下一个重要的复杂地形——斜坡。它在机器人行走稳定性、动态平衡和落足规划中扮演关键角色，是强化学习任务中不可跳过的一环，敬请期待《复杂地形精讲（四）：斜坡》篇~

欢迎加入 OpenLoong 开源社区https://www.openloong.org.cn/cn/signup?utm_source=referral&utm_medium=csdn&utm_campaign=tech&utm_content=250508探索人形机器人技术，共享创新成果，在这里一起见证开源的力量！

为什么选择“台阶地形”？

基础台阶地形（Stairs Terrain）

金字塔台阶地形（Pyramid Stairs）：结构过渡的优雅解法

实践应用建议

从模拟到现实的桥梁

相关文章：