当前位置：首页 > news >正文

机器人的手眼标定——机器人抓取系统基础系列（五）

news 来源：原创 2025/8/3 17:43:51

机器人的手眼标定——机器人抓取系统基础系列（五）

前言
一、机器人标定相关概念
- 1.1 内参标定和外参标定
- 1.2 Eye-in-Hand 和 Eye-to-Hand
- 1.3 ArUco二维码和棋盘格标定区别
二、机器人标定基本原理
- 2.1 机器人抓取系统坐标系
- 2.2 标定原理
三、标定步骤和注意事项
- 3.1 高质量教程推荐
- 3.2 主要步骤回顾
- - 3.2.1 标定功能包安装
  - 3.2.2 Launch文件配置
  - 3.2.3 标定执行与测试
- 3.3 相关问题与说明
总结

前言

机器人的手眼标定是机器人完成抓取的重要一步，它能够将相机检测到的物体映射到机器人坐标系中，便于机器人完成抓取。

本文将首先介绍手眼标定的易混概念与标定原理，然后介绍其标定实操。由于实操部分网上已经有非常多的教程，所以此部分主要推荐高质量教程并补充说明，主要起到拾遗补缺的作用。

一、机器人标定相关概念

机器人抓取的流程包括物体的识别和定位，位姿估计，手眼标定，机器人规划，夹爪控制等部分。其中手眼标定作为重要一环，其能够将相机的计算结果通过坐标系转换映射到机器人坐标系中，便于机器人抓取。

为了方便对标定过程的介绍，首先需要介绍相关的基本概念如下：

1.1 内参标定和外参标定

相机内参标定：内参是相机内部的基本参数，包括镜头焦距、畸变等。一般相机出厂时内参已标定完成，保存在相机内部。内参标定的目的是确定相机的内部参数，以便将图像坐标转换为相机坐标系中的坐标。

关于Realsense相机的内参自动标定的说明：
Realsense相机固件版本为5.12.02.100及以上的相机，可以通过Realsense Viewer界面手动触发自动标定功能。
但是需要注意的是Realsense D4××系列相机的自标定功能主要用于恢复深度性能，而不是针对RGB相机的内参标定。
如果需要对RGB相机进行内参标定，仍需要使用其他工具（如OpenCV）或手动标定。

相机外参标定：外参表示的是机器人与相机之间的位姿转换关系，即手眼关系，因此相机外参的标定称之为机器人手眼标定。外参标定就是确定相机坐标系相对于机器人位姿。

本文所说的手眼标定指的是相机的外参标定。

1.2 Eye-in-Hand 和 Eye-to-Hand

Eye-in-Hand：相机安装在机械臂的末端执行器上，随着机械臂的运动而移动。主要解决相机与机械臂末端的相对关系。适用于需要机械臂携带相机进行动态操作的场景。
眼在手内和眼在手外

图1：眼在手内和眼在手外。左：眼在手内示意图；右：眼在手外示意图。

Eye-to-Hand：相机固定在机械臂之外的某个位置，通常安装在工作台或机器人基座上。主要解决相机与机械臂基座的相对关系。适用于相机固定不动，机械臂末端需要根据相机信息进行操作的场景。

本文主要讲解Eye-to-Hand的手眼标定案例，对于Eye-in-Hand可以依此类推。

1.3 ArUco二维码和棋盘格标定区别

常用的标定板工具包括ArUco二维码和棋盘格，它们两者区别由DeepSeek总结如下表所示。
在这里插入图片描述

由上述表格可知，总体来讲，使用棋盘格标定的精度会更高一点，因为其有多个角点的约束，但同时其也对环境和光照有一定的要求，因为棋盘格占用空间更大，需要清楚检测出所有的角点。

本文则是采用ArUco二维码进行标定，其面积较小，布置灵活，可以方便的粘贴在机器人末端执行器上进行眼在手外情况的标定。

二、机器人标定基本原理

本节主要介绍Eye to hand的手眼标定原理，对于Eye-in-Hand的情况可以依次类推。

2.1 机器人抓取系统坐标系

世界坐标系：代表物体在真实世界里的三维坐标。所有其他坐标系都是相对于世界坐标系来定义的。
相机坐标系：代表以相机光学中心为原点的坐标系，光轴与 z 轴重合。
机器人坐标系：此为机器人坐标系的起始点，通常与机器人基座或底座的中心对应。
末端坐标系：为相对于机器人末端执行器（工具）来定义的坐标系。其原点通常位于末端执行器的中心，并且与基座坐标系的位置和方向有关。
标定板坐标系：代表标定板在真实世界中的坐标系，用于确定相机与机器人之间的相对位置和方向。

对于眼在手外的情形（图1（右）），机器人的手眼标定的目标就是求相机坐标系相对机器人底座坐标系的齐次转换矩阵。

注：在相机识别过程中，还会涉及到图像坐标系和像素坐标系，本文暂不涉及。

2.2 标定原理

如图1（右）所示，机器人通过多次调整机械臂末端的位姿完成标定，其标定原理如下。其中Robot为机器人坐标系，End为工具坐标系，Camera为相机坐标系，Object此处为标定板坐标系。
$\mathbf{T}_{\text{End}}^{\text{Robot1}} \cdot \mathbf{T}_{\text{Robot1}}^{\text{Camera1}} \cdot \mathbf{T}_{\text{Camera1}}^{\text{Object}} = \mathbf{T}_{\text{End}}^{\text{Robot2}} \cdot \mathbf{T}_{\text{Robot2}}^{\text{Camera2}} \cdot \mathbf{T}_{\text{Camera2}}^{\text{Object}}$
移项可得如下公式：
$\mathbf{T}_{\text{End}}^{\text{Robot2}} \cdot (\mathbf{T}_{\text{End}}^{\text{Robot1}})^{-1} \cdot \mathbf{T}_{\text{Robot1}}^{\text{Camera1}} = \mathbf{T}_{\text{Robot2}}^{\text{Camera2}} \cdot \mathbf{T}_{\text{Camera2}}^{\text{Object}} \cdot (\mathbf{T}_{\text{Camera1}}^{\text{Object}})^{-1}$
$\mathbf{A} \cdot \mathbf{X} = \mathbf{X} \cdot \mathbf{B}$
其中X就是我们要求的目标，相机坐标系与机器人坐标系的关系。

注意此处并没有使用到Object（标定板）相对于End（末端）的转换关系，这有助于我们理解标定板的固定方式（本文3.3节问题一）。

三、标定步骤和注意事项

对于标定过程，网上已经有海量的教程，没有必要再累述，主要是推荐一下高质量教程，回顾一下步骤，另外再说明一下常见疑惑问题，主要起到拾遗补缺的作用。

3.1 高质量教程推荐

小编看了网上不少的教程，个人推荐以下两个教程，这两篇文章步骤清晰完整，同时对易出错的地方进行了解释，可以结合着来看：

1） CSDN博客文章：UR5、realsense手眼标定
网址：https://blog.csdn.net/weixin_43735353/article/details/106128655；

2）知乎文章：【手眼标定】ros / easy_handeye + ur5 + realsense d435i
网址：https://zhuanlan.zhihu.com/p/92339362。

3.2 主要步骤回顾

基于上述推荐教程，此部分对标定的流程进行快速的回顾，使铁子们有一个宏观的廓。主要步骤包括相关ROS功能包的安装，Launch文件配置，和标定执行。

3.2.1 标定功能包安装

因为手眼标定需要同时启动机器人，相机，以及相关的标定ROS功能包，所以最好是已经完成本系列教程前述的UR驱动和Realsense相机的相关配置。

接下来就是标定相关的功能包的安装，包括aruco_ros，vision_visp，和easy_handeye三个ROS功能包，这些所有的功能包需要下载到同一个工作空间中并编译，具体教程参考本文3.1 高质量教程推荐。

用于手眼标定的三个功能包的作用：
1）aruco_ros 主要用于检测和定位aruco二维码；
2）vision_visp 提供视觉跟踪和伺服功能；
3）easy_handeye 则负责计算和存储手眼标定结果。

3.2.2 Launch文件配置

刚刚提到easy_handeye负责计算手眼标定结果，在计算时需要我们运行其功能包中的launch文件启动上述所有标定需要的节点，其中包括UR机器人节点，Realsense相机节点，aruco节点，easy_handeye节点的启动。

我们可以在这个功能包的路径（xxx/easy_handeye/docs/example_launch/ur5_kinect_calibration.launch）中找到示例launch文件并在此基础上修改。这个示例launch文件不在launch文件夹下，所以需要将其复制到easy_handeye功能包的Launch文件夹，再修改，当然也可以重命名。

此处贴上个人的launch文件：

<?xml version="1.0" ?>
<launch><arg name="namespace_prefix" default="ur5e_realsense_calibration" /><arg name="eye_on_hand" default="false" /><arg name="camera_namespace" default="/camera/color" /><arg name="robot_ip" doc="The IP address of the UR5 robot" default="192.168.31.2" /><arg name="marker_size" doc="Size of the ArUco marker used, in meters" default="0.1" /><arg name="marker_id" doc="The ID of the ArUco marker used" default="582"/><!-- start the realsense --><include file="$(find realsense2_camera)/launch/rs_camera.launch" ><arg name="color_height" value="1080" /><arg name="color_width" value="1920" /><arg name="color_fps" value="30" /></include><!-- start ArUco --><node name="aruco_tracker" pkg="aruco_ros" type="single"><remap from="/camera_info" to="/camera/color/camera_info" /><remap from="/image" to="/camera/color/image_raw" /><param name="image_is_rectified" value="true"/><param name="marker_size"        value="$(arg marker_size)"/><param name="marker_id"          value="$(arg marker_id)"/><param name="reference_frame"    value="camera_color_frame"/><param name="camera_frame"       value="camera_color_frame"/><param name="marker_frame"       value="camera_marker" /></node><!-- start the robot --><!-- calibration of the robot --><include file="$(find ur_calibration)/launch/calibration_correction.launch"><arg name="robot_ip" value="$(arg robot_ip)" /><arg name="target_filename" value= "$(find ur_robot_driver)/config/my_robot_calibration.yaml"/></include><!-- bring up the real robot --><include file="$(find ur_robot_driver)/launch/ur5e_bringup.launch"><arg name="robot_ip" value="$(arg robot_ip)" /><arg name="kinematics_config" value= "$(find ur_robot_driver)/config/my_robot_calibration.yaml"/></include><!-- moveit --><include file="$(find ur5e_moveit_config)/launch/moveit_planning_execution.launch"></include><!-- start easy_handeye --><include file="$(find easy_handeye)/launch/calibrate.launch" ><arg name="namespace_prefix" value="$(arg namespace_prefix)" /><arg name="eye_on_hand" value="$(arg eye_on_hand)" /><arg name="tracking_base_frame" value="camera_color_frame" /><arg name="tracking_marker_frame" value="camera_marker" /><arg name="robot_base_frame" value="base" /><arg name="robot_effector_frame" value="tool0" /><arg name="freehand_robot_movement" value="false" /><arg name="robot_velocity_scaling" value="0.5" /><arg name="robot_acceleration_scaling" value="0.2" /><arg name="translation_delta_meters" default="0.05"  /><arg name="rotation_delta_degrees" default="25"  /></include></launch>

注意事项如下：

aruco码：
a) aruco码的下载地址为网站；
b) Dictionary 一定要选 Original ArUco；
c) Marker ID 和 Marker size 自选，在launch 文件中做相应的修改；
d) 打印时，要选择原始大小，否则要测量一下打印出来的真实大小；

机器人节点
a) 用机器人的真实ip替代launch文件中的robot_ip参数；
b) 注意UR机器人的一些功能包的名称，不同版本的驱动可能会有所差别；

easy_handeye节点
a) eye_on_hand参数的设置，眼在手外：value为 false；
b) robot_base_frame为机器人基座坐标系，robot_effector_frame为工具坐标系；
c) robot_effector_frame工具坐标系是测试时用来固定aruco二维码的；

3.2.3 标定执行与测试

将下载和打印的aruco二维码只作成标定板，将其固定在末端执行器上，固定方式和位置自行决定（本文3.3节解释为什么）。

在工作空间中执行launh文件：

roslaunch easy_handeye ur5e_realsense_calibration.launch

Launch文件执行之后会出现以下三个界面（如图2所示）：
请添加图片描述

图2：手眼标定实施截图。
①为打开的Rviz软件，其中包含机器人的状态并且可以调出/camera/color/image_raw话题，观察aruco二维码的实时位姿；
②用来调节机器人的末端位姿，也就是标定板的位姿；
③用来选择标定算法，记录采集到标定板位姿，并完成计算与保存标定结果。

具体的标定步骤参考推荐的高质量教程1：UR5、realsense手眼标定，其介绍的标定过程非常详细。

3.3 相关问题与说明

在标定的过程中，铁子们也包括我在内可能会有这样那样的疑惑，这里对这些疑惑进行了整理，希望能对其了解地更深入一点。

1）为什么末端坐标系的选择和标定板的固定位置没有那么重要？

根据本文2.2节标定原理所示，在标定的过程中始终使用的是相机相对于标定板的转换矩阵和末端相对于机器人底座的转换矩阵（如下图3所示），并没有使用标定板相对于末端的转换矩阵，也就是说这两者之间的相对位姿不重要，只需要保证它们之间的位姿固定即可。

此外，末端坐标系所在的部件只要是和标定板处于同一个构件上即可，对末端坐标系的选择是不限制的，可以选取末端wrist的坐标系，也可以选择末端tool的坐标系。
在这里插入图片描述

图3：眼在手外情况下的坐标系关系。
$\mathbf{T}_{\text{相机}}^{\text{标定板}}$ 为已知，可变的；
$\mathbf{T}_{\text{末端}}^{\text{机器人底座}}$ 为已知，不变的；
$\mathbf{T}_{\text{机器人底座}}^{\text{相机}}$ 为未知，不变的，需要求解的；
$\mathbf{T}_{\text{标定板}}^{\text{末端}}$ 为未知，不变的，不需要求解的；

2）不同标定算法的区别，标定算法选哪个？

如图2中③所示，calibration algorithm是可以选择的。对于本文的标定板的形状和尺寸已知的情况，可以选择Tsai-Lenz（默认算法）或Park算法（第二个）。

Tsai-Lenz算法是一种经典的手眼标定方法，它通过最小化重投影误差来求解相机和机器人末端执行器之间的相对位置和姿态。
而Park算法是一种改进的Tsai-Lenz算法，它通过引入更多的约束条件来提高标定的精度和鲁棒性。

此处从精度和鲁棒性的角度，个人推荐第二个Park算法。更多关于标定算法的对比可以参考下述两篇综述文章：

Jiang J, Luo X, Luo Q, et al. An overview of hand-eye calibration[J]. The International Journal of Advanced Manufacturing Technology, 2022, 119(1): 77-97.
Enebuse I, Foo M, Ibrahim B S K K, et al. A comparative review of hand-eye calibration techniques for vision guided robots[J]. IEEE Access, 2021, 9: 113143-113155.

3）标定好的转换矩阵如何使用？如何将物体的坐标系转换到机器人坐标系中进行抓取？

最终标定保存的结果为相机坐标系相对于机器人基座的坐标系，在机器人实际抓取的过程中，需要将其标定的结果发布出去，发布指令如下所示：

roslaunch easy_handeye publish.launch

其标定结果可以用于计算相机视野中物体的位姿到机器人坐标系的位姿，进而给机器人发指令去抓取该物体，即 $\mathbf{T}_{\text{待抓取物}}^{\text{机器人}}=\mathbf{T}_{\text{待抓取物}}^{\text{相机}} \cdot \mathbf{T}_{\text{相机}}^{\text{机器人}}$ 。

总结

本文主要介绍了机器人手眼标定的相关概念，标定原理，以及标定实操。对易混淆概念进行了详细阐述，并重点介绍了实操方面的注意事项和常见问题，希望对网上的教程起到拾遗补缺的作用，让大家有更深入的理解。

注：
1 本文为个人观点，不足或错误之处请指正，也欢迎大家在评论区讨论。
2 由于功能包更新原因，实际功能包安装和配置可能和本文稍有出入，请根据实际情况自行调整。
3 UR机器人的版本和型号也会导致其坐标系名称略有不同。

机器人的手眼标定——机器人抓取系统基础系列（五）

前言

一、机器人标定相关概念

1.1 内参标定和外参标定

1.2 Eye-in-Hand 和 Eye-to-Hand

1.3 ArUco二维码和棋盘格标定区别

二、机器人标定基本原理

2.1 机器人抓取系统坐标系

2.2 标定原理

三、标定步骤和注意事项

3.1 高质量教程推荐

3.2 主要步骤回顾

3.2.1 标定功能包安装

3.2.2 Launch文件配置

3.2.3 标定执行与测试

3.3 相关问题与说明

总结

相关文章：