CN113771042B

CN113771042B - 基于视觉的移动机器人夹取工具的方法及***

Info

Publication number: CN113771042B
Application number: CN202111161341.3A
Authority: CN
Inventors: 夏子涛; 郭震
Original assignee: Hangzhou Jingwu Intelligent Technology Co ltd
Current assignee: Hangzhou Jingwu Intelligent Technology Co ltd
Priority date: 2021-09-30
Filing date: 2021-09-30
Publication date: 2023-03-24
Anticipated expiration: 2041-09-30
Also published as: CN113771042A

Abstract

本发明提供了一种基于视觉的移动机器人夹取工具的方法及***，所述方法包括如下步骤：步骤S1：工具定位标定；步骤S2：工具定位夹取；工具夹上设置有四个工具，工具夹上部设置有一块平板，平板两端各设置有定位码。本发明使机器人能够动态适应机器人在不同的位置准确的进行夹取动作，保证了机器人在夹取外部工具的位置和姿态的精度,解决了直接定位夹具困难的问题。

Description

基于视觉的移动机器人夹取工具的方法及***

技术领域

本发明涉及机器人图像处理的技术领域，具体地，涉及基于视觉的移动机器人夹取工具的方法及***。

背景技术

机器人在执行不同的任务时，需要不同的末端工具，这要求机器人具有切换工具的能力。然而不同于随机夹取物品，机器人在进行切换工具的时候对机器人的末端位置和姿态的精度都有很高的要求。传统上固定基座的机器人，由于机器人坐标和工具的坐标系的关系可以保持固定，可以通过示教的方式确定夹取时的位置和姿态。

在公开号为CN112008767A的专利文献中公开了一种AGV机器人用夹取装置及其使用方法，包括AGV机器人、监控装置、夹取装置和定位装置，所述AGV机器人左端固定连接有监控装置，所述AGV机器人顶端从左至右依次固定连接有控制器、定位装置和机械臂，所述机械臂顶端固定连接有夹取装置，所述夹取装置包括第一电动伸缩杆，所述机械臂顶端固定连接有第一电动伸缩杆，通过设置的固定架和压力传感器，这种设置配合转动杆与支撑杆的转动连接、支撑杆与夹爪的固定连接、第一弹簧对压板及固定架的弹力和压板与压力传感器的固定连接，在使用装置时，可以根据夹取物品的材质对夹紧力进行调节。

针对上述中的相关技术，发明人认为机器人夹取工具的位置和姿态要求高，难以准确定位，移动机器人，由于机器人和工具坐标系的关系在动态变化，增加了夹取难度，待夹取的工具的点云信息难以获取，需要辅助定位。因此，需要提出一种技术方案以改善上述技术问题。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于视觉的移动机器人夹取工具的方法及***。

根据本发明提供的一种基于视觉的移动机器人夹取工具的方法，所述方法包括如下步骤：

步骤S1：工具定位标定；

步骤S2：工具定位夹取；工具夹上设置有四个工具，工具夹上部设置有一块平板，平板两端各设置有定位码。

优选地，所述步骤S1包括如下步骤：

步骤S1.1：拍照位下定位码坐标系构建和换算；

步骤S1.2：工具夹取位姿示教；

步骤S1.3：定位码坐标系下工具夹取位姿计算。

优选地，所述步骤S1.1包括如下步骤：

步骤S1.1.1：放置好外部工具夹，将机器人移动到指定位置，调整机器人的姿态，工具夹在RGBD相机下完整成像，记录此时的机器人末端在机器人坐标系下的位姿矩阵M_S；

步骤S1.1.2：采集工具夹的RGBD图像，分别计算两个定位码的中心点坐标，并计算二维码所在平面的方程，构建两个定位码组成的坐标系，以右侧定位码的中心位原点，指向左侧定位码的中心为X轴，所在平面的法向量指向下方为Z轴，根据右手坐标系确定Y轴；

步骤S1.1.3：计算此时定位码坐标系在相机坐标系下的位姿矩阵，记为M_{L2 Cam}；相机到机器人末端的标定矩阵，M_{Cam 2 End}；计算定位码坐标系在机器人坐标系下的位姿矩阵，记为M_L：

M_L＝M_S*M_{Cam 2 End}*M_{L2 Cam}。

优选地，所述步骤S1.2包括如下步骤：

步骤S1.2.1：保持机器人底盘不移动，进行工具夹取动作的示教，即移动机械臂到工具夹取的位姿，记录下该状态下的机械臂末端的位姿转换矩阵，记为M_{cla min g}；

步骤S1.2.2：有多个工具夹持位姿，第n个夹持位姿记录为M_{cla min g}(n)。

优选地，所述步骤S1.3包括如下步骤：

步骤S1.3.1：由于工具上的定位码位置和工具夹持的位姿是相对固定的，记第n个夹持位姿相对于定位坐标系的变换矩阵为M_{cla min g 2L}，等式如下：

M_{cla min g}(n)＝M_L*M_{cla min g 2L}(n)；

步骤S1.3.2：根据如上公式，求解每一个夹持位姿相对与定位码坐标系的变换系M_{cla min g 2L}(n)：

优选地，所述步骤S2包括如下步骤：

步骤S2.1：实时定位准备工作；

步骤S2.2：实时工具夹取位姿计算和执行。

优选地，所述步骤S2.1包括如下步骤：

步骤S2.1.1：实时夹取工具时，移动机器人首先运动到机器人附近，将机器人末端运行到之前的位姿矩阵M_S；

步骤S2.1.2：判断相机采集的图像中两个定位码是否成像完整，如果不完整，微调机械臂，直到两个定位码在图像中成像完整，记录此时的机器人末端在机器人坐标系下的位姿矩阵M′_s；

步骤S2.1.3：计算此时定位码坐标系在相机坐标系下的位姿矩阵，记为M'_{L2 Cam}；

步骤S2.1.4：计算定位码坐标系在机器人坐标系下的位姿矩阵,记为M'_L：

M'_L＝M_′s*M_{Cam 2 End}*M'_{L2 Cam}。

优选地，所述步骤S2.2包括如下步骤：

步骤S2.2.1：根据夹取命令，选择夹取的工具，第n个夹取的位姿，记为Mclaming2L’(n),则有公式如下，其中M_{cla min g 2L}(n)为标定过程中计算得到固定值：

M'_{cla min g}(n)＝M'_L*M_{cla min g 2L}(n)；

步骤S2.2.2：根据移动机器人当前位置，计算到夹取工具的位姿，运行机械臂末端到M'_{cla min g}(n)位姿，闭合机器人夹爪，完成机器人夹取动作。

本发明还提供一种基于视觉的移动机器人夹取工具的***，所述***包括如下模块：

模块M1：工具定位标定；

模块M2：工具定位夹取；工具夹上设置有四个工具，工具夹上部设置有一块平板，平板两端各设置有定位码；

模块M1.1：拍照位下定位码坐标系构建和换算；

模块M1.2：工具夹取位姿示教；

模块M1.3：定位码坐标系下工具夹取位姿计算；

模块M1.1.1：放置好外部工具夹，将机器人移动到指定位置，调整机器人的姿态，工具夹在RGBD相机下完整成像，记录此时的机器人末端在机器人坐标系下的位姿矩阵M_S；

模块M1.1.2：采集工具夹的RGBD图像，分别计算两个定位码的中心点坐标，并计算二维码所在平面的方程，构建两个定位码组成的坐标系，以右侧定位码的中心位原点，指向左侧定位码的中心为X轴，所在平面的法向量指向下方为Z轴，根据右手坐标系确定Y轴；

模块M1.1.3：计算此时定位码坐标系在相机坐标系下的位姿矩阵，记为M_{L2 Cam}；相机到机器人末端的标定矩阵，M_{Cam 2 End}；计算定位码坐标系在机器人坐标系下的位姿矩阵，记为M_L：

M_L＝M_S*M_{Cam 2 End}*M_{L2 Cam}；

模块M1.2.1：保持机器人底盘不移动，进行工具夹取动作的示教，即移动机械臂到工具夹取的位姿，记录下该状态下的机械臂末端的位姿转换矩阵，记为M_{cla min g}；

模块M1.2.2：有多个工具夹持位姿，第n个夹持位姿记录为M_{cla min g}(n)；

模块M1.3.1：由于工具上的定位码位置和工具夹持的位姿是相对固定的，记第n个夹持位姿相对于定位坐标系的变换矩阵为M_{cla min g 2L}，等式如下：

M_{cla min g}(n)＝M_L*M_{cla min g 2L}(n)；

模块M1.3.2：根据如上公式，求解每一个夹持位姿相对与定位码坐标系的变换系M_{cla min g 2L}(n)：

优选地，所述模块M2包括如下模块：

模块M2.1：实时定位准备工作；

模块M2.2：实时工具夹取位姿计算和执行；

模块M2.1.1：实时夹取工具时，移动机器人首先运动到机器人附近，将机器人末端运行到之前的位姿矩阵M_S；

模块M2.1.2：判断相机采集的图像中两个定位码是否成像完整，如果不完整，微调机械臂，直到两个定位码在图像中成像完整，记录此时的机器人末端在机器人坐标系下的位姿矩阵M′_s；

模块M2.1.3：计算此时定位码坐标系在相机坐标系下的位姿矩阵，记为M'_{L2 Cam}；

模块M2.1.4：计算定位码坐标系在机器人坐标系下的位姿矩阵,记为M'_L：

M'_L＝M′_s*M_{Cam 2 End}*M'_{L2 Cam}；

模块M2.2.1：根据夹取命令，选择夹取的工具，第n个夹取的位姿，记为Mclaming2L’(n),则有公式如下，其中M_{cla min g 2L}(n)为标定过程中计算得到固定值：

M'_{cla min g}(n)＝M'_L*M_{cla min g 2L}(n)；

模块M2.2.2：根据移动机器人当前位置，计算到夹取工具的位姿，运行机械臂末端到M'_{cla min g}(n)位姿，闭合机器人夹爪，完成机器人夹取动作。

与现有技术相比，本发明具有如下的有益效果：

1、镜子作为室内环境中非常重要的一个物品，准确的识别和定位镜子，有对室内机器人的工作有重要的支撑作用；

2、本发明广泛的适应于各种场景下的镜子定位，镜子算法有很好的通用性；

3、镜子算法有很好的抗干扰性，对于复杂的背景墙都能适应。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为移动机器人和工具夹示意图；

图2为机器人本体示意图；

图3为外部工具夹示意图；

图4为工具夹上的定位码示意图；

图5为两个定位码构建坐标系示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

参照图1，本发明提供一种基于视觉的移动机器人夹取工具的装置，包括移动机器人本体和外部工具夹。

参照图2，移动机器人本体包括可以移动的底盘，底盘上方的6轴机械臂，机械臂末端的RGBD相机。

参照图3，外部工具夹包括工具夹本体，工具夹本体上的4个工具。

参照图4，工具夹本体的特定为工具夹上部一块平板，平板左右两端各有一个定位码。

本发明还提供一种基于视觉的移动机器人夹取工具的方法，包括如下步骤：

步骤S1：工具定位标定；步骤1.1：拍照位下定位码坐标系构建和换算；放置好外部工具夹，将机器人移动的合适的位置，调整机器人的姿态，使得工具夹能够在RGBD相机下完整成像。记录此时的机器人末端在机器人坐标系下的位姿矩阵MS；采集工具夹的RGBD图像，分别计算两个定位码的中心点坐标，并计算二维码所在平面的方程。构建两个定位码组成的坐标系，以右侧定位码的中心位原点，指向左侧定位码的中心为X轴，所在平面的法向量指向下方为Z轴，根据右手坐标系可以确定Y轴。计算此时定位码坐标系在相机坐标系下的位姿矩阵，记为ML2Cam；已知相机到机器人末端的标定矩阵，记为MCam2end；计算定位码坐标系在机器人坐标系下的位姿矩阵，记为ML：

M_L＝M_S*M_{Cam 2 End}*M_{L2 Cam}

步骤1.2：工具夹取位姿示教；保持机器人底盘不移动，进行工具夹取动作的示教。即移动机械臂到工具夹取的位姿，记录下该状态下的机械臂末端的位姿转换矩阵，记为Mclaming。可以有多个工具夹持位姿，第n个夹持位姿记录为Mclaming(n)。

步骤1.3：定位码坐标系下工具夹取位姿计算；由于工具上的定位码位置和工具夹持的位姿是相对固定的，记第n个夹持位姿相对于定位坐标系的变换矩阵为Mclaming2L,有等式如下：

M_{cla min g}(n)＝M_L*M_{cla min g 2L}(n)

根据如上公式，可以求解每一个夹持位姿相对与定位码坐标系的变换关系

M_{cla min g 2L}(n)：

步骤S2：工具定位夹取；步骤2.1：实时定位准备工作；实时夹取工具时，移动机器人首先运动到机器人附近，将机器人末端运行到之前的位姿矩阵MS；判断相机采集的图像中两个定位码是否成像完整，如果不完整，微调机械臂，直到两个定位码在图像中成像完整，记录此时的机器人末端在机器人坐标系下的位姿矩阵MS’；类似标定过程，计算此时定位码坐标系在相机坐标系下的位姿矩阵，记为ML2Cam’；计算定位码坐标系在机器人坐标系下的位姿矩阵,记为ML’：

M'_L＝M′_s*M_{Cam 2 End}*M'_{L2 Cam}

步骤2.2：实时工具夹取位姿计算和执行；根据夹取命令，选择夹取的工具，如第n个夹取的位姿，记为Mclaming2L’(n),则有公式如下(其中M_{cla min g 2L}(n)为标定过程中计算得到固定值)：

M'_{cla min g}(n)＝M'_L*M_{cla min g 2L}(n)

根据移动机器人当前位置，已经计算到夹取工具的位姿，运行机械臂末端到M'_{cla min g}(n)位姿，闭合机器人夹爪，完成机器人夹取动作。

本发明还提供一种基于视觉的移动机器人夹取工具的***，包括如下模块：

模块M1：工具定位标定；模块M1.1：拍照位下定位码坐标系构建和换算；模块M1.1.1：放置好外部工具夹，将机器人移动到指定位置，调整机器人的姿态，工具夹在RGBD相机下完整成像，记录此时的机器人末端在机器人坐标系下的位姿矩阵M_S；模块M1.1.2：采集工具夹的RGBD图像，分别计算两个定位码的中心点坐标，并计算二维码所在平面的方程，构建两个定位码组成的坐标系，以右侧定位码的中心位原点，指向左侧定位码的中心为X轴，所在平面的法向量指向下方为Z轴，根据右手坐标系确定Y轴；模块M1.1.3：计算此时定位码坐标系在相机坐标系下的位姿矩阵，记为M_{L2 Cam}；相机到机器人末端的标定矩阵，M_{Cam 2 End}；计算定位码坐标系在机器人坐标系下的位姿矩阵，记为M_L：

M_L＝M_S*M_{Cam 2 End}*M_{L2 Cam}。

模块M1.2：工具夹取位姿示教；模块M1.2.1：保持机器人底盘不移动，进行工具夹取动作的示教，即移动机械臂到工具夹取的位姿，记录下该状态下的机械臂末端的位姿转换矩阵，记为M_{cla min g}；模块M1.2.2：有多个工具夹持位姿，第n个夹持位姿记录为M_{cla min g}(n)。

模块M1.3：定位码坐标系下工具夹取位姿计算；模块M1.3.1：由于工具上的定位码位置和工具夹持的位姿是相对固定的，记第n个夹持位姿相对于定位坐标系的变换矩阵为M_{cla min g 2L}，等式如下：

M_{cla min g}(n)＝M_L*M_{cla min g 2L}(n)。

模块M2：工具定位夹取；工具夹上设置有四个工具，工具夹上部设置有一块平板，平板两端各设置有定位码；模块M2.1：实时定位准备工作；模块M2.1.1：实时夹取工具时，移动机器人首先运动到机器人附近，将机器人末端运行到之前的位姿矩阵M_S；模块M2.1.2：判断相机采集的图像中两个定位码是否成像完整，如果不完整，微调机械臂，直到两个定位码在图像中成像完整，记录此时的机器人末端在机器人坐标系下的位姿矩阵M′_s；模块M2.1.3：计算此时定位码坐标系在相机坐标系下的位姿矩阵，记为M'_{L2 Cam}；模块M2.1.4：计算定位码坐标系在机器人坐标系下的位姿矩阵,记为M'_L：

M'_L＝M′_s*M_{Cam 2 End}*M'_{L2 Cam}。

模块M2.2：实时工具夹取位姿计算和执行；模块M2.2.1：根据夹取命令，选择夹取的工具，第n个夹取的位姿，记为Mclaming2L’(n),则有公式如下，其中M_{cla min g 2L}(n)为标定过程中计算得到固定值：

M'_{cla min g}(n)＝M'_L*M_{cla min g 2L}(n)。

镜子作为室内环境中非常重要的一个物品，准确的识别和定位镜子，有对室内机器人的工作有重要的支撑作用；本发明广泛的适应于各种场景下的镜子定位，镜子算法有很好的通用性；镜子算法有很好的抗干扰性，对于复杂的背景墙都能适应。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的***及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的***及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的***及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims

1.一种基于视觉的移动机器人夹取工具的方法，其特征在于，所述方法包括如下步骤：

步骤S1：工具定位标定；

步骤S2：工具定位夹取；工具夹上设置有四个工具，工具夹上部设置有一块平板，平板两端各设置有定位码；

所述步骤S1包括如下步骤：

步骤S1.1：拍照位下定位码坐标系构建和换算；

步骤S1.2：工具夹取位姿示教；

步骤S1.3：定位码坐标系下工具夹取位姿计算；

所述步骤S1.1包括如下步骤：

步骤S1.1.3：计算此时定位码坐标系在相机坐标系下的位姿矩阵，记为M_L2Cam；相机到机器人末端的标定矩阵，M_Cam2End；计算定位码坐标系在机器人坐标系下的位姿矩阵，记为M_L：

M_L＝M_S*M_Cam2End*M_L2Cam；

所述步骤S1.2包括如下步骤：

步骤S1.2.1：保持机器人底盘不移动，进行工具夹取动作的示教，即移动机械臂到工具夹取的位姿，记录下该状态下的机械臂末端的位姿转换矩阵，记为M_claming；

步骤S1.2.2：有多个工具夹持位姿，第n个夹持位姿记录为M_claming(n)；

所述步骤S1.3包括如下步骤：

步骤S1.3.1：由于工具上的定位码位置和工具夹持的位姿是相对固定的，记第n个夹持位姿相对于定位坐标系的变换矩阵为M_claming2L，等式如下：

M_claming(n)＝M_L*M_claming2L(n)；

步骤S1.3.2：根据如上公式，求解每一个夹持位姿相对与定位码坐标系的变换系M_claming2L(n)：

2.根据权利要求1所述的基于视觉的移动机器人夹取工具的方法，其特征在于，所述步骤S2包括如下步骤：

步骤S2.1：实时定位准备工作；

步骤S2.2：实时工具夹取位姿计算和执行。

3.根据权利要求2所述的基于视觉的移动机器人夹取工具的方法，其特征在于，所述步骤S2.1包括如下步骤：

步骤S2.1.2：判断相机采集的图像中两个定位码是否成像完整，如果不完整，微调机械臂，直到两个定位码在图像中成像完整，记录此时的机器人末端在机器人坐标系下的位姿矩阵M_s'；

步骤S2.1.3：计算此时定位码坐标系在相机坐标系下的位姿矩阵，记为M'_L2Cam；

M'_L＝M_s'*M_Cam2End*M'_L2Cam。

4.根据权利要求3所述的基于视觉的移动机器人夹取工具的方法，其特征在于，所述步骤S2.2包括如下步骤：

步骤S2.2.1：根据夹取命令，选择夹取的工具，第n个夹取的位姿，记为M′_claming(n),则有公式如下，其中M_claming2L(n)为标定过程中计算得到固定值：

M'_claming(n)＝M'_L*M_claming2L(n)；

步骤S2.2.2：根据移动机器人当前位置，计算到夹取工具的位姿，运行机械臂末端到M'_claming(n)位姿，闭合机器人夹爪，完成机器人夹取动作。

5.一种基于视觉的移动机器人夹取工具的***，其特征在于，所述***包括如下模块：

模块M1：工具定位标定；

所述模块M1包括如下模块：

模块M1.1：拍照位下定位码坐标系构建和换算；

模块M1.2：工具夹取位姿示教；

模块M1.3：定位码坐标系下工具夹取位姿计算；

所述模块M1.1包括如下模块：

模块M1.1.3：计算此时定位码坐标系在相机坐标系下的位姿矩阵，记为M_L2Cam；相机到机器人末端的标定矩阵，M_Cam2End；计算定位码坐标系在机器人坐标系下的位姿矩阵，记为M_L：

M_L＝M_S*M_Cam2End*M_L2Cam；

所述模块M1.2包括如下模块：

模块M1.2.1：保持机器人底盘不移动，进行工具夹取动作的示教，即移动机械臂到工具夹取的位姿，记录下该状态下的机械臂末端的位姿转换矩阵，记为M_claming；

模块M1.2.2：有多个工具夹持位姿，第n个夹持位姿记录为M_claming(n)；

所述模块M1.3包括如下模块：

模块M1.3.1：由于工具上的定位码位置和工具夹持的位姿是相对固定的，记第n个夹持位姿相对于定位坐标系的变换矩阵为M_claming2L，等式如下：

M_claming(n)＝M_L*M_claming2L(n)；

模块M1.3.2：根据如上公式，求解每一个夹持位姿相对与定位码坐标系的变换系M_claming2L(n)：

6.根据权利要求5所述的基于视觉的移动机器人夹取工具的***，其特征在于，所述模块M2包括如下模块：

模块M2.1：实时定位准备工作；

模块M2.2：实时工具夹取位姿计算和执行；

模块M2.1.2：判断相机采集的图像中两个定位码是否成像完整，如果不完整，微调机械臂，直到两个定位码在图像中成像完整，记录此时的机器人末端在机器人坐标系下的位姿矩阵M_s'；

模块M2.1.3：计算此时定位码坐标系在相机坐标系下的位姿矩阵，记为M'_L2Cam；

M'_L＝M_s'*M_Cam2End*M'_L2Cam；

模块M2.2.1：根据夹取命令，选择夹取的工具，第n个夹取的位姿，记为M′_claming(n),则有公式如下，其中M_claming2L(n)为标定过程中计算得到固定值：

M'_claming(n)＝M'_L*M_claming2L(n)；

模块M2.2.2：根据移动机器人当前位置，计算到夹取工具的位姿，运行机械臂末端到M'_claming(n)位姿，闭合机器人夹爪，完成机器人夹取动作。