CN114800550B - 基于混合绳驱机器人的医疗器械辅助拾取方法及结构 - Google Patents

Abstract

本发明公开了一种基于混合绳驱机器人的医疗器械辅助拾取方法及结构，该方法包括：采集工具台图像并输入至预训练的深度学***台和刚性机械臂。通过使用本发明，能够快速准确的完成医疗器械辅助拾取的任务。本发明作为一种基于混合绳驱机器人的医疗器械辅助拾取方法及结构，可广泛应用于医疗辅助机器人领域。

Description

基于混合绳驱机器人的医疗器械辅助拾取方法及结构

技术领域

本发明涉及医疗辅助机器人领域，尤其涉及一种基于混合绳驱机器人的医疗器械辅助拾取方法及结构。

背景技术

绳驱并联机器人作为一种具有载重比高、工作空间大、移动范围广和安装配置简单的机器人，可用于解决要求响应快和空间广的各领域问题，被广泛应用于搜索援救、天文望远和高速工业作业等领域。医疗手术进行过程中，常常涉及频繁的医疗工具拾取、传递和摆放，通过人力进行以上过程容易出现错捡和错放的问题，从而影响手术的效率，因此急需一种能替代人力，且能高效准确地搬运医疗器械的机器人，来辅助医生进行医疗工具的拾取。

发明内容

为了解决上述技术问题，本发明的目的是提供一种基于混合绳驱机器人的医疗器械辅助拾取方法及结构，能够快速准确的完成医疗器械辅助拾取的任务。

本发明所采用的第一技术方案是：一种基于混合绳驱机器人的医疗器械辅助拾取方法，包括以下步骤：

采集工具台图像并输入至预训练的深度学习模型，得到拾取信息；

基于坐标系转换，根据拾取信息逆运动学求解刚性机械臂各关节的旋转角度和绳索长度的变化量，得到控制信息；

根据控制信息驱动机械臂运动并拾取医疗工具；

基于刚性机械臂将医疗工具移动至目标位置。

进一步，所述采集工具台图像并输入至预训练的深度学习模型，得到拾取信息这一步骤之前，还包括：

粗定位工具台并通过混合绳驱机器人控制动平台移动至工具台上方。

进一步，所述采集工具台图像并输入至预训练的深度学习模型，得到拾取信息这一步骤，其具体包括：

基于动平台上的图像传感器采集工具台图像，得到彩色图像和深度图像；

将彩色图像和深度图像输入至预训练的深度学习模型；

基于骨干网络和金字塔池化结构对彩色图像和深度图像进行特征提取处理，得到对应的多尺度特征；

对多尺度特征进行融合，得到第一特征图和第二特征图；

将第一特征图和第二特征图经过卷积，得到置信度输出图谱和角度输出图谱；

根据置信度输出图谱和角度输出图谱，生成拾取中心目标点信息和末端旋转角度信息；

整合拾取中心目标点信息和末端旋转角度信息，得到拾取信息。

进一步，所述根据置信度输出图谱和角度输出图谱，生成拾取中心目标点信息和末端旋转角度信息这一步骤，其具体包括：

以置信度输出图谱为拾取中心目标点回归图谱；

根据拾取中心目标点回归图谱上置信度取值最大的像素点，生成拾取中心目标点坐标；

以角度输出图谱为旋转角度图谱；

基于旋转角度图谱划分区间，取像素点坐标位置上拥有最大值的图谱下标作为该像素点的值并构建组合图谱；

根据组合图谱上坐标点的像素值，生成末端旋转角度信息。

进一步，所述坐标系转换的变换公式如下：

G＝{^pixg,θ},^pixg＝{x,y,1}^T

^camg＝z_h·K·^pixg

^baseg＝^baseT_cam·^camg

^platformg＝^platformT_base·^baseg

^globalg＝^globalT_platform·^platformg

上式中，G表示拾取信息，^pixg为像素坐标系下的拾取中心坐标点，^camg为动平台侧面图像传感器坐标系下的拾取中心坐标点，^baseg为机械臂基座坐标系下的拾取中心坐标点，^platformg为动平台中心坐标系下的拾取中心坐标点，^globalg为全局坐标系下的拾取中心坐标点。K为动平台侧面图像传感器的内参矩阵的逆矩阵，z_h为像素点对应实际场景中的一点，其距离动平台侧面图像传感器成像平面的距离，^baseT_cam为动平台侧面图像传感器坐标系到刚性机械臂基座坐标系的转换，^platformT_base为机械臂基座坐标系到动平台中心坐标系的转换，^globalT_platform为动平台中心坐标系到世界坐标系的转换。

进一步，坐标系转换还包括标定步骤，具体包括：

对刚性机械臂末端平整粘贴Apirltag二维码；

改变刚性机械臂的位姿并通过动平台上的图像传感器进行识别，记录多组对应的机械臂位姿和Apirltag二维码识别位姿；

根据多组对应的机械臂位姿和Apirltag二维码识别位姿，求解得到动平台侧面图像传感器坐标系到刚性机械臂基座坐标系的转换坐标转换矩阵。

进一步，所述这刚性机械臂各关节的旋转角度和绳索长度的变化量的计算公式表示如下：

Q＝ikine(^WX_E)

Q＝(l₁,...,l_m,q₁,...,q_n)

上式中，Q为确定刚性机械臂末端位姿所需要的机器人参数组，ikine表示位置级逆运动学求解函数，m为绳驱并联机器人的自由度数，l₁,...,l_m为绳驱并联机器人与动平台连接的m根绳索分别的长度，q₁,...,q_n为刚性机械臂具有的n个关节的旋转角度，^WX_E为世界坐标系下刚性机械臂末端工具的位姿。

本发明所采用的第二技术方案是：基于混合绳驱机器人的医疗器械辅助拾取结构，包括：

绳驱动并联机器人，用于与动平台通过绳索连接，并使刚性机械臂实现更广空间的运动；

具有底部凹槽形状的动平台，用于固定刚性机械臂、通过绳子与绳驱动并联机器人连接，侧面固定由图像传感器，所述图像传感器用于采集彩色图像和深度图像；

刚性机械臂，用于执行医疗工具的拾取。

本发明方法及结构的有益效果是：本发明结合刚性机械臂和绳驱并联机器人的混合绳驱机器人，扩大机器人的可达任务空间，提高了拾取的速率，通过深度学习算法高效、准确地获取拾取配置，并提供一种混合绳驱机器人的坐标系转换标定方法，以将拾取配置转换到世界坐标系下表示，从而能通过逆运动学求解使机器人拾取起手术工具，完成医疗器械辅助拾取的任务。

附图说明

图1是本发明一种基于混合绳驱机器人的医疗器械辅助拾取方法的步骤流程图；

图2是本发明基于混合绳驱机器人的医疗器械辅助拾取结构的结构示意图；

图3是本发明具体实施例场景示意图；

图4是本发明具体实施例预训练的深度学习模型的结构示意图；

图5是本发明具体实施例获取旋转角度输出图谱的示意图；

图6是本发明具体实施例刚性机械臂基座坐标系与动平台坐标系标定过程的示意图；

附图标记：1、动平台；2、图像传感器；3、绳索；4、固定点；5、刚性机械臂；6、末端工具；7、工具台。

具体实施方式

下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

如图1所示，本发明提供了一种基于混合绳驱机器人的医疗器械辅助拾取方法，该方法包括以下步骤：

S0、粗定位工具台并通过混合绳驱机器人控制动平台移动至工具台上方。

具体地，绳驱并联机器人的动平台进行空间运动，粗定位并运动至手术工具台上方，使手术工具处于刚性机械臂的可达任务空间中，且图像传感器视野覆盖整个手术工具台

S1、采集工具台图像并输入至预训练的深度学习模型，得到拾取信息；

S1.1、基于动平台上的图像传感器采集工具台图像，得到彩色图像和深度图像；

具体地，图像传感器获取彩色和深度图像，并对图像采取一定程度的尺寸裁剪和直方图均衡化等图像增强措施，以减少无关的背景信息和增强算法识别效率。

S1.2、将彩色图像和深度图像输入至预训练的深度学习模型；

具体地，预训练的深度学习模型整体结构如图4所示，S2中获取的彩色和深度图像分别输入至结构相同的骨干网络进行特征提取，并通过金字塔池化结构获取多尺度的特征，通过普通卷积融合多尺度的特征，再通过普通卷积融合浅层特征分别获得彩色图像和深度图像提取的特征图F1和F2，经过普通卷积，再经过普通卷积层和反卷积层后在输出层得到1张置信度输出图谱和K张角度输出图谱。

S1.3、基于骨干网络和金字塔池化结构对彩色图像和深度图像进行特征提取处理，得到对应的多尺度特征；

S1.4、对多尺度特征进行融合，得到第一特征图和第二特征图；

S1.5、将第一特征图和第二特征图经过卷积，得到置信度输出图谱和角度输出图谱；

S1.6、根据置信度输出图谱和角度输出图谱，生成拾取中心目标点信息和末端旋转角度信息；

S1.6.1、以置信度输出图谱为拾取中心目标点回归图谱；

S1.6.2、根据拾取中心目标点回归图谱上置信度取值最大的像素点，生成拾取中心目标点坐标；

S1.6.3、以角度输出图谱为旋转角度图谱；

S1.6.4、基于旋转角度图谱划分区间，取像素点坐标位置上拥有最大值的图谱下标作为该像素点的值并构建组合图谱；

S1.6.7、根据组合图谱上坐标点的像素值，生成末端旋转角度信息。

具体地，神经网络最终输出K+1张图谱，尺寸大小均与神经网络的输入图像尺寸相同，其中1张为拾取中心目标点回归图谱，图谱上每一个像素点表示神经网络认为该点作为拾取中心目标点的置信度，将取值越大的像素点坐标作为拾取中心目标点坐标(x,y)。参照图5，剩余K张图谱为旋转角度分类图谱，根据式将旋转角度取值范围[0,2π]划分为相同的K个区间，K为取值合适的正数，k为归入区间的类别。输出的K张图谱中每张图谱的像素点表示当该像素点作为拾取中心目标点时，神经网络预测对应的旋转角度取为该类k的概率。如图5所示，通过以下公式，将K张旋转角度分类图谱合并成1张旋转角度图谱：

上式中，(i,j)为像素点坐标，为1～K张输出图谱中对应像素点坐标(i,j)上的值，/>为求自变量最大值的函数，表示取/>中最大值所对应的k值，/>为合并后的旋转角度图谱像素点坐标(i,j)上的值。

在合并后的新图谱中，取像素点坐标(x,y)的值作为神经网络处理输出后预测得到的旋转角度类别k^p，表示预测的旋转角度落入第k个区间，对该区间取中值处理，得到的旋转角度即为神经网络最终预测得到的旋转角度θ^p。

S1.7、整合拾取中心目标点信息和末端旋转角度信息，得到拾取信息。

S2、基于坐标系转换，根据拾取信息逆运动学求解刚性机械臂各关节的旋转角度和绳索长度的变化量，得到控制信息；

具体地，坐标系转换，得到的拾取信息为像素坐标系下的拾取配置，通过坐标系转换公式，将其转化为世界坐标系下的拾取配置。逆运动学求解刚性机械臂各关节的旋转角度和绳驱并联机器人绳索长度的变化量。

所得的拾取信息G表示如下：

G＝{^pixg,θ},^pixg＝{x,y,1}^T

上式中，^pixg为像素坐标系下的拾取目标中心点坐标。通过以下公式，将像素坐标系下的拾取配置^pixg转换为图像传感器坐标系下的拾取配置^camg：

^camg＝z_h·K·^pixg

上式中，K为深度传感器的内参矩阵的逆矩阵，由相机内参标定获得，z_h为像素点对应实际场景中的一点，其距离相机成像坐标系的距离，由图像传感器获得的深度图像得出。

通过以下公式，将相机坐标系下的拾取配置^camg转换为机械臂基座坐标系下的拾取配置^baseg：

^baseg＝^baseT_cam·^camg

上式中，^baseT_cam为相机坐标系到机械臂基座坐标系的转换矩阵，由混合绳驱机器人的手眼标定得到。其中，手眼标定具体过程如下所述：刚性机械臂末端平整粘贴Apirltag二维码，改变刚性机械臂的位姿，保证Apirltag二维码能被动平台侧面的彩色图像传感器识别出来，记录下多组对应的机械臂位姿和Apirltag二维码识别位姿，求解坐标转换矩阵。

通过以下公式，将机械臂基座坐标系下的拾取配置转换为动平台中心坐标系下的拾取配置^platformg：

^platformg＝^platformT_base·^baseg

上式中，^platformT_base为相机坐标系到机械臂基座坐标系的转换矩阵。

通过以下公式，将动平台中心坐标系下的拾取配置转换为世界坐标系下的拾取配置^globalg：

^globalg＝^globalT_platform·^platformg

上式中，为动平台中心坐标系到世界坐标系的转换矩阵。

还包括标定步骤：

对刚性机械臂末端平整粘贴Apirltag二维码；

改变刚性机械臂的位姿并通过动平台上的图像传感器进行识别，记录多组对应的机械臂位姿和Apirltag二维码识别位姿；

根据多组对应的机械臂位姿和Apirltag二维码识别位姿，求解得到动平台侧面图像传感器坐标系到刚性机械臂基座坐标系的转换坐标转换矩阵。

另外，利用两台图像传感器和至少三个Apirltag二维码进行标定，图像传感器包括动平台侧面已有的图像传感器C1和独立于绳驱并联机器人的外部图像传感器C2，Apirtltag二维码A1、A2、A3分别放置在动平台中心、机械臂末端处和独立于绳驱并联机器人处，并且满足以下条件：

独立于绳驱并联机器人处的二维码A1须同时在图像传感器C1和C2视野中；

机械臂末端处的二维码A2须放置平整，且刚性机械臂处于灵巧工作空间大部分位姿时，二维码均在图像传感器C2视野中；

动平台中心处的二维码A3随动平台时须处于图像传感器C1视野中。

依次得以下转换关系：

图像传感器C1获取彩色图像，识别得二维码A1坐标系到图像传感器C1坐标系的转换关系^C1X_A1；

图像传感器C2获取彩色图像，识别得二维码A1坐标系到图像传感器C2坐标系的转换关系^C2X_A1；

图像传感器C2获取彩色图像，识别得二维码A3坐标系到图像传感器C2坐标系的转换关系^C2X_A3；

手眼标定得到动平台侧面图像传感器坐标系到刚性机械臂基座坐标系的转换矩阵^BT_C2；

则所述刚性机械臂基座坐标系与动平台中心坐标系标定关系^DT_B由以下公式表示为：

^DT_B＝^DT_C1·^C1T_A1·^A1T_C2·^C2T_B(^C1X_A3)'·^C1X_A1·(^C2X_A1)'·(^BT_C2)'

S3、根据控制信息驱动机械臂运动并拾取医疗工具；

具体地，动平台和刚性机械臂协同运动，根据S4得到的逆运动学求解结果，刚性机械臂各个关节旋转对应角度，绳驱并联机器人各绳索变化对应长度，协同运动的结果使机械臂末端准确对准手术工具；

对于末端为夹爪类工具，旋转关节旋转对应角度，进行抓取，对于末端为吸盘类工具，直接进行吸取。

所述这刚性机械臂各关节的旋转角度和绳索长度的变化量的计算公式表示如下：

Q＝ikine(^WX_E)

Q＝(l₁,...,l_m,q₁,...,q_n)

上式中，Q为确定刚性机械臂末端位姿所需要的机器人参数组，ikine表示位置级逆运动学求解函数，m为绳驱并联机器人的自由度数，l₁,...,l_m为绳驱并联机器人与动平台连接的m根绳索分别的长度，q₁,...,q_n为刚性机械臂具有的n个关节的旋转角度，^WX_E为世界坐标系下刚性机械臂末端工具的位姿。

S4、基于刚性机械臂将医疗工具移动至目标位置。

具体地，绳驱并联机器人带动刚性机械臂和拾取的手术工具进行移动，将手术工具传递给医生。

参照图2、3和6，基于混合绳驱机器人的医疗器械辅助拾取结构，包括：

绳驱动并联机器人，用于与动平台通过绳索连接，并使刚性机械臂实现更广空间的运动；

具有底部凹槽形状的动平台，用于固定刚性机械臂、通过绳子与绳驱动并联机器人连接，侧面固定由图像传感器，所述图像传感器用于采集彩色图像和深度图像；

刚性机械臂，用于执行医疗工具的拾取。

具体地，如图2所示，左侧图和右侧图分别是混合绳驱机器人通用结构的俯视图和侧视图。混合绳驱机器人主要包括绳驱并联机器人和刚性机械臂两个部分，绳驱并联机器人具有m个自由度，表示其与动平台连接的绳索数量。绳索一端与固定锚点座相连，另一端通过动平台上的绳孔且被固定。动平台可具有球状、长方体状等物理结构，一侧面与图像传感器相连，图像传感器镜头方向垂直于动平台平面朝下，底侧与刚性机械臂基座相连，且刚性机械臂整体朝下，机械臂具有n个关节，末端带有工具，可为平行夹爪或吸盘。

上述方法实施例中的内容均适用于本***实施例中，本***实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (6)

1.基于混合绳驱机器人的医疗器械辅助拾取方法，其特征在于，包括以下步骤：

采集工具台图像并输入至预训练的深度学习模型，得到拾取信息；

基于坐标系转换，根据拾取信息逆运动学求解刚性机械臂各关节的旋转角度和绳索长度的变化量，得到控制信息；

根据控制信息驱动机械臂运动并拾取医疗工具；

基于刚性机械臂将医疗工具移动至目标位置；

所述采集工具台图像并输入至预训练的深度学习模型，得到拾取信息这一步骤，其具体包括：

基于动平台上的图像传感器采集工具台图像，得到彩色图像和深度图像；

将彩色图像和深度图像输入至预训练的深度学习模型；

基于骨干网络和金字塔池化结构对彩色图像和深度图像进行特征提取处理，得到对应的多尺度特征；

对多尺度特征进行融合，得到第一特征图和第二特征图；

将第一特征图和第二特征图经过卷积，得到置信度输出图谱和角度输出图谱；

根据置信度输出图谱和角度输出图谱，生成拾取中心目标点信息和末端旋转角度信息；

整合拾取中心目标点信息和末端旋转角度信息，得到拾取信息；

所述根据置信度输出图谱和角度输出图谱，生成拾取中心目标点信息和末端旋转角度信息这一步骤，其具体包括：

以置信度输出图谱为拾取中心目标点回归图谱；

根据拾取中心目标点回归图谱上置信度取值最大的像素点，生成拾取中心目标点坐标；

以角度输出图谱为旋转角度图谱；

基于旋转角度图谱划分区间，取像素点坐标位置上拥有最大值的图谱下标作为该像素点的值并构建组合图谱；

根据组合图谱上坐标点的像素值，生成末端旋转角度信息。

2.根据权利要求1所述基于混合绳驱机器人的医疗器械辅助拾取方法，其特征在于，所述采集工具台图像并输入至预训练的深度学习模型，得到拾取信息这一步骤之前，还包括：

粗定位工具台并通过混合绳驱机器人控制动平台移动至工具台上方。

3.根据权利要求2所述基于混合绳驱机器人的医疗器械辅助拾取方法，其特征在于，所述坐标系转换的变换公式如下：

G＝{^pixg,θ},^pixg＝{x,y,1}^T

^camg＝z_h·K·^pixg

^baseg＝^baseT_cam·^camg

^platformg＝^platformT_base·^baseg

^globalg＝^globalT_platform·^platformg

上式中，G表示拾取信息，^pixg为像素坐标系下的拾取中心坐标点，^camg为动平台侧面图像传感器坐标系下的拾取中心坐标点，^baseg为机械臂基座坐标系下的拾取中心坐标点，^platformg为动平台中心坐标系下的拾取中心坐标点，^globalg为全局坐标系下的拾取中心坐标点，K为动平台侧面图像传感器的内参矩阵的逆矩阵，z_h为像素点对应实际场景中的一点，其距离动平台侧面图像传感器成像平面的距离，^baseT_cam为动平台侧面图像传感器坐标系到刚性机械臂基座坐标系的转换矩阵，^platformT_base为机械臂基座坐标系到动平台中心坐标系的转换矩阵，^globalT_platform为动平台中心坐标系到世界坐标系的转换矩阵。

4.根据权利要求3所述基于混合绳驱机器人的医疗器械辅助拾取方法，其特征在于，坐标系转换还包括标定步骤，具体包括：

对刚性机械臂末端平整粘贴Apirltag二维码；

改变刚性机械臂的位姿并通过动平台侧面图像传感器进行识别，记录多组对应的机械臂位姿和Apirltag二维码识别位姿；

根据多组对应的机械臂位姿和Apirltag二维码识别位姿，求解得到动平台侧面图像传感器坐标系到刚性机械臂基座坐标系的转换坐标转换矩阵。

5.根据权利要求4所述基于混合绳驱机器人的医疗器械辅助拾取方法，其特征在于，所述这刚性机械臂各关节的旋转角度和绳索长度的变化量的计算公式表示如下：

Q＝ikine(^WX_E)

Q＝(l₁,...,l_m,q₁,…,q_n)

上式中，Q为确定刚性机械臂末端位姿所需要的机器人参数组，ikine表示逆运动学求解函数，m为绳驱并联机器人的自由度数，l₁,...,l_m为绳驱并联机器人与动平台连接的m根绳索分别的长度，q₁,…,q_n为刚性机械臂具有的n个关节的旋转角度，^WX_E为世界坐标系下刚性机械臂末端工具的位姿。

6.基于混合绳驱机器人的医疗器械辅助拾取结构，其特征在于，用于执行如权利要求1-5任一项所述的基于混合绳驱机器人的医疗器械辅助拾取方法，包括：

绳驱动并联机器人，用于与动平台通过绳索连接，并使刚性机械臂实现更广空间的运动；

具有底部凹槽形状的动平台，用于固定刚性机械臂、通过绳子与绳驱动并联机器人连接，侧面固定有图像传感器，所述图像传感器用于采集彩色图像和深度图像；

刚性机械臂，用于执行医疗工具的拾取。