CN107049496B - 一种多任务手术机器人的视觉伺服控制方法 - Google Patents

Abstract

本发明提供的一种多任务手术机器人的视觉伺服控制方法，属于手术机器人技术领域。该方法将手术机器人前端和手术部位之间的相对坐标关系作为控制依据，从图像采集设备采集的图像中提取该控制特征，实时更新相对坐标信息，根据相对坐标信息规划手术动作路径，控制运动机构的运动，实现目标手术操作，并可以通过更换控制特征类型和手术机器人前端实现多任务功能。本发明避免了额外标志物的安装以及标定过程，且基于视觉伺服的工作模式相比传统的“术前规划‑术中执行”的手术机器人工作模式能获得更高的手术精度。

Description

一种多任务手术机器人的视觉伺服控制方法

技术领域

本发明属于手术机器人技术领域，特别涉及一种多任务手术机器人的视觉伺服控制方法。

背景技术

随着技术进步，手术机器人逐渐运用到临床上来。手术机器人根据专门的手术导航***提供的坐标进行相应的操作。其中常用的手术导航技术有CT，X光，红外光学定位等等。这些手术导航技术都是基于物理空间的绝对坐标，即导航***的任务是获取手术器械，手术部位的位置和姿态在同一个绝对坐标系下的表示，然后手术机器人根据绝对坐标下的位置和姿态信息进行操作。这种导航方法有如下三个缺点：其一是手术前需要对X光机等成像设备进行标定，不仅费时，还可能由标定误差引起导航精度下降；其二是需要在手术器械和手术部位上安装额外的标志物，增加了手术步骤，也增加了对患者的创伤；其三是往往需要额外配置专用的导航设备，如术中CT和红外光学定位***等等，大大增加的手术成本。

另一方面，现有的大部分手术机器人使用的是开环控制。具体来说，就是手术前先通过导航***获取手术操作端，手术部位或手术操作端夹持的肢体在绝对坐标下的位置信息，然后据此计算出机器人需要运动的轨迹，手术中按照事先计算好的轨迹进行操作。简言之就是“术前规划-术中执行”，因此只能刚性地执行任务，不具备手术过程中实时校正的能力。这样一来，术前规划的误差，术中标志物的错动，乃至病人呼吸等原因引起的手术部位的运动都会大大降低手术精度，甚至导致手术失败。如文献[1](DU H,HU L,LI C,etal.Advancing computer-assisted orthopaedic surgery using a hexapod device forclosed diaphyseal fracture reduction[J].International Journal of MedicalRobotics+Computer Assisted Surgery Mrcas,2014,11(3):348-59.)中的骨折复位机器人采用的就是“术前规划-术中执行”的控制策略，通过术前的CT信息计算出骨折复位所需要的手术机器人操作端的运动量，术中按照实现计算好的方式运动，没有通过视觉信息实时反馈校正的能力。

尽管部分手术机器人引入了术中实时反馈的手段，但都是通过红外光学定位等间接手段而不是直接的图像信息进行反馈的。如文献[2](WESTPHAL R,WINKELBACH S,WAHLF,et al.Robot-assisted Long Bone Fracture Reduction[J].International Journalof Robotics Research,2009,28(10):1259-78.)中介绍的骨折复位和髓内钉固定机器人***，采用术前的CT和X光图像进行规划，术中采用红外光学定位装置进行反馈(在骨头上安装了红外标志点)，但术中没有直接利用X光等图像信息，在肌肉张力，骨骼的变形等因素原因的影响下标志点可能发生位移，进而导致定位精度下降。

近年来，视觉伺服在机器人领域受到越来越多的关注。所谓视觉伺服，即通过视觉传感器获取目标和机器人的位置或运动信息，然后将这些信息实时地用于机器人的运动控制，以引导机器人完成特定的任务。由于采用视觉反馈对机器人进行闭环控制，机器人的定位精度相比开环控制更高，且能够对实际任务中可能发生的目标位置的变化做出相应的调整。而视觉伺服技术中的一个分支，即“基于图像的免标定视觉伺服”技术，由于采用相对坐标的概念，避免了传统视觉伺服中的标定步骤，使得使用流程大大简化。另外，随着数字图像处理技术的进步，视觉伺服对目标和机械手臂前端人为安装的标志物的依赖也越来越小，利用目标和机械臂前端在图像中的特征点和边缘等图像特征信息即可完成对机器人的控制。但目前该视觉伺服技术还未应用在手术机器人技术领域。

发明内容

本发明的目的是为了克服已有技术的不足之处，提供一种多任务手术机器人的视觉伺服控制方法，该控制方法将机器人的操作端和手术部位之间的相对位置形态信息作为图像特征进行视觉伺服的闭环控制，实现目标手术操作，并可以通过更换操作端实现多任务功能。

本发明提出的一种多任务手术机器人的视觉伺服控制方法，其特征在于，该方法具体包括以下步骤：

1)根据具体的手术类型，确定需要采用的图像采集设备以及执行相应手术任务的机器人；确定由图像采集设备采集的图像中用于表示目标端或移动端位置姿态的图像特征，根据所采用的图像特征定义用于表示目标端与移动端之间相对位置姿态关系的图像特征相对坐标f；根据具体的手术要求定义期望图像特征相对坐标f_期望，用于表示目标端与移动端之间实际的相对位置已经达到期望的状态；其中，所述移动端为与手术机器人前端或手术机器人前端夹持的手术部位，所述目标端为按手术要求确定的所述移动端期望达到的手术部位；所述f、f_期望均为矢量；

2)通过步骤1)中所确定图像采集设备采集手术中当前时刻的图像数据，并对采集的图像数据进行降噪、对比度增强的预处理；

3)将步骤2)中预处理过的图像数据按照步骤1)所确定的图像特征进行提取，按照步骤1)定义的图像特征相对坐标计算当前时刻的图像特征相对坐标，记为f_当前，f_当前为矢量；

4)根据控制误差e＝f_当前-f_期望，按照“基于图像的免标定视觉伺服”控制律计算相应的控制量r，r为矢量；然后使手术机器人的操作端按照该控制量r进行运动；

5)若||e||＞ε，重新返回步骤2)，采集下一时刻的图像数据；若||e||≤ε，停止循环，手术机器人完成手术任务；所述ε是根据手术误差要求设定的阈值。

所述步骤1)中的图像特征包括目标端或移动端在所采集图像中的特征点、特征线、特征轮廓中的一种或多种。

本发明的特点及有益效果：

1、本发明所述的手术机器人***采用“视觉伺服”的控制方式，可以利用手术过程中采集的视觉信息对机器人的运动进行反馈，可以有效避免术前规划误差和术中手术部位移动等原因导致的手术精度下降，从而相比传统的“术前规划-术中执行”的手术机器人工作模式能获得更高的手术精度。

2、本发明所述的手术导航技术所用到的医疗影像设备为G型臂等手术室常用设备，无需额外添置术中CT或红外光学***等昂贵设备，不仅节约了成本也减少了培训医务人员所需要的时间。

3、本发明所述的手术导航技术采用了“基于图像的免标定视觉伺服”技术，避免了额外标志物的安装以及标定过程，可以有效减少手术准备时间，且“基于图像的免标定视觉伺服”技术能有效抑制患者手术部位位移，图像采集设备位移等不确定因素带来的误差。

4、本发明所述的手术导航技术不依赖额外的标志物，固有较好的通用性，因此基于此手术导航技术的手术机器人***的功能不局限与某一种手术。通过更换机器人前端的手术工具、采集图像中用于表示目标端或移动端位置姿态的图像特征类型以及用于表示目标端与移动端之间相对位置姿态关系的图像特征相对坐标，就能实现一机多用。

附图说明

图1是本发明实施例1对于图像特征的控制误差进行闭环调整的示意图；

图2是本发明实施例2对于图像特征的控制误差进行闭环调整的示意图。

具体实施方式

本发明提出的多任务手术机器人的视觉伺服控制方法，以下结合附图及实施例详细说明如下：

本发明提出的一种多任务手术机器人的视觉伺服控制方法，具体包括以下步骤：

1)根据具体的手术类型，确定需要采用的图像采集设备(如G型臂)以及执行相应手术任务的机器人；确定由图像采集设备采集的图像中用于表示目标端或移动端位置姿态的图像特征，所述移动端为与手术机器人前端(该前端即为完成手术的手术器械)或手术机器人前端夹持的手术部位，所述目标端为按手术要求确定的所述移动端期望达到的手术部位，所述的图像特征包括目标端或移动端在所采集图像中的特征点、特征线、特征轮廓中的一种或多种，根据所采用的图像特征定义用于表示目标端与移动端之间相对位置姿态关系的图像特征相对坐标f；根据具体的手术要求定义期望图像特征相对坐标f_期望，用于表示目标端与移动端之间实际的相对位置已经达到期望的状态(该期望状态也即手术要求的状态)；所述f、f_期望均为矢量；

2)通过步骤1)所确定的图像采集设备采集手术中当前时刻的图像数据，并对采集的图像数据进行降噪、对比度增强等预处理；

3)将步骤2)中预处理过的图像数据按照步骤1)所确定的图像特征进行提取，按照步骤1)定义的图像特征相对坐标计算当前时刻的图像特征相对坐标，记为f_当前，为矢量；

4)根据控制误差e＝f_当前-f_期望，按照“基于图像的免标定视觉伺服”控制律计算相应的控制量r，即：

其中，k_P,k_I,k_D分别为视觉伺服控制律的比例系数、积分系数、微分系数，需根据具体的机器人***进行整定；J为雅克比矩阵，通过常规的在线估计方法得到，如卡尔曼滤波、粒子滤波、支持向量机等；∫edt为控制误差e对时间t的积分，为控制误差e对时间t的导数；然后使手术机器人的操作端按照该控制量r进行运动；

5)若||e||＞ε，重新返回步骤2)，采集下一时刻的图像数据；若||e||≤ε，停止循环，手术机器人完成手术任务；所述ε是根据手术误差要求设定的阈值。

本发明方法可通过通过更换手术机器人、图像特征以及图像特征相对坐标以实现不同手术任务的手术机器人的视觉伺服控制。

下面通过具体实施例对上述技术方案作进一步地详细说明：

实施例1用于骨折复位的手术机器人的视觉伺服控制方法，具体包括以下步骤：

1)根据骨折复位的手术要求，选用G型臂作为图像采集设备，该G型臂将从相互垂直的两个方向采集透视图像，所采用的手术机器人为一个具有六自由度的Stewart平台，以夹具为该机器人前端，左侧断骨为移动端，由夹具固定于stewart平台上，通过平台运动带动左侧断骨移动，右侧断骨为目标端，由夹具与手术床相连；如图1所示，设在所采集的图像中左、右侧断骨的轮廓中心线(图1中所示直线m、直线n)在骨折处的斜率分别为k_移动、k_目标，移动端断面中心点A、目标端断面中心点B在所采集图像中的坐标分别为(x_移动,y_移动)和(x_目标,y_目标)((x_移动,y_移动)和(x_目标,y_目标)均为像素坐标)，即采用k_移动、k_目标、(x_移动,y_移动)和(x_目标,y_目标)作为用于表示目标端与移动端之间的相对位置姿态关系的图像特征；定义图像特征相对坐标f如下(每次G型臂从两个方向采集两张图片，下标中的1、2分别代表从图片1和图片2中提取到的图像特征)：

根据手术要求定义期望图像特征相对坐标f_期望为：

f_期望对应两段断骨处于已经完全对接好的状态；

2)通过步骤1)所确定的图像采集设备采集手术中当前时刻的图像数据，并对采集的图像数据进行降噪、对比度增强等预处理；

3)将步骤2)中预处理过的图像数据按照步骤1)所确定的图像特征进行提取，按照步骤1)定义的图像特征相对坐标计算当前时刻的图像特征相对坐标，记为f_当前；

4)根据控制误差e＝f_当前-f_期望，按照“基于图像的免标定视觉伺服”控制律计算出相应的控制量r，即：

其中，控制量r为Stewart平台中六个杆的杆长变化速度，为矢量；k_P,k_I,k_D分别为视觉伺服控制律的比例系数、积分系数、微分系数，需根据具体的机器人***进行整定；J为雅克比矩阵，通过卡尔曼滤波方法得到；∫edt为控制误差e对时间t的积分，为控制误差e对时间t的导数；然后使手术机器人的操作端按照该控制量r进行运动；

5)若||e||＞ε，重新返回步骤2)，采集下一时刻的图像数据；若||e||≤ε，停止循环，手术机器人完成手术任务；所述ε是根据手术误差要求设定的阈值。

本实施例通过更换不同的夹具达到多种规格骨的对接任务的目标。

实施例2用于髓内钉远端锁钉定位的手术机器人的视觉伺服控制方法，具体包括以下步骤：

1)根据髓内钉远端锁钉定位的手术要求，选用G型臂作为图像采集设备，该G型臂将从相互垂直的两个方向采集透视图像，所采用的手术机器人为一个具有六自由度并联机器人，以穿孔器械和导向器为该机器人前端，前端夹持的导向器的端口为移动端，髓内钉远端锁孔为目标端；如图2所示，将图像中移动端和目标端各自所形成椭圆的长轴、短轴及中心点图像坐标作为图像特征，记移动端椭圆的长轴斜率为k_移动、短轴长轴长度之比为α_移动、中心点图像坐标为(x_移动，y_移动)；类似的，记目标端椭圆的长轴斜率为k_目标、短轴长轴长度之比为α_目标、中心点图像坐标为(x_目标，y_目标)；定义图像特征相对坐标如下(每次G型臂从两个方向采集两张图片，下标中的1、2分别代表从图片1和图片2中提取到的图像特征)：

根据手术要求定义期望图像特征相对坐标f_期望为：

f_期望对应导向器和髓内钉远端锁孔已经达到共轴的状态。

2)通过步骤1)中所述图像采集设备采集手术中当前时刻的图像数据，并对采集的图像数据进行降噪、对比度增强等预处理；

3)将步骤2)中预处理过的图像数据按照步骤1)所确定的图像特征进行提取，按照步骤1)定义的图像特征相对坐标计算当前时刻的图像特征相对坐标，记为f_当前；

4)根据控制误差e＝f_当前-f_期望，按照“基于图像的免标定视觉伺服”控制律计算出相应的控制量r，即：

其中，控制量r为机器人六个关节的角速度；k_P,k_I,k_D分别为视觉伺服控制律的比例系数、积分系数、微分系数，需根据具体的机器人***进行整定；J为雅克比矩阵，通过支持向量机方法得到，等；∫edt为控制误差e对时间t的积分，为控制误差e对时间t的导数；然后使手术机器人的操作端按照该控制量r进行运动；

5)若||e||＞ε，重新返回步骤2)，采集下一时刻的图像数据；若||e||≤ε，停止循环，手术机器人完成手术任务；所述ε是根据手术误差要求设定的阈值。

实施例3用于软组织切割的手术机器人的视觉伺服控制方法：

与实施例1不同的是，将手术机器人的前端更换为高频电刀，将高频电刀尖端点、刀身轴线作为移动端的图像特征，将软组织上标示线作为目标端的图像特征，高频电刀尖端点将沿软组织上标示线运动，将执行任务更改为软组织切割操作；此时，f_期望表示为高频电刀尖端点与标示线的相对位置关系，因而是随时间变化的矢量。

类似于实施例3，通过更换手术机器人前端为动力锯、骨凿、圆形磨头可完成不同的关节置换手术。

Claims (5)

1.一种多任务手术机器人的视觉伺服控制***，其特征在于，包括机器人和图像采集设备；所述机器人用于骨折复位，

1)根据手术要求，利用图像采集设备从相互垂直的两个方向采集透视图像，所采用的手术机器人为一个具有六自由度的机器人，以夹具为该机器人前端，一侧断骨为移动端，由夹具固定于机器人前端，通过机器人运动带动该侧断骨移动，另一侧断骨为目标端，由夹具与手术床相连；设在所采集的图像中两侧断骨的轮廓中心线在骨折处的斜率分别为k_移动、k_目标，移动端断面中心点A、目标端断面中心点B在所采集图像中的坐标分别为(x_移动,y_移动)和(x_目标,y_目标)，即采用k_移动、k_目标、(x_移动,y_移动)和(x_目标,y_目标)作为用于表示目标端与移动端之间的相对位置姿态关系的图像特征；定义图像特征相对坐标f如下，其中每次图像采集设备从两个方向采集两张图片，下标中的1、2分别代表从图片1和图片2中提取到的图像特征：

根据手术要求定义期望图像特征相对坐标f_期望为：

f_期望对应两段断骨处于已经完全对接好的状态；

2)通过1)所确定的图像采集设备采集手术中当前时刻的图像数据，并对采集的图像数据进行降噪、对比度增强等预处理；

3)将2)中预处理过的图像数据按照1)所确定的图像特征进行提取，按照1)定义的图像特征相对坐标计算当前时刻的图像特征相对坐标，记为f_当前；

4)根据控制误差e＝f_当前-f_期望，按照“基于图像的免标定视觉伺服”控制律计算出相应的控制量r，然后使机器人的操作端按照该控制量r进行运动；

5)若||e||＞ε，重新返回2)，采集下一时刻的图像数据；若||e||≤ε，停止循环；所述ε是根据手术误差要求设定的阈值。

2.根据权利要求1所述的视觉伺服控制***，其特征在于，所述机器人为具有六自由度的Stewart平台。

3.根据权利要求2所述的视觉伺服控制***，其特征在于，所述按照“基于图像的免标定视觉伺服”控制律计算出相应的控制量r为：

其中，控制量r为Stewart平台中六个杆的杆长变化速度，为矢量；k_P,k_I,k_D分别为视觉伺服控制律的比例系数、积分系数、微分系数；J为雅克比矩阵，通过卡尔曼滤波方法或支持向量机方法得到；∫edt为控制误差e对时间t的积分，为控制误差e对时间t的导数。

4.一种多任务手术机器人的视觉伺服控制***，其特征在于，包括机器人和图像采集设备；所述机器人用于髓内钉远端锁钉定位，

1)根据手术要求，利用图像采集设备从相互垂直的两个方向采集透视图像，所采用的手术机器人为一个具有六自由度的机器人，以穿孔器械和导向器为该机器人前端，前端夹持的导向器的端口为移动端，髓内钉远端锁孔为目标端；将图像中移动端和目标端各自所形成椭圆的长轴、短轴及中心点图像坐标作为图像特征，记移动端椭圆的长轴斜率为k_移动、短轴长轴长度之比为α_移动、中心点图像坐标为(x_移动,y_移动)；记目标端椭圆的长轴斜率为k_目标、短轴长轴长度之比为α_目标、中心点图像坐标为(x_目标,y_目标)；定义图像特征相对坐标如下，其中每次图像采集设备从两个方向采集两张图片，下标中的1、2分别代表从图片1和图片2中提取到的图像特征：

根据手术要求定义期望图像特征相对坐标f_期望为：

f_期望对应导向器和髓内钉远端锁孔已经达到共轴的状态；

2)通过1)中所述图像采集设备采集手术中当前时刻的图像数据，并对采集的图像数据进行降噪、对比度增强等预处理；

3)将2)中预处理过的图像数据按照1)所确定的图像特征进行提取，按照1)定义的图像特征相对坐标计算当前时刻的图像特征相对坐标，记为f_当前；

4)根据控制误差e＝f_当前-f_期望，按照“基于图像的免标定视觉伺服”控制律计算出相应的控制量r，然后使机器人的操作端按照该控制量r进行运动；

5)若||e||＞ε，重新返回2)，采集下一时刻的图像数据；若||e||≤ε，停止循环；所述ε是根据手术误差要求设定的阈值。

5.根据权利要求4所述的视觉伺服控制***，其特征在于，所述按照“基于图像的免标定视觉伺服”控制律计算出相应的控制量r为：

其中，控制量r为机器人六个关节的角速度；k_P,k_I,k_D分别为视觉伺服控制律的比例系数、积分系数、微分系数；J为雅克比矩阵，通过卡尔曼滤波方法或支持向量机方法得到；∫edt为控制误差e对时间t的积分，为控制误差e对时间t的导数。