一种机器人与影像设备的空间注册方法及***
技术领域
本发明涉及机器人注册技术领域,具体地涉及一种机器人与影像设备的空间注册方法及***。
背景技术
随着机器人及相关技术的发展,越来越多的医疗领域利用机器人来实施临床技术或辅助临床技术的实施。利用机器人对手术进行导航或利用机器人自动实施手术的一个关键前提是确定机器人所在的空间与手术对象所在的空间的关系。手术对象所在的空间常通过医学影像设备获取其数字化影像信息来确定,故确定机器人与手术对象的空间关系实际上就是确定机器人与影像设备或机器人与获取到的影像的空间关系。
目前常用的一种技术手段是利用光学追踪技术来实现机器人与影像的注册,具体的是在手术对象表面粘贴标志,获取粘贴标志的手术对象的医学影像,确定标志成像点在医学影像中的坐标,由光学跟踪设备分别测量粘贴于手术对象表面的标志及安装于机器人上的标志相对于光学追踪设备的坐标信息进行空间坐标匹配计算,实现机器人与影像或影像设备的注册。例如申请号为200510122586.X的专利中所采用的方法。
另一种技术手段是利用电磁追踪技术来实现机器人与影像的注册,具体的是在手术对象表面粘贴电极或体内放置电极,获取粘贴电极或置入电极的手术对象的医学影像,确定电极成像点在医学影像中的坐标,由电磁跟踪设备分别测量粘贴于手术对象表面的电极或体内的电极及安装于机器人上的电极相对于电磁追踪设备的坐标信息进行空间坐标匹配计算,实现机器人与影像或影像设备的注册。
上述方法能在一定程度上实现机器人与影像或影像设备的注册,但存在着以下不足:
1.容易受到外部环境的影响,如:光学追踪设备与标识之间被障碍物遮挡、外部电磁干扰、标识脱落等;
2.置入电极对手术对象有创;
3.由于标识是粘贴在体表,其对刚性组织精度较高,如骨组织或骨组织保护的组织,而对于软组织来说精度较差;
4.无论是光学追踪设备还是电磁追踪设备都比较昂贵,成本高;
5.操作繁琐,对于每一次手术都需要重新注册,且注册时间较长。
发明内容
为了解决上述的技术问题,本发明目的是:提供了一种机器人与影像设备的空间注册方法及***,尤其是机器人实施手术或辅助手术实施过程中,可以实现便捷快速可靠、高精度、低成本的机器人与影像或影像设备的空间注册。
本发明的技术方案是:
一种机器人与影像设备的空间注册校准方法,包括以下步骤:
S01:将第一测量物体安装于机器人,确定所述第一测量物体相对于所述机器人的位姿,所述第一测量物体为具有圆柱面的物体;
S02:将至少三个第二测量物体放置在所述机器人的工作范围内,所述第二测量物体为具有成形为球体的突出部分的凸形物体,任意三个第二测量物体不在同一条直线上;
S03:使所述机器人运动,直到所述第一测量物体的圆柱面从至少四个不同的方向与第二测量物体的球体表面机械接触;读取当所述圆柱面与所述第二测量物体的球体表面机械接触时所述机器人的位姿;
S04:对另外的所述第二测量物体重复所述步骤S03,计算得到每个第二测量物体在机器人坐标系中的球心坐标;
S05:通过影像设备获取第二测量物体的影像信息,对获取的第二测量物体的影像信息进行处理,得到每个第二测量物体在影像坐标系中的球心坐标;
S06:根据第二测量物体在机器人坐标系中的球心坐标及在影像坐标系中的球心坐标,得到机器人坐标系与影像坐标系之间的坐标转换矩阵,完成机器人处于机器人安装座上时机器人与影像设备的注册校准。
优选的技术方案中,所述步骤S01之前还包括,通过视觉识别单元获取机器人安装座的标记物图像,并存储作为注册校准的标记物图像。
优选的技术方案中,通过视觉识别单元获取当前机器人安装座的标记物图像,将获取的当前标记物图像与注册校准的标记物图像进行对比分析,得到安装于此机器人安装座的机器人安装的位姿相对于注册校准阶段机器人安装于此机器人安装座的位姿的偏差;
根据得到的偏差对机器人坐标系与影像坐标系之间的坐标转换矩阵进行修正,完成当前机器人处于该机器人安装底座上时机器人与影像设备的注册。
本发明还公开了一种机器人与影像设备的空间注册校准***,包括:
将第一测量物体安装于机器人,确定所述第一测量物体相对于所述机器人的位姿,所述第一测量物体为具有圆柱面的物体;
将至少三个第二测量物体设置在所述机器人的工作范围内,所述第二测量物体为具有成形为球体的突出部分的凸形物体,任意三个第二测量物体不在同一条直线上;
机器人驱动装置,使所述机器人运动,直到所述第一测量物体的圆柱面从至少四个不同的方向与第二测量物体的球体表面机械接触;
影像处理单元,通过影像设备获取第二测量物体的影像信息,对获取的第二测量物体的影像信息进行处理,得到第二测量物体在影像坐标系中的球心坐标;
数据记录与处理单元,记录当所述圆柱面与所述第二测量物体的球体表面机械接触时所述机器人的位姿;计算得到每个第二测量物体在机器人坐标系中的球心坐标;根据第二测量物体在机器人坐标系中的球心坐标及在影像坐标系中的球心坐标,得到机器人坐标系与影像坐标系之间的坐标转换矩阵,完成机器人处于机器人安装座上时机器人与影像设备的注册校准。
优选的技术方案中,还包括视觉识别单元,所述视觉识别单元安装于机器人底座,用于获取机器人安装座的标记物图像。
优选的技术方案中,所述数据记录与处理单元还包括注册使用模块,通过视觉识别单元获取当前机器人安装座的标记物图像,将获取的当前标记物图像与注册校准的标记物图像进行对比分析,得到安装于此机器人安装座的机器人安装的位姿相对于注册校准阶段机器人安装于此机器人安装座的位姿的偏差;
根据得到的偏差对机器人坐标系与影像坐标系之间的坐标转换矩阵进行修正,完成机器人处于该机器人安装座上时机器人与影像设备的注册。
与现有技术相比,本发明的优点是:
1.本发明通过对手术区域进行划分从而设置不同的机器人安装座位置,进而对每个安装位置机器人与影像设备的空间注册进行校准,使得每次使用只需分析机器人安装于机器人安装座上时的安装误差,将该误差补偿到注册校准时获取到的机器人坐标系与影像坐标系之间的坐标转换矩阵上即可完成机器人与影像设备的空间注册,可以极大的缩短机器人与影像设备的空间注册时间,进而缩短手术准备时间,提高手术效率及医疗设备的利用率;
2.每次使用时的误差校准均为自动完成,故仅注册校准时需要比较专业的人员执行,注册使用时对使用人员没有专业知识的要求,普适性强,能降低人因误差;
3.本发明是直接将机器人坐标系与影像设备的影像坐标系进行注册,故无论是对于刚性组织还是软组织都有非常高的精度;
4.本发明所使用的技术手段相对于光学追踪设备或电磁追踪设备来说成本更低。
附图说明
下面结合附图及实施例对本发明作进一步描述:
图1为本发明治疗区域的结构示意图;
图2为机器人安装座上的标记物及识别码示意图;
图3为机器人的安装结构示意图;
图4为本发明测量球的安装结构示意图;
图5为测量示意图;
图6为本发明机器人与影像设备的空间注册校准方法流程图;
图7为测量球放置位置示意图;
图8为测量球的影像信息示意图;
图9为注册使用流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了,下面结合具体实施方式并参照附图,对本发明进一步详细说明。应该理解,这些描述只是示例性的,而并非要限制本发明的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
一种机器人与影像设备的空间注册***,包括:
机器人安装座、视觉识别单元、第一测量物体、第二测量物体、影像处理单元、数据记录与处理单元。
如图1所示,对于不同的治疗区域在手术台1旁设置多个机器人安装座2,图中所示为6个机器人安装座,机器人安装座2上具有标记物21及识别码22,如图2所示,机器人安装座2具有用于约束机器人空间位置的机械接口(图中未示出)。
如图3所示,机器人3安装在机器人底座4上,机器人底座4具有轮子,可以移动,机器人底座4下方设置有视觉识别单元5,视觉识别单元5与机器人底座4相对不动安装,视觉识别单元5为3D视觉或2D视觉加位移传感器,机器人底座4安装在机器人安装座2上的机械接口上。
第一测量物体为具有圆柱面的物体,例如一根圆柱体的棒,这里称为测量棒,下面以测量棒为例进行说明,测量棒具有一定的刚度,材质不限,确定测量棒相对于机器人的位置,获得测量棒在机器人中的工具坐标系。
第二测量物体为具有成形为球体的突出部分的凸形物体,其底部连接传感器;第二测量物体可以为球,这里称为测量球,具有一定的刚度,材质不限,将至少三个第二测量物体设置在机器人的工作范围内,任意三个测量球不在同一条直线上。如图4所示,图中有4个测量球10,测量球10设置在底座20上,测量球10的底部连接传感器30,数据记录与处理单元与机器人及传感器30进行实时通讯,获取机器人的运动信息及传感器30的信号。如图4所示,底座20为垂直的支架,便于标识确定工件坐标系。
影像处理单元与影像设备进行通讯,并对影像数据进行处理。
数据记录与处理单元与机器人、影像处理单元、视觉识别单元及传感器进行实时通讯。
还包括机器人驱动装置,驱动机器人动作,使机器人运动直到测量棒的圆柱面从至少四个不同的方向与每个测量球10的球体表面机械接触,如图5所示。
数据记录与处理单元,获取两个坐标系之间的公共点,通过两个坐标系之间的公共点计算出两个坐标系之间的坐标转换矩阵。记录当测量棒圆柱面与测量球表面机械接触时机器人的位姿;计算得到每个测量球在机器人坐标系中的球心坐标。
本发明的实施分为两个阶段:注册校准阶段、注册使用阶段。
如图6所示,注册校准阶段,包括以下步骤:
对于每个机器人安装座:
1.利用机器人安装座2上的机械接口,将机器人底座4与机器人安装座2连接固定;
2.视觉识别单元5获取机器人安装座2上的标记物的图像及识别码图像并储存;
3.将测量棒安装于机器人,确定测量棒相对于机器人的位姿;
4.将至少三个测量球放置在机器人的工作范围内的治疗床上,任意三个测量球不在同一条直线上,如图7所示。
5.使机器人运动,直到测量棒的圆柱面从至少四个不同的方向与测量球的球体表面机械接触,读取当所述圆柱面与测量球的球体表面机械接触时机器人的位姿,利用数据记录与处理单元根据上述机器人位姿计算出第二测量物体相对于机器人坐标系的球心坐标并储存;
6.重复5得到所有测量物体相对于机器人坐标系的球心坐标并储存;
步骤5中,数据记录与处理单元计算得到测量棒在机器人坐标系中的球心坐标的方法包括:
S51:根据测量棒第一次与测量球机械接触时机器人当前的位姿信息计算出保持当前姿态沿测量棒轴线前进一定距离的新的位置;
S52:根据两位置的坐标计算出所述测量棒轴线当前所在的直线方向向量,得到测量棒的轴线当前的直线方程;
S53:重复步骤S51-S52,求出另外至少3个方向的直线方程;
S54:根据第一测量物体圆柱面至少四次与第二测量物体的球体表面接触时,圆柱面轴线与球面球心之间的距离的关系得到第二测量物体在机器人坐标系中的球心坐标。
四次与测量球的球体表面接触时,测量棒圆柱面轴线与球面球心之间的距离是相等且为球的半径加上圆棒的半径。
具体的测量过程包括:将测量棒安装于机器人末端并校准测量棒相对于机器人的位置,获得测量棒在机器人中的工具坐标系。使所有测量球处于机器人工作范围内。对于每个测量球,驱动机器人使测量棒的圆柱面从至少四个不同的方向与其机械接触,以获取测量棒与测量球四次接触时机器人的位姿。数据记录与处理单元始终实时与机器人及传感器进行通讯,获取机器人的运动信息及传感器的信号,在测量棒圆柱面与测量球机械接触的瞬时,传感器会发出信号,此时数据记录与处理单元记录下机器人的位姿。按上述测量过程获取至少四次测量棒与同一测量球机械接触时机器人的位姿(XT1、YT1、ZT1、UT1、VT1、WT1)、(XT2、YT2、ZT2、UT2、VT2、WT2)、(XT3、YT3、ZT3、UT3、VT3、WT3)、(XT4、YT4、ZT4、UT4、VT4、WT4)后,数据记录与处理单元加载的算法对获取的数据进行处理得到测量球的位置。通过两个坐标系之间的公共点计算出两个坐标系之间的坐标转换矩阵。
下面以具体计算步骤进行说明:
根据测量棒第一次与测量球机械接触时,机器人当前的位姿信息(XT1、YT1、ZT1、UT1、VT1、WT1)计算出保持当前姿态测量棒沿测量棒轴线前进L(非0值)距离的新的位置(Xs1、Ys1、Zs1);
根据两位置的坐标(XT1、YT1、ZT1)、(Xs1、Ys1、Zs1)计算出当前测量棒轴线所在的直线方向向量(l1、m1、n1);
由此可求得该测量棒轴线当前在机器人坐标系中的直线方程为:
其中,(X1、Y1、Z1)是测量棒轴线所在第一直线上的点。
同样的方式求出另外至少3个方向(方向2、方向3、方向4)的直线方程为:
其中,(X2、Y2、Z2)是测量棒轴线所在第二直线上的点,(X3、Y3、Z3)是测量棒轴线所在第三直线上的点,(X4、Y4、Z4)是测量棒轴线所在第四直线上的点。
判断所得的直线是否相互两两异面。如不异面,重新测量直至获得至少四条相互两两异面的直线。
假设小球1的球心坐标为:(X01,YO1,ZO1),假设过球心且垂直于直线1的线与直线1的交点坐标为:(Xq1,Yq1,Zq1);
假设直线1的直线方程为:
该交点也位于直线1上,则交点的坐标为:Xq1=l1*t+Xs1;
Yq1=m1*t+Ys1;
Zq1=n1*t+Zs1。
假设(X、Y、Z)是过球心且垂直于直线1的平面上的点,则该平面方程为:
l1*(X-Xo1)+m1*(Y-Yo1)+n1*(Z-Zo1)=0
过球心且垂直于直线1的线与直线1的交点位于该平面上,故将交点带入上式得:
那么,球心到直线1的距离
其中,R是球的半径加上圆棒的半径,同理,
联立(1),(2),(3),(4)式,解该方程组可得:
小球1在机器人底座坐标系(基坐标系)中的球心坐标(Xo1,Yo1,Zo1);
同理可测算出其他测量球在机器人底座坐标系中的球心坐标。
7.操作影像设备,获取测量球20的影像信息,如图8所示,并将影像信息输入给影像处理单元;
8.影像处理单元对所获取的测量球20的影像信息进行处理,通过对影像设备获取的影像信息进行重建,重建出二维影像及三维影像,再从影像中对测量球的区域进行影像分割识别出测量球,然后进行数据插值计算出测量球的球心坐标并存储;
9.根据测量球在机器人坐标系中的球心坐标及在影像坐标系中的球心坐标,利用数据记录与处理单元计算出机器人坐标系与影像坐标系之间的坐标转换矩阵并储存,完成机器人处于每个机器人安装底座上时机器人与影像设备的注册校准。
如图9所示,注册使用阶段:
10.根据手术要求,利用机器人安装座上的机械接口,将机器人与对应的机器人安装座连接固定;
12.视觉识别单元获取机器人安装座上的标记物的图像及识别码图像;
13.视觉识别单元对获取的识别码图像进行分析,判断机器人当前连接的机器人安装座是否正确。如不正确,需要重新选择正确的机器人安装底座进行机器人的安装。
14.如果正确,视觉识别单元根据识别码调取对应的注册校准时获取的标记物图像与当前获取的标记物的图像进行对比分析,得到安装于此机器人安装座的机器人安装的位姿与注册校准阶段机器人安装的位姿的偏差,偏差的计算方法可以采用现有的有关视觉引导抓取机械手工作平面定位误差与修正方法等等得到。
15.数据记录与处理单元将当前机器人安装的位姿与注册校准阶段机器人安装的位姿的偏差补偿到机器人坐标系与影像坐标系之间的坐标转换矩阵中,完成机器人处于该机器人安装底座上时机器人与影像设备的注册。
应当理解的是,本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理,而不构成对本发明的限制。因此,在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。此外,本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。