CN110051433B - 保持对目标进行跟踪的方法及其在图像引导手术中的应用 - Google Patents

Abstract

一种保持对目标进行跟踪的方法，包括在影像获取部件和目标中心位置之间的距离上建立查找区域，在查找区域上获得若干采样点，将影像获取部件中心位置依次设定在这些采样点，并将影像获取部件的视场方向设定为采样点与目标中心位置之间的矢量；在每个采样点，沿视场方向同时旋转各摄像头，根据摄像头的内部参数和外部参数在计算机中虚拟连续曝光拍摄，直到找到一个意向位置，使得各摄像头同时获取到目标的所有标志点。本发明提供的方法，能有效解决手术过程中人体、医疗器械和组织器官对跟踪目标的遮挡导致的手术中断，使得手术得以持续，保证手术的连贯性。

Description

保持对目标进行跟踪的方法及其在图像引导手术中的应用

技术领域

本发明涉及一种持续跟踪目标的方法，尤其涉及一种保持对目标进行跟踪的方法，以及实施该方法的装置，和在图像引导手术中的应用。

背景技术

基于光学定位的手术机器人***或图像引导手术导航***，如：法国MedTech公司的ROSA Spine***，美国Stryker公司的MAKO***，都使用光学定位实现对手术目标和工具的跟踪。光学定位跟踪使用双目摄像头定位技术，这种技术的一个缺点在于，当被跟踪目标被遮挡时，无法继续跟踪目标。这种***将光学定位摄像头安装在单独的移动支架上，当跟踪目标被异物(如：人、手术工具、设备或器械等)遮挡导致光学定位摄像头无法跟踪到被跟踪目标时，可以手动移动支架或主动让异物移开，使被跟踪目标能持续被跟踪到。这个过程的缺点在于中断了手术，如果手动移动光学定位摄像头，还需要将光学定位摄像头的跟踪区域与手术区域重新对准，这种对准可能会比较耗时。因遮挡问题使得手术不流畅，影响医生手术体验。另外，一般的光学跟踪***都存在最佳精度距离，即跟踪目标与摄像头之间的距离不能太近，也不能太远，手动移动光学定位跟踪***无法保证距离在最佳精度范围内。

发明内容

本发明的一个目的在于提供一种保持对目标进行跟踪的方法，解决手术过程中人体、医疗器械和组织器官对跟踪目标的遮挡导致的手术中断，使得手术得以持续，保证手术的连贯性。

本发明的另一个目的在于提供一种实施保持对目标进行跟踪的方法的装置，以利于保持对目标进行跟踪的方法的应用。

本发明的再一个目的在于提供一种保持对目标进行跟踪的方法在图像引导手术中的应用。

本发明提供的一种保持对目标进行跟踪的方法，包括如下步骤：

1.对影像获取部件进行标定，获得各摄像头的内部参数(如：焦距)和外部参数(如：位置和方向)。

2.设定影像获取部件中各摄像头按设定的频率同步曝光拍摄，对于每一次曝光重复以下各步骤：

首先，识别目标之标志点，一个目标预设1个以上的标志点，识别并确定每个摄像头所获取的影像中目标各标志点的中心位置；同时也确定各标志点中心的三维空间位置，并通过这些中心位置计算出一个目标的中心位置。

当任意摄像头所获取的影像中，识别出的目标的标志点数量少于预定数量时，判定有遮挡发生。

计算当前影像获取部件视场范围内所有物体表面的三维位置信息，得到用点云表示的物体表面，并将这些点云网格化表示，得到物体的几何边界，再按以下步骤获得一个新的影像获取部件位置和方向：

1)在影像获取部件和目标中心位置之间的距离上建立一个球面或者平面区域，亦或是任意选定的一个规则空间的三维区域，作为查找区域，查找区域的范围由机械装置能够到达的范围决定；

2)在查找区域上获得若干采样点(如：通过网格化的方式，将网格交叉点作为采样点)；

3)将影像获取部件的中心位置依次设定在这些采样点上，并将影像获取部件的视场方向设定为采样点与目标中心位置之间的矢量；

4)在每个采样点，沿视场方向同时旋转各摄像头，根据摄像头的内部参数和外部参数在计算机中虚拟连续曝光拍摄，直到找到一个意向位置，使得各摄像头同时获取到目标的所有标志点。

最后，使用一个机械装置将影像获取部件移动旋转到计算得到的意向位置。

若在计算得到的意向位置上依然存在遮挡，则继续寻找，直到各摄像头获取目标预设的全部标志点。

机械装置可以实现若干个自由度的运动，保证影像获取部件到达新的位置和方向(如：6自由度机械臂，x，y，z方向的移动和旋转)

机械装置带有编程接口和电机，可以接收命令，并主动运动到命令指示的位置和姿态

本发明提供的方法，适合在图像引导手术中应用，解决手术过程中人体、医疗器械和组织器官对跟踪目标的遮挡导致的手术中断，使得手术得以持续，保证手术的连贯性。

考虑到摄像头的拍摄范围大小不同，寻找避开遮挡的位置和方向需要更大范围的获取目标周围物体的信息。可以使用两个窄角度摄像头专门获取目标标志点的实时空间位置，用于图像引导手术，同时判断遮挡；再使用另外两个大角度摄像机获取目标周边的情况，计算新的影像获取部件位置和方向，避开遮挡。这里需要对两组摄像头之间的坐标系关系进行计算。

本发明提供的实施保持对目标进行跟踪的方法的装置，包括：

影像获取部件，其对目标的状态进行实时跟踪获取影像数据；

机械机构，其为影像获取部件提供多个自由度运动的支持；

计算机，其对影像获取部件和机械机构进行控制，对获取的影像数据进行处理，并向机械机构发出移动的指令，使得跟踪目标避开遮挡。

本发明提供的装置，影像获取部件内设置若干摄像头，对目标进行实时跟踪获取影像数据。

本发明技术方案实现的有益效果：

1.使影像获取部件避开遮挡，使目标被持续追踪，保证手术的持续性，不中断。

2.计算机自动识别遮挡并自动对影像获取部件的位置和方向进行调整，无需任何人员干预。

3.影像获取部件与跟踪目标之间的距离不同，跟踪精度也将不同，本发明使得影像获取部件离跟踪目标的距离在最佳范围内，获得相对更高的精度。

附图说明

图1为摄像头的3D重构一实施例的示意图；

图2为实施本发明保持对目标进行跟踪的方法的影像获取部件一实施例的示意图；

图3为实施本发明保持对目标进行跟踪的方法的装置一实施例的示意图；

图4为跟踪目标一实施例的示意图；

图5为依据跟踪目标周边物体三维位置信息而进行网格化一实施例的示意图；

图6为实施本发明保持对目标进行跟踪的方法的影像获取部件另一实施例的示意图；

图7为用点云表示的物体表面一实施例的示意图；

图8为将图7所示的点云进行网格化所得的形态的一实施例示意图。

具体实施方式

以下结合附图详细描述本发明的技术方案。本发明实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围中。

如图1，A和B为经过标定的两个摄像头的中心位置，每个摄像头对应一个成像平面。x点为c点在平面1的像，x’为c点在平面2的像，从A点生成一条线经过x点，从B点生成一条线经过x’点，两条线的交叉点为C的位置，若在A、B所在的位置建立一个坐标系，就可以定义c的三维空间位置，这是使用双目摄像头进行光学定位跟踪的基本原理。另外，若使用算法(如：SIFT算法)在平面1和平面2中找到多个特征(更多的与c点类似的点)的对应关系，则可以得到摄像机拍摄场景中各物体表面上大量点的位置信息，还原物体形状，得到一个三维计算机场景。

基于摄像头的3D重构，也可以是诸如微软Kinect的方法，由一个红外发射器往场景发射规则分布的散布红外光点，由另一个摄像头拍摄这些光点，再采用类似于上文提到的定位方法获得这些光点的位置，还原三维场景。

本实施例提供的一种保持对目标进行跟踪的方法，包括：

1.对影像获取部件进行标定，获得各摄像头内部(如：焦距)和外部参数(如：位置和方向)

2.设定影像获取部件中各摄像头按一定频率同步曝光拍摄，对于每一次曝光重复以下各步骤：

首先，识别目标之标志点，一个目标预设1个以上的标志点，识别并确定每个摄像头所获取的影像中目标各标志点的中心位置；同时也确定各标志点中心的三维空间位置，并通过这些中心位置计算出一个目标的中心位置，记为DC。

当任意摄像头所获取的影像中，识别出的目标的标志点数量少于预定数量时，判定有遮挡发生(此时可能无法获取目标中心位置DC，可以用前一帧曝光拍摄获取的中心位置为当前帧目标的中心位置DC，并继续后续的步骤)。

计算当前影像获取部件视场范围内所有物体表面的三维位置信息，得到用点云表示的物体表面(如图7)，并将这些点云网格化表示(如图8)，得到物体的几何边界，按以下方法获得一个新的影像获取部件位置和方向：

1)在距离目标中心DC一定距离的位置，建立一个球面或者平面区域，亦或是任意选定的一个规则空间三维区域，这个区域记为CS，CS的范围为机械装置能够到达的范围决定。

2)在CS上获得若干采样点。

3)将影像获取部件的中心位置依次设定在这些采样点，并将影像获取部件的视场方向设定为采样点与目标中心DC之间的矢量。

4)在每个采样点，沿视场方向同时旋转各摄像头，根据摄像头的内部和外部参数在计算机中虚拟连续曝光拍摄，直到找到一个位置，可以保证各摄像头同时拍摄到目标的所有标志点，过程中止。

若计算得到的方向跟位置依然存在遮挡，则重复以上过程，直到各摄像头都不被遮挡为止。

本实施例中，机械装置带有编程接口和电机，可以接收命令，并主动运动到命令指示的位置和姿态。

考虑到摄像头的拍摄范围大小不同，寻找避开遮挡的位置和方向需要更大范围的获取目标周围物体的信息。可以使用两个窄角度摄像头专门获取目标标志点的实时空间位置，用于图像引导手术，同时判断遮挡；再使用另外两个大角度摄像头获取目标周边的情况，依据上文提到的算法计算新的影像获取部件位置和方向，避开遮挡。这里需要对两组摄像头之间的坐标系关系进行计算。

实施例1

为了实施本发明的保持对目标进行跟踪的方法，本实施例采用两个摄像头(微软LifeCam Studio)，机械装置选用Universal Robot的UR3机械手。将两个摄像机水平对齐安装在一个连接支架上。如图2所示，第一摄像头201、第二摄像头202，以及连接支架203，组成影像获取部件。一般情况下，连接支架203为刚性支撑结构，但出于对第一摄像头201和第二摄像头202位置的调节，连接支架203也能进行形变，如：可枢转的机构。对摄像头进行标定，获取摄像头的内部参数和外部参数信息。再将摄像头组安装在UR3上，如图3所示，机械手401一端与影像获取部件402连接，可以实现若干个自由度的运动，保证摄像头到达新的位置和方向(如：6自由度机械臂，x，y，z方向的移动和旋转)。

本实施例跟踪的目标如图4所示，物体100，一个适合的实例如：用于图像引导手术的一种工具，其上包含跟踪目标101，跟踪目标101的中心位置为102。在跟踪目标101上设置4个标志点103，这些标志点具有规则的形状(如：圆形或球形)和专用的颜色(如：黑色)，并确定了跟踪目标的轮廓。

使用影像获取部件对目标进行曝光拍摄，依据摄像头的3D重构获得每一个标志点103的空间位置信息，并计算被跟踪目标的中心位置102。

在每个摄像头生成的图像上识别出所有标志点，当任意一个摄像头拍摄的图像中标志点的数目小于4个时，则认为发生了遮挡。

如图5所示，使用两个摄像头获得的图像，通过计算机视觉领域常用的SIFT算法等，获得摄像头视场范围内所有物体表面的三维位置信息，将这些空间位置进行网格化得到物体第一实体501和第二实体502。

在计算机渲染环境中布置这些实体，如：在OpenGL环境下布置，场景中包含上述的所有实体以及跟踪目标。如图5所示，在计算机中布置的场景505中包含的实体，其位置关系与真实世界中相同。

在上述的场景中，分别摆放第一摄像头201第二摄像头202于拍摄位置506,507，并在影像获取部件所处的位置附近建立一个平面504，该平面垂直于影像获取部件与跟踪目标101之间的连线，这个平面与被跟踪目标之间的距离处在摄像机的最佳精度范围内，平面的规格根据机械装置能够到达的范围确定。先将平面等分，如：6等分，找到12个位置503，依次尝试在这12个位置进行虚拟拍摄。将影像获取部件依次放置在12个位置503上，在得到的照片上识别标志点103(参见图4)。若两个摄像头得到的影像识别出的标志点数目都为4，则认为该位置不存在遮挡。本实施例的虚拟拍摄，就是使用摄像头的参数(如：方向，焦距等)，在计算机中模拟摄像头的成像原理将物体投影到相机成像平面。

可以多次尝试等分平面，获得一个离影像获取部件最近的位置作为目标位置，减少机械装置的运动量，获得更快的机械响应速度。

在判断出沿哪个方向移动可以避开遮挡实现对目标的持续跟踪后，可以通过计算机将命令传递给UR3机械臂，机械臂自动完成影像获取部件的重定位。

若新位置再次出现遮挡，则重复上述过程，直到找到一个不被遮挡的位置时停止。若多次尝试后仍然失败(如：跟踪目标被一个物体包裹)，则通知计算机无法找到位置，计算机报告错误。

实施例2

图6示出了实施本发明保持对目标进行跟踪的方法的影像获取部件一实施例的示意图。采用位置跟踪***600(NDI Polaris Vicra)用于目标的跟踪和遮挡的识别。Vicra可以识别距离其自身557mm至1336毫米的目标。当目标被遮挡时，Vicra***将输出错误信息，提示目标被遮挡。采用另外两个摄像头组成一组机构700(如：采用微软的Kinect，记为：L)，其可以识别距离自身400mm至4,000mm以内的物体，L与Vicra叠置，L在下，Vicra在上。在机械结构尺寸上保证Vicra与摄像头组L之间的关系恒定。Vicra与摄像头组L之间的坐标系变换关系M为一个平移和旋转矩阵，这可以通过测量结构参数获得。Vicra和L各按照一定频率跟踪识别目标，L的频率大于Vicra。

当Vicra发生遮挡时，通过L拍摄的照片及所获取目标周围场景的物***置信息，将这些位置信息通过坐标变换关系M变换到Vicra坐标系下，得到Vicra相机下，目标周围场景的物***置信息。接着采用上述实施例1相同方法，处理并调整设备的位置。

Claims (6)

1.一种保持对目标进行跟踪的方法，其特征在于包括如下步骤：

先对影像获取部件进行标定，获得各摄像头的内部参数和外部参数；

然后，设定影像获取部件中各摄像头按设定的频率同步曝光拍摄，对于每一次曝光重复以下各步骤：

首先，识别目标之标志点，一个目标预设1个以上的标志点，识别并确定每个摄像头所获取的影像中目标各标志点的中心位置；同时也确定各标志点中心的三维空间位置，并通过这些中心位置计算出一个目标的中心位置；

当任意摄像头所获取的影像中，识别出的目标的标志点数量少于预定数量时，判定有遮挡发生；

计算当前影像获取部件视场范围内所有物体表面的三维位置信息，得到用点云表示的物体表面，并将这些点云网格化表示，得到物体的几何边界，再按以下步骤获得一个新的影像获取部件位置和方向：

1)在影像获取部件和目标中心位置之间的距离上建立一个球面或者平面区域，亦或是任意选定的一个规则空间的三维区域，作为查找区域，查找区域的范围由机械装置能够到达的范围决定；

2)在查找区域上获得若干采样点；

3)将影像获取部件的中心位置依次设定在这些采样点上，并将影像获取部件的视场方向设定为采样点与目标中心位置之间的矢量；

4)在每个采样点，沿视场方向同时旋转各摄像头，根据摄像头的内部参数和外部参数在计算机中虚拟连续曝光拍摄，直到找到一个意向位置，使得各摄像头同时获取到目标的所有标志点；

最后，使用一个机械装置将影像获取部件移动旋转到计算得到的意向位置。

2.根据权利要求1所述的保持对目标进行跟踪的方法，其特征在于所述的内部参数包括焦距。

3.根据权利要求1所述的保持对目标进行跟踪的方法，其特征在于所述的外部参数包括位置和方向。

4.根据权利要求1所述的保持对目标进行跟踪的方法，其特征在于若在计算得到的所述意向位置上依然存在遮挡，则继续寻找，直到各摄像头获取目标预设的全部标志点。

5.一种装置，其特征在于具有权利要求1～4之一所述的保持对目标进行跟踪的方法。

6.一种用于权利要求1～4之一所述的保持对目标进行跟踪的方法的装置，其特征在于包括：

影像获取部件，其对目标的状态进行实时跟踪获取影像数据；

机械装置，其为影像获取部件提供多个自由度运动的支持；

计算机，其对影像获取部件和机械机构进行控制，对获取的影像数据进行处理，并向机械机构发出移动的指令，使得跟踪目标避开遮挡。

Images