CN106952347B - 一种基于双目视觉的超声手术辅助导航*** - Google Patents

Abstract

本发明公开了一种基于双目视觉的超声手术辅助导航***，属于视觉定位技术领域。本发明基于双目视觉定位技术，利用坐标系标定装置将双目视觉定位装置和超声探头固定在一起，同时对世界坐标系下的点进行成像，并推算成像在各自坐标系下的坐标，之后计算各自坐标系的转换关系，由转换关系将手术器械和病灶融合在同一个三维坐标系中并在图像工作站中显示出来，本发明技术方案克服了传统穿刺介入手术引导不能实时连续和操作不够灵活方便的问题，采用基于机器视觉的定位装置以及图像处理算法来进行手术辅助引导，整个***具有速度快、精度高、占用空间小等优点。

Description

一种基于双目视觉的超声手术辅助导航***

技术领域

本发明属于机器视觉领域，更具体地，涉及一种基于双目视觉的超声手术辅助导航***。

背景技术

超声引导下的介入穿刺手术在多种疾病治疗的临床手术中都有非常重要的应用，能够有效的提高手术精度，缩短手术时间，减少手术创口以及并发症的发生。现今主流的穿刺手术方法都是依靠超声图像引导，但这种方法也存在许多局限性，首先此方法只适用于手术器械能够在超声下进行成像的情况，还有许多传统手术器械是无法在超声下成像的；其次超声成像的区域是有限的，并且是一个二维平面，因此只有当手术器械沿着超声成像平面进入超声成像区域之后才能在超声图像中观察到手术器械，医生在实际手术中往往都是配合一种特殊的穿刺架来进行操作，极大的降低了手术的灵活性和易操作性。

经皮肾镜取石术(percutaneous nephrolithotomy，PNL)是治疗肾结石的主要技术之一，该手术采用穿刺针由皮肤穿刺入肾集合***实现经皮肾穿刺造瘘后，还要通过筋膜扩张建立皮-肾手术通道，经由手术通道取除结石。而PNL手术的主要并发症正是在筋膜扩张建立手术通道过程引起的。目前，筋膜扩张建立手术通道的过程尚无有效的影像学技术导引方法。

射频消融手术一般采用局部麻醉，CT扫描定位，按测定的距离和角度在彩色B超的引导下对肿瘤进行(经皮)穿刺，将电极针刺入肿瘤中心后展开电极，开始进行射频消融。这种手术的最大风险是因不能实时看到电极针和肿瘤的三维位置关系而引起的毗邻脏器损伤。

随着医疗器械技术的发展，基于机器视觉的光学定位方法成为目前使用最广泛、精度最高、最可靠的一种定位方法，光学定位方法又根据被观察目标是否有源，发展出被动和主动两种方式。被动光学定位***使用反射标记物作标志点安装在手术器械上，标志点反射光线并成像到传感器。在手术中准确定位安装在手术器械上的标志点，就可以准确的计算出手术器械的位置和方向。主动光学定位***通常是将一组发光二极管作为标志点安装在手术器械上，当***工作时，手术器械上的发光二极管按照特定的顺序发射红外光，双目摄像机通过对手术器械的拍摄，根据二极管的发光顺序和在图像中的成像位置可以确定发光二极管的空间位置。无论是主动还是被动的光学定位***，现有***使用中的困难在于双目相机往往被放置于天花板等较高的位置，手术过程中经常发生标识点被遮挡的情况。虽然其它非接触定位方式，如超声定位，电磁定位也在不断发展，得到了一定的应用，但是基于机器视觉的光学定位技术因其精度高、设计灵活、价格低廉等原因，使其成为手术引导的发展趋势和研究热点。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于双目视觉的超声手术辅助导航***，其目的在于基于双目视觉定位技术，利用坐标系标定装置将双目视觉定位装置和超声探头固定在一起，同时对世界坐标系下的点进行成像，并推算成像在各自坐标系下的坐标，之后计算各自坐标系的转换关系，由转换关系将手术器械和病灶融合在同一个三维坐标系中并在图像工作站中显示出来，本发明技术方案克服了传统穿刺介入手术引导不能实时连续和操作不够灵活方便的问题。

为实现上述目的，本发明提供了一种基于双目视觉的超声手术辅助导航***，该***包括：

双目视觉定位装置，固定在超声探头上，包括两个摄像机，用于实时采集手术器械的图像，并传输到图像工作站；

标志物，标志物为一个或多个不同的条形码，用于环绕粘贴或打印在手术器械上；

超声诊断仪，包括超声探头和超声诊断仪，用于实时对人体组织进行超声成像，并将病灶超声成像传输至图像工作站；

图像工作站，用于根据手术器械图像上手术器械和标志物的成像位置关系确定匹配点，利用匹配点的视差和摄像机参数计算手术器械各点的三维坐标并进行三维重建，并运用图像融合技术将手术器械和病灶在同一坐标系下显示。

进一步地，所述***还包括坐标系标定装置，坐标系标定装置的主体是一个长方形容器，一侧固定有棋盘格标定板，内部固定有多根尼龙线，容器上方固定有一个超声探头放置架，其中：

超声探头放置架，用于将超声探头固定在长方形容器内；

尼龙线，用于超声探头对纯净水中横向放置的尼龙线进行超声成像；

长方形容器，用于注满纯净水淹没尼龙线；

棋盘格标定板，用于摄像头对棋盘格标定板进行图像采集。

进一步地，所述双目视觉定位装置还用于，在进行坐标系定位时，摄像头对棋盘格标定板进行图像采集，并将采集的摄像标定图像传输至图像工作站。

进一步地，所述超声诊断仪还用于，在进行坐标系定位时，超声探头对纯净水中横向放置的尼龙线进行超声成像，并将超声标定成像传输至图像工作站。

进一步地，所述图像工作站包括：

手术器械三维重建模块，用于对手术器械图像进行图像处理，获取一对手术器械图像中相同位置点作为匹配点，利用匹配点的视差和摄像机参数计算手术器械各点的三维坐标并进行三维重建；

坐标变换关系获取模块，用于根据摄像标定图像和超声标定成像进行三维重建，得到摄像标定图像和超声标定成像的标志点在各自坐标系下的坐标值，利用标志点坐标和标志点在世界坐标系下的坐标值计算双摄像机三维坐标系和超声三维坐标系之间的转换关系；

三维图像融合模块，用于利用双摄像机三维坐标系和超声探头三维坐标系的变换关系把手术器械图像和病灶超声成像统一在同一三维坐标系中显示。

进一步地，所述手术器械三维重建模块包括：

图像预处理单元，用于采用高斯模糊算法减少原图像噪声；

条形码粗定位单元，用于对降噪后图像进行边缘检测，优选采用Canny算子对降噪后图像进行边缘检测，对边缘图进行局部最大值下采样操作，对下采样后的图像进行形态学闭操作，之后再次进行边缘检测，得到手术器械的大致轮廓图；再通过直线检测得到手术器械的两条边界和条形码的大概位置，优选通过霍夫变换直线检测得到手术器械的两条边界和条形码的大概位置；

特征点确定单元，用于将手术器械的两条边界向外扩展至设定范围，只保留两条边界之间的边缘图像信息，对边缘图像做形态学闭运算，再进行边缘检测，得到手术器械的精确轮廓，通过直线检测得到手术器械的两条边界，优选通过霍夫变换直线检测得到手术器械的两条边界，由两条边界确定手术器械的中轴线，定义中轴线与图像中完整的条形码两端的交点即为特征点；

条形码识别单元，用于根据条形码编码规则，对手术器械图像上的条形码进行识别区分；

特征点匹配单元，用于将两台摄像机同一时刻采集到的手术器械图像上的同一条形码上的同一特征点定义为一对匹配点；

手术器械三维重建单元，用于通过双目视觉三维重建算法，利用匹配点视差和摄像机参数得到匹配点的三维坐标，由匹配点的三维坐标和匹配点所在二维码在手术器械上的位置得到手术器械各点在双摄像机三维坐标系下的三维坐标，并进行手术器械三维重建。

进一步地，所述坐标变换关系获取模块包括：

世界三维坐标系建立单元，用于选取坐标系标定装置的一个顶点作为坐标原点建立世界三维坐标系；

摄像坐标变换关系获取单元，用于在棋盘格标定板上选取不少于三个角点作为标志点，测量获得标志点在世界三维坐标系下的坐标；再利用摄像标定图像上相同标志点的视差和摄像机参数得到标志点在双摄像机三维坐标系下的坐标值，通过标志点在世界三维坐标系和双摄像机三维坐标系下的坐标值计算两个坐标系之间的转换关系，定义为第一转换关系；

超声坐标变换关系获取单元，用于选取超声标定成像上不少于三个尼龙线产生的亮斑点作为标志点，以超声标定成像坐标系原点为原点，以像平面的纵轴、像平面的横轴和像平面的法向为三个坐标轴建立超声探头三维坐标系，推算出标志点在超声探头三维坐标系下的坐标值；同时找到相同标志点在尼龙线上的实际位置点，测量位置点在世界三维坐标系下的坐标值，通过标志点在世界三维坐标系和超声探头三维坐标系下的坐标值计算两个坐标系之间的转换关系，定义为第二转换关系；

坐标变换关系确定单元，用于由定义为第一转换关系和第二转换关系推算出双摄像机三维坐标系和超声探头三维坐标系的变换关系。

进一步地，所述摄像机参数通过张征友平面模板法计算出摄像机的内外参数。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下技术特征及有益效果：

本发明克服了传统穿刺介入手术引导不能实时连续和操作不够灵活方便的问题，采用基于机器视觉的定位装置以及图像处理算法来进行手术辅助引导，整个***具有速度快、精度高、占用空间小等优点；

进一步地，本发明***通过使用坐标系标定装置定位将双摄像头和超声探头三维坐标系的转换关系，只要在手术前进行一次定位，就可准确反映手术中双摄像头和超声成像的坐标转换关系；

进一步地，本发明***的标志物选用一个或多个不同的条形码，环绕粘贴或打印在手术器械上；当使用双摄像机对手术器械进行图像采样时，摄像机和手术器械处于任何角度相对位置时，都能准确的对手术器械上的标志物进行识别；

进一步地，本发明***的图像工作站将采集到的手术器械图像和病灶超声图像进行三维转化，在利用双摄像头和超声探头三维坐标系的转换关系将手术器械和病灶融合在同一三维坐标系内显示，清晰直观准确的显示手术过程，有效的提高手术精度，缩短手术时间。

附图说明

图1是本发明实施例的***工作示意图；

图2是本发明实施例具有标志物的手术器械；

图3a是本发明实施例降噪后的图像，图3b是其边缘图；

图4a、图4b、图4c和图4d是本发明实施例的手术器械粗检测过程图；

图5是本发明实施例的手术器械边缘图；

图6a和图6b是本发明实施例的手术器械精确检测过程图；

图7是本发明实施例的手术器械边界图；

图8是本发明实施例的手术器械中轴线图；

图9是本发明实施例的标志物的特征点图；

图10是本发明实施例的坐标系标定装置图；

图11是本发明实施例的坐标系标定装置中标志物的超声图像；

图12是本发明实施例的空间坐标系转换示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明***包括：

双目视觉定位装置，固定在超声探头上，包括两个摄像机，用于实时采集手术器械的图像，并传输到图像工作站；

标志物，标志物为一个或多个不同的条形码，用于环绕粘贴或打印在手术器械上；如图2所示为环绕粘贴了多个条形码的手术器械；

超声诊断仪，包括超声探头和超声诊断仪，用于实时对人体组织进行超声成像，并将病灶超声成像传输至图像工作站；

图像工作站，用于通过图像处理算法，根据手术器械图像上手术器械和标志物的成像位置关系确定匹配点，利用匹配点的视差和摄像机参数计算手术器械各点的三维坐标并进行三维重建，并运用图像融合技术将手术器械和病灶在同一坐标系下显示。

本发明***开始工作时按以下步骤进行：

(1)通过张征友平面模板法计算出摄像机的内外参数；

(2)双目视觉定位装置同步采集标志物图像，利用标志物的图像特征识别成像区域内完整条形码的信息，并推算出到左右两幅图像匹配点的坐标值；

我们将图像中完整的条形码的上下两端边界与手术器械中轴线的交点视作特征点，依据条形码携带的信息，左右两幅图像中同一条形码的同一特征点视作一对匹配点。特征点的检测和条形码信息的识别可以通过以下图像处理算法实现的：

(21)原始图像预处理，使用高斯模糊减少图像噪声,见图3(a)；

(22)条形码粗定位，用Canny算子对原始图像进行边缘检测，见图3(b)；对边缘图进行局部最大值下采样操作，具体为：取h*h的窗口在图像上以步长h滑动(h的大小与条形码的编码宽度大致相当)，取窗口内像素最大值作为下采样后图像对应位置的像素值，结果见图4(a)；对下采样后的图像进行形态学闭操作，使每个码值对应的编码区域成为单连域，见图4(b)；再次进行边缘检测，就可以得到手术器械的大致轮廓见图4(c)；通过霍夫变换直线检测得到手术器械的两条边界，见图4(d)；通过上述操作可以快速得到条形码的大概位置和手术器械的大致朝向，后续操作将依据该信息在图像的局部范围内快速获得手术器械的精确位置；

(23)确定条形码特征点，粗定位条形码位置之后，将手术器械的两条边界向外扩大一定范围，只保留两条边界之间的边缘图像信息，见图5；对边缘图像做形态学闭运算，见图6(a)；再进行边缘检测，就可以得到手术器械的精确轮廓，见图6(b)；通过霍夫变换直线检测得到手术器械的两条边界，见图7；两条边界的中间线即为手术器械的中轴线，见图8；中轴线与图像中某个完整的条形码两端的交点即为特征点，见图9条形码中的红色圆点；

(24)识别条形码信息，由于不同条形码黑白条码的宽度组合不一样，而且各个条形码之间有一定间距，因此在得到中轴线的位置后，获取这些像素点的灰度值，根据已有的编码规则，即可识别此条形码表示的信息；

(3)通过双目视觉三维重建算法，重建出条形码指定位置的三维坐标，结合条形码的编码信息计算出手术器械在视觉***坐标系下的三维坐标；

具体为：由步骤(2)得到左右图像中的条形码特征点和条形码信息后，首先进行特征点匹配，若左右图像的条形码信息一致，则此特征点视为一对匹配点，然后利用匹配点视差和由步骤(1)得到的摄像机相关参数就可以得到此条形码的中轴线上两端点的三维坐标；设计手术器械标志物时，各个条形码在手术器械上的位置是固定的，因此各个条形码与手术器械的尖端点的相对位置是已知的，通过条形码两个端点的三维坐标和手术器械尖端点到条形码端点的距离就可以计算出手术器械尖端点的三维坐标；

(4)通过自行设计的坐标系标定装置求解双目视觉坐标系和二维超声成像平面坐标系的变换关系；

具体为：由步骤(3)得到的手术器械尖端点的三维坐标是在双目视觉定位装置坐标系下的，实际上是以左摄像机的光心为坐标原点建立的坐标系，而超声图像中的病灶位置则是在超声图像的二维坐标系下，因此，我们需要建立超声图像坐标***和视觉坐标***之间的变换关系，也可以理解为把超声图像放置在视觉***的三维空间坐标系下；

为完成此标定，本发明设计了一种标定装置，它的主体是一个长方体容器，一侧固定有棋盘格标定板，容器内部固定有若干尼龙线，以及一个超声探头放置架，见图10；当容器内注满纯净水后，固定好超声探头装置，超声成像平面切过这些尼龙线时，会在超声图像上产生若干亮斑特征点，见图11；

选取标定装置的一个顶点作为坐标原点建立三维直角坐标系(世界坐标系)；在棋盘格标定板上选取合适的三个角点(或三个以上)作为标志点，通过测量获得标志点在世界坐标系下的坐标；利用双目视觉***(已经采用张征友平面模板法实现摄像机内外参数的标定)获取标志点在双目视觉***坐标系(原点在左相机光心)下的三维坐标；通过标志点在不同坐标系下的坐标值计算世界坐标系和双目视觉***坐标系之间的转换关系；

同理，借助超声探头放置架，超声探头对水中的横向摆放的尼龙线成像，选取三个(或三个以上)尼龙线产生的亮斑点作为标志点，标志点在世界坐标系下的三维坐标通过测量获得，标志点在超声图像坐标系下的二维坐标由人来读取；以图像坐标系原点为原点，以像平面的纵轴、像平面的横轴、像平面的法向为三个坐标轴建立超声探头的三维直角坐标系；则可以得到标志点在超声探头坐标系下的三维坐标；通过标志点在世界坐标系和超声探头坐标系下的坐标值，可以计算出超声探头坐标系和世界坐标系的变换关系；

这样，以世界坐标系为参考，可以获得超声探头坐标系与双目视觉***坐标系之间的变换关系，也即得到超声图像坐标系与视觉***坐标系的转换关系；

由三个或三个以上公共点计算两个坐标系的转换关系可采用一种基于罗德里格矩阵的空间变化方法；该方法原理如下：

设有两个空间直角坐标系分别为O-XYZ和O'-X'Y'Z'，见图12，其坐标系原点不一致，存在三个平移参数ΔX、ΔY、ΔZ；它们间的坐标轴也相互不平行，存在三个旋转参数，同一点A在两个坐标系中的坐标可分别表示为(X，Y，Z)和(X'，Y'，Z')；

显然，这两个坐标系通过坐标轴的平移和旋转变换可取得一致，坐标间的转换关系如下：

***移矩阵。于是，只要直接求出旋转矩阵和平移矩阵，就可以实现两个坐标系间的转换。为了求解坐标系间的转换参数，通常需要提供一定数量(至少三组)的具有两套坐标的公共点。

由罗德里格矩阵，可将旋转矩阵R表示为：

R＝(I-S)^-1(I+S)， (2)

其中，I为单位矩阵；S为反对称矩阵。因此，可设：

式中，a、b、c为罗德里格参数。

将两组坐标相减消去平移矩阵，然后将式(2)(3)代入其中，展开后整理可以得到：

对于n个公共点，我们可以利用(4)式，根据最小二乘原理直接求出罗德里格参数，再代回到(2)式即可得到旋转矩阵R，然后通过(1)式代入一组公共点即可得到平移矩阵。

(5)把手术器械、超声图像统一在双目视觉三维坐标系下，并在图像工作站屏幕上投影显示。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于双目视觉的超声手术辅助导航***，其特征在于，所述***包括：

双目视觉定位装置，固定在超声探头上，包括两个摄像机，用于实时采集手术器械的图像，并传输到图像工作站；

标志物，标志物为一个或多个不同的条形码，用于环绕粘贴或打印在手术器械上；

超声诊断仪，包括超声探头和超声诊断仪，用于实时对人体组织进行超声成像，并将病灶超声成像传输至图像工作站；

图像工作站，用于根据手术器械图像上手术器械和标志物的成像位置关系确定匹配点，利用匹配点的视差和摄像机参数计算手术器械各点的三维坐标并进行三维重建，并运用图像融合技术将手术器械和病灶在同一坐标系下显示；

所述图像工作站包括：

手术器械三维重建模块，用于对手术器械图像进行图像处理，获取一对手术器械图像中相同位置点作为匹配点，利用匹配点的视差和摄像机参数计算手术器械各点的三维坐标并进行三维重建；

所述手术器械三维重建模块包括：

图像预处理单元，用于采用高斯模糊算法减少原图像噪声；

条形码粗定位单元，用于对降噪后图像进行边缘检测，对边缘图进行局部最大值下采样操作，对下采样后的图像进行形态学闭操作，之后再次进行边缘检测，得到手术器械的大致轮廓图；再通过直线检测得到手术器械的两条边界和条形码的大概位置；

特征点确定单元，用于将手术器械的两条边界向外扩展至设定范围，只保留两条边界之间的边缘图像信息，对边缘图像做形态学闭运算，再进行边缘检测，得到手术器械的精确轮廓，通过直线检测得到手术器械的两条边界，由两条边界确定手术器械的中轴线，定义中轴线与图像中完整的条形码两端的交点即为特征点；

条形码识别单元，用于根据条形码编码规则，对手术器械图像上的条形码进行识别区分；

特征点匹配单元，用于将两台摄像机同一时刻采集到的手术器械图像上的同一条形码上的同一特征点定义为一对匹配点；

手术器械三维重建单元，用于通过双目视觉三维重建算法，利用匹配点视差和摄像机参数得到匹配点的三维坐标，由匹配点的三维坐标和匹配点所在二维码在手术器械上的位置得到手术器械各点在双摄像机三维坐标系下的三维坐标，并进行手术器械三维重建。

2.根据权利要求1所述的一种基于双目视觉的超声手术辅助导航***，其特征在于，所述***还包括坐标系标定装置，坐标系标定装置的主体是一个长方形容器，一侧固定有棋盘格标定板，内部固定有多根尼龙线，容器上方固定有一个超声探头放置架，其中：

超声探头放置架，用于将超声探头固定在长方形容器内；

尼龙线，用于超声探头对纯净水中横向放置的尼龙线进行超声成像；

长方形容器，用于注满纯净水淹没尼龙线；

棋盘格标定板，用于摄像头对棋盘格标定板进行图像采集。

3.根据权利要求2所述的一种基于双目视觉的超声手术辅助导航***，其特征在于，所述双目视觉定位装置还用于，在进行坐标系定位时，摄像头对棋盘格标定板进行图像采集，并将采集的摄像标定图像传输至图像工作站。

4.根据权利要求2所述的一种基于双目视觉的超声手术辅助导航***，其特征在于，所述超声诊断仪还用于，在进行坐标系定位时，超声探头对纯净水中横向放置的尼龙线进行超声成像，并将超声标定成像传输至图像工作站。

5.根据权利要求1或2所述的一种基于双目视觉的超声手术辅助导航***，其特征在于，所述图像工作站还包括：

坐标变换关系获取模块，用于根据摄像标定图像和超声标定成像进行三维重建，得到摄像标定图像和超声标定成像的标志点在各自坐标系下的坐标值，利用标志点坐标和标志点在世界坐标系下的坐标值计算双摄像机三维坐标系和超声三维坐标系之间的转换关系；

三维图像融合模块，用于利用双摄像机三维坐标系和超声探头三维坐标系的变换关系把手术器械图像和病灶超声成像统一在同一三维坐标系中显示。

6.根据权利要求5所述的一种基于双目视觉的超声手术辅助导航***，其特征在于，所述坐标变换关系获取模块包括：

世界三维坐标系建立单元，用于选取坐标系标定装置的一个顶点作为坐标原点建立世界三维坐标系；

摄像坐标变换关系获取单元，用于在棋盘格标定板上选取不少于三个角点作为标志点，测量获得标志点在世界三维坐标系下的坐标；再利用摄像标定图像上相同标志点的视差和摄像机参数得到标志点在双摄像机三维坐标系下的坐标值，通过标志点在世界三维坐标系和双摄像机三维坐标系下的坐标值计算两个坐标系之间的转换关系，定义为第一转换关系；

超声坐标变换关系获取单元，用于选取超声标定成像上不少于三个尼龙线产生的亮斑点作为标志点，以超声标定成像坐标系原点为原点，以像平面的纵轴、像平面的横轴和像平面的法向为三个坐标轴建立超声探头三维坐标系，推算出标志点在超声探头三维坐标系下的坐标值；同时找到相同标志点在尼龙线上的实际位置点，测量位置点在世界三维坐标系下的坐标值，通过标志点在世界三维坐标系和超声探头三维坐标系下的坐标值计算两个坐标系之间的转换关系，定义为第二转换关系；

坐标变换关系确定单元，用于由定义为第一转换关系和第二转换关系推算出双摄像机三维坐标系和超声探头三维坐标系的变换关系。

7.根据权利要求1所述的一种基于双目视觉的超声手术辅助导航***，其特征在于，通过张正友平面模板法计算出摄像机的内外参数。