CN103142202A - 一种基于棱镜的具有测量功能的医用内窥镜***及方法 - Google Patents

Abstract

一种基于棱镜的具有测量功能的医用内窥镜***及方法，涉及一种医用内窥镜。包括内窥镜装置和计算机，其中，内窥镜装置包括内窥镜镜身、手持部位、***头、直流稳压电源、冷光源、图像采集卡、导光光纤和标定板，所述的内窥镜装置还进一步包括棱镜和棱镜固定装置，所述的棱镜固定装置设置在内窥镜镜身内部前端，该装置开有一个长方形孔，且该长方形孔的轴线与内窥镜轴线重合，该长方形孔尾端设有卡槽，所述棱镜置于该长方形孔内且由该卡槽固定。利用这个***，可以清晰的显示人体内部器官和组织的图像，并且可以测量出指定物体的实际长度。由于采用精确的立体视觉流程，得到的结果精度也相对较高。

Description

一种基于棱镜的具有测量功能的医用内窥镜***及方法

技术领域

本发明涉及一种医用内窥镜，具体涉及一种基于棱镜的具有测量功能的医用内窥镜***及方法。

背景技术

近几年来，微创手术(Minimally Invasive Surgery)已经逐渐深入到外科手术的各个领域。外科医生只需要在患者身体开一个小孔，通过内窥镜就可以看到内部器官，以直接观察的形式进行人体内部手术。与传统手术相比，不仅可以降低患者的痛苦，而且可以使患者的康复时间大大缩短，同时也提高了手术的效率，节约了手术的成本。

医疗内窥镜对现代医学的进步起到了重要的作用。但现有的医疗内窥镜检查和微创手术使用的都是只能显示平面图像的二维内窥镜，这一点并不符合人类双眼观察物体的习惯。因为人眼除了可以观察物体的基本特征外，还能够产生远近的感觉，即物体的深度信息。医生在使用二维内窥镜进行诊断和手术的过程中，只能依靠经验来判断病灶的形状和大小，利用内窥镜与人体器官或者组织的相对位置来进行手术治疗。对于一些特殊的情况或者没有经验的医生，这无疑也会增加医疗事故发生的概率。

因为这一重要原因，立体内窥镜随之产生和发展。根据计算机显示技术和人眼双目视差的基本原理，将两个并列放置的内窥镜采集到的图像分时交替的显示出来，医生可以通过配戴眼镜或者直接观察的方式，看到人体内部的三维图像。这种立体内窥镜可以逼真的重现三维空间的效果，给医生提供更为直观的信息，增加了手术的可行性和准确性。

医用立体内窥镜具有可以显示三维空间信息的优点。但前提条件是需要两个视频捕获单元，这同时又不可避免的增加了整个视频采集***的体积和复杂性。使其应用范围受到了很大的限制。此外，即使可以直观的看到病人体内病灶和组织的立体图像，医生也只能依靠经验和感觉来判断其具体的大小情况，从而选择使用合适型号的手术工具进行切除或者缝合等治疗，但这也很难避免由于判断失误所造成的不良后果。

发明内容

针对现有技术存在的不足，本发明的目的是提供一种基于棱镜的具有测量功能的医用内窥镜***及方法，利用棱镜对光线的折射作用，使单个的摄像机可以同时采集到具有一定视差左右两部分图像，然后经过相关算法处理，可以在不增加现有内窥镜成本和外径的前提下，将普通只能观察二维平面信息的内窥镜升级为具有三维测量功能的内窥镜。

本发明的技术方案是这样实现的：一种基于棱镜的具有测量功能的医用内窥镜***，包括内窥镜装置和计算机，其中，内窥镜装置包括内窥镜镜身、手持部位、***头、直流稳压电源、冷光源、图像采集卡、导光光纤和标定板，所述的内窥镜装置还进一步包括棱镜和棱镜固定装置，所述的棱镜固定装置设置在内窥镜镜身内部前端，该装置开有一个长方形孔，且该长方形孔的轴线与内窥镜轴线重合，该长方形孔尾端设有卡槽，所述棱镜置于该长方形孔内且由该卡槽固定。

所述的棱镜的一种优选方式为三棱镜。

位于内窥镜镜身前端的棱镜与位于内窥镜镜身尾部的***头之间的距离应满足：

$t_b=d_p\frac{f_c}{d_c}$

式中，t_b为从相机的图像传感器到棱镜的后平面所允许的最大距离，d_p为棱镜的宽度，f_c为***头的焦距，d_c为***头的图像传感器的长度。

采用基于棱镜的具有测量功能的医用内窥镜***，对图像进行测量的方法，包括以下步骤：

步骤1：采集标定板图像，确定***头的内外参数及棱镜的外参数，具体过程如下：

步骤1.1：首先在未放置棱镜且***头位置固定不变的情况下，拍摄标定板在不同位置及不同角度的图像；

步骤1.2：一帧一帧读取步骤1.1所拍摄的图像；

步骤1.3：利用张正友标定法对步骤1.2截取的图像进行标定，确定***头的内外参数矩阵；所述的***头的内参数矩阵用于表示***头的焦距和光学中心的位置，外部参数矩阵用于表示世界坐标系与摄像机坐标系之间的关系，即旋转矩阵和平移向量。

步骤1.4：在标定板与***头之间放置好棱镜，保证在***头位置不变的情况下，利用步骤1.1的方法再次采集标定板图像，采集完图像后，根据光的折射原理和空间几何关系确定物点和像点位置关系，结合给定的棱镜内参数，求解计算棱镜的外参数；其中，棱镜的内参数是指棱镜的形状和制作棱镜的材质对空气的折射率，该值在选定棱镜时已经给出；棱镜的外参数是指棱镜在相机坐标系中的位置、棱镜垂直方向上三个平面的法向量以及每个平面上一个点在摄像机坐标系下的坐标。

步骤2：将标定板撤掉，将内窥镜送入人体天然管腔，采集人体内部器官和组织的图像，并对采集到的图像进行立体匹配和三维重建操作。在一幅图像中同时获取多个视角情况下的二维平面图像，并能得到图像上任意一点在摄像机坐标系下的空间三维坐标；

步骤2.1：将内窥镜送入人体天然管腔，利用步骤1.1的方法，采集人体内部器官和组织的图像；

步骤2.2：根据步骤1.4计算出的棱镜位置，利用摄像机的透视投影变换将摄像机坐标系下的三维坐标重新投影到图像平面，得到图像平面坐标系下的二维坐标，计算与实际点的误差；根据重投影确定对应点的极线进行图像匹配操作；

步骤2.3：利用步骤2.1匹配的结果，按现有的光线追迹方法和和光路可逆原理进行三维重建操作。

步骤3：根据步骤2.3三维重建出的结果，利用病变***置的三维坐标，对病变体实际的长度或大小进行测量。

本发明的有益效果：为了满足现代医疗的需求，达到提高手术准确性的目的，本***设计并实现了一种全新的基于棱镜的单相机具有测量功能的医用立体内窥镜***。将棱镜放置于摄像机前，利用棱镜对光线的折射作用，使单个的摄像机可以同时采集到具有一定视差左右两部分图像。利用计算机视觉的理论基础和光线传播折射的基本定理，推导出一套从标定到匹配再到三维重建方法。最后设计并制作出可以用于临床试验的整个***。利用这个***，可以清晰的显示人体内部器官和组织的图像，并且可以测量出指定物体的实际长度。本***可以为医生提供人体内部病灶或者组织的具体长度数据，从而为医生选择合适的手术工具提供依据。因为采用精确的立体视觉流程，所以得到的结果精度很高，为手术的准确和成功提供了有力的保障。整套***可以在自然光线下工作，也可以在黑暗环境下利用冷光源照明，测量结果具有很高的精确度和稳定度。

附图说明

图1为本发明一种实施方式基于棱镜的医用内窥镜成像***的结构图；

图2为本发明一种实施方式冷光源与导光光纤的连接示意图；

图3为本发明一种实施方式放置***头的那部分内窥镜镜身结构示意图，其中，图3(a)为横断面剖面示意图，图3(b)为沿着两小圆柱孔心轴所在平面的径向剖面示意图；

图4为本发明一种实施方式棱镜固定装置的结构示意图，其中，图4(a)为沿着两小圆柱孔心轴所在平面的径向剖面示意图，图4(b)为横断面剖面示意图；

图5为本发明一种实施方式棱镜尺寸示意图；

图6为本发明一种实施方式采用医用内窥镜成像***进行测量的方法流程图；

图7为本发明一种实施方式确定***头的内外参数流程图；

图8为本发明一种实施方式对采集的医学图像进行立体匹配和三维重建过程流程图；

图9为本发明一种实施方式待测物体经过棱镜2次折射所形成的虚像点与待测物体之间的位置关系示意图；

图10为本发明一种实施方式的人体呼吸道(鼻腔)的测量结果示意图，其中，图10(a)表示图像左半部分为基准点的测量结果示意图，图10(b)表示图像右半部分为基准点的测量结果示意图；

图11为本发明一种实施方式的人体消化道(咽喉)的测量结果示意图，其中，图11(a)表示图像左半部分为基准点的测量结果示意图，图11(b)表示图像右半部分为基准点的测量结果示意图；

图中，101、计算机102、内窥镜装置103、标定板104、内窥镜镜身105、手持部位106、***头、107、三棱镜108、图像采集卡110、冷光源111、导光光纤。

具体实施方式

下面结合附图对本发明的实施方式作进一步详细的说明。

本发明的一种实施方式给出基于棱镜的医用内窥镜成像***的结构图，如图1所示，包括内窥镜装置102和计算机101，其中，内窥镜装置102包括标定板103、内窥镜镜身104、手持部位105、***头106、三棱镜107、图像采集卡108、直流稳压电源109和冷光源110。标定板103设置于内窥镜镜身104前端，内窥镜镜身104与手持部位105相连，***头106和三棱镜107均置于内窥镜镜身104内部，直流稳压电源109为***头106供电，冷光源109的输出端连接2跟导光光纤111(如图2所示)，该导光光纤111进入内窥镜镜身105内为***头106提供光源。图像采集卡108的视频输入端连接***头106的视频输出端，用于获取***头106采集的影像，图像采集卡109的USB输出端连接计算机101。

本实施方式中的标定板103的型号为CC-008-D-0.5实心圆标定板，该标定板使用陶瓷制作，表面漫反射处理，外形尺寸只有8mm*8mm，拥有14*11个圆形阵列，精度可以达到0.001mm，可以满足微型相机标定的需求。

本实施方式中的内窥镜镜身104采用不锈钢材料加工之后电镀而成，其长度取值在150mm～300mm之间(例如，取值为180mm)，内窥镜镜身104分为两个部分，一部分用于放置***头106(如图3所示)，另一部分用于放置棱镜(如图4所示)。具体结构如下：

放置***头106的那部分内窥镜镜身104的横断面剖面图如图3(a)所示，其沿着两小圆柱孔心轴所在平面的径向剖面图如图3(b)所示。内窥镜镜身104内部主要由三个细长圆柱孔构成。中间的大圆柱孔的圆心与镜体圆心相重合；D1为小圆柱孔外径，长度为1.1mm，保证两条直径为1mm的导光光纤的顺利放入；D2为内窥镜镜身外径，长度为10mm；D3为大圆柱孔外径，长度为5.6mm，保证***头106从一端顺利的放入；L1、L2两小圆柱孔距中心的距离，长度均为3.95mm。该尺寸的内窥镜可作为供成人使用的喉镜、鼻镜和直肠镜。

放置三棱镜的棱镜固定装置的横断面剖面图如图4(a)所示，其沿着两小圆柱孔心轴所在平面的径向剖面图如图4(b)所示。该部分主要用于放置三棱镜。D1为小圆柱孔外径，长度为1.1mm，D2为内窥镜镜体外径，长度为10mm；L3为2.7mm，L4为3.05mm，L5为3.95mm，L6为6.1mm，L7为0.35mm，L8为3mm，L9为0.5mm。因为三棱镜的形状限制，棱镜固定装置的内部设计有矩形孔(本实施方式中的矩形孔设计成正方形孔)，并且加入厚度为0.5mm的卡槽(本实施方式中的卡槽黏贴在内窥镜镜身内壁，还可以通过螺丝或者其它方式对其进行固定)即为L9标注所示，用于棱镜的安放和固定，矩形孔外侧的规格为5.4mm*5.4mm(如图中L3所示，L3为边长的一半)，内侧的规格为6.1mm*6.1mm(如图中L4所示，L4为边长的一半)。两端各有一个外径为1.1mm的圆柱孔(即上面提到的贯穿整个内窥镜镜身的小圆柱形孔，如图D1所示)，作用是接入导光光纤，保证导光光纤可以刚好贯通整个内窥镜镜身。

本实施方式中采用的***头的选择有两个基本原则，一是体积和外径要足够小(因为人体天然管腔的限制和微创手术的需要，整个内窥镜伸入体内的部分需要被限制在一定的规格范围之内，即内窥镜的外径越细越好)，二是分辨率要足够大。本实施方式中选择2MO-T1204Y型设备，该型号摄像头外径为5.5mm，有效像素可以达到30万，其基本参数如表1所示：

表1为2MO-T1204Y型号摄像头参数

本实施方式中采用的棱镜为三棱镜。

棱镜的大小和角度(棱镜顶角的取值范围在110度和130度之间效果比较好，本实施方式中棱镜顶角的取值为120度)需要根***头相匹配。本实施方式选择双视角棱镜，将棱镜后平面的尺寸设置为6mm*6mm的矩形，如果设从棱镜的宽度为d_p，相机的焦距为f_c，***头图像传感器的长度为d_c，则有：

$t_b=6\×\frac{2}{640\×0.00175}=10.7\mathrm{mm}$

***头和三棱镜的距离可以在10mm的范围内调节，将有效区间的利用率设置为0.8，根据光的折射原理及空间几何关系计算出达到最优距离时棱镜的角度约为33度。根据这个结果棱镜的定制规格如图5所示，其中l为6mm，d为2mm。选用石英材料制作，保证高透光率，折射率为1.54。

***头、三棱镜与内窥镜镜身的安装过程如下：

首先将***头106***内窥镜镜身104中央圆柱孔，调整好方向后，可用内窥镜镜身104前端30mm处的螺丝固定。***头106有三根输出线，其中黄色为视频线，直接与图像采集卡108相连；红色为电源线，黑色为接地线，分别与直流稳压电源的输出级和地线相连接。直流稳压电源109的输出电流和电压分别设置于100mA和3V。两根导光光纤111***内窥镜镜身104的左右两个圆柱形孔，直通内窥镜镜身104的最前端，预留出3mm的长度，保证镜头前端的三棱镜固定装置能够顺利接入。导光光纤111末端接冷光源输出端，将初始输出功率设置为50W，并且根据实际情况动态调节亮度。

***头106和导光光纤111按位置送入后，将手持部位105与内窥镜镜身104固定，把手部分105采用树脂材料制成，结构稳定不易变形，可以很方便地与内窥镜镜身104对接。前端螺母结构负责与内窥镜镜身104固定，后端为电源线、视频线和导光光纤的出口。

随后，将三棱镜放于棱镜固定装置的方形孔的卡槽中，根据两根光纤接口为基准，将棱镜固定装置的两个小圆柱孔和放置***头的棱镜镜身部分两个小圆孔孔心对齐，保证导光光纤顺利的到达内窥镜镜身104前端。内窥镜镜身104下端置于两个V形槽的支架的上端，负责整个内窥镜镜身位置的固定和调节。标定板103被固定在内窥镜可观察到的视野范围内，接通电源后拍摄标定板的图像。

本实施方式中的冷光源110为卤素灯冷光源，光源的功率为150w，连接两根导光光纤，光纤直径为1mm(一般取值在0.5mm~1.5mm之间)，光纤的长度一般为1000mm～3000mm为宜，本实施方式中选取的光纤的长度为1000mm。

本实施方式采用上述内窥镜***对图形进行测量的方法，其流程如图6所示。该过程开始与步骤601。在步骤602，采集标定板图像，确定***头内外参数及棱镜的外参数。这里标定板的作用主要是利用***头拍摄不同位置和角度下的标定板图像，通过运行张正友标定算法对获取的标定板图像进行处理分析，来获取***头的内外参数，利用标定板得到的***头内外参数的标定结果为后面的棱镜位置的估计计算、立体匹配和三维重建等操作的进行创造条件。

在步骤603，将标定板撤掉，将内窥镜送入人体天然管腔，利用步骤602中的方法采集人体内部器官和组织的图像，对采集到的图像进行立体匹配和三维重建操作。首先，利用棱镜的折射原理在一幅图像中同时获取两个视角下的二维图像，并能确定图像中各点在摄像机坐标系(本实施方式中是指：以***头的光学中心为原点，以与成像平面相垂直的方向做一个坐标轴，按照右手法则建立出摄像机坐标系)下的三维坐标。具体的说：根据步骤602计算出的***头内外参数和棱镜的外部参数，利用透视投影变换模型将世界坐标系下的三维坐标重新投影到***头的图像平面坐标系下的二维点坐标，计算与实际点的误差，根据重投影确定对应点的极线，采用局部匹配算法SAD，进行对应点匹配，从而实现在一幅图像中显示两个视角下匹配的二维图像，并且在相同的条件下，利用获取的匹配输出点的结果，按现有的光线追迹方法和光路可逆原理，根据空间几何的位置关系进行三维重建，获取图像中各点在摄像机坐标系下的三维坐标。

在步骤604，利用病变***置的三维坐标，对病变体实际的长度或大小进行测量。由于上面的计算过程，确定了将二维坐标投影到三维坐标系的映射关系，因此，在已知点的坐标的情况下，可以根据2点之间的距离公式来计算距离。

图7为图6中的步骤602的具体实现过程，该流程开始于步骤701。首先在***头位置固定不变的情况下，在内窥镜能够观察到的视野范围内，可任意改变标定板的位置，或通过改变标定板的角度来实现对标定板进行拍摄。标定板和***头图像平面间的夹角最好控制在20度的范围内，在这个范围内可以根据实际需要对标定板的角度进行调节。

在步骤702，一帧一帧读取步骤701拍摄的图像。本实施方式中所采用MISUMI公司的产品的***头的型号为2MO-T1204Y型号，视频制式是PAL，读取图像的帧频是25帧/秒，数据采集卡对***头拍摄的图像进行一帧一帧的读取，并将其保存成能被图像处理函数库(本实施方式中采用OpenCV)使用的图像格式。

数据采集卡对***头拍摄的图像进行读取的过程如下：

1、利用DirectShow流媒体开发包创建：

设备滤波器：用于对图像进行采集；

抓图滤波器：用于抓取设备滤波器采集到的图像中的一帧图像；

状态控制滤波器：用于向抓图滤波器发送指令，控制抓图滤波器抓取图像；

事件控制滤波器，用于和外界进行通信；

并对上述滤波器进行初始化操作。设备滤波器位于图像采集卡中，其他三种滤波器都位于DirectShow流媒体开发包中。

2、当初始化过程完成后，设备滤波器会启动并且开始传输采集到的图像数据给抓图滤波器。

3、抓图滤波器提取出一帧图像，并将其转换为供OpenCV使用的图像格式，输出到缓存之中。

4、当数据传输结束后，状态控制滤波器向抓图滤波器发出指令，进行下一帧图像的抓取。

5、图像读入工作完成后，为***头的标定工作做好准备。

在步骤703，利用张正友标定法对步骤701截取的图像进行标定，确定***头的内外参数，具体过程如下：

采用张正友标定法确定标定板(本实施方式中采用的标定板为CC-008-D-0.5实心圆标定板，拥有14*11个圆形阵列)图像中每个圆的圆心点，形成圆心中点阵列(本实施方式中是调用实心圆圆心提取函数实现的)。

根据***头的焦距、像素尺寸、分辨率，再结合标定板已知的点和线的位置关系，根据透视投影模型计算***头在小孔模型下的内外参数。其中，透视投影模型的公式如下：

式中，s为一个任意的比例因子，

为物体点在世界坐标系下的坐标，

为点

在图像平面上的投影坐标，M_int表示***头的内部参数矩阵，M_ext表示***头的外部参数矩阵(即旋转平移矩阵)，计算出***头在符合小孔模型下的内外参数。

标定结果确定后，可以用于棱镜位置估计的计算，可以为匹配过程和三维重建过程的进行提供最佳输入条件。

在步骤704，在标定板与***头之间放置好棱镜，计算棱镜的外部参数。具体过程为：

保证在***头位置不变的情况下，利用步骤701的方法再次采集标定板图像；

采集完图像后，利用差分进化迭代算法求解计算棱镜的外部参数，本实施方式中采用三棱镜来实现，因此棱镜的外参数包括六个参数，即三棱镜的三个侧面中所成夹角中最大夹角所对的那个面的法向量即v_bx，v_by，v_bz、大圆柱孔孔心轴线与三棱镜侧棱的交点坐标即p_x、p_z，侧平面上法向量的任意一个分量即v_lx。

下面给出差分进化迭代算法的具体过程：

1、生成初始种群：随机产生NP个个体：

$x_{\mathrm{ij}}\left(0\right)=x_{\mathrm{ij}}^L+\mathrm{rand}\left(\mathrm{0,1}\right)(x_{\mathrm{ij}}^U-x_{\mathrm{ij}}^L)$

式中，NP代表种群的数量，x_if(0)代表第0代种群中第i个群的第j个个体，rand(0,1)是[0，1]上服从均匀分布的随机实数，和

分别指种群个体的上界和下界。

2、变异操作：变异操作是差分进化的关键步骤，从种群中随机选择3个个体x_p1f，x_p2f，x_p3f，且p1≠p2≠p3≠i，此时有：

h_if(g)＝x_p1f+F*(x_p2f-x_p3f)

式中，F为缩放因子，表示变异操作过程在整个算法流程中所占比例。设置的值越大，变异的过程越快。x_p1f·x_p2f，x_p3f分别代表p1、p2、p3种群的第j个个体。h_ij(g)代表第g代第i个种群第j个个体的的变异结果。

3、交叉操作：交叉操作可以增加种群的多样性，

$v_{\mathrm{ij}}(g+1)=\left\{\begin{array}{c}{h}_{\mathrm{ij}}\left(g\right),\mathrm{rand}\left(\mathrm{0,1}\right)\≤\mathrm{CR}\\ x_{\mathrm{ij}}\left(g\right),\mathrm{rand}\left(\mathrm{0,1}\right)>\mathrm{CR}\end{array}\right.$

式中，CR为交叉概率，且CR∈[0，1]，v_ij(g+1)代表第g+1代的交叉结果。交叉策略可以保证v_ij(g+1)中至少有一个分量由h_ij(g)贡献，x_if(g)代表第g代种群中第i个群的第j个个体。

4、选择操作：由评价函数对向量v_i(g+1)和向量x_i(g)进行比较：

$x_i(g+1)=\left\{\begin{array}{c}{v}_i(g+1),f\left(v_i(g+1)\right)<f\left(x_i\left(g\right)\right)\\ x_i\left(g\right),f\left(v_i(g+1)\right)\&GreaterEqual;f\left(x_i\left(g\right)\right)\end{array}\right.$

式中，x_i(g+1)、x_i(g)分别代表第g+1代和第g代的第i个种群，f代表评价函数

重复执行2到4步，直到达到最大进化代数或者达到所设置的收敛精度。

将式P_e＝[p_x，p_z，v_bx,v_by，v_bz，v_ix]^τ(m＝2)，式中，m代表棱镜视角的个数；P_e代表棱镜外参数的集合，在差分进化算法中表示种群，即种群的数量NP=6；式

作为算法的评价函数，式中

为透视投影变换过程，n代表三维空间中物体点的个数，x_ij表示放置棱镜情况下获得的图像平面坐标系中的坐标，在差分进化算法中表示第i个种群第j个个体，

表示物点X_i在棱镜视角j下的摄像机坐标系下的坐标。不需要设置初始值，只需要根据实际情况给出每一个未知量可能的变化范围，通过进化迭代找到其最优解。该最优解即为棱镜的外部参数。

图8对图6中的步骤603的过程的详细说明。该流程开始于步骤801。对医学图像进行采集，方法与对标定板的图像采集及处理方法一致。

在步骤802，利用透视投影变换将世界坐标系下的三维坐标重新投影到图像平面。

根据光的折射原理和空间几何关系(本实施方式中的空间几何关系是指：待测物体经过棱镜2次折射所形成的虚像点与待测物体之间的位置关系，如图9所示，点A为待测物点，A经棱镜的PH边D点发生第一次折射，该折射光线交于棱镜PF边的E点，并在该点发生第二次折射，过A作PH的垂线交PF于点M，Ar′是ED的延长线与MA延长线的交点，过Ar′作PF边的垂线与PF边交于N点，O点为焦点，在作OE的反向延长线交Ar′N于Ar″点，即可得到Ar″与A点的位置关系)，确定棱镜在摄像机坐标系下的位置关系，进而得出物点与像点之间的变换矩阵M₁和M₂：

$M_1=\left[\begin{array}{cc}{R}_1& t_1\\ 0^T& 1\end{array}\right]$

$M_2=\left[\begin{array}{cc}{R}_2& t_2\\ 0^T& 1\end{array}\right]$

式中，M₁表示A点到Ar′点的变换矩阵，R₁是旋转矩阵，t₁是平移向量；M₂表示Ar′点到Ar″点的变换矩阵，R₂是旋转矩阵，t₂是平移向量。

将世界坐标系下的三维坐标重新投影到图像平面，具体公式为：

$s\tilde{x}=M_{\mathrm{int}}{M}_2{M}_1{M}_{\mathrm{ext}}\tilde{X}$

再利用几何光学的方法确定极线。

利用局部匹配算法SAD进行图像匹配，寻找两个视角下同一物点的对应匹配点，具体过程如下：

首先构造一个小窗口，用窗口覆盖左边的图像(经图像采集卡所读取的图片的左侧显示的部分，如图10、11所示)，选择出窗口覆盖区域内的所有像素。

使用同样大小的窗口覆盖右边的图像(经图像采集卡所读取的图片的右侧显示的部分，如图10、11所示)并选择出覆盖区域的像素点。

左边覆盖区域减去右边覆盖区域，并求出所有像素点差的绝对值的和。

移动右边图像的窗口，重复，超过搜索范围时跳出，找到这个范围内SAD值最小的窗口，即找到了左边图像的最佳匹配的像素块。

匹配完成后，为下一步进行三维重建做好准备。

在步骤803，利用步骤802的匹配的结果，按现有的光线追迹和和光路可逆原理进行三维重建，三维重建过程具体如下：

根据光路可逆原理，空间中点的图像的一个视角的投影过程只经过一个侧平面和棱镜后平面两次折射变换。空间中一点A经棱镜两次折射后所成虚像点Ar″可以表示为：

Ar″=M₂M₁A(1)

相似地入射光线经棱镜两次折射后，其折射光纤的方向向量可以表示为

V″＝c[c(V,N)，N_b]＝C(V,N,N_b)(2)

式(2)中，N表示一个侧平面的单位法向量，N_b表示棱镜后平面的单位法向量，V表示入射光线的单位方向向量，V”表示光线经棱镜两次折射后，其折射光线的方向向量，c(V,N)表示一次折射过程，C(V,N,N_b)表示两次折射过程。

可以使用式(1)和式(2)利用三角关系来确定出三维空间点的坐标。

绝大多数情况下，光线追迹所得两条光线不能刚好相交，采用求其公垂线中点的方法找到两条光线的的距离中点作为重建点的坐标。

存储并输出结果，通过重建出的这两点的三维坐标，计算出这两点之间的距离。

为了验证本***的有效性和实用性，本文对人体的呼吸道和消化道分别进行了实际测量实验。图10所示为人体呼吸道(鼻腔)的测量结果。测量对象鼻腔内壁有一道疤痕，使用本***分别以该特征左半部分图像(如图10(a)所示)和右半部分(如果10(b)所示)图像为基准点，测量出疤痕的长度为2.549mm和2.511mm。

图11所示为人体消化道(咽喉)的测量结果。其中左半部分图像作为基准点时，测量结果为3.011mm，如图11(a)所示；右半部分图像作为基准点时，测量结果为2.973mm，如图11(b)所示。

从以上两个实验可以看出，测量的基准图像选择不同，结果也会略有偏差。这主要因为点的选取是由人手动完成，而该***属于高精度测量，人为的因素难免会引入一定的误差。

虽然以上描述了本发明的具体实施方式，但是本领域内的熟练的技术人员应当理解，这些仅是举例说明，可以对这些实施方式做出多种变更或修改，而不背离本发明的原理和实质。本发明的范围仅由所附权利要求书限定。

Claims (5)

1.一种基于棱镜的具有测量功能的医用内窥镜***，包括内窥镜装置和计算机，其中，内窥镜装置包括内窥镜镜身、手持部位、***头、直流稳压电源、冷光源、图像采集卡、导光光纤和标定板，其特征在于：所述的内窥镜装置还包括棱镜和棱镜固定装置，所述的棱镜固定装置设置在内窥镜镜身内部前端，该装置开有一个长方形孔，且该长方形孔的轴线与内窥镜轴线重合，该长方形孔尾端设有卡槽，所述棱镜置于该长方形孔内且由该卡槽固定。

2.根据权利要求1所述的基于棱镜的具有测量功能的医用内窥镜***，其特征在于：在所述的长方形孔的对边两侧还分别开有圆柱孔，导光光纤穿过该圆柱孔到达内窥镜前端。

3.根据权利要求1所述的基于棱镜的具有测量功能的医用内窥镜***，其特征在于：位于内窥镜镜身前端的棱镜与位于内窥镜镜身内部的***头之间的距离应满足：

$t_b=d_p\frac{f_c}{d_c}$

式中，t_b为从相机的图像传感器到棱镜的后平面所允许的最大距离，d_p为棱镜的宽度，f_c为***头的焦距，d_c为***头的图像传感器的长度。

4.根据权利要求1所述的基于棱镜的具有测量功能的医用内窥镜***，其特征在于：所述的棱镜为三棱镜。

5.采用如权利要求1所述基于棱镜的具有测量功能的医用内窥镜***，对图像进行测量的方法，包括以下步骤：

步骤1：采集标定板图像，确定***头的内外参数及棱镜的外参数，具体过程如下：

步骤1.1：首先在***头位置固定不变的情况下，拍摄标定板在不同位置及不同角度的图像；

步骤1.2：一帧一帧读取步骤1.1所拍摄的图像，并将图像转换成适合标定的图像格式；

步骤1.3：利用摄像机标定方法对步骤1.2截取的图像进行标定，确定***头的内外参数矩阵；所述的***头的内参数矩阵用于表示***头的焦距和光学中心的位置，外部参数矩阵用于表示世界坐标系与摄像机坐标系之间的关系；

步骤1.4：在标定板与***头之间放置好棱镜，保证在***头位置不变的情况下，利用步骤1.1的方法再次采集标定板图像，采集完图像后，根据光的折射原理和空间几何关系确定物点和像点位置关系，结合棱镜的内参数，求解计算棱镜的外参数；其中，棱镜的内参数是指棱镜的形状和制作棱镜的材质对空气的折射率，该值在选定棱镜时已经给出；棱镜的外参数是指棱镜在摄像机坐标系中的位置、棱镜垂直方向上三个侧平面的法向量以及每个侧平面上任意一个点在摄像机坐标系下的三维坐标；

步骤2：将标定板撤掉，将内窥镜送入人体天然管腔，采集人体内部器官和组织的图像，并对采集到的图像进行立体匹配和三维重建操作，在一幅图像中同时获取多个视角情况下的二维平面图像，并能得到图像上任意一点在摄像机坐标系下的空间三维坐标；

步骤2.1：将内窥镜送入人体天然管腔，利用步骤1.1的方法，采集人体内部器官和组织的图像；

步骤2.2：根据步骤1.3计算出的棱镜位置，利用步骤2.1得到图像平面坐标系下的二维坐标，计算与实际点的误差；根据重投影确定对应点的极线，进行图像匹配操作；

步骤2.3：利用步骤2.1匹配的结果，按现有的光线追迹方法和光路可逆原理进行三维重建操作；

步骤3：根据步骤2.3三维重建出的结果，利用病变***置的三维坐标，对病变体实际的长度或大小进行测量。

Images