CN106618450B - 一种三目立体内窥镜自标定的方法 - Google Patents

Abstract

本发明公开了一种三目立体内窥镜，可以在正常使用过程中不借助外部标定模板对立体内窥镜标定；具体讲，首先利用标定板对三个内镜相机进行初始标定，获取其对应初始标定参数；其次，在保证两个相机参数不变下，对另外的一个相机进行缩放或聚焦调节，获取调节后三个相机同一时刻拍摄到的三张图像，对三张图像的重合区域进行特征点检测和匹配操作，基于三张图像的特征点匹配结果，通过3D重构求出特征点在指定坐标系中的三维坐标，利用所得特征点三维坐标以及所得特征点在待标定相机对应图像的像素坐标信息，再对待标定相机进行标定，获取待标定相机新的参数。

Description

一种三目立体内窥镜自标定的方法

技术领域

本发明属于内窥镜技术领域，更为具体地讲，涉及一种三目立体内窥镜自标定的方法。

背景技术

微创以及无创外科手术是当代临床医学中最主要的发展趋势之一，与传统手术相比，它能够大大提高手术的质量，减少手术部位的创伤，减轻病人的痛苦，缩短了术后康复时间，这也成为了其作为国际上的一个研究热点的重要支撑。

传统的立体内窥镜是由两个镜头组成，即相当于双目摄像机，其一般的使用过程为：首先在使用前先根据要求设定好焦距，再利用标定参照物对立体内窥镜进行标定，然后再将其通过小创口伸入人体组织进行拍摄，由于内窥镜焦距固定的缘故，使得在拍摄过程中往往只能通过改变内窥镜与所要拍摄的人体组织的距离来获取清晰地图像，而这些动作将会大大增加内窥镜导管在介入过程中发生导管缠绕以及非预期接触人体重要器官的概率，而若采取通过调节内窥镜的焦距这一操作来获取想要的清晰的人体组织图像，则会丢失内窥镜的标定参数，而标定参数是立体内窥镜的重要参数，在手术过程中，只有结合标定参数，才能通过立体内窥镜获取到相关部位的三维信息，通过所得三维信息，医生对手术相关部位有了一个精确的定位，有利于手术的正确实施；同时在检测过程中，标定参数的重要性也不可或缺，通过立体内窥镜的标定参数与所获取人体组织图像，可重构出相关组织表面的三维信息，进而可以对病变组织的实际形状及大小有一个更精确的认识，有助于医生对病人病情的诊断。

目前，在不需要参照标定物的情况下，通过自标定方法可以的获取到相机的内部参数，常用的自标定方法包括：基于绝对二次曲面和无穷远平面等自标定方法，但是这些传统自标定方法的标定精度不高，且鲁棒性不足[1](孟晓桥、胡占义，“摄像机自标定方法的研究与进展”，自动化学报，0254-4156)，故而这一方法未能满足实际需求。

为了获得精确的内窥镜标定信息，只能通过取出内窥镜，然后在外部环境中利用标定参照物重新进行标定，对于这一解决办法而言，这大大增加了操作的复杂度，对于正在执行手术操作时使用的立体内窥镜，这一操作是绝对不允许的。如果能够实时获取到其较为精确的相机参数，那么就可以有效避免立体内窥镜使用过程中的一些不必要操作了，同时也降低了操作的复杂程度，减少给病人带来的附加痛苦和危险。

发明内容

本发明的目的在于克服现有技术的不足，提供一种三目立体内窥镜自标定的方法，以实现立体内窥镜实时使用中参数变化后的实时标定。

为实现上述发明目的，本发明一种三目立体内窥镜，其特征在于，包括：固定在同一筒状装置的三个独立电子内镜和均匀环绕在三个独立电子内镜周围的多个LED组成的光源，以及一个用于将三目立体内窥镜与电脑相连的USB接口；

所述的三个独立电子内镜的位置相对固定，均匀分布在筒状装置内，三个独立电子内镜的镜头位于筒状装置前端，与多个LED组成的光源共同构成成像单元，三个独立电子内镜的尾部位于筒状装置后端，且每个独立电子内镜的尾部拥有一个独立调节焦距的旋钮，当某一个电子内镜进行缩放或聚焦操作时，则三目立体内窥镜参数发生改变，那么当三目立体内窥镜完成初始标定后，另外两个未调节的电子内镜能够获取图像进行自标定；

当患者需要进行内窥检查时，先放入三目立体内窥镜，再通过尾部的旋钮进行聚焦，然后在光源的配合下通过三个电子内镜成像，最后通过连接在USB接口上的信号线传送至电脑。

其中，所述的电子内镜进行自标定的方法为：

(1)、三目立体内窥镜初始化

使用前，利用标定模板对三目立体内窥镜进行标定，获取各内镜的初始标定参数矩阵A_a、A_b、A_c和畸变系数向量K₁、K₂、K₃，以及各内镜相机坐标系之间的转换关系[R_ab T_ab]、[R_ac T_ac]、[R_bc T_bc]；

其中，参数矩阵的通用形式即为：α，β分别为相机在x和y方向上的焦距，γ为倾斜因子，(u₀ v₀)为相机光心在像平面投影点在像素坐标系下的像素坐标；K＝[k₁ k₂ k₃ k₄]，k₁，k₂为径向畸变系数，k₃，k₄为离心畸变系数；R为右侧相机坐标系到左侧相机坐标系的旋转矩阵，T为右侧相机坐标系到左侧相机坐标系的平移向量；

(2)、当某一电子内镜进行缩放或聚焦操作时，先获取参数已知的电子内镜与待标定电子内镜在同一时刻的图像，再利用步骤(1)中所得各电子内镜的畸变系数k₁，k₂，k₃，k₄对所得图像进行畸变校正，然后对校正后的图像进行特征提取，获取各图像中的特征点，再进行特征点匹配，最后从三张图像中均成功匹配的特征点中选取n组特征点；

(3)、根据步骤(1)中各坐标系间转换关系和步骤(2)中选取的n组特征点构造解线性方程组；

设A电子内镜为待标定电子内镜，则构造的解线性方程组为：

其中，[u_b v_b 1]^T和[u_c v_c 1]^T分别为特征点对应已进行初始标定电子内镜B和C对应图像中点的像素点的齐次坐标；R_bc、T_bc和R_ab、T_ab分别为电子内镜C的相机坐标系到B相机坐标系的旋转矩阵、平移量和B相机坐标系到A相机坐标系的旋转矩阵、平移量；[X_b Y_b Z_b]^T和[X_c Y_c Z_c]^T分别为特征点对应B、C相机坐标系中三维坐标；[X_a Y_a Z_a 1]^T、[X_b Y_b Z_b 1]^T和[X_c Y_c Z_c 1]^T分别为A、B、C相机坐标系的点的齐次坐标；

最后再求解该方程组，获取n组特征点在待标定内镜相机坐标系中的三维坐标[X_a1Y_a1 Z_a1]^T......[X_an Y_an Z_an]^T；

(4)、利用n个待标定电子内镜对应图像中特征点的像素坐标[u_a1 v_a1]^T......[u_anv_an]^T和n组特征点在待标定内镜相机坐标系中的三维坐标[X_a1 Y_a1 Z_a1]^T......[X_an Y_anZ_an]^T，结合这两者间的关系构建如下线性方程：

利用最小二乘法求解该线性方程，获取待标定电子内镜的内部参数矩阵，然后利用非线性优化算法，引入畸变系数，对内部参数矩阵进行修正，得到待标定电子内镜的新畸变系数，从而完成待标定电子内镜的自标定。

本发明的发明目的是这样实现的：

本发明一种三目立体内窥镜，可以在正常使用过程中不借助外部标定模板对立体内窥镜标定；具体讲，首先利用标定板对三个内镜相机进行初始标定，获取其对应初始标定参数；其次，在保证两个相机参数不变下，对另外的一个相机进行缩放或聚焦调节，获取调节后三个相机同一时刻拍摄到的三张图像，对三张图像的重合区域进行特征点检测和匹配操作，基于三张图像的特征点匹配结果，通过3D重构求出特征点在指定坐标系中的三维坐标，利用所得特征点三维坐标以及所得特征点在待标定相机对应图像的像素坐标信息，再对待标定相机进行标定，获取待标定相机新的参数。

同时，本发明一种三目立体内窥镜自标定的方法还具有以下有益效果：

(1)、本发明在实际使用过程中，可以实现在线获取内镜标定参数的功能，而不需要将内窥镜从患者体内取出标定。

(2)、本发明引入了初始标定这一操作，而由于初始标定是通过标定参照物来获取的，即其初始标定参数精度可靠，并以获得的内窥镜的初始标定参数作为对参数变化后内镜进行新的标定的基础，故而本发明相对于现有自标定方法结果更为精确。

附图说明

图1是本发明一种三目立体内窥镜结构示意图；

图2是本发明一种三目立体内窥镜镜头分布示意图；

图3是本发明一种三目立体内窥镜的原理框图；

图4是本发明一种三目立体内窥镜的自标定流程图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明一种三目立体内窥镜结构示意图。

在本实施例中，采用三个超眼5mm规格的医用内镜做为三目立体内窥镜的组成原件，其中的成像传感器为CMOS光学传感器。

如图1所示，本发明一种三目立体内窥镜，包括：固定在同一筒状装置的三个独立电子内镜和均匀环绕在三个独立电子内镜周围的多个LED组成的光源，以及一个用于将三目立体内窥镜与电脑相连的USB接口；

如图2所示，三个独立电子内镜的位置相对固定，均匀分布在筒状装置内，三个独立电子内镜的镜头位于筒状装置前端，与多个LED组成的光源共同构成成像单元，三个独立电子内镜的尾部位于筒状装置后端，且每个独立电子内镜的尾部拥有一个独立调节焦距的旋钮，当某一个电子内镜进行缩放或聚焦操作时，则三目立体内窥镜参数发生改变，那么当三目立体内窥镜完成初始标定后，另外两个未调节的电子内镜能够获取图像进行自标定；

如图1所示，图中的1为镜头部分，其由三个独立内镜与光源组成，2、3、4分别为三个电子内镜的焦距调节旋钮；

当患者需要进行内窥检查时，先放入三目立体内窥镜，再通过尾部的旋钮进行聚焦，然后在光源的配合下通过三个电子内镜成像，其成像原理如图3所示，最后通过连接在USB接口上的信号线传送至电脑。

在实际的诊疗过程中，因实时需要改变内镜相机参数，因此，三目立体内窥镜需要在相机参数改变时进行实时自标定，下面对电子内镜进行自标定的方法为：

(1)、三目立体内窥镜初始化

使用前，利用标定模板对三目立体内窥镜进行标定，获取各内镜的初始标定参数矩阵A_a、A_b、A_c和畸变系数向量K₁、K₂、K₃，以及各内镜相机坐标系之间的转换关系[R_ab T_ab]、[R_ac T_ac]、[R_bc T_bc]，在本实施例中，标定模板选用棋盘格标定板；

其中，参数矩阵的通用形式即为：α，β分别为相机在x和y方向上的焦距，γ为倾斜因子，(u₀v₀)为相机光心在像平面投影点在像素坐标系下的像素坐标；K＝[k₁k₂k₃k₄]，k₁，k₂为径向畸变系数，k₃，k₄为离心畸变系数；R为右侧相机坐标系到左侧相机坐标系的旋转矩阵，T为右侧相机坐标系到左侧相机坐标系的平移向量；

其中，畸变系数对应模型为:

x_u-x＝(k₁x(x²+y²)+k₂x(x²+y²)²)+(2k₃xy+k₄(3x²+y²))

y_u-y＝(k₁y(x²+y²)+k₂y(x²+y²)²)+(k₃(x²+3y²)+2k₄xy)

其中，(x_u y_u)和(x y)分别表示理想没有畸变和实际有畸变。

(2)、当某一电子内镜进行缩放或聚焦操作时，先获取参数已知的电子内镜与待标定电子内镜在同一时刻的图像，再利用步骤(1)中所得各内镜的畸变系数k₁，k₂，k₃，k₄对所得图像进行畸变校正，然后对校正后的图像进行特征提取，获取各图像中的特征点，再进行特征点匹配，最后从三张图像中均成功匹配的特征点中选取n组特征点；

在本实施例中，利用尺度不变特征变换算法SIFT，获取待标定电子内镜对应图像a与任意一参数已知电子内镜对应图像b的特征匹配点集X_ab，再次运用SIFT算法分别获取待标定电子内镜对应图像a与另一参数已知电子内镜对应图像c的匹配点集X_ac和参数已知单子内镜对应图像b与参数已知电子内镜对应图像c的匹配点集X_bc，如X_ab、X_ac与X_bc中的某一点是同一点，则判定此点为三张图像的匹配点，即得到了三张图像的匹配点集，匹配点集中匹配点组数n≥3。

(3)、根据步骤(1)中各坐标系间转换关系和步骤(2)中选取的n组特征点构造解线性方程组；

设A电子内镜为待标定电子内镜，则构造的解线性方程组为：

其中，[u_b v_b 1]^T和[u_c v_c 1]^T分别为特征点对应已进行初始标定电子内镜B和C对应图像中点的像素点的齐次坐标；R_bc、T_bc和R_ab、T_ab分别为电子内镜C的相机坐标系到B相机坐标系的旋转矩阵、平移量和B相机坐标系到A相机坐标系的旋转矩阵、平移量；[X_b Y_b Z_b]^T和[X_c Y_c Z_c]^T分别为特征点对应B、C相机坐标系中三维坐标；[X_a Y_a Z_a 1]^T、[X_b Y_b Z_b 1]^T和[X_c Y_c Z_c 1]^T分别为A、B、C相机坐标系的点的齐次坐标；

最后再求解该方程组，获取n组特征点在待标定内镜相机坐标系中的三维坐标[X_a1Y_a1 Z_a1]^T......[X_an Y_an Z_an]^T；

(4)、利用n个待标定电子内镜对应图像中特征点的像素坐标[u_a1 v_a1]^T......[u_anv_an]^T和n组特征点在待标定内镜相机坐标系中的三维坐标[X_a1 Y_a1 Z_a1]^T......[X_an Y_anZ_an]^T，结合这两者间的关系有上述可知，一个匹配点及其对应三维坐标可得到两个线性方程，而存在5个未知参数，即至少需要3个匹配点才能得到一个唯一解，故在对三个内镜单元对应图像实施匹配操作获取的匹配点组数需满足n≥3这一条件。故当有n个匹配点时，即可得到如下等式构建如下线性方程：

利用最小二乘法求解该线性方程，获取待标定电子内镜的内部参数矩阵，然后利用非线性优化算法，引入畸变系数，对内部参数矩阵进行修正，得到待标定电子内镜的新畸变系数，从而完成待标定电子内镜的自标定。

其中，非线性优化算法采用的模型为：

其中，K为畸变系数，A为内部参数矩阵，m_i表示n组特征点中第i个特征点对应待标定电子内镜对应图像的实际像素坐标，M_i为第i个特征点在待匹配内镜相机坐标系中的三维坐标，m(K,A,M_i)为点M_i在待标定电子内镜对应图像中的投影点的像素坐标。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (3)

1.一种三目立体内窥镜自标定的方法，其特征在于，包括以下步骤：

(1)、三目立体内窥镜初始化

使用前，利用标定模板对三目立体内窥镜进行标定，获取各内镜的初始标定参数矩阵A_a、A_b、A_c和畸变系数向量K₁、K₂、K₃，以及各内镜相机坐标系之间的转换关系[R_ab T_ab]、[R_acT_ac]、[R_bc T_bc]；

其中，参数矩阵的通用形式即为：α，β分别为相机在x和y方向上的焦距，γ为倾斜因子，(u₀ v₀)为相机光心在像平面投影点在像素坐标系下的像素坐标；K＝[k₁k₂ k₃ k₄]，k₁，k₂为径向畸变系数，k₃，k₄为离心畸变系数；R为右侧相机坐标系到左侧相机坐标系的旋转矩阵，T为右侧相机坐标系到左侧相机坐标系的平移向量；

(2)、当某一电子内镜进行缩放或聚焦操作时，先获取参数已知的电子内镜与待标定电子内镜在同一时刻的图像，再利用步骤(1)中所得各电子内镜的畸变系数k₁，k₂，k₃，k₄对所得图像进行畸变校正，然后对校正后的图像进行特征提取，获取各图像中的特征点，再进行特征点匹配，最后从三张图像中均成功匹配的特征点中选取n组特征点；

(3)、根据步骤(1)中各坐标系间转换关系和步骤(2)中选取的n组特征点构造解线性方程组；

设A电子内镜为待标定电子内镜，则构造的解线性方程组为：

其中，[u_b v_b 1]^T和[u_c v_c 1]^T分别为特征点对应已进行初始标定电子内镜B和C对应图像中点的像素点的齐次坐标；R_bc、T_bc和R_ab、T_ab分别为电子内镜C的相机坐标系到B相机坐标系的旋转矩阵、平移量和B相机坐标系到A相机坐标系的旋转矩阵、平移量；[X_b Y_b Z_b]^T和[X_cY_c Z_c]^T分别为特征点对应B、C相机坐标系中三维坐标；[X_a Y_a Z_a 1]^T、[X_b Y_b Z_b 1]^T和[X_cY_c Z_c 1]^T分别为A、B、C相机坐标系的点的齐次坐标；

最后再求解该方程组，获取n组特征点在待标定内镜相机坐标系中的三维坐标[X_a1 Y_a1Z_a1]^T......[X_an Y_an Z_an]^T；

(4)、利用n个待标定电子内镜对应图像中特征点的像素坐标[u_a1 v_a1]^T......[u_an v_an]^T和n组特征点在待标定内镜相机坐标系中的三维坐标[X_a1 Y_a1 Z_a1]^T......[X_an Y_an Z_an]^T，结合这两者间的关系构建如下线性方程：

利用最小二乘法求解该线性方程，获取待标定电子内镜的内部参数矩阵，然后利用非线性优化算法，引入畸变系数，对内部参数矩阵进行修正，得到待标定电子内镜的新畸变系数，从而完成待标定电子内镜的自标定；

其中，所述的三目立体内窥镜的结构包括：固定在同一筒状装置的三个独立电子内镜和均匀环绕在三个独立电子内镜周围的多个LED组成的光源，以及一个用于将三目立体内窥镜与电脑相连的USB接口；

所述的三个独立电子内镜的位置相对固定，均匀分布在筒状装置内，三个独立电子内镜的镜头位于筒状装置前端，与多个LED组成的光源共同构成成像单元，三个独立电子内镜的尾部位于筒状装置后端，且每个独立电子内镜的尾部拥有一个独立调节焦距的旋钮，当某一个电子内镜进行缩放或聚焦操作时，则三目立体内窥镜参数发生改变，那么当三目立体内窥镜完成初始标定后，另外两个未调节的电子内镜能够获取图像进行自标定；

当患者需要进行内窥检查时，先放入三目立体内窥镜，再通过尾部的旋钮进行聚焦，然后在光源的配合下通过三个电子内镜成像，最后通过连接在USB接口上的信号线传送至电脑。

2.根据权利要求1所述的一种三目立体内窥镜自标定的方法，其特征在于，所述的步骤(2)中，n的取值满足n≥3。

3.根据权利要求1所述的一种三目立体内窥镜自标定的方法，其特征在于，所述的步骤(4)中，非线性优化算法采用的模型为：

其中，K为畸变系数，A为内部参数矩阵，m_i表示n组特征点中第i个特征点对应待标定电子内镜对应图像的实际像素坐标，M_i为第i个特征点在待匹配内镜相机坐标系中的三维坐标，m(K,A,M_i)为点M_i在待标定相机对应图像中的投影点的像素坐标。