CN101099673A - 采用红外反光球为标志点的手术器械定位方法 - Google Patents

Abstract

本发明涉及一种采用红外反光球为标志点的手术器械定位方法，分别确定左右摄像机的内参数和一阶径向畸变参数，计算出表征左右摄像机相对位置关系的旋转矩阵和平移向量，再用红外光源照射装有3个红外反光球的导航支架，拍摄得到左右两幅包含红外反光球的椭圆影像的图像并进行畸变校正；通过拟合经畸变校正后的左右图像平面的椭圆影像，直接线性地计算出3个红外反光球球心的投影点；对左右图像上的3个球心投影点进行点匹配，再重建出3个红外反光球的球心坐标；最后经坐标变换得到手术器械尖端工作部位的坐标。本发明精确确定出红外反光球球心的投影点，使得手术器械的定位精度不随其位置的改变而不同，同时扩大了手术器械的有效工作范围。

Description

采用红外反光球为标志点的手术器械定位方法

技术领域

本发明涉及一种采用红外反光球为标志点的手术器械定位方法，可应用于手术导航仪中的手术器械跟踪定位***，并可以扩展到所有采用红外反光球为标志点的光学定位***中。本发明属于先进医疗装备与技术领域。

背景技术

到目前为止，外科手术主要依靠医生用肉眼来判断病灶的位置，从而进行手术切除等操作。这种方式的缺点是手术开口大，出血多，术后恢复时间长。随着计算机成像技术、虚拟现实技术以及计算机视觉理论的发展，手术导航***(Surgical Navigation System)越来越受到人们的重视。手术导航***可以给医生提供一个直观、可视化的手术操作平台，使微创手术成为现实，病人的痛苦大大减轻。在西方发达国家，在手术导航***辅佐下的微创手术甚至远程手术逐渐推广。

为了实现手术导航，对手术器械进行准确的跟踪和定位是不可或缺的步骤。加拿大NDI公司生产的导航定位仪是目前国际市场上的主流产品。但由于现有定位算法的缺陷，几乎所有的导航定位设备的有效工作范围都较狭窄，往往无法满足手术过程中任意移动手术器械的要求。目前，人们常用红外反光标志球的椭圆投影中心代替反光球球心的投影点，但这一前提仅仅在手术器械处于摄像机视场中间区域时近似成立。但是，在手术过程中，很有可能需要对手术器械作比较大范围的移动。一旦手术器械偏离摄像机视场的中心区域，定位精度就会降低，那么很有可能导致风险操作甚至医疗事故。目前，常见导航产品通过提示用户超出使用范围来避免风险发生，但这往往造成使用不便。比如，NDI公司就对其产品使用有严格的规定(POLARIS User Manual，http://www.ndigital.com)。同时，现有技术要求尽量减小反光球的直径，但光斑很小时，光斑边界就容易受到图像上各种噪声的干扰，从而产生比较大的误差。

总之，为了扩大导航仪的有效工作范围，需要准确确定出红外反光球的球心投影点，进而确定反光球球心的空间坐标，而不是用反光球椭圆影像的中心代替球心的投影点。因此，一种能够以较小计算代价求取反光球球心投影点的算法具有较高的实用价值。

发明内容

本发明的目的在于针对现有技术的不足，提出一种采用红外反光球为标志点的手术器械定位方法，扩大手术导航***的有效工作范围，提高手术器械的定位精度。

本发明的上述目的是通过下述技术方案实现的：利用单摄像机标定方法，分别确定出左右摄像机的内参数和一阶径向畸变参数，利用立体摄像机标定方法，计算出表征左右摄像机相对位置关系的旋转矩阵和平移向量；用红外光源照射安装有3个不在同一直线上的红外反光球的手术器械导航支架，再利用左右摄像机同时拍摄导航支架，从而得到左右两幅包含3个反光球的椭圆影像的图像；对这两幅图像进行畸变校正，使其不含有畸变信息；在经过畸变校正的左右图像上分别检测出每个反光球椭圆影像的边界，利用边界像素点拟合出椭圆方程，从而在左右图像上分别得到3个椭圆影像的数学表示矩阵；分别求出每个矩阵的对偶矩阵，利用相应的约束关系计算出反光球球心投影点的位置；对左右图像分别得到的3个球心投影点进行点匹配，得到3个点对，再利用它们重建出3个反光球球心的空间坐标；最后进行一系列的坐标变换可以计算出手术器械尖端工作部位的空间方位。

本发明所涉及的定位方法包括以下具体步骤：

(1)摄像机标定：对左右摄像机分别利用单摄像机标定方法，确定出左摄像机的内参数矩阵A_l、左摄像机的一阶径向畸变参数S_l、右摄像机的内参数矩阵A_r、右摄像机的一阶径向畸变参数S_r；利用立体摄像机标定方法，计算出表征左右摄像机相对位置关系的旋转矩阵R₀和平移向量t₀；

(2)畸变校正：用红外光源照射安装有不在同一直线上的三个红外反光球的导航支架，并将左右摄像机放置在导航支架附近，确保该导航支架处在左右摄像机的公共视场范围内；利用左右摄像机同时拍摄导航支架，从而在左摄像机得到一幅包含三个红外反光球的椭圆影像的图像，同时，在右摄像机也得到一幅包含三个红外反光球的椭圆影像的图像；利用左摄像机的一阶径向畸变参数S_l对左边图像进行畸变校正，得到不含有畸变信息的左边图像；同时，利用右摄像机的一阶径向畸变参数S_r对右边图像进行畸变校正，得到不含有畸变信息的右边图像；

(3)边界检测和椭圆拟合：利用canny算子，分别检测出经畸变校正后的两幅图像平面上反光球的椭圆影像的边界，从而在左右两边的图像上分别得到3组由椭圆影像边界像素点的坐标构成的点对；分别利用左边图像的3组点对，拟合出表示左边三个椭圆影像的矩阵C_l1、C_l2、C_l3，再分别利用右边图像的3组点对，拟合出表示右边三个椭圆影像的矩阵C_r1、C_r2、C_r3；

(4)计算球心投影点：分别计算出C_li的对偶矩阵C_li ^*，C_ri的对偶矩阵C_ri ^*，其中i＝1，2，3；

利用下式：

$k_{\mathrm{li}}{C}_{\mathrm{li}}^{*}=A_l{A_l}^T-v_{\mathrm{li}}-{v_{\mathrm{li}}}^T$

$k_{\mathrm{ri}}{C}_{\mathrm{ri}}^{*}=A_r{A_r}^T-v_{\mathrm{ri}}{v_{\mathrm{ri}}}^T,$

求解出k_li、k_ri、v_li、v_ri；其中k_li、k_ri是尺度因子，i＝1，2，3；三维列向量v_li表示与椭圆C_li对应的红外反光球球心在左边图像上的投影点的齐次坐标，三维列向量v_ri表示与椭圆C_ri对应的红外反光球球心在右边图像上的投影点的齐次坐标；从而在左右图像上分别得到三个红外反光球球心的投影点的齐次坐标；

(5)点匹配和重建：对左边图像上的三个球心投影点和右边图像上的三个球心投影点进行点匹配，得到3组对应点；利用左右摄像机的内参数矩阵A_l、A_r以及旋转矩阵R₀和平移向量t₀进行点重建，得到三个红外反光球球心在左边摄像机坐标系下的空间坐标；

(6)坐标转换：在手术器械上安装导航支架时，任意选取2个红外反光球的球心连线作为X轴，第3个红外反光球的球心到X轴的垂线为Y轴，垂点为坐标原点，根据右手法则建立导航支架坐标系，同时确定手术器械尖端工作部位在该坐标系下的坐标；利用得到的三个红外反光球球心在左边摄像机坐标系下的空间坐标，计算出导航支架坐标系与左边摄像机坐标系之间的旋转矩阵R和平移向量t；利用旋转矩阵R和平移向量t，计算出手术器械尖端工作部位在左摄像机坐标系下的坐标，由此完成对手术器械的定位。

与现存的方法相比，本发明精确确定出了红外反光球球心的投影点，使得手术***械的定位精度不随着手术器械的位置改变而不同。同时，手术器械的有效工作范围扩大，对手术操作的动作限制大为减少。本发明可以用于改进现有的导航设备，而且无需更改硬件设置，有利于现有产品的过渡升级。

附图说明

图1为本发明采用红外反光球为标志点的手术器械定位方法的示意图。

图2为导航支架坐标系的建立与坐标转换示意图。

具体实施方式

为了更好地理解本发明的技术方案，下面结合附图和实施例对本发明的实施方式作详细描述。

图1为本发明定位方法的示意图，其中所示为一任意配置的双目立体视觉***。O_lX_lY_lZ_l和O_rX_rY_rZ_r分别为左右摄像机坐标系，o_lu_lv_l和o_ru_rv_r分别为以像素为单位的左右图像坐标系。安装有3个不在同一直线上的红外反光球的导航支架放置在左右摄像机的公共视场范围内。用左右摄像机同时拍摄导航支架，此时在左右图像上分别得到3个椭圆，它们是3个红外反光球在图像上的投影。

下面详细描述本发明方法的实施步骤：

1.对左右摄像机，分别利用单摄像机标定方法(Z.Zhang，Flexible cameracalibration by viewing a plane from unknown orientations，proceedingsof the Fifth International Conference on Computer Vision，1999，pp.666-673)，确定出左边摄像机的内参数矩阵A_l、左边摄像机的一阶径向畸变参数S_l、右边摄像机的内参数矩阵A_r、右边摄像机的一阶径向畸变参数S_r；利用立体摄像机标定方法(Jean-Yves Bouguet，Camera Calibration Toolbox forMatlab，MRL-Intel Incorp.)，计算出表征左右摄像机相对位置关系的旋转矩阵R₀和平移向量t₀。其中，内参数矩阵的形式为

$A_l=\left[\begin{array}{ccc}{\mathrm{\α}}_l& {\mathrm{\γ}}_l& u_{0l}\\ 0& {\mathrm{\β}}_l& v_{0l}\\ 0& 0& 1\end{array}\right],$ $A_r=\left[\begin{array}{ccc}{\mathrm{\α}}_r& {\mathrm{\γ}}_r& u_{0r}\\ 0& {\mathrm{\β}}_r& v_{0r}\\ 0& 0& 1\end{array}\right].$

2.用红外光源照射安装有不在同一直线上的三个红外反光球的导航支架，并将左右摄像机放置在导航支架附近，确保该导航支架处在左右摄像机的公共视场范围内；利用左右摄像机同时拍摄导航支架，从而在左摄像机得到一幅包含三个红外反光球的椭圆影像的图像，同时，在右摄像机也得到一幅包含三个红外反光球的椭圆影像的图像；利用左摄像机的一阶径向畸变参数S_l对左边图像进行畸变校正，得到不含有畸变信息的左边图像，记为π_l；同时，利用右摄像机的一阶径向畸变参数S_r对右边图像进行畸变校正，得到不含有畸变信息的右边图像，记为π_r；

具体的校正过程是：对左边的图像，设某包含畸变信息的图像点在以像素为单位的图像坐标系下的坐标为

其归一化的图像坐标为

它们对应的不含畸变信息的图像点分别记为(u，v)和(x，y)。根据文献(D.C.Brown，Close-range camera calibration，Photogram-metric Engineering，37(8)：855-866，1971)，有

$\hat{x}=x+x\left[S_l(x^2+y^2)\right]$

$\hat{y}=y+y\left[S_l(x^2+y^2)\right]$

利用坐标变换公式

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=A_l\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{ccc}{\mathrm{\α}}_l& {\mathrm{\γ}}_l& u_{0l}\\ 0& {\mathrm{\β}}_l& v_{0l}\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right],$

$\left[\begin{array}{c}\hat{u}\\ \hat{v}\\ 1\end{array}\right]=A_l\left[\begin{array}{c}\hat{x}\\ \hat{y}\\ 1\end{array}\right]=\left[\begin{array}{ccc}{\mathrm{\α}}_l& {\mathrm{\γ}}_l& u_{0l}\\ 0& {\mathrm{\β}}_l& v_{0l}\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}\hat{x}\\ \hat{y}\\ 1\end{array}\right],$ 其中S_l为左边摄像机一阶径向畸变参数，A_l为左摄像机的内参数矩阵，且都已经通过标定确定。

可以得到

$\hat{u}=u+(u-u_{0l})\left[S_l(x^2+y^2)\right]$

$\hat{v}=v+(v-v_{0l})\left[S_l(x^2+y^2)\right]$

由于上面的方程是非线性方程组，为了简化求解过程，上述方程组可近似为(Janne Heikkila，Geometric Camera Calibration Using Circular ControlPoints，IEEE.0n Pattern Analysis and Machine Intelligence，vol.22，no.10，1066-1077)

$u=\hat{u}-(\hat{u}-u_{0l})\left[S_l({\hat{x}}^2+{\hat{y}}^2)\right]$

$v=\hat{v}-(\hat{v}-v_{0l})\left[S_l({\hat{x}}^2+{\hat{y}}^2)\right]$

利用上面两式可以对左边图像上的每一个图像点进行畸变校正，从而得到不含有畸变信息的图像π_l。对于右边的图像，校正方法与左边图像的校正方法完全相同。

3.利用canny算子，分别检测出π_l和π_r两幅图像平面上红外反光球的椭圆影像的边界，从而在左右两边的图像上分别得到3组由椭圆影像边界像素点的坐标构成的点对；分别利用左边图像的3组点对，拟合出表示左边三个椭圆影像的矩阵C_l1、C_l2、C_l3，再分别利用右边图像的3组点对，拟合出表示右边三个椭圆影像的矩阵C_r1、C_r2、C_r3。具体的方法参见(A.W.Fitzgibbon，M.Pilu，and R.B.Fisher，“Direct Least-Squares Fitting of Ellipses”，IEEE Trans.Pattern Analysis and Machine Intelligence，vol.14，no.2，pp.239-256)。

4.分别计算出C_li的对偶矩阵C_li ^*，C_ri的对偶矩阵C_ri ^*，其中i＝1，2，3；

利用下式：

$k_{\mathrm{li}}{C}_{\mathrm{li}}^{*}=A_l{A_l}^T-v_{\mathrm{li}}{v_{\mathrm{li}}}^T$

$k_{\mathrm{ri}}{C}_{\mathrm{ri}}^{*}=A_r{A_r}^T-v_{\mathrm{ri}}{v_{\mathrm{ri}}}^T,$

求解出k_li、k_ri、v_li、v_ri；其中k_li、k_ri是尺度因子，i＝1，2，3；三维列向量v_li表示与椭圆C_li对应的红外反光球球心在左边图像上的投影点的齐次坐标，三维列向量v_ri表示与椭圆C_ri对应的红外反光球球心在右边图像上的投影点的齐次坐标；从而在左右图像上分别得到三个红外反光球球心的投影点的齐次坐标；

具体方法是：计算矩阵A_lA_l ^T和矩阵C_li ^*的广义特征值，则未知尺度因子k_li为它们的二重广义特征值；对A_lA_l ^T-k_liC_li ^*进行特征值分解，设其非零特征值对应的特征向量为β_i，那么 $v_{\mathrm{li}}=\frac{{\mathrm{\β}}_i}{\left|\right|{\mathrm{\β}}_i\left|\right|},$ 从而计算出与椭圆C_li对应的红外反光球球心在左边图像上的投影点的齐次坐标；对右边的图像采用相同的方法处理。

5.点匹配和重建：对左边图像上的三个球心投影点和右边图像上的三个球心投影点进行点匹配，得到3组对应点；利用左右摄像机的内参数矩阵A_l、A_r以及旋转矩阵R₀和平移向量t₀进行点重建，得到三个红外反光球球心在左边摄像机坐标系下的空间坐标；

具体方法是：由于左右摄像机的位置相距较近，且处于导航支架的同一侧，那么左右图像上的3个球心投影点的位置具有相似性。分别在左右图像平面上进行逐行逐列扫描，直接将处在相似位置的左右球心投影点进行匹配。

利用空间点重建方法，在已知两个投影点的图像坐标和左右摄像机的内参数矩阵A_l、A_r以及表示左右摄像机相对位置关系的旋转矩阵R₀和平移向量t₀时，可以重建出球心在左摄像机坐标系下的空间坐标(马颂德、张正友，计算机视觉---计算理论与算法基础，科学出版社，1999)。

(6)在手术器械上安装导航支架时，任意选取2个红外反光球的球心连线作为X轴，第3个红外反光球的球心到X轴的垂线为Y轴，垂点为坐标原点，根据右手法则建立导航支架坐标系；同时确定手术器械尖端工作部位在该坐标系下的坐标；利用得到的三个红外反光球球心在左边摄像机坐标系下的空间坐标，计算出导航支架坐标系与左边摄像机坐标系之间的旋转矩阵R和平移向量t；利用旋转矩阵R和平移向量t，计算出手术器械尖端工作部位在左摄像机坐标系下的坐标，由此完成对手术器械的定位。

图2所示为导航支架坐标系建立及其坐标变换的示意图。不妨选择球心O_A和O_B的连线为X轴，从球心O_C作X轴的垂线，以垂点作为坐标原点，记为O_w，根据右手法则，建立导航支架坐标系O_w-X_wY_wZ_w；通过精确的安装，确定出手术器械尖端工作部位O_D在导航支架坐标系下的坐标，记为α_D＝[X_wD Y_wD Z_wD]^T；设球心O_A、O_B、O_C在左摄像机坐标系下的坐标分别为α_A＝[X_cA Y_cA Z_cA]^T、α_B＝[X_cB Y_cB Z_cB]^T、α_C＝[X_cC  Y_cC  Z_cC]^T；导航支架坐标系O_w-X_wY_wZ_w与左摄像机坐标系O_l-X_lY_lZ_l之间的旋转矩阵为R、平移向量为t；则坐标原点O_w在左摄像机坐标系下的坐标为 ${\mathrm{\α}}_O=\left[\begin{array}{c}{X}_{\mathrm{cO}}\\ Y_{\mathrm{cO}}\\ Z_{\mathrm{cO}}\end{array}\right]=\left[\begin{array}{c}{X}_{\mathrm{cA}}\\ Y_{\mathrm{cA}}\\ Z_{\mathrm{cA}}\end{array}\right]-\mathrm{\λ}(\left[\begin{array}{c}{X}_{\mathrm{cB}}\\ Y_{\mathrm{cB}}\\ Z_{\mathrm{cB}}\end{array}\right]-\left[\begin{array}{c}{X}_{\mathrm{cA}}\\ Y_{\mathrm{cA}}\\ Z_{\mathrm{cA}}\end{array}\right]),$ 其中

$\mathrm{\λ}=\frac{(X_{\mathrm{cB}}-X_{\mathrm{cA}})(X_{\mathrm{cC}}-X_{\mathrm{cA}})+(Y_{\mathrm{cB}}-Y_{\mathrm{cA}})(Y_{\mathrm{cC}}-Y_{\mathrm{cA}})+(Z_{\mathrm{cB}}-Z_{\mathrm{cA}})(Z_{\mathrm{cC}}-Z_{\mathrm{cA}})}{{(X_{\mathrm{cB}}-x_{\mathrm{cA}})}^2+{(Y_{\mathrm{cB}}-Y_{\mathrm{cA}})}^2+{(Z_{\mathrm{cB}}-Z_{\mathrm{cA}})}^2}$

则旋转矩阵 $R=\left[\begin{array}{ccc}\frac{{\mathrm{\α}}_A-{\mathrm{\α}}_O}{\left|\right|{\mathrm{\α}}_A-{\mathrm{\α}}_O\left|\right|}& \frac{{\mathrm{\α}}_C-{\mathrm{\α}}_O}{\left|\right|{\mathrm{\α}}_C-{\mathrm{\α}}_O\left|\right|}& \frac{{\mathrm{\α}}_A-{\mathrm{\α}}_O}{\left|\right|{\mathrm{\α}}_A-{\mathrm{\α}}_O\left|\right|}\×\frac{{\mathrm{\α}}_C-{\mathrm{\α}}_O}{\left|\right|{\mathrm{\α}}_C-{\mathrm{\α}}_O\left|\right|}\end{array}\right]$

平移向量t＝α_A-λ(α_B-α_A)

手术器械的尖端工作部位在左摄像机坐标系O_l-X_lY_lZ_l下的坐标为Rα_D+t，至此，手术器械定位完成。

Claims (1)

1、一种采用红外反光球为标志点的手术器械定位方法，其特征在于包含如下步骤：

(1)摄像机标定：对左右摄像机分别利用单摄像机标定方法，确定出左摄像机的内参数矩阵A_l、左摄像机的一阶径向畸变参数S_l、右摄像机的内参数矩阵A_r、右摄像机的一阶径向畸变参数S_r；利用立体摄像机标定方法，计算出表征左右摄像机相对位置关系的旋转矩阵R₀和平移向量t₀；

(2)畸变校正：用红外光源照射安装有不在同一直线上的三个红外反光球的导航支架，并将左右摄像机放置在导航支架附近，确保该导航支架处在左右摄像机的公共视场范围内；利用左右摄像机同时拍摄导航支架，从而在左摄像机得到一幅包含三个红外反光球的椭圆影像的图像，同时，在右摄像机也得到一幅包含三个红外反光球的椭圆影像的图像；利用左摄像机的一阶径向畸变参数S_l对左边图像进行畸变校正，得到不含有畸变信息的左边图像；同时，利用右摄像机的一阶径向畸变参数S_r对右边图像进行畸变校正，得到不含有畸变信息的右边图像；

(3)边界检测和椭圆拟合：利用canny算子，分别检测出经畸变校正后的两幅图像平面上反光球的椭圆影像的边界，从而在左右两边的图像上分别得到3组由椭圆影像边界像素点的坐标构成的点对；分别利用左边图像的3组点对，拟合出表示左边三个椭圆影像的矩阵C_l1、C_l2、C_l3，再分别利用右边图像的3组点对，拟合出表示右边三个椭圆影像的矩阵C_r1、C_r2、C_r3；

(4)计算球心投影点：分别计算出C_li的对偶矩阵C_li ^*，C_ri的对偶矩阵C_ri ^*，其中i＝1，2，3；

利用下式：

$k_{\mathrm{li}}{C}_{\mathrm{li}}^{*}=A_l{A_l}^T-v_{\mathrm{li}}{v_{\mathrm{li}}}^T$

$k_{\mathrm{ri}}{C}_{\mathrm{ri}}^{*}=A_r{A_r}^T-v_{\mathrm{ri}}{v_{\mathrm{ri}}}^T,$

求解出k_li、k_ri、v_li、v_ri；其中k_li、k_ri是尺度因子，i＝1，2，3；三维列向量v_li表示与椭圆C_li对应的红外反光球球心在左边图像上的投影点的齐次坐标，三维列向量v_ri表示与椭圆C_ri对应的红外反光球球心在右边图像上的投影点的齐次坐标；从而在左右图像上分别得到三个红外反光球球心的投影点的齐次坐标；

(5)点匹配和重建：对左边图像上的三个球心投影点和右边图像上的三个球心投影点进行点匹配，得到3组对应点；利用左右摄像机的内参数矩阵A_l、A_r以及旋转矩阵R₀和平移向量t₀进行点重建，得到三个红外反光球球心在左边摄像机坐标系下的空间坐标；

(6)坐标转换：在手术器械上安装导航支架时，任意选取2个红外反光球的球心连线作为X轴，第3个红外反光球的球心到X轴的垂线为Y轴，垂点为坐标原点，根据右手法则建立导航支架坐标系，同时确定手术器械尖端工作部位在该坐标系下的坐标；利用得到的三个红外反光球球心在左边摄像机坐标系下的空间坐标，计算出导航支架坐标系与左边摄像机坐标系之间的旋转矩阵R和平移向量t；利用旋转矩阵R和平移向量t，计算出手术器械尖端工作部位在左摄像机坐标系下的坐标，由此完成对手术器械的定位。

Images