CN1836624A - 智能内窥镜视觉导航***及方法 - Google Patents

Abstract

本发明涉及一种智能内窥镜视觉导航***及方法。本发明的***包括一台内窥镜、一台镜头偏摆机构和一台自动介入机构，有一台个人计算机分别经一台采集图像控制器、一台镜头偏摆控制器和一台自动介入控制器连接所述的内窥镜、镜头偏摆机构和自动介入机构，将采集的图像信号经处理后显示，并控制镜头偏摆和自动介入，还将调整后的肠道图像显示出来。本发明提供的***组成简单，自动手动多功能切换，便于使用；其操作方法，速度快，精度高，能满足实时性需要。

Description

智能内窥镜视觉导航***及方法

技术领域

本发明涉及一种内窥镜导航***和方法，尤其涉及一种基于计算机视觉的智能内窥镜视觉导航***和方法。

背景技术

微创及无创外科技术是当代临床医学最主要的发展趋势之一，它可大大提高手术质量，减轻病人痛苦，缩短康复时间，成为国际上的一个研究热点。传统的内窥镜诊疗术是微创外科的重要手段，其典型器材是内窥纤维镜和导管等，它们对病灶的诊断和治疗有极其重要的作用。

在传统的场道内窥镜检查中，医生注视着一个监视器，其上显示着由场道内窥镜头部传来的实时图像。当医生把肠道内窥镜推入肠道时，他会通过转动肠道内窥镜的末端来调整角度使内窥镜的头部对准肠道。只有内窥镜的头部正对腔道时，内窥镜才能顺利地进入肠道。如果内窥镜头部没有对准腔道，就会被医生推到肠道的内壁上。由于医生调整内窥镜会增加内窥镜在患者身体的时间以及患者的疼痛。所以人们试图借助工具来使肠道内窥镜更顺利的介入。计算机视觉就是其中一种重要的方法。

目前基于计算机视觉的内窥镜导航是智能内窥镜发展的热点。英国的DuncanGillies在Olympus公司的资助下最早进行内窥镜视觉导航的研究，在Gillies的研究中，他采用四叉搜索的方法，为了弥补导航的精度，他使用纹理分析和三维重建的方法辅助，这样造成运算量巨大，在Gillies的论文中，使用的是小型计算机进行计算处理；新加坡南洋理工大学在进行全自动内窥镜自主机器人的研究中使用了视觉导航的方法，采用蠕动式机器人作为内窥镜本体，视觉导航方法是采用简单阈值分割求暗区的方法，为了弥补精度，他们对内窥镜进行改造，在内窥镜本体上安装力觉传感器辅助视觉导航；日本东京大学在肠道内窥镜图像重建方面进行了视觉导航理论的研究，在论文中使用matlab进行仿真。虽然国内外已经对内窥镜视觉导航进行了大量的研究，但是在视觉导航的精度和速度上还存在很大的不足。

值得在此提出的是上海大学于2003年4月22日申请并已获授权的实用新型专利ZL03230587.7《软管推进机构》及于2003年7月8日申请并获授权的实用新型专利ZL03255385.4《内窥镜自动避障装置》，分别披露了内窥镜软管自动介入机构，以及由内窥镜本体与一个镜头偏摆执行机构相插配而控制软管末端镜头偏摆的自动避障装置，为内窥镜视觉导航提供了有效的***组成部件。

发明内容

本发明的目的，在于提供一种智能内窥镜视觉导航***和方法，利用自适应阈值图像分割加速算法提高视觉导航的精度和速度。

为了达到上述发明目的，本发明采用下述技术方案：

一种智能内窥镜视觉导航***，包括一台内窥镜、一台镜头偏摆机构和一台自动介入机构，其特征在于有一台个人计算机分别经一台采集图像控制器、一台镜头偏摆控制器和一台自动介入控制器连接所述的内窥镜、镜头偏摆机构和自动介入机构；所述的内窥镜的软管经自动介入机构夹持自动推进而其末端的镜头进入人体肠道；所述的采集控制器调节由内窥镜目镜采集的肠道内部图像的质量，并把图像传递到计算机；所述的镜头偏摆控制器接收个人计算机传递过来的信号，发送控制指令到镜头偏摆机构去控制避障偏摆；并检测镜头偏摆机构的状态，反馈给个人计算机；所述的自动介入控制器接收个人计算机传递来的信号，发送控制指令到自动介入机构推进内窥镜软管，并检测自动介入机构的状态，反馈给个人计算机；所述的个人计算机将采集图像控制器来的采集图像信号经处理后显示、并向镜头偏摆控制器和自动介入控制器发送指令，同时接收镜头偏摆控制器和自动介入控制器传回的反馈信息，将调整后的肠道图像显示出来。

一种智能内窥镜视觉导航方法，采用上述的智能内窥镜视觉导航***进行导航操作，其特征在于其导航操作包在下步骤：

(1)设置采集图像参数：在操作开始前，首先要设置图像采集参数，使用个人计算机内装的软件设置采集图像的区域；

(2)初始化设备：自动介入控制器和镜头偏摆控制器在开机后进行自检，初始化；

(3)采集图像信号：内窥镜图像通过安装在内窥镜目镜处的CCD传到采集图像控制器，并传递到个人计算机内；

(4)计算机内窥镜头部偏摆方向：安装在个人计算机的软件采用暗区提取方法，提取图像中肠道的方向，并根据内窥镜头部偏摆角度公式求出内窥镜头部偏摆的方向；

(5)控制内窥镜的头部偏摆：个人计算机把计算出的内窥镜头部偏摆的方向传递到镜头偏摆控制器，由其控制镜头偏摆机构进行内窥镜头部的偏摆；

(6)实现内窥镜的自动送进：个人计算机在调整内窥镜头部偏摆的同时，发信号至自动介入控制器，自动介入控制器控制自动介入机构，执行内窥镜的末端带镜头的软管送进命令；

(7)显示内窥镜的状态：个人计算机把采集的内窥镜图像和各个控制器的状态显示在屏幕上。

在上述的步骤中，所述的暗区提取方法为一种基于最大类间方差法的自适应阈值图像分割加速算法。

在上述的步骤中，所述的内窥镜头部偏摆角度θ的公式为：

$\mathrm{\θ}=\arctan (r_q\×l_c\×\frac{A_b}{A_c})$

其中A_b为暗区的面积，A_c为面积常数，l_c为距离常数，r_q为暗区中心偏心距离。

本发明由于采用了以上技术，使其与现有技术相比，具有以下明显的优点和特点：

1.本发明不需要对内窥镜镜体进行改造，所有设备均为外置，整个***组成简单，自动手动多功能切换，便于使用。

2.本发明使用的视觉导航算法为一种基于最大类间方差法的自适应阈值图像分割加速算法，该方法速度快，精度高，能满足实时性需要，并且该方法还可以用于移动机器人、管道机器人等的导航。

附图说明

图1是本发明一个实施例的***结构示意图。

图2是本发明所使用的自适应阈值图像分割加速算法的算法流程图。

图3是图1示例中镜头偏摆机构的结构示意图。

图4是图1示例中自动介入机构的结构示意图。

图5是本发明的实物照片。

图6是本发明在动物肠道模型中的***状态显示图。

图7是图1示例中镜头偏摆控制器的电路图。

图8是图1示例中自动介入控制器的电路图。

具体实施方式

本发明的一个优选实例结合附图说明如下：

请参见图1，本内窥镜视觉导航***，包括一台采集图像控制器2、一台个人计算机1、一台自动介入机构7、一个内窥镜6和一个镜头偏摆机构5。采集图像控制器2从内窥镜6头部的CCD采集场道内部图像，把图像传递到个人计算机1内；个人计算机1内装有视觉导航算法和显示内窥镜状态的软件，该软件采用暗区提取方法，提取图像中肠道的方向，并根据公式求出内窥镜头部偏摆的方向；个人计算机1把计算出的内窥镜头部偏摆的方向传递到镜头偏摆控制器3，由控制器控制镜头偏摆机构进行内窥镜头部的偏摆；个人计算机1在调整内窥镜头部偏摆的同时，发信号至自动介入控制器4，自动介入控制器4控制自动介入机构7，执行内窥镜镜头的送进命令；个人计算机1把采集的内窥镜图像和各个控制器的状态通过软件显示在屏幕上。

本实施例中的内窥镜6和镜头偏摆机构5采用中国实用新型专利ZL03230587.7中的内窥镜本体和镜头偏摆机构(如图3所示)。而采用如图7所示电路图的镜大偏摆控制器3。

本实施例中的自动介入机构7采用中国实用新型专利ZL03255385.4中的内窥镜软管自动介入机构(如图4所示)。而采用如图8所示电路图的自动介入控制器4。

本实施例的智能内窥镜视觉导航方法，采用上述的智能内窥镜视觉导航***操作，其步骤如下：

(1)设置采集图像参数：在操作开始前，首先要设置图像采集参数，使用个人计算机1内装的软件设置采集图像的区域；

(2)初始化设备：自动介入控制器4和镜头偏摆控制器3在开机后进行自检，初始化；

(3)采集图像信号：内窥镜图像通过安装在内窥镜6头部的CCD传到采集图像控制器2，并传递到个人计算机1内；

(4)计算机内窥镜头部偏摆方向：安装在个人计算机1的软件采用暗区提取方法，提取图像中肠道的方向，并根据内窥镜头部偏摆角度公式求出内窥镜头部偏摆的方向；

(5)控制内窥镜的头部偏摆：个人计算机1把计算出的内窥镜头部偏摆的方向传递到镜头偏摆控制器3，由镜头偏摆控制器3控制镜头偏摆机构5进行内窥镜头部的偏摆；

(6)实现内窥镜的自动送进：个人计算机(1)在调整内窥镜头部偏摆的同时，发信号至自动介入控制器4，自动介入控制器4控制自动介入机构7，执行内窥镜镜头的送进命令；

(7)显示内窥镜的状态：个人计算机1把采集的内窥镜图像和各个控制器的状态显示在屏幕上。

本实施例中的计算机采用的暗区提取方法为一种基于最大类间方差法的自适应阈值图像分割加速算法。

设一幅图像的灰度值为1～m级，灰度值i的象素数为n，此时我们得到的总象素数：

$N=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{n}_i$

各灰度值的概率为：

$p_i=\frac{n_i}{N}$

然后用k将其分成两组C₀＝{1～K}和C₁＝{k+1～m}，各组产生的概率如下：

C₀产生的概率： ${\mathrm{\ω}}_0=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{p}_i=\mathrm{\ω}\left(k\right)$

C₁产生的概率： ${\mathrm{\ω}}_1=\underset{i=k+1}{\overset{m}{\mathrm{\Σ}}}{p}_i=i-\mathrm{\ω}\left(k\right)$

C₀的平均值： ${\mathrm{\μ}}_0=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\frac{{\mathrm{ip}}_i}{{\mathrm{\ω}}_0}=\frac{\mathrm{\μ}\left(k\right)}{\mathrm{\ω}\left(k\right)}$

C₁的平均值： ${\mathrm{\μ}}_1=\underset{i=k+1}{\overset{m}{\mathrm{\Σ}}}\frac{{\mathrm{ip}}_i}{{\mathrm{\ω}}_1}=\frac{\mathrm{\μ}-\mathrm{\μ}\left(k\right)}{1-\mathrm{\ω}\left(k\right)}$

其中， $\mathrm{\μ}=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{ip}}_i$ 是整体图像的灰度平均值； $\mathrm{\μ}\left(k\right)=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{\mathrm{ip}}_i$ 是阈值为k时的灰度平均值，

所以全部采样的灰度平均值为：

两组间的方差用下式求出：

${\mathrm{\σ}}^2\left(k\right)={\mathrm{\ω}}_0{({\mathrm{\μ}}_0-\mathrm{\μ})}^2+{\mathrm{\ω}}_1{({\mathrm{\μ}}_1-\mathrm{\μ})}^2={\mathrm{\ω}}_0{\mathrm{\ω}}_1{({\mathrm{\μ}}_1-{\mathrm{\μ}}_2)}^2=\frac{{[\mathrm{\μ\ω}\left(k\right)-\mathrm{\μ}\left(k\right)]}^2}{\mathrm{\ω}\left(k\right)[1-\mathrm{\ω}\left(k\right)]}$

于是得：

$k^{*}=\arg \underset{k}{\max }{\mathrm{\σ}}^2\left(k\right)$

k^*值为所求的阈值

根据内窥镜图像，我们可以看到理想的内窥镜图像是由从近到远的肠壁肌肉和内圈的暗区组成的，这样的内窥镜图像的灰度直方图是明显的双峰图。其中低数值峰为暗区峰，两峰之间的低谷就是我们所求的阈值k。但是由于内窥镜的头部未能一直对准腔道，所以有时内窥镜图像的直方图双峰不是很明显。我们根据内窥镜图像的特点来对自适应分割算法进行加速。

(1)采集的内窥镜图像是内窥镜在介入过程中运动图像序列中的一帧，t时刻采集的内窥镜图像可以用f(t)来表示，t时刻内窥镜图像分割的阈值表示为k_t，由于采集卡采集速度快，因此我们可以利用上下帧的连贯性来加速分割算法：对于t₁时刻的内窥镜图像f(t₁)，如果它的前帧t₀时刻应用分割算法求得的暗区中心点C，在t₁时刻的灰度值仍处于经k₀分割f(t₁)出的区域中，并且此时用k₀分割f(t₁)得到的方差σ²(k₀)和k₀分割f(t₀)得到的最大方差σ²(k₀)相差小于ε，即：

$\left\{\begin{array}{c}H\left(C_{t_1}\right)>k_{t_0}\\ |{\mathrm{\&sigma;}}_{f\left(t_0\right)}^2\left(k_{t_0}\right)-{\mathrm{\&sigma;}}_{f\left(t_1\right)}^2\left(k_{t_0}\right)|<\mathrm{\&epsiv;}\end{array}\right.$

这时可以认为C仍在暗区之内，采用四叉邻域搜索算法可以将暗区准确的搜索出来。

(2)缩小阈值范围进行加速，根据内窥镜图像，可以为暗区和非暗区设定一个阈值粗略的范围δ，在进行最大类间方差分割算法的时候，设置k在δ之间，可以加速分割算法的速度。

算法流程图如图2所示。具体流程如下：

1)采集内窥镜图像；

2)图像预处理；

3)设置阈值范围δ；

4)最大类间方差法求阈值k；

5)判断是否和前一帧k₀相差超过ε，如果小于就跳到(7)；

6)阈值法分割图像；

7)四叉邻域搜索算法求暗区；

根据自适应阈值图像分割法把内窥镜图像分割后，得到暗区的像素集合，然后通过质心公式，

$x_q=\frac{1}{x_2-x_1}\underset{i=x_1}{\overset{x_2}{\mathrm{\&Sigma;}}}{x}_i,y_q=\frac{1}{y_2-y_1}\underset{i=y_1}{\overset{y_2}{\mathrm{\&Sigma;}}}{y}_i$

对于内窥镜暗区的三维位置，仅靠暗区中心位置还不能得出其三维位置，我们分析内窥镜介入肠道的三维模型，可以得出：当肠道的腔道笔直或弯曲比较平缓的时候，暗区的面积变化较小；当肠道的腔道弯曲比较大的时候，暗区的面积随着内窥镜头部距离近而变大。根据以上结论，我们总结出以下偏摆角度θ计算公式：

$\mathrm{\&theta;}=\arctan (r_q\&times;l_c\&times;\frac{A_b}{A_c})$

其中A_b为暗区的面积，A_c为面积常数，l_c为距离常数，r_q为暗区中心偏心距离。***实物图如图5所示。

图6所示的肠道模型中视觉导航结果，白色十字架的中心为暗区中心。

Claims (2)

1.一种智能内窥镜视觉导航***，包括一台内窥镜(6)、一台镜头偏摆机构(5)和一台自动介入机构(7)，其特征在于有一台个人计算机(1)分别经一台采集图像控制器(2)、一台镜头偏摆控制器(3)和一台自动介入控制器(4)连接所述的内窥镜(6)、镜头偏摆机构(5)和自动介入机构(7)；所述的内窥镜(6)的软管经自动介入机构(7)夹持自动推进而其末端的镜头进入人体肠道(8)；所述的采集控制器(2)调节由内窥镜(6)目镜采集的肠道内部图像的质量，并把图像传递到计算机(1)；所述的镜头偏摆控制器(3)接收个人计算机(1)传递过来的信号，发送控制指令到镜头偏摆机构(5)去控制避障偏摆；并检测镜头偏摆机构(5)的状态，反馈给个人计算机(1)；所述的自动介入控制器(4)接收个人计算机(1)传递来的信号，发送控制指令到自动介入机构(7)推进内窥镜软管，并检测自动介入机构(7)的状态，反馈给个人计算机(1)；所述的个人计算机将采集图像控制器(2)来的采集图像信号经处理后显示、并向镜头偏摆控制器(3)和自动介入控制器(4)发送指令，同时接收镜头偏摆控制器(3)和自动介入控制器(4)传回的反馈信息，将调整后的肠道图像显示出来。

2.一种智能内窥镜视觉导航方法，采用权利要求1所述的智能内窥镜视觉导航***进行导航操作，其特征在于其导航操作包在下步骤：

a)设置采集图像参数：在操作开始前，首先要设置图像采集参数，使用个人计算机(1)内装的软件设置采集图像的区域；

b)初始化设备：自动介入控制器(4)和镜头偏摆控制器(3)在开机后进行自检，初始化；

c)采集图像信号：内窥镜图像通过安装在内窥镜(6)目镜处的CCD传到采集图像控制器(2)，并传递到个人计算机(1)内；

d)计算机内窥镜头部偏摆方向：安装在个人计算机(1)的软件采用暗区提取方法，提取图像中肠道的方向，并根据内窥镜头部偏摆角度公式求出内窥镜头部偏摆的方向；

e)控制内窥镜的头部偏摆：个人计算机(1)把计算出的内窥镜头部偏摆的方向传递到镜头偏摆控制器(3)，由其控制镜头偏摆机构(5)进行内窥镜(6)头部的偏摆；

f)实现内窥镜的自动送进：个人计算机(1)在调整内窥镜头部偏摆的同时，发信号至自动介入控制器(4)，自动介入控制器(4)控制自动介入机构(7)，执行内窥镜(6)的末端带镜头的软管送进命令；

g)显示内窥镜的状态：个人计算机(1)把采集的内窥镜图像和各个控制器的状态显示在屏幕上。

根据权利要求2所述的智能内窥镜视觉导航方法，其特征在于：所述的步骤(4)中所述的暗区提取方法为一种基于最大类间方差法的自适应阈值图像分割加速算法。

根据权利要求3所述的智能内窥镜视觉导航方法，其特征在于：步骤(4)中所述的内窥镜头部偏摆角度θ的公式为：

$\mathrm{\&theta;}=\arctan (r_q\&times;l_c\&times;\frac{A_b}{A_c})$

其中A_b为暗区的面积，A_c为面积常数，l_c为距离常数，r_q为暗区中心偏心距离。

Images