CN110599501B - 一种胃肠结构的真实尺度三维重建及可视化方法 - Google Patents

Abstract

本发明公开了一种胃肠结构的真实尺度三维重建及可视化方法，涉及三维重建与测量技术领域，能够通过胶囊机器人的位姿检测获得相机的实际位姿信息来确定三维模型中的相对尺度信息的转换系数，包括如下步骤：实时检测胶囊机器人位姿信息。获取相机采集的连续N帧胃肠内部图像。取其中图像I₁和I₂，通过光流法估计胃共有褶皱集S₀，重建出I₁和I₂的三维局部肠模型C₁和C₂；将图像I₁和I₂中相同的褶皱点标记为相同的ID。在三维局部肠模型C₁和C₂中取对应于图像I₁和I₂中标记为同一ID的三维褶皱点集分别放入集合S₁和S₂，对两个集合S₁和S₂进行配准计算，估计出三维局部肠模型C₁和C₂的运动变换矩阵M和缩放比例K。三维局部肠模型的尺度信息为K₁：K₁＝K^‑1·p₂·(p₁)^‑1·M^‑1。

Description

一种胃肠结构的真实尺度三维重建及可视化方法

技术领域

本发明涉及三维重建与测量技术领域，具体涉及一种胃肠结构的真实尺度三维重建及可视化方法。

背景技术

基于单目相机的胃肠三维重建是指利用图像处理技术提取胃肠组织中孔腔区域信息和褶皱纹理信息，并通过单帧图像中轮廓灰度值与深度信息间的关系求出褶皱轮廓的三维点集，再将点集进行平滑曲面拟合处理形成局部三维结构。然后通过相邻帧图像间的共有褶皱纹理，将重建的局部三维结构变换到全局空间中，得到完整的胃肠三维重建结构，这可用于为胶囊机器人的运动控制和路径规划提供外部环境信息。

但是，通过单目相机采集的图像只能重建出胃肠三维结构的相对尺度信息，而要进行胶囊机器人的路径规划则需要提供胃肠三维模型的绝对尺度信息，因此需要把真实的尺度信息与三维模型的相对尺度信息联系起来。

传统的三维测量需要手工测量选中的某一褶皱轮廓的真实特征信息，如褶皱的直径、周长等，然后再根据重建的三维模型中相对应的同一褶皱相对特征信息来确定转换系数。

但是在实际中，由于无法直接测量人体胃肠的尺寸信息，因此需要一种间接的方法来确定真实的尺度信息。

目前尚未有一种方法能够在不必进行人体胃肠尺寸直接测量的基础上，间接确定人体胃肠真实尺度信息。

发明内容

有鉴于此，本发明提供了一种胃肠结构的真实尺度三维重建及可视化方法，能够通过胶囊机器人的位姿检测提供相机的实际位姿信息来确定三维模型中的相对尺度信息的转换系数，从而进一步实现对胃肠结构的真实尺度的三维重建和可视化。

为达到上述目的，本发明的技术方案为：一种胃肠结构的真实尺度三维重建方法，该方法通过位于胃肠内的胶囊机器人获取胃肠内部图像，其中胶囊机器人上固连用于实时采集胃肠内部图像的相机，该方法包括如下步骤：

实时检测胶囊机器人位姿信息，作为相机的位姿信息。

获取相机采集的t₁时刻至t₂时刻之间的连续N帧胃肠内部图像，胃肠内部图像为包含有胃肠孔腔信息的图像。

取其中一帧胃肠内部图像为参考图像I₁，取另一帧胃肠内部图像I₂，通过光流法估计胃肠内部图像I₁和I₂的共有褶皱集S₀，其中S₀为非空集合。将图像I₁和I₂中相同的褶皱点标记为相同的唯一编码ID。

利用图像I₁中的二维褶皱信息通过相机的成像投影模型进行反向映射重建出I₁的三维局部肠模型C₁，同时利用图像I₂重建出I₂的三维局部肠模型C₂；

在三维局部肠模型C₁和C₂中取对应于图像I₁和I₂中标记为同一唯一编码ID的三维褶皱点集分别放入两个集合S₁和S₂，对两个集合S₁和S₂进行配准计算，估计出三维局部肠模型C₁和C₂的运动变换矩阵M和缩放比例K。

三维局部肠模型的尺度信息为K₁：K₁＝K^-1·p₂·(p₁)^-1·M^-1；其中p₁为胃肠内部图像I₁对应的相机实时位姿信息，p₂为胃肠内部图像I₂对应的相机实时位姿信息。

进一步地，获取相机采集的t₁时刻至t₂时刻之间的连续N帧胃肠内部图像，胃肠内部图像为包含有胃肠孔腔信息的图像，具体为：

相机连续采集图像存储到内存缓存中。

顺次选取内存缓存中各帧图像作为参考帧，执行孔腔区域提取处理过程以提取孔腔区域，若参考帧提取到的孔腔区域不为空，则参考帧记录为胃肠内部图像，否则删除参考帧，直至获得连续的N帧胃肠内部图像。

孔腔区域提取处理过程包括如下步骤：

对参考帧进行高斯滤波去除噪声，然后进行区域分割，遍历参考帧的整个图像区域，利用已知的孔腔在图像表达中具有的灰度特征和形态特征，提取出孔腔区域。

进一步地，取其中一帧胃肠内部图像为参考图像I₁，取另一帧胃肠内部图像I₂，通过光流法估计胃肠内部图像I₁和I₂的共有褶皱集S₀，其中S₀为非空集合，具体为：

选取t₁时刻的胃肠内部图像作为参考图像I₁。

选取t₂时刻的胃肠内部图像作为I₂₀，采用光流法估计I₁和I₂₀之间的共有褶皱集S’₀。

若S’₀为非空，则以I₂₀作为I₂，以S’₀作为S₀。

若S’₀为空，以图像I₂₀位置处向前依次查找n帧图像I’₁～I’_n，其中n＜N，并计算图像I₂₀与图像I’_i的光流信息，i遍历1～n，直至找到与图像I₂₀存在共有褶皱信息的图像I’_j，j为[1，n]中正整数，以图像I₂₀与图像I’_j共有褶皱集作为S₀，以图像I’_j作为I₂。

进一步地，获取相机采集的t₁时刻至t₂时刻之间的连续N帧胃肠内部图像之后，取其中一帧胃肠内部图像为参考图像I₁，取另一帧胃肠内部图像I₂，通过光流法估计胃肠内部图像I₁和I₂的共有褶皱集S₀之前，还包括胃肠内部图像褶皱轮廓提取过程。

胃肠图像褶皱轮廓提取过程包括如下步骤：

对一帧胃肠内部图像采用Canny边缘检测算法得到的褶皱轮廓的非连续轮廓线，进行形态学处理后放入到褶皱轮廓集合A中；对集合A中轮廓线进行平滑拟合连接：

平滑拟合连接具体过程包括：在集合A中，找到端点距离最小的两段轮廓线，然后计算两端点分别与胃肠内部图像的孔腔区域中心点连接所形成的夹角C、两端点连线分别与两段轮廓线选定端点的切线形成的夹角D和夹角E，如果夹角C角度小于第一设定角度，并且夹角D和夹角E同时小于第二设定角度，则两段轮廓线属于同一褶皱，并将这两个端点进行平滑连接形成一段组合轮廓线，判断组合轮廓线是否是闭合曲线，如是，则作为闭合轮廓放入闭合轮廓集合B中，并将组成组合轮廓线的轮廓线从集合A中删除。

重复执行平滑拟合连接，直至集合A中不存在属于同一褶皱的轮廓线；

若集合A非空，则依次在集合A中选取轮廓线l₀，同时在集合B中搜索距离轮廓线l₀平均距离最近的闭合轮廓l_n，然后以连接l₀的两个端点形成的直线l′分割闭合轮廓l_n，得到两段分割轮廓l_n1和l_n2，其中l_n1与l₀都在直线l′的同一侧，计算l′与l₀形成的闭合轮廓面积S₁，以及l_n1与l₀所形成的闭合轮廓面积S₂，计算比例系数μ＝S₁/S₂，并按照系数μ的比例对闭合轮廓l_n进行缩放得到缩放后的轮廓l′_n，由直线l′分割l′_n得到两段缩放后的分割轮廓l′_n1和l′_n2，将l′_n2与l₀进行拟合连接从而得到l₀的闭合轮廓，并放入闭合轮廓集合B中。

最终集合B中所有的闭合轮廓即为胃肠内部图像褶皱轮廓。

进一步地，通过光流法估计胃肠内部图像I₁和I₂的共有褶皱集S₀，共有褶皱集S₀为图像I₁和I₂的共有褶皱的闭合轮廓线上像素点的点集。

进一步地，利用图像I₁中的二维褶皱信息通过相机的成像投影模型进行反向映射重建出I₁的三维局部肠模型C₁，同时利用图像I₂重建出I₂的三维局部肠模型C₂，包括：

对相机进行标定得到内参矩阵，并进一步建立相机的成像映射模型；

针对图像I₁中的像素点u，根据朗伯Lambertian反射定理计算像素点u的深度信息d_u；

其中C为常量，FOV为相机的视场角，r_u为像素点u与图像I₁中心点的欧式距离，R为r_u最大值，w_u是像素点u与图像I₁法线方向上固定区域内最亮非高亮反射点的归一化距离；h_u为像素点u所在褶皱轮廓的归一化高度；i_u为像素点u的灰度值；

通过反向映射将像素点u转化成三维空间向量

根据像素点u的深度信息d_u，结合公式(1)得到像素点u的三维信息(x(v_u)，y(v_u)，z(v_u))；

其中，(x(u)，y(u))分别为像素点u在图像I₁中的二维坐标；δ_u为反向映射向量

与Z轴夹角。

本发明实施例还提供了一种胃肠结构的真实尺度三维重建及可视化方法，采用如上任一方法获取的三维局部肠模型以及尺度信息，基于尺度信息进行胃肠结构的三维可视化渲染，包括：

将胃肠内部图像根据其中的二维褶皱信息通过相机的成像投影模型进行反向映射重建出三维局部肠模型之后，集合B中的闭合轮廓映射为三维闭合褶皱轮廓。

则对于每个三维闭合褶皱轮廓L′_n，从世界坐标系上Z轴方向取轮廓L′_n上z值最大的点为p′_n0，然后按顺时针360°方向在轮廓L′_n上均匀取N个点，最后的点记为p′_n(N-1)；相邻褶皱间取出相对应的两个点p′_(i-1)j和p′_ij，j为第i个三维闭合褶皱轮廓上的第j个点，利用点p′_ij和第i个三维闭合褶皱轮廓的中心点O_i组成向量

再根据第i-1个三维闭合褶皱轮廓上的第j个点p′_(i-1)j和第i+1个三维闭合褶皱轮廓上第j个点p′_(i+1)j组成的向量

则肠壁上的端点p_i1为

其中H_i，W_i分别为第i个三维闭合褶皱轮廓的高度和宽度；

根据肠壁曲面的两个端点p′_ij和p_i1，求解贝塞尔插值曲线函数控制点，进一步计算两个端点p′_ij和p_i1间的贝塞尔插值曲面函数，从而得到第i个三维闭合褶皱轮廓间的肠壁点集；

求解所有三维闭合褶皱轮廓间的肠壁点集，组成胃肠三维结构的完整点集信息并进行可视化渲染。

有益效果：

本发明提供的一种胃肠结构的真实尺度三维重建及可视化方法，该方法首先提取胃肠褶皱轮廓边缘特征，通过相机成像投影模型将二维褶皱特征反向映射到三维空间，进一步找出具有共有褶皱的下一帧图像，对两帧图像重建的局部三维结构进行配准计算出运动变换矩阵，并利用变换矩阵将局部结构转换到全局坐标系来完成完整模型的重建；同时，将从位姿检测装置读取到的这两帧图像采集时刻的相机实际位姿信息与估计的相对位姿信息进行比较，得到重建三维结构的比例信息K₁，从而计算出重建胃肠三维模型的真实尺度信息。该方法是一种无需进行人体胃肠尺寸直接测量，可间接确认人体胃肠真实尺度信息的方法，从而为胃肠结构的三维重建和可视化提供了真实尺度信息，使得三维重建和可视化效果更佳接近真实胃肠结构。

附图说明

图1为本发明实施例提供的一种胃肠结构的真实尺度三维重建及可视化方法流程图；

图2为本发明实施例中提供的利用相机的成像投影模型进行反向映射的原理图；

图3为本发明实施例中将二维闭合褶皱通过平面投影构建对应的重建三维褶皱点集原理图；

图4为本发明实施例中相邻褶皱间求取贝塞尔曲线端点过程的示意图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明提供了一种胃肠结构的真实尺度三维重建方法，该方法通过位于胃肠内的胶囊机器人获取胃肠内部图像，其中胶囊机器人上固连用于实时采集胃肠内部图像的相机，如图1所示，该方法包括如下步骤：

步骤1、实时检测胶囊机器人位姿信息，作为相机的位姿信息。

具体实施过程中，可以采用主动胶囊机器人***进行胶囊机器人位姿信息的检测。由于相机固连在胶囊机器人上，因此通过胶囊机器人位姿信息可获得相机的位姿信息。

步骤2、获取相机采集的t₁时刻至t₂时刻之间的连续N帧胃肠内部图像，胃肠内部图像中应当包含有胃肠孔腔信息的图像。

本发明实施例中，相机是连续地进行图像采集，并将连续采集图像存储到内存缓存中，在之后的步骤中，只有包含胃肠孔腔信息的图像才能够用于胃肠结构的三维重建，因此本步骤中在获取到实时图像之后，还需要对图像进行处理和判别，以便能够正确获取包含胃肠孔腔信息的图像，具体流程如下：

顺次选取内存缓存中各帧图像作为参考帧，执行孔腔区域提取处理过程以提取孔腔区域，若参考帧提取到的孔腔区域不为空，则参考帧记录为胃肠内部图像，否则删除参考帧，直至获得连续的N帧胃肠内部图像；

其中孔腔区域提取处理过程包括如下步骤：

对参考帧进行高斯滤波去除噪声，然后进行区域分割，本发明实施例中可以利用设定尺寸的(3*3)的子块区域计算中心点灰度，如果两相邻子块中心灰度差值小于设定的阈值，则将两子块合并在一起，遍历参考帧的整个图像区域，利用已知的孔腔在图像表达中具有的灰度特征和形态特征，提取出孔腔区域。

在步骤2执行完成之后，步骤3执行之前，还需要进行胃肠内部图像褶皱轮廓的提取，包括如下步骤：

对一帧胃肠内部图像采用Canny边缘检测算法得到的褶皱轮廓的非连续轮廓线，进行形态学处理后放入到褶皱轮廓集合A中；对集合A中轮廓线进行平滑拟合连接：

平滑拟合连接具体过程包括：在集合A中，找到端点距离最小的两段轮廓线，然后计算两端点分别与胃肠内部图像的孔腔区域中心点连接所形成的夹角C、两端点连线分别与两段轮廓线选定端点的切线形成的夹角D和夹角E，如果夹角C角度小于第一设定角度，并且夹角D和夹角E同时小于第二设定角度，(本发明实施例中可以根据进行对第一设定角度和第二设定角度进行设定，例如可以设定第一设定角度为30°，第二设定角度为45°)，则两段轮廓线属于同一褶皱，并将这两个端点进行平滑连接形成一段组合轮廓线，判断组合轮廓线是否是闭合曲线，如是，则作为闭合轮廓放入闭合轮廓集合B中，并将组成组合轮廓线的轮廓线从集合A中删除。

重复执行平滑拟合连接，直至集合A中不存在属于同一褶皱的轮廓线；

若集合A非空，则依次在集合A中选取轮廓线l₀，同时在集合B中搜索距离轮廓线l₀平均距离最近的闭合轮廓l_n，然后以连接l₀的两个端点形成的直线l′分割闭合轮廓l_n，得到两段分割轮廓l_n1和l_n2，其中l_n1与l₀都在直线l′的同一侧，计算l′与l₀形成的闭合轮廓面积S₁，以及l_n1与l₀所形成的闭合轮廓面积S₂，计算比例系数μ＝S₁/S₂，并按照系数μ的比例对闭合轮廓l_n进行缩放得到缩放后的轮廓l′_n，由直线l′分割l′_n得到两段缩放后的分割轮廓l′_n1和l′_n2，将l′_n2与l₀进行拟合连接从而得到l₀的闭合轮廓，并放入闭合轮廓集合B中。

最终集合B中所有的闭合轮廓即为胃肠内部图像褶皱轮廓。

步骤3、取其中一帧胃肠内部图像为参考图像I₁，取另一帧胃肠内部图像I₂，通过光流法估计胃肠内部图像I₁和I₂的共有褶皱集S₀，其中S₀为非空集合。将图像I₁和I₂中相同的褶皱点标记为相同的唯一编码ID。

本发明实施例中，该步骤具体为：

S301、选取t₁时刻的胃肠内部图像作为参考图像I₁；

S302、选取t₂时刻的胃肠内部图像作为I₂₀，采用光流法估计I₁和I₂₀之间的共有褶皱集S’₀；

若S’₀为非空，则以I₂₀作为I₂，以S’₀作为S₀；

若S’₀为空，以图像I₂₀位置处向前依次查找n帧图像I’₁～I’_n，其中n＜N，并计算图像I₂₀与图像I’_i的光流信息，i遍历1～n，直至找到与图像I₂₀存在共有褶皱信息的图像I’_j，j为[1，n]中正整数，以图像I₂₀与图像I’_j共有褶皱集作为S₀，以图像I’_j作为I₂。

共有褶皱集S₀为图像I₁和I₂的共有褶皱的闭合轮廓线上像素点的点集。

步骤4、利用图像I₁中的二维褶皱信息通过相机的成像投影模型进行反向映射重建出I₁的三维局部肠模型C₁，同时利用图像I₂重建出I₂的三维局部肠模型C₂。

对相机进行标定得到内参矩阵，并进一步建立相机的成像映射模型；

针对图像I₁中的像素点u，根据朗伯Lambertian反射定理计算像素点u的深度信息d_u；

其中C为常量，FOV为相机的视场角，r_u为像素点u与图像I₁中心点的欧式距离，R为r_u最大值，w_u是像素点u与图像I₁法线方向上固定区域内最亮非高亮反射点的归一化距离；h_u为像素点u所在褶皱轮廓的归一化高度(在像素点u沿褶皱轮廓切线的垂直方向上，计算轮廓内侧与外侧最邻近像素点u的十个像素平均灰度值之差的归一化值，就得到h_u)；i_u为像素点u的灰度值；

通过反向映射将像素点u转化成三维空间向量

根据像素点u的深度信息d_u，结合公式(1)得到像素点u的三维信息(x(v_u)，y(v_u)，z(v_u))；

其中，(x(u)，y(u))分别为像素点u在图像I₁中的二维坐标；δ_u为反向映射向量

与Z轴夹角。

步骤5、在三维局部肠模型C₁和C₂中取对应于图像I₁和I₂中标记为同一唯一编码ID的三维褶皱点集分别放入两个集合S₁和S₂，对两个集合S₁和S₂进行配准计算，估计出三维局部肠模型C₁和C₂的运动变换矩阵M和缩放比例K。

图像I₁和I₂间的光流场矢量信息w＝(u′，v′)，通过光流矢量w找到两帧图像间的共有对应的褶皱，即在图像I₁中的褶皱l₁上的点(r，c)与在图像I₂中的褶皱l₁上的点(r′，c′)满足下面的公式(3)：

(r′，c′)＝(r+u′，c+v′) (3)

其中u’，v’表示光流场矢量在图像中行和列方向上的分量。并分别为两帧图像中的共有褶皱标记为相同的ID。以图像I₁中的褶皱距离孔腔由近及远的顺序进行编号，如图像I₁和I₂间有两个共有褶皱轮廓，则将I₁中距离孔腔最近的这个轮廓编号为一号，与之对应的在I₂中的褶皱也编号为一号；而I₁中距离孔腔较远的褶皱编号为二号，与之对应的在I₂中的褶皱也编号为二号，以此类推。

然后，根据图像I₁和I₂的褶皱编号信息，找出具有相同编号的轮廓个数n，并从编号一开始依次找到二维褶皱相对应的局部重建轮廓的三维点集，将相同编号的三维点集按照对应关系分别放入集合(Q_x，Q_y，Q_z)和(P_x，P_y，P_z)，然后通过求解公式(4)所示最小二乘方程得到两个三维点集合间运动矩阵Mat3D。

同时，在求解三维运动矩阵信息前，对三维点集合进行处理来减少噪声和波动引起的误差，提高运动估计的精度。处理的方法是对任意一个二维闭合褶皱l′相对应的重建三维褶皱点集S′，利用点集S′拟合得到三维平面p′，使得S′中的所有点到平面p′的距离之和最小，然后将S′中的点s′_n依次向平面p′做垂直线l′_n，由l′_n与p′的交点s″_n代替点集S′中的s′_n。如图二所示，通过向平面投影将点集S′转换为点集S″。本发明实施例中将二维闭合褶皱通过平面投影构建对应的重建三维褶皱点集如图3所示。

步骤6、三维局部肠模型的尺度信息为K₁：K₁＝K^-1·p₂·(p₁)^-1·M^-1；其中p₁为胃肠内部图像I₁对应的相机实时位姿信息，p₂为胃肠内部图像I₂对应的相机实时位姿信息。

尺度信息K₁的推导过程如下：

根据图像I₁的褶皱信息重建出局部模型C₁，在C₁的局部坐标系L₁中，相机位于坐标系的原点位置，C₁在L₁中的位姿信息设为M₁。同理，利用图像I₂重建的局部模型为C₂，在C₂的局部坐标系L₂中，相机位于L₂的原点位置，C₂在L₂中的位姿信息设为M₂。在上一步骤中，计算得到在全局坐标系下的模型C₁到模型C₂的运动变换矩阵为Mat3D′，所以得到公式六，

M₂＝Mat3D′*M₁ (6)

其中Mat3D′＝K·M，全局坐标系的原点位置位于胶囊机器人的引导装置的基座中心点处，相机在全局坐标系下的位姿信息由胶囊机器人的定位装置给出。在采集图像I₁时刻，相机在全局坐标系下的位姿信息为p₁；而在采集图像I₂时刻，相机在全局坐标系下的位姿信息为p₂；由于在局部坐标系L₁和L₂中，相机都位于坐标系的原点处。因此从坐标系L₁到坐标系L₂的运动变换矩阵M₁₂如公式(7)所示，

M₁₂＝p₂*(p₁)^-1 (7)

这样局部重建胃肠模型的尺度信息K1，由公式(8)确定。

K₁K1＝p₂*(p₁)^-1*(Mat3D′)^-1 (8)

本发明实施例还提供了一种胃肠结构的真实尺度三维重建及可视化方法，采用上述的方法获取的三维局部肠模型以及尺度信息，基于尺度信息进行胃肠结构的三维可视化渲染，包括：

将胃肠内部图像根据其中的二维褶皱信息通过相机的成像投影模型进行反向映射重建出三维局部肠模型之后，集合B中的闭合轮廓映射为三维闭合褶皱轮廓；

则对于每个三维闭合褶皱轮廓L′_n，从世界坐标系上Z轴方向取轮廓L′_n上z值最大的点为p′_n0，然后按顺时针360°方向在轮廓L′_n上均匀取N个点，最后的点记为p′_n(N-1)；相邻褶皱间取出相对应的两个点p′_(i-1)j和p′_ij，j为第i个三维闭合褶皱轮廓上的第j个点，利用点p′_ij和第i个三维闭合褶皱轮廓的中心点O_i组成向量

再根据第i-1个三维闭合褶皱轮廓上的第j个点p′_(i-1)j和第i+1个三维闭合褶皱轮廓上第j个点p′_(i+1)j组成的向量

则肠壁上的端点p_i1为

其中H_i，W_i分别为第i个三维闭合褶皱轮廓的高度和宽度。

相邻褶皱间求取贝塞尔曲线端点过程如图4所示。

根据肠壁曲面的两个端点p′_ij和p_i1，求解贝塞尔插值曲线函数控制点，进一步计算两个端点p′_ij和p_i1间的贝塞尔插值曲面函数，从而得到第i个三维闭合褶皱轮廓间的肠壁点集。

求解所有三维闭合褶皱轮廓间的肠壁点集，组成胃肠三维结构的完整点集信息并进行可视化渲染。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种胃肠结构的真实尺度三维重建方法，其特征在于，该方法通过位于胃肠内的胶囊机器人获取胃肠内部图像，其中所述胶囊机器人上固连用于实时采集胃肠内部图像的相机，该方法包括如下步骤：

实时检测所述胶囊机器人位姿信息，可获得相机的位姿信息；

获取所述相机采集的t₁时刻至t₂时刻之间的连续N帧胃肠内部图像，所述胃肠内部图像为包含有胃肠孔腔信息的图像；

取其中一帧胃肠内部图像为参考图像I₁，取另一帧胃肠内部图像I₂，通过光流法估计胃肠内部图像I₁和I₂的共有褶皱集S₀，其中S₀为非空集合；将图像I₁和I₂中相同的褶皱点标记为相同的唯一编码ID；

利用图像I₁中的二维褶皱信息通过所述相机的成像投影模型进行反向映射重建出I₁的三维局部肠模型C₁，同时利用图像I₂重建出I₂的三维局部肠模型C₂；包括：

对所述相机进行标定得到内参矩阵，并进一步建立所述相机的成像映射模型；

针对图像I₁中的像素点u，根据朗伯Lambertian反射定理计算像素点u的深度信息d_u；

其中C为常量，FOV为所述相机的视场角，r_u为像素点u与图像I₁中心点的欧式距离，R为r_u最大值，w_u是像素点u与图像I₁法线方向上固定区域内最亮非高亮反射点的归一化距离；h_u为像素点u所在褶皱轮廓的归一化高度；i_u为像素点u的灰度值；

通过反向映射将像素点u转化成三维空间向量

根据像素点u的深度信息d_u，结合公式(1)得到像素点u的三维信息(x(v_u)，y(v_u)，z(v_u))；

其中，(x(u),y(u))分别为像素点u在图像I₁中的二维坐标；δ_u为反向映射向量

与Z轴夹角；

在三维局部肠模型C₁和C₂中取对应于图像I₁和I₂中标记为同一唯一编码ID的三维褶皱点集分别放入两个集合S₁和S₂，对两个集合S₁和S₂进行配准计算，估计出三维局部肠模型C₁和C₂的运动变换矩阵M和缩放比例K；

三维局部肠模型的尺度信息为K₁：K₁＝K^-1·p₂·(p₁)^-1·M^-1；其中p₁为胃肠内部图像I₁对应的相机实时位姿信息，p₂为胃肠内部图像I₂对应的相机实时位姿信息。

2.如权利要求1所述的方法，其特征在于，所述获取所述相机采集的t₁时刻至t₂时刻之间的连续N帧胃肠内部图像，所述胃肠内部图像为包含有胃肠孔腔信息的图像，具体为：

所述相机连续采集图像存储到内存缓存中；

顺次选取内存缓存中各帧图像作为参考帧，执行孔腔区域提取处理过程以提取孔腔区域，若所述参考帧提取到的孔腔区域不为空，则所述参考帧记录为胃肠内部图像，否则删除所述参考帧，直至获得连续的N帧胃肠内部图像；

所述孔腔区域提取处理过程包括如下步骤：

对所述参考帧进行高斯滤波去除噪声，然后进行区域分割，遍历所述参考帧的整个图像区域，利用已知的孔腔在图像表达中具有的灰度特征和形态特征，提取出孔腔区域。

3.如权利要求1所述的方法，其特征在于，所述取其中一帧胃肠内部图像为参考图像I₁，取另一帧胃肠内部图像I₂，通过光流法估计胃肠内部图像I₁和I₂的共有褶皱集S₀，其中S₀为非空集合，具体为：

选取t₁时刻的胃肠内部图像作为参考图像I₁；

选取t₂时刻的胃肠内部图像作为I₂₀，采用光流法估计I₁和I₂₀之间的共有褶皱集S’₀；

若S’₀为非空，则以I₂₀作为I₂，以S’₀作为S₀；

若S’₀为空，以图像I₂₀位置处向前依次查找n帧图像I’₁～I’_n，其中n<N，并计算图像I₂₀与图像I’_i的光流信息，i遍历1～n，直至找到与图像I₂₀存在共有褶皱信息的图像I’_j，j为[1,n]中正整数，以图像I₂₀与图像I’_j共有褶皱集作为S₀，以图像I’_j作为I₂。

4.如权利要求1所述的方法，其特征在于，在所述获取所述相机采集的t₁时刻至t₂时刻之间的连续N帧胃肠内部图像之后，所述取其中一帧胃肠内部图像为参考图像I₁，取另一帧胃肠内部图像I₂，通过光流法估计胃肠内部图像I₁和I₂的共有褶皱集S₀之前，还包括胃肠内部图像褶皱轮廓提取过程；

所述胃肠图像褶皱轮廓提取过程包括如下步骤：

对一帧所述胃肠内部图像采用Canny边缘检测算法得到的所述褶皱轮廓的非连续轮廓线，进行形态学处理后放入到褶皱轮廓集合A中；对集合A中轮廓线进行平滑拟合连接：

所述平滑拟合连接具体过程包括：在所述集合A中，找到端点距离最小的两段轮廓线，然后计算两端点分别与所述胃肠内部图像的孔腔区域中心点连接所形成的夹角C、两端点连线分别与两段轮廓线选定端点的切线形成的夹角D和夹角E，如果夹角C角度小于第一设定角度，并且夹角D和夹角E同时小于第二设定角度，则两段轮廓线属于同一褶皱，并将这两个端点进行平滑连接形成一段组合轮廓线，判断所述组合轮廓线是否是闭合曲线，如是，则作为闭合轮廓放入闭合轮廓集合B中，并将组成所述组合轮廓线的轮廓线从集合A中删除；

重复执行所述平滑拟合连接，直至集合A中不存在属于同一褶皱的轮廓线；

若集合A非空，则依次在集合A中选取轮廓线l₀，同时在集合B中搜索距离所述轮廓线l₀平均距离最近的闭合轮廓l_n，然后以连接l₀的两个端点形成的直线l′分割所述闭合轮廓l_n，得到两段分割轮廓l_n1和l_n2，其中l_n1与l₀都在直线l′的同一侧，计算l′与l₀形成的闭合轮廓面积S₁，以及l_n1与l₀所形成的闭合轮廓面积S₂，计算比例系数μ＝S₁/S₂，并按照系数μ的比例对所述闭合轮廓l_n进行缩放得到缩放后的轮廓l′_n，由直线l′分割l′_n得到两段缩放后的分割轮廓l′_n1和l′_n2，将l′_n2与l₀进行拟合连接从而得到l₀的闭合轮廓，并放入所述闭合轮廓集合B中；

最终集合B中所有的闭合轮廓即为胃肠内部图像褶皱轮廓。

5.如权利要求4所述的方法，其特征在于，所述通过光流法估计胃肠内部图像I₁和I₂的共有褶皱集S₀，所述共有褶皱集S₀为图像I₁和I₂的共有褶皱的闭合轮廓线上像素点的点集。

6.一种胃肠结构的真实尺度三维重建及可视化方法，其特征在于，采用如权利要求4或5任一所述的方法获取的三维局部肠模型以及尺度信息，基于所述尺度信息进行胃肠结构的三维可视化渲染，包括：

将胃肠内部图像根据其中的二维褶皱信息通过所述相机的成像投影模型进行反向映射重建出三维局部肠模型之后，所述集合B中的闭合轮廓映射为三维闭合褶皱轮廓；

则对于每个三维闭合褶皱轮廓L′_n，从世界坐标系上Z轴方向取轮廓L′_n上z值最大的点为p′_n0，然后按顺时针360°方向在轮廓L′_n上均匀取N个点，最后的点记为p′_n(N-1)；相邻褶皱间取出相对应的两个点p′_(i-1)j和p′_ij，j为第i个三维闭合褶皱轮廓上的第j个点，利用点p′_ij和第i个三维闭合褶皱轮廓的中心点O_i组成向量

再根据第i-1个三维闭合褶皱轮廓上的第j个点p′_(i-1)j和第i+1个三维闭合褶皱轮廓上第j个点p′_(i+1)j组成的向量

则肠壁上的端点p_i1为

其中H_i，W_i分别为第i个三维闭合褶皱轮廓的高度和宽度；

根据肠壁曲面的两个端点p′_ij和p_i1，求解贝塞尔插值曲线函数控制点，进一步计算两个端点p′_ij和p_i1间的贝塞尔插值曲面函数，从而得到第i个三维闭合褶皱轮廓间的肠壁点集；

求解所有三维闭合褶皱轮廓间的肠壁点集，组成胃肠三维结构的完整点集信息并进行可视化渲染。

Images