CN106056588A - 胶囊内窥镜图像数据去冗余方法 - Google Patents

Abstract

本发明公开了一种胶囊内窥镜图像数据去冗余方法，1、将图像序列中第一个图像作为关键图像；2、取关键图像的下一图像作为对比图像，计算关键图像与对比图像之间的全局特征相似度，3、判断归一化互相关系数是否全部都大于阈值，若是，则全局特征的相似性大于阈值，此时，进一步计算关键图像与对比图像之间的局部特征的相似性，进入4；否则，将当前取出的对比图像作为新的关键图像，返回2；4、判断关键图像与对比图像之间的局部特征的相似性是否大于预设的阈值，若是，则将当前取出的对比图像标记为冗余图像，并删除；否则，将当前取出的对比图像作为新的关键图像，返回2。本发明能够减少医生需要查看的图片总数，提高诊断效率和准确率。

Description

胶囊内窥镜图像数据去冗余方法

技术领域

本发明涉及图像处理技术领域，具体地指一种胶囊内窥镜图像数据去冗余方法。

背景技术

无线胶囊内窥镜能够以无痛无创的方式对整个消化道进行检查，是一场革命性的技术突破。患者吞服一粒胶囊，胶囊沿着消化道前进，并拍摄图像数据，胶囊内窥镜总共要工作6～8小时，采集大约50000幅图像，大量的图像数据使得医生的检查工作变得艰巨且耗时。专业医生通常需要大约2个小时才能完成对整个图像序列的检查工作。有时消化道的异常仅存在几帧图像中，另外，在胶囊内窥镜采集到的图像中，通常存在大量的冗余信息，医生可能因为长时间的浏览图片检查出现视觉疲劳而误诊。

公开号为CN 103747270 A的中国专利《一种胶囊内窥镜视频图像的去冗余方法及***》，该技术先定义一个关键图像帧，将关键图像帧与其后面的图像帧逐一计算基于灰度图像的互相关系数，通过判断互相关系数是否大于阈值来判断图像是否为冗余帧。该技术通过计算基于灰度图像的互相关系数来判断图像的相似性，而实际胶囊采集到的是彩色图像，一种常见的疾病(消化道出血)主要是通过颜色信息来判断，忽略颜色信息易导致图像误删。另外互相关系数表征的是图像的全局特征，该技术只利用了图像的全局特征，没有考虑图像的局部特征，图像中的病灶有时尺寸会比较小，小尺寸的病灶导致的是图像间局部特征的不同，因此仅仅通过全局特征来判断图像是否冗余可能会导致误删。

论文《胶囊内窥镜冗余图像数据自动筛除方法》参考文献(期刊)：孙宇千,吕庆文,刘哲星等.胶囊内窥镜冗余图像数据自动筛除方法[J].计算机应用研究,2012,29(6):2393-2396，该技术先将图像在HSV(Hue色调、Saturation饱和度、Value明度)空间量化，得到HSV直方图，然后基于归一化的互信息量计算相邻图像的相似度，最后根据筛选比例对图像数据进行筛除。该技术只考虑了图像的全局特征，没有考虑图像局部特征的不同。依然存在误删的可能。

论文《胶囊内镜图像序列冗余数据筛查方法研究》参考文献(博士论文)：潘宁.胶囊内镜图像序列冗余数据筛查方法研究[D].华中科技大学,2013，中提出了基于相机运动估计的冗余数据筛查方法，该方法通过图像配准来对胶囊的运动进行评估，通过运动大小来判断图像数据是否冗余。该技术采用图像配准技术，考虑了全局运动模型和局部运动模型，计算量大，不利于运用到实际的胶囊内窥镜辅助阅片***中。

发明内容

本发明就是针对上述技术问题，提供一种胶囊内窥镜图像数据去冗余方法，该方法减少医生需要浏览的图像数量，从而提高诊断效率和准确率。

为实现上述目的，本发明所设计的一种胶囊内窥镜图像数据去冗余方法，它包括如下步骤：

步骤1：患者吞服胶囊内窥镜后，胶囊内窥镜在消化道内采集图像数据，采集到的图像数据中的图像序列共有依据拍摄时间排列的M幅图像，将图像序列中第一个拍摄时刻对应的图像作为关键图像，进入步骤2；

步骤2：取所述关键图像相邻的下一时刻的图像作为对比图像，计算关键图像与对比图像之间的全局特征相似度，即分别提取关键图像的R、G、B(红、绿、蓝三色)三个分量和对比图像的R、G、B三个分量，分别计算关键图像的R、G、B三个分量与对比图像的R、G、B三个分量的归一化互相关系数NCC_R、NCC_G和NCC_B；

步骤3：判断步骤2得到的归一化互相关系数NCC_R、NCC_G和NCC_B是否全部都大于阈值T₁，若是，则全局特征的相似性S_g大于阈值T₁，此时，进一步计算关键图像与对比图像之间的局部特征的相似性S_g，进入步骤4；否则，全局特征的相似性S_g不大于阈值T₁，将当前取出的对比图像标记为非冗余图像，并将当前取出的对比图像作为新的关键图像，返回步骤2；

步骤4：判断关键图像与对比图像之间的局部特征的相似性S_g是否大于预设的阈值T₂，若是，则将当前取出的对比图像标记为冗余图像，并将该冗余图像删除；否则，将当前取出的对比图像标记为非冗余图像，并将当前取出的对比图像作为新的关键图像，返回步骤2。

本发明具有如下优点：

1、通过此方法可去除大量的相似图片，这样使医生检阅图片更加轻松；针对异常图片，有时消化道的异常仅存在几帧图像中，医生可能因为长时间的浏览大量图片出现视觉疲劳而忽视了这几帧异常图像导致误诊，减少需要查看的图片总数，不仅能提高诊断效率，某种程度上也可提高诊断的准确率。因此，本发明能够减少医生需要查看的图片总数，提高诊断效率和准确率。

2、本发明综合考虑了图像的全局特征相似性和局部特征的相似性，减少病灶图像被误删的几率。

3、论文《胶囊内镜图像序列冗余数据筛查方法研究》中提到的方法通过图像配准估计胶囊的运动，根据运动的大小来排除冗余图像。本发明提出的方法是通过计算图像的全局和局部特征，通过特征的相似性大小来排除冗余图像。图像的特征提取和特征相似性的判断在时间消耗上远小于图像配准技术，本发明没有采用图像配准，方法效率相比采用图像配准技术的方法更高。

附图说明

图1为本发明的流程图；

图2是本发明图像数据去冗余方法中全局特征相似性的计算和判断流程图；

图3是本发明图像数据去冗余方法中局部特征相似性的计算流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步的详细说明。

如图1～3所述的胶囊内窥镜图像数据去冗余方法，它包括如下步骤：

步骤1：患者吞服胶囊内窥镜后，胶囊内窥镜在消化道内采集图像数据，采集到的图像数据中的图像序列共有依据拍摄时间排列的M幅图像(彩色图像)，将图像序列中第一个拍摄时刻对应的图像作为关键图像，进入步骤2；

步骤2：取所述关键图像相邻的下一时刻的图像作为对比图像，计算关键图像与对比图像之间的全局特征相似度，即分别提取关键图像的R、G、B三个分量和对比图像的R、G、B三个分量，分别计算关键图像的R、G、B三个分量与对比图像的R、G、B三个分量的归一化互相关系数NCC_R、NCC_G和NCC_B；

步骤3：判断步骤2得到的归一化互相关系数NCC_R、NCC_G和NCC_B是否全部都大于阈值T₁，若是，则全局特征的相似性S_g大于阈值T₁，此时，进一步计算关键图像与对比图像之间的局部特征的相似性S_l，进入步骤4；否则(归一化互相关系数NCC_R、NCC_G和NCC_B有一个小于等于阈值T₁)，全局特征的相似性S_g不大于阈值T₁，将当前取出的对比图像标记为非冗余图像，并将当前取出的对比图像作为新的关键图像，返回步骤2；

步骤4：判断关键图像与对比图像之间的局部特征的相似性S_l是否大于预设的阈值T₂，若是，则将当前取出的对比图像标记为冗余图像，并将该冗余图像删除；否则，将当前取出的对比图像标记为非冗余图像，并将当前取出的对比图像作为新的关键图像，返回步骤2；

步骤5：重复步骤2～步骤4，直到序列内所有的图像都判断完毕，此时，保留了所有关键图像，去除了所有冗余图像，即实现了胶囊内窥镜图像数据的去冗余处理。

上述技术方案的步骤1中，关键图像为所述图像序列中依据拍摄时间排列的第一幅图像。则步骤2中的对比图像即为依据拍摄时间排列的第二幅图像。

上述技术方案中，所述阈值T₁的取值范围为0.6≤T₁≤0.85；所述阈值T₂的取值范围为0.5≤T₂≤0.9。根据反复试验判断，上述阈值T₁和阈值T₂的取值范围能够得到最佳的去冗余效果。

上述技术方案的步骤2中，计算关键图像的R、G、B三个分量与对比图像的R、G、B三个分量的归一化互相关系数NCC_R、NCC_G和NCC_B的具体计算公式如下：

${\mathrm{NCC}}_n=\frac{\underset{x,y}{\mathrm{\Σ}}\[I_n(x,y)-{\stackrel{\‾}{I}}_n\]\[J_n(x,y)-{\stackrel{\‾}{J}}_n\]}{\sqrt{\underset{x,y}{\mathrm{\Σ}}{\[I_n(x,y)-{\stackrel{\‾}{I}}_n\]}^2\·\underset{x,y}{\mathrm{\Σ}}{\[J_n(x,y)-{\stackrel{\‾}{J}}_n\]}^2}}$

其中，n为R、G、B，表示颜色通道；x，y分别为图像的横坐标和纵坐标；I_n(x,y)为关键图像对应的单个颜色通道的图像数据，J_n(x,y)为对比图像对应的单个颜色通道的图像数据，和分别为图像I_n(x,y)和J_n(x,y)的灰度均值。

上述技术方案中，所述关键图像与对比图像之间的局部特征的相似性S_l的计算方法为计算关键图像和对比图像的方向梯度直方图(HOG，histogram of Orientedgradient)的特征向量(见参考文献，Triggs N D B.Histograms of Oriented Gradientsfor Human Detection[J].Cvpr,2005,1(12):886-893.)，将关键图像的方向梯度直方图的特征向量与对比图像的方向梯度直方图的特征向量的归一化互相关系数值作为局部特征的相似性函数值S_l，上述相似性函数值S_l的计算公式为：

$S_l=\frac{\underset{z}{\mathrm{\Σ}}\[V_1\left(z\right)-\stackrel{\‾}{V_1}\]\[V_2\left(z\right)-\stackrel{\‾}{V_2}\]}{\sqrt{\underset{z}{\mathrm{\Σ}}{\[V_1\left(z\right)-\stackrel{\‾}{V_1}\]}^2\·\underset{z}{\mathrm{\Σ}}{\[V_2\left(z\right)-\stackrel{\‾}{V_2}\]}^2}}$

其中，V₁(z)和V₂(z)分别为关键图像和对比图像的方向梯度直方图的特征向量，z为特征向量的坐标，z的取值为[1，m]，m为特征向量的维度，和分别为V₁(z)和V₂(z)的均值。

本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (7)

1.一种胶囊内窥镜图像数据去冗余方法，其特征在于，它包括如下步骤：

步骤1：患者吞服胶囊内窥镜后，胶囊内窥镜在消化道内采集图像数据，采集到的图像数据中的图像序列共有依据拍摄时间排列的M幅图像，将图像序列中第一个拍摄时刻对应的图像作为关键图像，进入步骤2；

步骤2：取所述关键图像相邻的下一时刻的图像作为对比图像，计算关键图像与对比图像之间的全局特征相似度，即分别提取关键图像的R、G、B三个分量和对比图像的R、G、B三个分量，分别计算关键图像的R、G、B三个分量与对比图像的R、G、B三个分量的归一化互相关系数NCC_R、NCC_G和NCC_B；

步骤3：判断步骤2得到的归一化互相关系数NCC_R、NCC_G和NCC_B是否全部都大于阈值T₁，若是，则全局特征的相似性S_g大于阈值T₁，此时，进一步计算关键图像与对比图像之间的局部特征的相似性S_l，进入步骤4；否则，全局特征的相似性S_g不大于阈值T₁，将当前取出的对比图像标记为非冗余图像，并将当前取出的对比图像作为新的关键图像，返回步骤2；

步骤4：判断关键图像与对比图像之间的局部特征的相似性S_l是否大于预设的阈值T₂，若是，则将当前取出的对比图像标记为冗余图像，并将该冗余图像删除；否则，将当前取出的对比图像标记为非冗余图像，并将当前取出的对比图像作为新的关键图像，返回步骤2。

2.根据权利要求1所述的胶囊内窥镜图像数据去冗余方法，其特征在于：所述步骤4后还包括步骤5：重复步骤2～步骤4，直到序列内所有的图像都判断完毕，此时，保留了所有关键图像，去除了所有冗余图像。

3.根据权利要求1所述的胶囊内窥镜图像数据去冗余方法，其特征在于：所述阈值T₁的取值范围为0.6≤T₁≤0.85。

4.根据权利要求1所述的胶囊内窥镜图像数据去冗余方法，其特征在于：所述阈值T₂的取值范围为0.5≤T₂≤0.9。

5.根据权利要求1所述的胶囊内窥镜图像数据去冗余方法，其特征在于：所述步骤2中，计算关键图像的R、G、B三个分量与对比图像的R、G、B三个分量的归一化互相关系数NCC_R、NCC_G和NCC_B的具体计算公式如下：

${\mathrm{NCC}}_n=\frac{\underset{x,y}{\Σ}\[I_n(x,y)-{\stackrel{\‾}{I}}_n\]\[J_n(x,y)-{\stackrel{\‾}{J}}_n\]}{\sqrt{\underset{x,y}{\Σ}{\[I_n(x,y)-{\stackrel{\‾}{I}}_n\]}^2\·\underset{x,y}{\Σ}{\[J_n(x,y)-{\stackrel{\‾}{J}}_n\]}^2}}$

其中，n为R、G、B，表示颜色通道；x，y分别为图像的横坐标和纵坐标；I_n(x,y)为关键图像对应的单个颜色通道的图像数据，J_n(x,y)为对比图像对应的单个颜色通道的图像数据，和分别为图像I_n(x,y)和J_n(x,y)的灰度均值。

6.根据权利要求1所述的胶囊内窥镜图像数据去冗余方法，其特征在于：所述关键图像与对比图像之间的局部特征的相似性S_l的计算方法为计算关键图像和对比图像的方向梯度直方图的特征向量，将关键图像的方向梯度直方图的特征向量与对比图像的方向梯度直方图的特征向量的互相关系数值作为局部特征的相似性函数值S_l。

7.根据权利要求6所述的胶囊内窥镜图像数据去冗余方法，其特征在于：上述相似性函数值S_l的计算公式为：

$S_l=\frac{\underset{Z}{\Σ}\[V_1\left(Z\right)-{\stackrel{\‾}{V}}_1\]\[V_2\left(Z\right)-{\stackrel{\‾}{V}}_2\]}{\sqrt{\underset{z}{\Σ}{\[V_1\left(Z\right)-{\stackrel{\‾}{V}}_1\]}^2\·\underset{z}{\Σ}{\[V_2\left(z\right)-{\stackrel{\‾}{V}}_2\]}^2}}$

其中，V₁(z)和V₂(z)分别为关键图像和对比图像的方向梯度直方图的特征向量，z为特征向量的坐标，z的取值为[1，m]，m为特征向量的维度，和分别为V₁(z)和V₂(z)的均值。