CN110600108A - 一种胶囊内镜的冗余图像处理方法 - Google Patents

Abstract

本发明提供了一种胶囊内镜的冗余图像处理方法，包括数据解包过程：将原始数据解包到运算器，根据不同的数据格式，先提取数据的本来内存中的映射，对数据进行散列化，将散列化后的数据送入到运算器开始运算流程；感知哈希处理过程：在算法阶段，根据散列信息对数据进行算法处理，计算出相似的对象信息；输出摘要过程：根据算法过程中获得的对象信息，按照摘要信息格式输出对应格式的处理后数据，对数据进行组织与封装，并输出，完成处理过程。本发明方法可以有效解决胶囊内镜图像去冗余问题属于广义的图像处理问题，做到快速处理相似图片、甚至完全去除相似图片的技术需求。

Description

一种胶囊内镜的冗余图像处理方法

技术领域

本发明涉及一种图像处理方法，特别是涉及一种胶囊内镜的冗余图像处理方法。

背景技术

消化道内镜检查是消化道疾病的重要诊疗手段，也是消化道肿瘤早期筛查的关键。然而，消化道内镜检查的痛苦体验使得众多患者对消化道内镜检查望而却步。胶囊内镜可以让患者以较低成本无创无痛苦的完成整个消化道的检查。可是由于工作方式的问题，胶囊内镜在检查过程中会产生6-12万张消化道的连续影像。内镜医生需要依次阅读完全部胶囊内镜图像序列才能做出诊断，单个病人的平均诊断时长为3-6小时，产生了巨大的医疗人力成本和痛苦的阅片体验。从而导致医生缺乏处方意愿，胶囊内镜诊断项目在各个医院推行缓慢。

胶囊内镜在拍摄过程中，有许多照片是冗余的。这些冗余主要包括（1）模糊图像，（2）相似图像，（3）非人体图像。模糊图像主要是指胶囊内镜在快速移动过程中或者贴到消化道壁非常近的时候拍取到的图像，这些图像中没有清晰的消化道器官的影像，无法向医生提供有诊断价值的信息；相似图像是指在胶囊内镜在消化道内某些时段暂停运动，但是拍照功能并没有停止，导致连续几十帧甚至上百帧图像内容十分相似，从医生的角度，只有一张照片的信息量，医生却要阅读几十帧甚至上百帧图像，大大降低了工作效率；非人体图像是指胶囊内镜在入口之前和排出之后，或者胶囊进入消化道末端被食物残渣影响了视野的图像。如果能够去除掉这三类冗余图像，可以有效降低胶囊内镜阅片的时间成本，增加医生的处方意愿。目前，在实际临床工作中，没有专门的方法来协助医生去除掉冗余的图像。医生需要一张一张翻阅图像，进行1~6小时的阅片工作，在阅片的过程中对冗余图像进行排查。在大量胶囊内镜数据处理的前提下，胶囊内镜图像处理工作者（临床医生或体检中心工作人员）需要处理大量具备高相似度或模糊的图片，这造成了冗余的重复性检查和其他处理，增加了相关人员的负担，同时处理相似图片增加了其上下游工作方面的开销，在经济上造成了成本的增加，如图1所示。冗余的图片造成了技术上的数据冗余问题，需要额外的筛选和预处理，冗余数据在自动化图像处理数据中会被认为是脏数据。对于图像处理的下游，例如利用胶囊内镜序列影像做进一步的图像分析等方面，脏数据会进一步造成实际应用的不精确问题。排查和人力清洁数据都引入了额外成本。

2013年，在期刊Computers in biology and medicine中，Hyun-Gyu Lee等人在Reducing redundancy in wireless capsule endoscopy video一文中提出了一种基于光流信息作为特征的机器学习算法，可以去除小肠部位的超过53%的重复胶囊内镜图像。但是这种方法的主要缺陷有以下三点：

（1）利用光流信息作为特征用机器学习的方式来去除冗余图像，需要耗费大量的时间和计算机资源，处理完一套图像往往超过几十分钟甚至一小时，无法满足医院所要求的诊断时效性需求；

（2）利用光流信息作为特征处理胶囊内镜图像，仅能去除53%左右的小肠段重复胶囊内镜图像，一方面，去冗余率不够高，另一方面，缺乏对模糊图像和非人体图像的处理；

（3）文献中缺乏对于阳性图像遗漏率的分析，如果算法将有病变的图像作为冗余图像处理掉，将会对医生的诊断准确率造成巨大影响。

目前已存在一些比较可行的实用算法，它们可以被用于快速的筛选相似图像，但是在胶囊内镜序列图像具有一些特殊性：首先，胶囊内镜可能出现同一部位图像拍摄过程中镜头旋转的情况，一些不能适应旋转镜头的搜索算法将会被排除；其次，胶囊内镜图像具有序列性，要考虑前后帧的关系；第三，如图2所示，胶囊内镜图像数据量太大，对算法的健壮性要求很高。

发明内容

因此，现在胶囊内镜图像处理过程中需要解决的技术问题如下：

（1）胶囊内镜图像去冗余问题属于广义的图像处理问题，方法需要做到快速处理相似图片、甚至完全去除相似图片的技术需求。

（2）基于医院的实际应用场景，去除相似数据的技术能够降低经济成本和提高去冗余技术的可用性和稳定性。

（3）在实际应用场景中运算量较大，其***可用性和稳定性不足的条件下，需要压缩处理的数据量以便处理的前提下，需要一种能够快速将大量数据的技术方案。

（4）实际应用场景中已经出现需要在较短时间能处理大量图像数据的需求。

（5）在图像序列中，前后关联的帧数据容易出现相似，从而造成需要重复处理，为了应对这种场景，需要一种压缩视频的技术。和传统的摘要不完全相同，在前后帧关联时，每个前后帧上出现同样对象的信息含义可能不同，因此要连续的进行这个压缩视频的流程。

为解决上述技术问题，本发明提供了一种胶囊内镜的冗余图像处理方法，包括

数据解包过程：将原始数据解包到运算器，根据不同的数据格式，先提取数据的本来内存中的映射，对数据进行散列化，将散列化后的数据送入到运算器开始运算流程；

感知哈希处理过程：在算法阶段，根据散列信息对数据进行算法处理，计算出相似的对象信息；

输出摘要过程：根据算法过程中获得的对象信息，按照摘要信息格式输出对应格式的处理后数据，对数据进行组织与封装，并输出，完成处理过程。

进一步地，所述处理方法还包括运算器过程，所述运算器过程根据处理方法的运行硬件，选择GPU或CPU作为运算器，通过选择合适的运算器以得到最快的反馈速度。

进一步地，所述感知哈希处理过程为零压缩过程。

更进一步地，所述感知哈希处理过程包括简化色彩过程，用于将图像信息转化为灰度图。

更进一步地，所述感知哈希处理过程还包括DCT过程，所述DCT过程为离散余弦变换过程，用于将图像信息转为频率和标量的集合。

更进一步地，所述DCT过程为改进离散余弦变换过程。

本发明还公开一种应用上述方法运行的胶囊内镜冗余图像处理***及装载有该***的处理端。

进一步地，所述处理端为电脑主机。

本发明与现有技术相比，提供了一种新的方法，可以有效去除胶囊内镜中的模糊、重复或非人体器官类的冗余图像，可以在40秒左右的时间内完成10w~13W张胶囊内镜图像去冗余工作，去掉超过70%的图像，同时保证所有阳性图像都保留下来。

附图说明

图1为背景技术中传统的图像处理流程；

图2为背景技术中算法快速筛选图像的处理流程；

图3为本发明实施例的基础运行逻辑图；

图4为本发明实施例方法底层逻辑图；

图5为本发明实施例CPU、GPU运行逻辑图；

图6为本发明实施例交互界面图；

图7为本发明实施例长度为4的原始图像信号图；

图8为本发明实施例延拓后的时域周期为2N-2图；

图9为本发明实施例DCT-1的结果X[k]与经过延拓后的时域信号图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本实施例中使用的硬件前置配置如下：

（1）在Linux或Window***下

A：具备python3.5环境

B：4GB以上内存空间

C：数据大小两倍以上的可用硬盘空间

D：程序占用确保10MB硬盘空间

（2）选择运算器为GPU时：

A：硬件上需要提供支持CUDA（8.0）的显卡（NVIDIA显卡）

B：***安装了GPU的CUDA调用库pytorch，版本依据CUDA版本

C：显卡显存依据数据单项大小可能需要一定程度额外空间

（3）工作环境：

A：若无特殊散热构架，如采用GPU无法长时间（12小时及以上）处在高温环境下工作

B：普遍无法处于过低温、过高温的硬件条件下工作

C：需要电压相对稳定的环境

本发明实施例方法本质为一个基础的软件中间件，其提供的构架可被单个硬件承载，其基础运行逻辑如图3所示：

（1）子流程-选择运算器：默认情况下，软件会选择默认最优的处理方法，如GPU满足条件则采用GPU进行运算。

（2）子流程-数据解包：数据解包到运算器，根据不同的数据格式，先提取数据的本来内存中的映射，之后对数据进行散列化，散列化后进入到运算器开始运算流程。

（3）子流程-感知哈希处理：在算法阶段，根据散列信息进行算法处理，计算出相似的对象信息。

（4）子流程-输出摘要：根据要求的摘要信息格式输出对应格式的处理后数据，数据组织与封装。

（5）运算器可以是GPU或者是CPU，通过选择更合适的运算器以得到更好的反馈速度。在测试样例中，GPU的计算效率为CPU的200倍左右。方法底层逻辑如图4所示：

具体的，本发明实施例方法中以感知哈希算法（PHA）为基础实现对胶囊内镜序列中冗余图片的筛选和去除。本发明实施例利用感知哈希算法对图像做了如下处理：

A.零压缩。传统的图像处理方法在图像处理前都需要对图像做出一定的压缩，但是由于胶囊内镜图像本身格式较小，且从实际应用考虑，一些微小的临场有意义病灶，可能在压缩过程中被去掉，因此，在处理胶囊内镜图像过程中，我们对图像实施了零压缩操作。以以色列Given公司PillCam胶囊数据为例，单帧图像大小为256×256像素，国产的金山OMOM胶囊单帧图像大小为480×480像素，都可以直接进行处理。

B.简化色彩。转化为灰度图. 把胶囊内镜图像序列中的图片转化为256阶的灰度图。

C.计算DCT。DCT（离散余弦变换）将图像转为频率和标量的集合。

其中，离散余弦变换(DCT for Discrete Cosine Transform)是与傅里叶变换相关的一种变换，它类似于离散傅里叶变换(DFT for Discrete Fourier Transform),但是只使用实数。离散余弦变换相当于一个长度大概是它两倍的离散傅里叶变换，这个离散傅里叶变换是对一个实偶函数进行的（因为一个实偶函数的傅里叶变换仍然是一个实偶函数），在有些变形里面需要将输入或者输出的位置移动半个单位。具体解释如下：

DFT将信号变换为复指数信号的线性组合，并且如果时域信号是偶对称的，那么频域将只有实部（复指数的余弦部分）。所以，如果将有限长信号延拓为偶对称的，就可以将其变换为余弦信号的线性组合。如图7所示：

若原始信号长度为N，那么延拓后的时域周期为2N-2，如图8所示。

由于时域周期为2N-2，所以基频为cos(2PI/(2N-2))。求和区间本应为[0, 2N-2-1]，考虑到余弦函数是偶函数，求和区间可以限定为[0, N-1]，同时对x[n]加权，并将求和结果乘以2。一倍频处，k=1，基函数为cos(πn/(N-1))；2N-3倍频处，k=2N-3，基函数为cos(π(2N-3)n/(N-1))=cos(π(2N-2-1)n/(N-1))=cos(π(2N-2)n/(N-1) - πn/(N-1))=cos(πn/(N-1))。即1倍频和2N-3倍频有相同的基函数。具体公式为：

因此，DCT-1的结果X[k]与经过延拓后的时域信号具有相同的对称形式，如图9所示：

在实际方法中，本发明实施例使用改进的离散余弦变化。改进离散余弦变换(ModifiedDiscrete Cosine Transform )，简称MDCT，是一种线性正交交叠变换。它使用了一种时域混叠抵消技术(TDAC)，包含50%的时域交叠窗，在不降低编码性能的情况下有效地克服加窗离散余弦变换(DCT)块处理运算中的边缘效应，从而有效地去除由边缘效应产生的周期化噪声，在相同编码率的情况下，MDCT性能优于DCT，广泛应用于语音、宽带音频和图像信号的变换编码中。

（1）为了应用便利，本方法将所有的胶囊内镜图像信息认为是一种“文本”一般的数据，从而提出与之对应的“摘要”概念，既全部有用无冗余的胶囊内镜信息，结合哈希算法实现感知哈希的摘要算法基础。

（2）由于文本数据是具备上下文关系，既同一张图像有前后帧的信息考虑，因此摘要是针对于有上下文环境下做的工作，看起来同样的数据在不同的上下文中并不会剔除，保证了上下文的关联性。

（3）在现有的硬件条件下，GPU比CPU更适合批量的高速运算，如图5所示，同时GPU支持并发处理，通过让算法进入GPU运行，使得运算速度能满足应用场景需求。在实验和基础的测试的目的下，软件还能利用高性能CPU来进行模拟。

在方法实现过程中，本发明实施例为处理***做了交互界面，如图6所示：

在使用过程中，仅需点击摘要按钮，就可以将整套胶囊内镜图像序列中的冗余图像全部删除。

本实施例以Given公司PillCam胶囊为例，进行两次胶囊内镜图像采集，获得一份 原视频长度在7小时以上的图像信息和一份原视频长度在2小时以上的图像信息，采用本发 明实施例的处理方法，分别通过CPU、GPU运行，获得测试结果如下表所示。

源视频长度	摘要视频长度	CPU处理时长	GPU处理时长
				7h34min31s	1h57min1s	670s	32s
2h14min57s	24min10s	160s	0.7s

基于本方法实验结果，可确定，本发明实施例方法可以利用GPU，在40秒内将超过7小时的原视频长度压缩至2小时，也就是说，可以将100，000帧有冗余的胶囊内镜图像压缩至20，000帧以内，可以去除80%的冗余数据。

临床验证：

本方法利用厦门市100例胶囊内镜实际案例进行验证，针对4个不同胶囊内镜品牌真实患者数据，本方法可以去除掉整个消化道胶囊内镜图像序列中超过70%的冗余数据，并且保证含有病灶的图像0遗漏。

相对之前的方法，本发明实施例的处理方法有以下优点：

（1）速度快，可以在40秒内完成超过10万张图片的去除冗余功能。满足医院的实时性需求；

（2）考虑了胶囊内镜图像内前后帧的关系，保证不会遗漏含有病灶的图像，减轻胶囊内镜医生的工作负担。

综上所述，胶囊内镜（Capsule Endoscopy，CE）是近年来研发生产的高新技术产品，能无创性检查整个消化道黏膜的微小病变。但其在消化道内拍摄图片繁多，内涵大量冗余图片，致使医生阅片诊断耗时、费力，一方面消耗大量人工和时间成本，一方面影响到诊断准确率。基于此，本发明的胶囊内镜图像序列去冗余方法，可以去除掉70%以上的胶囊内镜检查过程中拍摄到的冗余数据，大幅减少胶囊内镜诊断时间，提高医生诊断准确率，促进医疗同质化建设。

最后应当说明的是，以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解，技术人员阅读本申请说明书后依然可以对本发明的具体实施方式进行修改或者等同替换，但这些修改或变更均未脱离本发明申请待批权利要求保护范围之内。

Claims (9)

1.一种胶囊内镜的冗余图像处理方法，其特征在于，所述处理方法包括

数据解包过程：将原始数据解包到运算器，根据不同的数据格式，先提取数据的本来内存中的映射，对数据进行散列化，将散列化后的数据送入到运算器开始运算流程；

感知哈希处理过程：在算法阶段，根据散列信息对数据进行算法处理，计算出相似的对象信息；

输出摘要过程：根据算法过程中获得的对象信息，按照摘要信息格式输出对应格式的处理后数据，对数据进行组织与封装，并输出，完成处理过程。

2.根据权利要求1所述的冗余图像处理方法，其特征在于，所述处理方法还包括运算器过程，所述运算器过程根据处理方法的运行硬件，选择GPU或CPU作为运算器，通过选择合适的运算器以得到最快的反馈速度。

3.根据权利要求1所述的冗余图像处理方法，其特征在于，所述感知哈希处理过程为零压缩过程。

4.根据权利要求3所述的冗余图像处理方法，其特征在于，所述感知哈希处理过程包括简化色彩过程，用于将图像信息转化为灰度图。

5.根据权利要求4所述的冗余图像处理方法，其特征在于，所述感知哈希处理过程还包括DCT过程，所述DCT过程为离散余弦变换过程，用于将图像信息转为频率和标量的集合。

6.根据权利要求5所述的冗余图像处理方法，其特征在于，所述DCT过程为改进离散余弦变换过程。

7.一种应用权利要求1-6任一所述方法运行的胶囊内镜冗余图像处理***。

8.一种装载有权利要求7所述***的处理端。

9.根据权利要求8所述的处理端，其特征在于，所述处理端为电脑主机。