CN111161852A - 一种内窥镜图像处理方法、电子设备及内窥镜*** - Google Patents

Abstract

本发明涉及医疗器械领域，尤其涉及一种内窥镜图像处理方法、电子设备及内窥镜***。该内窥镜图像处理方法包括：在目标图像中标识特定区域，其中，目标图像是从被检查对象在照明单元照射下所拍摄的一系列图像中任意选取的一幅图像；计算所述特定区域在所述一系列图像中的其他幅图像内所能产生的偏移范围；在所述偏移范围内将所述一系列图像按照所述特定区域进行对准。本发明大大降低了对准内窥镜摄取的一系列光谱图像的计算量，提高了特定区域的对准效果；对准后，可生成准确的光谱数据立方体或光谱曲线，或融合生成特征鲜明的图像，提高光谱病理分析和诊断的准确性。

Description

一种内窥镜图像处理方法、电子设备及内窥镜***

技术领域

本发明涉及医疗器械领域，尤其涉及一种内窥镜图像处理方法、电子设备及内窥镜***。

背景技术

内窥镜***是人体腔道早期疾病诊断和治疗的重要医疗器械，其包括内窥镜镜体和照明单元。使用时，将软质或硬质管状的内窥镜镜体***人体内部，在照明单元的照射下进行摄像，以借助图像观察人体脏器的组织形态和病变情况，进行诊断。由于人体组织(包括病变组织)对某些特定波长的光很敏感，对某些特定波长的光不敏感，因此，为了凸显白光照射下被淹没的特征信息，常使用多种不同波长的光分别照射在被检查对象上，摄取一系列图像，获得人体组织(包括病变组织)的光谱图谱或光谱数据立方体，通过研究光谱曲线特性并分析光谱病理，减少诊断中对取样和病理检验的依赖。

目前，对一系列图像进行分析处理的方式是先从这些图像中任意选取多幅图像进行图像识别、对准和伪彩色赋值，最终形成一幅彩色图像。但是，连续摄取被检查对象的一系列图像时，两次照明成像的间隔时间内，人体呼吸、心跳、胃肠蠕动等会造成被检查对象的移动或变形，而且用户在远端操作内窥镜会使内窥镜发生抖动或旋转，导致连续摄取的一系列图像中，每幅图像间存在明显的偏移；另外，内窥镜的视场角很大，具有桶形畸变，增大了图像间的偏移。当前直接在整幅图像范围内对选取的图像进行对准，计算量大且难以保证关注区域的对准效果，进而导致无法获取某个位置准确的光谱曲线，致使后续光谱病理分析的准确性大大降低，甚至完全错误。

发明内容

鉴于上述背景技术的缺陷，本发明的目的是提供一种内窥镜图像处理方法、电子设备及内窥镜***，用以解决现有内窥镜***使用中图像处理效果差，无法为后续研究提供准确的数据和良好的图像的问题。

为了解决上述技术问题，本发明提供了一种内窥镜图像处理方法，包括：

在目标图像中标识特定区域，其中，目标图像是从被检查对象在照明单元照射下所拍摄的一系列图像中任意选取的一幅图像；计算所述特定区域在所述一系列图像中的其他幅图像内所能产生的偏移范围；在所述偏移范围内将所述一系列图像按照所述特定区域进行对准。

为了解决上述技术问题，本发明还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的内窥镜图像处理方法的步骤。

为了解决上述技术问题，本发明又提供了一种内窥镜***，包括内窥镜镜体，还包括如上所述的电子设备，所述处理器与所述内窥镜镜体内的摄像模块通信连接。

本发明的上述技术方案具有以下有益效果：

本发明的内窥镜图像处理方法，在拍摄的一系列图像中任意选取的一幅图像内标识特定区域，计算特定区域在一系列图像中的其他幅图像内所能产生的偏移范围，在偏移范围内将一系列图像按特定区域进行对准；该内窥镜图像处理方法，计算特定区域在一系列图像中的其他幅图像内的偏移范围，在所能产生的偏移范围内将所述一系列图像按特定区域进行对准，大大降低了计算量，提高了特定区域的对准效果；使用对准后的图像，可生成准确的光谱数据立方体或光谱曲线，为诊断、研究提供准确的数据；对准后，还可将特征信息丰富的图像进行融合，融合后的图像，特征鲜明，利于快速、准确地诊断。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明内窥镜图像处理方法一实施方案的流程图；

图2是图1所示的实施方案中照明单元照射的多种照明光的一种组合的光谱示意图；

图3是图1所示的实施方案中照明单元照射的多种照明光的另一种组合的光谱示意图；

图4是图1中一系列图像与图2所示的多种照明光的对应图；

图5是在目标图像中标识特定区域的一实施例的示意图；

图6是在目标图像中人工指定的某一区域只有一个像素点时的示意图；

图7是在目标图像中标识特定区域的另一实施例的示意图；

图8是在目标图像中标识特定区域的又一实施例的流程图；

图9是图8所示流程所对应的处理结果示意图；

图10是在目标图像中标识出多个特定区域的示意图；

图11是计算图5所示的特定区域的偏移范围的一种实施方案的示意图；

图12是计算图5所示的特定区域的偏移范围的另一种实施方案的示意图；

图13是在实时图像范围内选定的待标定像素点；

图14是待标定像素点在Δt时间的偏移范围圆的标定过程示意图；

图15是图1所示对准步骤一实施例的流程图；

图16是按照图15所示的方法进行对准的示意图；

图17是图1所示对准步骤另一实施例的流程图；

图18是本发明内窥镜图像处理方法另一实施例的流程图；

图19是按照图18所示方式对一系列图像进行初步对准的示意图；

图20是相似变换包含的位移变换的示意图；

图21是相似变换包含的旋转变换的示意图；

图22是相似变换包含的缩放变换的示意图；

图23是图18所示图像对准调整步骤一实施例的流程图；

图24是图19所示的一组图像初步对准后的位移轨迹示意图；

图25是图19所示的一组图像初步对准后的旋转轨迹示意图；

图26是图19所示的一组图像初步对准后的缩放轨迹示意图；

图27是本发明内窥镜***一实施例的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“第一”“第二”是为了清楚说明产品部件进行的编号，不代表任何实质性区别。“上”“下”“左”“右”的方向均以附图所示方向为准。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明实施例中的具体含义。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

图1是本发明内窥镜图像处理方法一实施方案的流程图，图1所示的内窥镜图像处理方法包括步骤：

步骤S110，在目标图像中标识特定区域，其中，目标图像是从被检查对象在照明单元照射下所拍摄的一系列图像中任意选取的一幅图像。

步骤S120，计算特定区域在一系列图像中的其他幅图像内所能产生的偏移范围。

步骤S130，在偏移范围内将一系列图像按照特定区域进行对准。

其中，照明单元可以采用氙灯作为光源，也可以使用宽光谱LED或钨灯或其他宽光谱作为光源。光源经滤光片组、滤光片轮和滤光片组控制机构，依次滤出多种照明光。具体地，可以按需选用具有不同中心波长的窄带滤光片或具有不同波长范围的宽带滤光片或不安装滤光片，组成滤光片组；滤光片按一定顺序，比如中心波长从小到大，镶嵌在滤光片轮上；滤光片的透光率可以不同，以调整每种照明光的强度；滤光片控制机构控制滤光片轮旋转，切换滤光片，即可滤出所需的多种照明光。图2是图1所示的实施方案中照明单元照射的多种照明光的一种组合的光谱示意图，其包括25种只有一个中心波长的窄带光201～225，共连续覆盖400-760nm可见光范围，滤光片设计成不同的透光率，对照明强度进行调整，以使内窥镜镜体内的摄像单元摄取的一系列图像的亮度尽量均衡。

除此之外，照明单元的光源还可以使用对应所需多种照明光的多种LED实现，这种实施方案，可省去滤光片，通过电子控制方式依次点亮照明光路中的每种LED，或通过机械方式依次将每种LED切换进照明光路。另外，采用LED作为光源时，可以将LED安装在内窥镜镜体的顶端，但内窥镜镜体的顶端空间狭小，能安装的LED的数量受到限制。

需要说明的是，上述提及的多种照明光并不局限于图2所示的25种窄带光，除此之外，每种照明光可以具有一个以上的中心波长及带宽，即每种照明光可以是具有一个或多个中心波长的窄带光，和/或具有一个或多个波长范围的宽带光的任意组合，尤其是可能对特定病症敏感或可能会凸显被检查对象某方面特征的照明光。在一系列图像的摄取中，每种照明光可以以不同的强度出现多次。图3是照明单元照射的多种照明光的另一种组合的光谱示意图，包括一种具有一个中心波长的窄带光201、一种具有两个中心波长的窄带光226、一种具有一个波长范围的宽带光227和一种具有两个波长范围的宽带光228。

图4是图1中一系列图像与图2所示的多种照明光的对应图。照明光201经内窥镜镜体引导，照射在被检查对象上，摄像模块摄取对应的一幅图像301，完成一次照明成像；照明单元切换下一种照明光202，摄像模块摄取对应的另一幅图像302，完成另一次照明成像；照明单元继续切换下一种照明光203，摄像模块摄取对应的一幅图像303，完成再一次照明成像；如此往复，照明单元依次切换照明光，摄像模块依次摄取对应的一幅图像，直至照明单元切换到照明光225，摄像模块摄取完对应的一幅图像325，完成一系列图像的照明成像，这一系列图像构成一组图像330。设相邻两次照明成像的时间间隔为Δt。需要说明的是，本发明提供的内窥镜图像处理方法同样适用于单一波长照明下摄取的多幅图像。

按照图像拍摄的时间顺序，若目标图像为拍摄的第一幅图像，则可以先计算特定区域在第二幅图像的偏移范围，在计算出的偏移范围内将第二幅图像与目标图像对准，获得特定区域在第二幅图像中准确的对应区域，接着计算第三幅图像相比于该对应区域的偏移范围，在该偏移范围内将第三幅图像对准至目标图像，如此往复至所有图像均对准至目标图像。除此之外，也可以先计算出目标图像外的其他每一幅图像相对于目标图像的偏移范围，然后再将这些图像在偏移范围内逐一对准至目标图像。当然，若目标图像为拍摄的第i幅图像，采用与上一致的方法对第i+1之后的图像计算偏移范围并进行对准，计算前i-1幅图像的偏移范围时采用逆向运算的方式进行。

为了叙述方便，后续结合图4中的一系列图像并均以第一幅图像作为目标图像进行具体说明，对于采用其他图像作为目标对象的情形不再赘述。

图5是在目标图像中标识特定区域的一实施例的示意图。在目标图像中人工指定某一区域作为特定区域。具体地，借助鼠标401在一组图像330的第一幅图像301中划定一个区域403，以该区域403作为特定区域。其中，区域403包含关注的一颗息肉402。指定了特定区域的图像作为后续对准的目标图像。另外，也可以在一组图像330的其他任意一幅图像中划定特定区域。除了鼠标401之外，还可以用触摸板、键盘、语音输入装置、摄像头、扫描仪等其他任意的输入设备辅助人工指定特定区域；用户可以通过点选、勾画、输入坐标、输入区域、选择预设的区域、移动特定形状的选择框等方式指定特定区域。

其中，用户在通过输入设备指定区域时，可能只指定了特别小的区域，比如图6所示，在目标图像中人工指定的区域409只有一个像素点。一个像素点极易受噪声干扰，且无法只按一个像素点进行后续对准，针对这种情况，则以区域409为中心，将其扩大为5x5像素的区域410，作为最终的特定区域。备选的，还可以将其扩大为9x9或13x13或其他较原来略大的区域。

备选的，还可以使用其他方式在目标图像中标识特定区域。图7是在目标图像中标识特定区域的另一实施例的示意图，无需使用输入设备。具体地，先在实时图像中心预设一个边长为100像素的方形区域404，并用虚线框提示；摄取被检查对象对应多种照明光的一组图像330前，先调整内窥镜镜体顶端的方向和位置，使方形区域对准关注区域，即对准息肉402，并使息肉402充满方形区域404；然后才摄取图像，并将第一幅图像301中的方形区域404，作为特定区域。其中，息肉402也可以未充满方形区域404，只要其落入方形区域404内即可。另外，可以在实时图像的任意位置预设任意形状和大小的区域，也可以用任意一幅图像的所述区域作为特定区域。

图8是在目标图像中标识特定区域的又一实施例的流程图，图9是图8所示流程所对应的处理结果示意图，同样不需要借助输入设备。步骤S410，对已摄取的一组图像330的第一幅图像301，使用canny算子或sobel算子或laplacian算子或roberts算子或prewitt算子进行边缘检测；步骤S420，基于断点处边缘方向保持假设的闭合轮廓提取方法，进行断裂边缘的连接，得到闭合的轮廓，并对闭合轮廓进行提取，提取出息肉402的轮廓；步骤S430，然后对提取的息肉轮廓进行一定比例或像素数量的扩张得到区域408，并选定区域408为特定区域。

除此之外，还可以将用户输入位置指定手段、预设位置指定手段、自动识别位置指定手段中的两种或多种结合起来，更快速准确地指定关注的区域为特定区域。在一种实施方案中，先通过自动识别位置指定手段选定多个区域，再通过用户输入位置指定手段从所述多个区域中指定一个区域，并进行完善，选定为特定区域。

通常在图5、图7、图9中示例的特定区域403、404、408都较大，无需采用图6所示出的方法进行扩大。

特定区域往往是用户关注的区域，图5、图6、图7及图9所示的实施例中，仅示出了将一个区域指定为特定区域的情形，而有时用户也需要指定另外的区域作为特定区域，用作关注区域的参照区域。比如，用户想获取病变部位的光谱曲线，同时又想与正常部位的光谱曲线作对比，这种情况下，首先要保证关注区域的对准效果，其次要兼顾参照区域的对准效果(其可以比关注区域的差)。图10是在目标图像中标识出多个特定区域的示意图，特定区域501是关注区域，包含着息肉402；特定区域502是参照区域，未发现病变。为保证关注区域501的对准效果，并兼顾参照区域502的对准效果，对关注区域501和参照区域502施加不同的对准权重用于后续对准。比如，一种施加权重的实施方案为，用户通过输入设备按既定规则输入每个特定区域的关注度；按每个特定区域的关注度之比施加相应比值的对准权重。作为参照区域的特定区域往往较小，所以也可以计算每个特定区域的面积，按面积之比施加相应比值的对准权重，以此作为一种自动施加对准权重的实施方案。计算偏移范围时对每个特定区域分别进行偏移范围计算。

在相邻两次照明成像的时间间隔Δt中，目标图像中的特定区域在脏器蠕动、内窥镜镜体抖动或旋转等的影响下会发生偏移，需要在待对准图像中计算所能产生的偏移范围。针对上述不同的标识特定区域的方法，以下仅以图5所示的特定区域为例进行具体介绍，其他标识特定区域的方式与此相同，不再赘述。

图11是计算图5所示的特定区域的偏移范围的一种实施方案的示意图。首先，在一组图像330的第一幅图像301中指定的特定区域403确定x坐标最小、x坐标最大、y坐标最小、y坐标最大共计四个像素点601；读取四个像素点601在Δt时间的偏移范围圆602，确定四个像素点601在x、y方向上可能偏离特定区域403最大的四个位置603；通过四个位置603确定一个边分别平行于x轴、y轴的矩形区域604，矩形区域604即为计算的特定区域403在第二幅图像302中所能产生的偏移范围。需要说明的是，像素点的数量不少于三个，三个像素点可以确定一个三角形区域，以该三角形区域作为特定区域403在第二幅图像302中所能产生的偏移范围；当为五个或六个点或更多时，可以确定一个多边形区域，以该多边形区域作为403在第二幅图像302中所能产生的偏移范围。

像素点在Δt时间的偏移范围圆602预先通过标定获得，存储在存储模块中，需要时从存储模块中读取。在偏移范围604内，按特定区域403将待对准图像302对准到目标图像301。对准之后，即可获得特定区域403在第二幅图像302中准确的对应区域，进而可根据对应区域估计特定区域403在第三幅图像303中所能产生的偏移范围；然后在偏移范围内，按特定区域403将待对准图像303对准到目标图像301。如此往复，即可在相应的偏移范围内，按特定区域403将图像302～325依次对准到目标图像301。

图12是计算图5所示的特定区域的偏移范围的另一种实施方案的示意图。从存储模块分别读取特定区域403边界上每个像素点601在Δt时间的偏移范围圆602，将所有偏移范围圆602叠加，由叠加区域的外边界确定一个新的区域605，即为计算出的特定区域403在第二幅图像302中所能产生的偏移范围，同时由叠加区域的内边界还确定了一个区域606，对准时可作为附加限制条件，即特定区域403边界上像素点601向内偏移的限制。需要说明的是，也可以采用特定区域403边界上间隔选取的多个像素点，分别读取这些像素点在Δt时间的偏移范围圆602，以同时外切于这些偏移范围圆602的边界作为计算出的特定区域403在第二幅图像302中所能产生的偏移范围，其中，像素点的数量不少于三个，由三个偏移范围圆602可以唯一确定一个外接圆或者按比例放大特定区域403边界所形成的外边界。当然，多个像素点可以全部设置在特定区域403边界上；也可以部分临近特定区域403边界，另一部分位于特定区域403边界上，对此，本发明实施例不做具体限定。

摄取图像期间，人体呼吸、心跳、胃肠蠕动等会造成被检查对象的移动或变形；用户在远端操作内窥镜，虽然会尽量持稳内窥镜镜体，但内窥镜镜体的顶端还是会有轻微抖动或旋转；加之内窥镜具有的桶形畸变，上述各种因素综合导致了连续摄取的一系列图像中，每幅图像间存在明显的偏移，但上述偏移不是无限的，而是具有可估计的范围，通过估计该偏移范围，在偏移范围内将图像进行对准，可大大降低对准的计算量，提高对准的精度。

图13和图14解释了如何对像素点在Δt时间的偏移范围圆602进行标定。如图13所示，在整幅图像范围内选定均匀分布的15×15个待标定像素点601，图14是待标定像素点在Δt时间的偏移范围圆的标定过程示意图。在典型观察距离下，使第一个待标定像素点601对准被检查对象中具有明显特征的点状部位，比如胃部的小息肉，以不小于Δt的时间间隔摄取两幅图像。人工在第1幅图像中找出小息肉的中心位置点701，在第二幅图像中找出小息肉的中心位置点702，确定位置点702相对于位置点701的坐标偏移，完成第一个待标定像素点601的第一组标定数据的获取。如此往复，针对第一个待标定像素点601，获取100组标定数据，获取每组标定数据前都要随机变换所述典型观察距离和所述具有明显特征的点状部位。将所述100组标定数据绘制在一起，保持所有位置点702相对于位置点701的坐标偏移，并使所有位置点701重合；以701为圆心绘制圆，恰好包含住所有的位置点702，得到半径为r的圆703。由于找出具有明显特征的点状部位的中心位置点701和702时，存在误差，所以还需要将半径r乘以一个裕量系数，比如1.2，得到半径为R的圆602，即为该待标定像素点601在Δt时间的偏移范围圆602。如此往复，依次对每个待标定像素点601进行标定。对于未标定的像素点，按到相邻的已标定像素点的距离，对相邻的已标定像素点的偏移范围圆半径进行反距离加权插值，得到该像素点的偏移范围圆半径，进而得到该像素点的偏移范围圆602。

其中，待标定像素点的数量并不限于15×15个，可以根据具体的图像分辨率调整，增多或减少；待标定像素点还可以其他排布方式分布于整幅图像范围内。所述100组标定数据并不需要一次性获取，可以在临床检查中积累，或者从临床视频、图像资料中摘取，数据组数也不限于100。所述裕量系数可以根据数据获取情况和数据组数合理调整。还可以针对不同类型的内窥镜和器官分别进行标定，以提高标定精度，比如胃镜和胃、结肠镜和结肠等。

需要说明的是，按照与上述Δt时间内偏移范围圆进行标定类同的方式，同样可以进行NΔt(N≥2)时间内偏移范围圆的标定，进而利用NΔt时间内偏移范围圆对间隔N-1幅图像的各图像进行特定区域的偏移范围的确定。比如，可以同时标定Δt、2Δt、3Δt等多个时间内的偏移范围圆，将采集的一系列图像分为特征相对丰富的图像和特征相对模糊的图像两类，然后先对特征相对丰富的图像进行处理，每幅图像中携带有采集时间信息，根据其与目标图像的时间间隔距离，选择相应时间段内的偏移范围圆确定特定区域在该图像所能产生的偏移范围，然后进行对准。重复该过程至特征相对丰富的图像全部对准后，再用同样的方法将特征相对模糊的图像依次对准。

还需要说明的是，上述标定中，不仅可以用圆形界定像素点的偏移范围，获得偏移范围圆，还可以用其他任意形状，比如方形，获得偏移范围方块。

另外，对于图7所示的在目标图像中标识特定区域的方法，由于特定区域是预设的，所以可以根据标定好的NΔt(N≥1)时间内的偏移范围，预先计算好特定区域在一系列图像中的其他幅图像内的偏移范围，如此，拍摄一系列图像后，即可省去图1所示的步骤S120，直接进行步骤S130。

图15是图1所示对准步骤一实施例的流程图。图16是按照图15所示的方法在图11所示的偏移范围内将图像按图5所示的特定区域进行对准的示意图。对准步骤具体包括：步骤S810，分别在目标图像301中的特定区域403和待对准图像302中的偏移范围604内，使用加速鲁棒特征(Speed Up Robust Feature，简称SURF)算法搜索特征点，图16中特征点810即为众多特征点中的一个；步骤S820，用快速近似最近邻搜索库(Fast Library forApproximate Nearest Neighbors，简称FLANN)匹配特征点对，获得804～809等众多特征点对；步骤S830，使用随机抽样一致(Random Sample Consensus，简称RANSAC)算法筛选特征点对，比如筛选出特征点对805～808等；步骤S840，使用筛选出的特征点对的坐标，联立方程组求解图像302到图像301的单应性变换矩阵，作为对准变换矩阵，即获取了对准映射关系，从而实现在偏移范围604内按特定区域403将待对准图像302对准到目标图像301。对准之后，即可获得特定区域403在第2幅图像302中准确的对应区域821，进而可根据对应区域821估计特定区域403在第3幅图像303中所能产生的偏移范围；进而在图像303中的偏移范围内，按特定区域403将待对准图像303对准到目标图像301。如此往复，即可实现在相应的偏移范围内按特定区域403将图像302～325依次对准到目标图像301。

本发明提供的内窥镜图像处理方法，仅在特定区域和相应的偏移范围内搜索特征点并进行后续处理，相比对整幅图像进行处理，大大降低了计算量，而且借助偏移范围的限制，保证了特定区域的对准效果。备选的，对准变换部803还可以使用筛选出的特征点对的坐标，联立方程组求解相似变换或仿射变换矩阵，作为对准变换矩阵，将待对准图像对准到目标图像。

另外，还可以使用基于Marr小波改进的SIFT算法的遥感影像配准，或基于显著性和ORB的红外和可见光图像配准算法，在偏移范围内按特定区域将待对准图像对准到目标图像。其中，基于Marr小波改进的SIFT算法的遥感影像配准是利用尺度空间理论下的Marr小波对目标图像和待对准图像进行特征提取，然后利用欧氏距离对目标图像和待对准图像的特征点进行初对准，再根据随机采样一致法，对初对准结果进行精对准。基于显著性和ORB的红外和可见光图像配准算法是利用优化的HC-GHS显著性检测算法得到图像的显著性结构图，再利用ORB算法在显著性结构图上进行特征点检测，利用泰勒级数筛选出鲁棒性强的特征点，并根据特征点的方向进行分组匹配，最后利用汉明距离实现特征点的匹配。备选的，还可以将特定区域作为对准模板，在相应的偏移范围内扫过，使用互信息作为相似性测度进行对准；或者，使用B样条自由形变或demons算法等基于灰度的弹性对准方法进行对准。

图17是图1所示对准步骤另一实施例的流程图，较图15所示的实施方案，在搜索特征点之前，先进行步骤S800，即根据具体的内窥镜型号读取存储在存储模块中的畸变系数，对特定区域和相应的偏移范围进行畸变校正，以消除内窥镜的摄像模块带来的桶形畸变，所述畸变系数可以通过棋盘标定板，使用张氏相机标定法，预先对内窥镜进行标定而获得。完成图像对准之后，进行步骤S850，即再次使用所述畸变系数，将对准映射关系换算到畸变校正之前，实现待对准图像到目标图像的对准。

当标识的特定区域为多个时，需要对多个特定区域施加不同的对准权重。下面以图15所示的图像对准流程为例，说明图像对准时如何使用所述对准权重进行对准。首先，在筛选特征点对时，保证从每个特定区域筛选出的特征点对的数量之比等于所述对准权重之比。比如，图10中的特定区域501和特定区域502的对准权重分别为1和0.33，需要筛选出4对特征点，则从特定区域501筛选3对，从特定区域502只筛选1对。这样，在联立方程组求解对准的单应性变换矩阵时，特定区域501起主导作用，特定区域502起辅助作用，保证了特定区域501的对准效果，并兼顾了特定区域502的对准效果。另外，还可以从存储模块中调出存储的任一组图像，重新指定特定区域，重新估计偏移范围，重新对准。

图18是本发明内窥镜图像处理方法另一实施例的流程图，相比于图1所示的内窥镜图像处理方法，在进行对准之前先进行步骤S1010，即图像初步对准，在初步对准后进行步骤S1020，即图像对准调整，可以达到更好的对准效果。图19是按照图18所示方式对一系列图像进行初步对准的示意图。在相应的偏移范围内按特定区域1131将一组图像1130采用相似变换进行初步对准，即分别求解待对准图像1102～1125(图19中仅示出了1112，1113，1114)到目标图像1101的24个相似变换矩阵，将待对准图像1102～1125初步对准到目标图像1101，图像1101～1125分别对应图2所示的25种照明光201～225。初步对准后，即可获得特定区域1101在待对准图像1102～1125中的对应区域1132～1155(图19中仅示出了1142，1143，1144)。

由于人体组织(包括病变组织)，对某些特定波长的光不敏感，在不敏感的光照射时摄取的图像可能较暗或特征较少。比如图19中的图像1113，图像较暗，特征信息不明显。但在计算光谱曲线时，这种图像的信息是必要的，其对准的准确性影响着后续光谱病理分析的准确性。虽然有偏移范围的限制，但由于特征信息不明显，初步对准时仍可能产生较大的偏差，如特定区域1101在图像1113中的对应区域1143就有明显的偏差；但摄取图像期间各种因素导致的图像偏移是连续的，不应有过大的突变。因此，可以根据初步对准的24个相似变换矩阵，计算一组图像1130的偏移轨迹，根据所述偏移轨迹调整具有明显偏差的图像的对准映射关系。

具体地，相似变换可以分解为位移变换、旋转变换和缩放变换三种基础变换。图20、图21、图22是相似变换包含的位移变换、旋转变换、缩放变换的示意图，其中，1201是变换前的图像，1202是位移变换后的图像，1203是旋转变换后的图像，1204是缩放变换后的图像。相应的，一组图像1130的偏移轨迹可由位移轨迹、旋转轨迹和缩放轨迹构成。

图23是图18所示图像对准调整步骤一实施例的流程图。具体地，步骤S1310，先根据图像1102～1125到目标图像1101的24个相似变换矩阵，分别计算一组图像1130的偏移轨迹，即位移轨迹、旋转轨迹和缩放轨迹。图24、图25、图26分别是初步对准后的位移轨迹示意图、旋转轨迹示意图和缩放轨迹示意图；横坐标为25种照明光的中心波长，照明光212、213、214分别与图19中的图像1112、1113、1114对应；纵坐标分别为位移量、旋转量、缩放量，1401为位移轨迹，1402为旋转轨迹，1403为缩放轨迹。步骤S1320，计算构成偏移轨迹的各个位点的方差，或计算相邻两个位点的梯度，判定方差或梯度超过设定的阈值的位点1410为异常位点，异常位点1410对应的图像1113即为在相应的偏移轨迹上具有明显偏差的图像。步骤S1330，使用图像1112和图像1114到图像1101的位移变换矩阵，插值计算一个新的位移变换矩阵；使用图像1112和图像1114到图像1101的旋转变换矩阵，插值计算一个新的旋转变换矩阵；使用图像1112和图像1114到图像1101的缩放变换矩阵，插值计算一个新的缩放变换矩阵。步骤S1340，将新的位移变换矩阵、旋转变换矩阵和缩放变换矩阵合成为新的相似变换矩阵，作为图像1113到图像1101的新的对准变换矩阵，完成具有明显偏差的图像1113的对准映射关系的调整。若只在一种或两种偏移轨迹中检测到异常位点，则只须对相应的基础变换矩阵进行调整，再合成新的相似变换矩阵；或者只计算一种偏移轨迹，只进行一个基础变换维度的检测和调整。

另外，在偏移范围内将一系列图像按照特定区域进行初步对准时还可以采用仿射变换或单应性变换，除位移轨迹、旋转轨迹和缩放轨迹外，还可以计算其他偏移轨迹，比如剪切轨迹或透视轨迹，对相应的基础变换维度进行检测和调整。

借助软件程序将经过对准的一组图像，以对应的照明光的中心波长为序排列，生成特定区域的光谱数据立方体。除此之外，还可以由用户通过输入设备选取任意像素点，或自动选取特定区域的灰度重心像素点，以中心波长为横坐标，灰度值为纵坐标，生成所述像素点的光谱曲线。其中，可以直接生成特定区域内所有像素点的光谱曲线；或者先将特定区域和在其他图像中的对应区域分别进行灰度平均，再生成特定区域的均值光谱曲线。对于图10所示的指定了多个特定区域的情况，可以分别生成每个特定区域的光谱数据立方体或光谱曲线。

借助软件程序将经过对准的一组图像的全部或部分进行融合，生成一幅图像。一种实施方案为：分别计算特定区域和在其他图像中的对应区域的灰度方差，将所有图像按方差从大到小排序，自动选择排在前50％的图像进行融合，即选择灰度差异相对较大的图像进行融合。另一种实施方案为：以相同的阈值标准，从特定区域和在其他图像中的对应区域重新筛选特征点，按含有的特征点数量从大到小排序，自动选择排在前30％的图像进行融合，即选择特征信息丰富的图像进行融合。另外，还可以由用户通过输入设备选取任意的数幅图像，经伪彩色赋值，融合生成一幅彩色图像。或者，将所有图像分别视为一种颜色分量，进行白平衡，融合生成白光图像。

除此之外，本发明实施例还提供了一种电子设备，其包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序。其中，存储器、处理器通过总线完成相互间的通信，处理器用于调用存储器中的程序指令，以执行如下方法：在目标图像中标识特定区域，其中，目标图像是从被检查对象在照明单元照射下所拍摄的一系列图像中任意选取的一幅图像；计算特定区域在一系列图像中的其他幅图像内所能产生的偏移范围，在偏移范围内将一系列图像按照特定区域进行对准。

本发明实施例提供的电子设备，可执行内窥镜图像处理方法中的具体步骤，并能达到相同的技术效果，在此不再对此进行具体介绍。

在上述实施方案中，存储器是单独的模块，包括上述提及的存储模块，该存储器可以基于非易失性存储器实现，比如电可擦可编程只读存储器(Electrically erasableprogrammable read only memory，简称EEPROM)、闪存(Flash memory)等，也可以是硬盘、光盘或磁带。在另外的实施方案中，存储器仅用于存储程序指令化的内窥镜图像处理方法，上述提及的存储模块属于独立于该存储器的另一存储单元，当执行内窥镜图像处理方法时，若需要调取数据，则从存储模块中调取。

图27是本发明内窥镜***一实施例的结构示意图。图27提供的内窥镜***包括照明单元1501，内窥镜镜体1502及电子设备1506。其中，照明单元1501产生多种照明光，经内窥镜镜体1502引导，分别照射在被检查对象1520上。内窥镜镜体1502包括摄像模块1504，摄像模块1504摄取被检查对象1520对应所述多种照明光的一系列图像1530；摄像模块1504具有光学成像镜头1505，光学成像镜头1505位于内窥镜镜体1502的顶端。电子设备中的处理器运行内窥镜图像处理方法，在一系列图像1530的任一图像中指定特定区域；估计所述特定区域在一系列图像1530中的其他幅图像内所能产生的偏移范围；在所述偏移范围内将一系列图像1530按所述特定区域进行对准；使用经过所述对准的一系列图像，生成所述特定区域的光谱数据立方体或光谱曲线；将经过所述对准的一系列图像的全部或部分进行融合，生成一幅图像。存储器，存储所述图像、特定区域、偏移范围、光谱数据等。该电子设备自带显示装置，除此之外，该电子设备也可以外接显示装置，用于显示所述图像、特定区域和光谱数据等。显示装置可以选用索尼的医用显示器LMD-2451MC或其他与图像分辨率匹配的显示器实现。为了方便用户人工操作，该电子设备还可以设置输入设备，可以选用触摸板、键盘、语音输入装置、摄像头、扫描仪等其他任意的输入辅助设备。需要说明的是，图27中的被检查对象1520仅用于示例，实际的被检查对象可以是胃、肠等其他任何内窥镜适用的器官或部位。

电子设备可以基于FPGA(Field Programable Gate Array,现场可编程逻辑门阵列)实现。另外，还可以基于SoC(System on Chip，片上***)，或ASIC(ApplicationSpecific Integrated Circuit,专用集成电路)，或嵌入式处理器实现，也可以直接使用计算机，还可以综合上述一种或几种方案来实现。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种内窥镜图像处理方法，其特征在于，包括：

在目标图像中标识特定区域，其中，目标图像是从被检查对象在照明单元照射下所拍摄的一系列图像中任意选取的一幅图像；计算所述特定区域在所述一系列图像中的其他幅图像内所能产生的偏移范围；在所述偏移范围内将所述一系列图像按照所述特定区域进行对准。

2.根据权利要求1所述的内窥镜图像处理方法，其特征在于，在目标图像中标识特定区域包括：

在目标图像中人工指定某一区域作为特定区域；或者在拍摄该目标图像时调整内窥镜镜体使目标对象落入预设区域内，以所述预设区域作为特定区域；或者在目标图像中自动识别出目标对象所在的区域作为特定区域。

3.根据权利要求1或2所述的内窥镜图像处理方法，其特征在于，所述特定区域包括多个，对多个特定区域施加不同的对准权重，基于所述对准权重在所述偏移范围内将所述一系列图像进行对准。

4.根据权利要求1所述的内窥镜图像处理方法，其特征在于，计算所述特定区域在所述一系列图像中的其他幅图像内所能产生的偏移范围包括：

基于预先标定的像素点所能产生的像素偏移范围计算所述特定区域在其他幅图像内所能产生的偏移范围。

5.根据权利要求4所述的内窥镜图像处理方法，其特征在于，所述基于预先标定的像素点所能产生的像素偏移范围计算所述特定区域在其他幅图像内所能产生的偏移范围包括：

获取预先标定的至少三个像素点的像素偏移范围；

以所述像素偏移范围最外侧的切线相交形成的封闭区域作为所述偏移范围，或者，以所述像素偏移范围的外边界作为所述偏移范围；

其中，所述至少三个像素点包括三个位于所述特定区域边界上的像素点。

6.根据权利要求1所述的内窥镜图像处理方法，其特征在于，在所述偏移范围内将所述一系列图像按照所述特定区域进行对准包括：

在目标图像的特定区域和待对准图像的偏移范围内搜索特征点并匹配特征点对，基于所述特征点对计算所述待对准图像到目标图像的对准映射关系。

7.根据权利要求6所述的内窥镜图像处理方法，其特征在于，在搜索特征点之前还包括：基于畸变系数对目标图像的特定区域和待对准图像的偏移范围进行畸变校正；在完成图像对准之后，基于所述畸变系数将对准映射关系换算到畸变校正之前，实现待对准图像到目标图像的对准。

8.根据权利要求1所述的内窥镜图像处理方法，其特征在于，在所述偏移范围内将所述一系列图像按照所述特定区域进行对准之前还包括，计算所述一系列图像的偏移轨迹，基于所述偏移轨迹调整所述一系列图像中某些图像的对准映射关系。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8任一项所述的内窥镜图像处理方法的步骤。

10.一种内窥镜***，包括内窥镜镜体，其特征在于，还包括如权利要求9所述的电子设备，所述处理器与所述内窥镜镜体内的摄像模块通信连接。

Images