CN117710250B - 一种消除纤维镜成像蜂窝状结构的方法 - Google Patents

Abstract

本发明涉及图像处理技术领域，尤其涉及一种消除纤维镜成像蜂窝状结构的方法，通过插值获取完整图像、定位前景区域、定位光纤中心区域、微调光纤中心区域，再根据光纤中心区域恢复图像，锐化恢复细节，得到处理后的图像，能够更好的还原图像信息，本发明使用自适应中值的方式定位光纤中心，计算量小，效果佳，配合微调光纤中心算法，使光纤中心区域的像素值更为准确，本发明提出的插值方法简单且高效，总体效果符合预期结果，本发明最终图像使用锐化方式恢复边缘细节，使画面效果进一步增强。

Description

一种消除纤维镜成像蜂窝状结构的方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种消除纤维镜成像蜂窝状结构的方法。

背景技术

使用纤维镜成像会有蜂窝状结构，严重影响观看体验，为了缓解这一情况，现有技术中主要采用以下三种算法来消除蜂窝状结构：（1）空间域滤波；（2）频率域滤波；（3）插值重建。

空间域滤波主要包括高斯滤波、中值滤波、均值滤波等。在此基础上，使用了先直方图均衡化，再对图像进行高斯滤波的方式消除蜂窝状结构。但空域的方法去除的效果一般，图像会变模糊。

频率域滤波：首先使用二维快速傅立叶变换来获取图像的频域信息。接下来，专门设计的高斯低通滤波器足以去除蜂窝图案的频域信息。最后，可以通过对滤波后的频域信息应用快速傅立叶逆变换来获得恢复的图像。频率域滤波的方法使用设计的带阻滤波器很难完全分开蜂窝状结构和真实有效信息，同时处理后的图像还会存在严重的光晕的现象。

插值重建：首先找到大致光纤中心，再使用高斯分布为每个光纤中心打分，综合高斯分布打分信息和光纤束大小信息得到精准的光纤中心，再根据光纤中心的像素插值即可得到图像。还有人提出了一种对光纤包层和光纤中心进行分段的方法，并采用改进的非局部均值（NLM）算法对纤维束图像进行去噪和修复，有效的去除了蜂窝状结构。相对于空间域滤波和频率域滤波更加合理，成像更清晰，但常规的插值重建的方式都是针对单张图像的，并不适合于内窥镜摄像***。

发明内容

有鉴于此，本发明的目的在于提出一种消除纤维镜成像蜂窝状结构的方法，以解决现有插值重建算法不适用于内窥镜摄像***的问题。

基于上述目的，本发明提供了一种消除纤维镜成像蜂窝状结构的方法，包括以下步骤：

S1、通过插值将原始raw图像恢复成完整图像；

S2、定位完整图像中的前景区域；

S3、通过自适应中值滤波算法在前景区域中得到光纤中心候选区域；

S4、对光纤中心候选区域进行微调，得到光纤中心区域；

S5、分别对原始raw图像的R、G、B通道的每个像素点进行扩展，找到扩展窗体中既是对应通道像素，又属于光纤中心区域的点，并通过预定规则，结合双线性插值法，对像素点进行处理，得到所有的R通道图像、G通道图像和B通道图像，获得处理后的raw域的RGGB图像；

S6、对处理后的raw域的RGGB图像进行锐化处理，得到消除蜂窝状结构的图像。

优选地，S1进一步包括：使用原始raw图像的G通道进行双线性插值得到完整图像。

优选地，S2进一步包括：

S21、选取完整图像I四角区域的像素值，得到其中最大像素值I_MAX；

S22、在I_MAX的基础上添加一个偏移值I_MAX_OFFSET得到前景阈值I_TH；

S23、判断I_TH是否大于I_CUTOFF，若大于则将I_TH设置为I_CUTOFF，否则保持不变；

S24、将完整图像I中的像素值大于前景阈值I_TH的区域定位为前景区域。

优选地，S3进一步包括：

S31、在前景区域中使用中值滤波得到图像I_MEDIAN；

S32、在I_MEDIAN的基础上添加一个偏移值I_MEDIAN_OFFSET得到中心阈值I_M_TH；

S33、将完整图像I中像素值大于中心阈值I_M_TH的区域判定为光纤中心候选区域CENTER_P。

优选地，步骤S31中，中值滤波的窗体大小计算步骤包括：

S311、按如下公式计算变量x：

，

其中r表示前景区域半径，N表示光纤束数量；

S312、判断x是否小于3，若是则置为3，再将x进行四舍五入得到整数值，作为中值滤波的窗体大小MEDIAN_SIZE。

优选地，S4进一步包括：

S41、分别对原始raw图像的R、G、B通道进行处理，将每个像素点扩展为微调窗口，微调窗口的大小与中值滤波的窗体大小相等；

S42、在微调窗口内选取光纤中心候选区域中的点，将其像素值求平均得到微调后的各像素点的值，从而获得包含微调后的像素信息的光纤中心区域。

优选地，所述通过预定规则，结合双线性插值法，对像素点进行处理包括：

构造距离矩阵DIS_MATRIX，距离矩阵的窗体大小DIS_SIZE与中值滤波的窗体大小相等；

以像素点i为中心扩展一个大小为DIS_SIZE×DIS_SIZE的距离窗体；

选取距离窗体中既是像素点对应通道，又在光纤中心区域中的点，将得到的点划分到四个象限内，结合距离矩阵找到每个象限内距离i最近的点：

若不存在距离最近的点，则i不作处理等于原像素值；

若仅存在一个最近的点，则将i的像素值置为该最近的点的值；

如果仅存在一二象限或者三四象限的点，那么则选取最近的点的值作为i的像素值；

若仅存在一三象限或者二四象限的点，则使用双线性插值方式计算得到新的i的像素值；

若仅存在一二三象限的点，则比较一三象限点的距离值的和是否大于第二象限点距离值的2倍，若是则使用一三象限的点双线性插值得到新的i的像素值，否则将i的像素值置为第二象限点的值；

若仅存在一二四象限的点，则比较二四象限点的距离值的和是否大于第一象限点距离值的2倍，若是则使用二四象限的点双线性插值得到新的i的像素值，否则将值的像素值置为第一象限点的值；

若仅存在二三四象限的点，则比较二四象限点的距离值的和是否大于第三象限点距离值的2倍，若是则使用二四象限的点双线性插值得到新的i的像素值，否则将i的像素值置为第三象限点的值；

若仅存在一三四象限的点，则比较一三象限点的距离值的和是否大于第四象限点距离值的2倍，若是则使用一三象限的点双线性插值得到新的i的像素值，否则将i的像素值置为第四象限点的值；

若四个象限都存在点，那么则比较一三象限点和二四象限点的距离，使用较小的那一对点进行双线性插值，若此时距离小于等于2，则比较梯度，选取梯度小的那一对点进行双线性插值。

优选地，对处理后的raw域的RGGB图像进行锐化处理包括：

在处理后的raw域的RGGB图像NEW_RAW_IMG中根据前景区域选取出对应区域NEW_FG，分别对R、G、G、B通道采用以下步骤处理：

将对应通道像素使用11*11的高斯核对NEW_FG进行卷积处理得到NEW_FG_CONV，将NEW_FG减去NEW_FG_CONV得到细节和边缘信息NEW_FG_DETAIL，将NEW_FG_DETAIL放大预设的M倍后加到NEW_FG上得到增强后的结果NEW_FG_RES，即对应通道锐化处理后的像素值。

本发明的有益效果：

本发明基于插值重建的方式，因此会优于空间域滤波和频率域滤波。

本发明从成像原理出发，将算法作用于raw图，更好的还原图像信息。

本发明使用自适应中值的方式定位光纤中心，计算量小，效果佳，配合微调光纤中心算法，使光纤中心区域的像素值更为准确。

本发明提出的插值方法简单且高效，总体效果符合预期结果。

本发明最终图像使用锐化方式恢复边缘细节，使画面效果进一步增强。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的消除纤维成像蜂窝状结构的方法流程示意图；

图2为本发明实施例的处理前的蜂窝状结构图像；

图3为本发明实施例的处理后的最终结果图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，对本发明进一步详细说明。

需要说明的是，除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

如图1所示，本说明书实施例提供一种消除纤维镜成像蜂窝状结构的方法，包括以下步骤：

S1、通过插值将原始raw图像恢复成完整图像；

由于本发明是作用于raw域，原始raw图像RAW_IMG是bayer的RGGB格式，数据不能被直接使用，因此需要先通过插值恢复成一张完整的图像，方便后续的处理。由于格式是RGGB，其中G通道的信息最多，故本实施例中使用G通道进行双线性插值得到完整图像I。

S2、定位完整图像中的前景区域，具体包括：

S21、选取完整图像I四角区域的像素值，得到其中最大像素值I_MAX，其中四角区域选择的像素区域大小和形状可自行定义，例如选取一个9×9的窗口大小，紧贴四角区域；

S22、在I_MAX的基础上添加一个偏移值I_MAX_OFFSET得到前景阈值I_TH，其中偏移值I_MAX_OFFSET是一个可设置的值，本实施例中默认设为2。

S23、判断I_TH是否大于I_CUTOFF，若大于则将I_TH设置为I_CUTOFF，否则保持不变；

S24、将完整图像I中的像素值大于前景阈值I_TH的区域定位为前景区域。

本实施例定位前景区域的方式对比了OSTU大津算法选取前景区域，OSTU大津算法会因为画面大小的变化导致选取前景失败，因此本实施例的定位前景区域的算法相较于OSTU大津算法鲁棒性更强。

S3、通过自适应中值滤波算法在前景区域中得到光纤中心候选区域，具体包括：

S31、在前景区域中使用中值滤波得到图像I_MEDIAN；

S32、在I_MEDIAN的基础上添加一个偏移值I_MEDIAN_OFFSET得到中心阈值I_M_TH；

S33、将完整图像I中像素值大于中心阈值I_M_TH的区域判定为光纤中心候选区域CENTER_P，CENTER_P中在候选区域处值为1，否则值为0。

中值滤波的窗体大小为MEDIAN_SIZE，该窗体大小依赖于前景区域的大小，当前景区域较大时，MEDIAN_SIZE随之增大，否则MEDIAN_SIZE随之减小。这是由于一般医疗用纤维镜的光纤束大约有N根光纤（N默认为20000），对应到画面中就是前景区域。但由于光学卡口变焦的原因，会导致每根光线所能对应的像素区域大小会随着变焦的因素而变化，因此为了能够使使算法有更高的鲁棒性，需要估计大概每根光线所占区域的像素多少。本实施例中遵循下述公式计算变量x，当x小于3则置为3，再对x进行四舍五入得到整数值，该值即为MEDIAN_SIZE；

,

上式中r表示前景区域半径，N为光纤束数量。

S4、从纤维镜的的成像原理出发，光纤中间中仅有最中心区域的像素是最为正确的，周围区域会像点光源一般逐渐减小。而光纤中心候选区域CENTER_P是一个区域并非一个点，所以需要对该区域进行微调。因此需要对光纤中心候选区域进行微调，得到光纤中心区域，具体包括：

对原始的RAW_IMG图像的RGB区域像素分别处理，即当前R通道像素点在窗口REFINE_SIZE内选取对应R通道的像素值，要求这些像素必须为候选区域CENTER_P中的点（如果当前R通道像素点不在CENTER_P中则不进行计算），再对这些像素求平均即可得到当前像素点的值。依照该方式分别计算G和B通道，得到微调光纤中心区域REFINE_P，REFINE_P中包含真实的像素信息。

其中窗口REFINE_SIZE与MEDIAN_SIZE的大小相等，但要求REFINE_SIZE的最小值为9。

S5、根据光纤中心区域恢复图像，具体包括：

构造距离矩阵DIS_MATRIX，距离矩阵的窗体大小DIS_SIZE与中值滤波的窗体大小相等；

对原始的RAW_IMG图像的RGB区域像素分别处理。R通道当前像素点R_i为中心扩展一个DIS_SIZE*DIS_SIZE的窗体；

选取距离窗体中既是R通道的像素，又在光纤中心区域中的点，将得到的点划分到四个象限内，结合距离矩阵找到每个象限内距离R_i最近的点：

若不存在距离最近的点，则R_i不作处理等于原像素值；

若仅存在一个最近的点，则将R_i的像素值置为该最近的点的值；

如果仅存在一二象限或者三四象限的点，那么则选取最近的点的值作为R_i的像素值；

若仅存在一三象限或者二四象限的点，则使用双线性插值方式计算得到新的R_i的像素值；

若仅存在一二三象限的点，则比较一三象限点的距离值的和是否大于第二象限点距离值的2倍，若是则使用一三象限的点双线性插值得到新的i的像素值，否则将R_i的像素值置为第二象限点的值；

若仅存在一二四象限的点，则比较二四象限点的距离值的和是否大于第一象限点距离值的2倍，若是则使用二四象限的点双线性插值得到新的R_i的像素值，否则将值的像素值置为第一象限点的值；

若仅存在二三四象限的点，则比较二四象限点的距离值的和是否大于第三象限点距离值的2倍，若是则使用二四象限的点双线性插值得到新的R_i的像素值，否则将i的像素值置为第三象限点的值；

若仅存在一三四象限的点，则比较一三象限点的距离值的和是否大于第四象限点距离值的2倍，若是则使用一三象限的点双线性插值得到新的R_i的像素值，否则将R_i的像素值置为第四象限点的值；

若四个象限都存在点，那么则比较一三象限点和二四象限点的距离，使用较小的那一对点进行双线性插值，若此时距离小于等于2，则比较梯度，选取梯度小的那一对点进行双线性插值。

按照如上操作即可插值得出所有的R通道图像。依次类推即可得到G和B通道的图像。

上述操作最终插值出的图像依旧是raw域的RGGB图像，此时称图像为NEW_RAW_IMG。

S6、对处理后的raw域的RGGB图像NEW_RAW_IMG进行锐化处理，得到消除蜂窝状结构的图像，具体包括：

在NEW_RAW_IMG图像中根据前景区域选取出对应区域NEW_FG，对R通道像素使用11*11的高斯核对NEW_FG进行卷积处理得到NEW_FG_CONV，将NEW_FG减去NEW_FG_CONV得到细节和边缘信息NEW_FG_DETAIL，NEW_FG_DETAIL放大M倍后加到NEW_FG上即可得到增强后的结果NEW_FG_RES。其中M的默认值为4。类推可得到G、G、B通道的像素值，从而完成锐化处理。

下面采用本说明书提供的消除纤维镜成像蜂窝状结构的方法对如图2所示的蜂窝状结构图像进行处理，得到的最终结果图如图3所示，可以看出本发明很好的去除蜂窝状结构，能够应用于内窥镜摄像***。

本方法从成像原理出发，纤维镜本身是由多个光纤束包裹而成，光纤与光纤之间存在距离，会导致cmos采集到这部分区域的像素是黑色的，从raw图经过解码赛克处理得到RGB图的这一步骤，会由于这部分黑色像素而导致错误的插值，使得该RGB图就是由错误信息插值得到的较差图像。很多插值重建方法是在RGB图上进行的处理，也就是在一个较差图像上进行的处理，那图像信息始终有损失，因此本方法将算法作用于raw图，更好的还原图像信息。

较多的插值重建方法中定位光纤中心点算法实现都很复杂。例如有研究者使用了高斯分布给光纤中心点打分，有研究者使用亚像素定位的方式定位光纤中心点，有研究者使用多张图片信息的方式定位中心点等等。而本方法使用自适应中值的方式定位光纤中心，计算量小，效果佳，配合微调光纤中心算法，光纤中心区域的像素值更为准确。

插值重建方法中重建部分有研究者使用的德劳内三角剖分插值的方式，该插值方式计算量大，耗费资源多。而本发明提出的插值方法简单且高效，总体效果符合预期结果。

最终图像使用锐化方式恢复边缘细节，画面效果进一步增强。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明的范围（包括权利要求）被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。

本发明旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种消除纤维镜成像蜂窝状结构的方法，其特征在于，所述方法包括以下步骤：

S1、通过插值将原始raw图像恢复成完整图像；

S2、定位完整图像中的前景区域；

S3、通过自适应中值滤波算法在前景区域中得到光纤中心候选区域；

S4、对光纤中心候选区域进行微调，得到光纤中心区域；

S5、分别对原始raw图像的R、G、B通道的每个像素点进行扩展，找到扩展窗体中既是对应通道像素，又属于光纤中心区域的点，并通过预定规则，结合双线性插值法，对像素点进行处理，得到所有的R通道图像、G通道图像和B通道图像，获得处理后的raw域的RGGB图像；

S6、对处理后的raw域的RGGB图像进行锐化处理，得到消除蜂窝状结构的图像；

所述通过预定规则，结合双线性插值法，对像素点进行处理包括：

构造距离矩阵DIS_MATRIX，距离矩阵的窗体大小DIS_SIZE与中值滤波的窗体大小相等；

以像素点i为中心扩展一个大小为DIS_SIZE×DIS_SIZE的距离窗体；

选取距离窗体中既是像素点对应通道，又在光纤中心区域中的点，将得到的点划分到四个象限内，结合距离矩阵找到每个象限内距离i最近的点：

若不存在距离最近的点，则i不作处理等于原像素值；

若仅存在一个最近的点，则将i的像素值置为该最近的点的值；

如果仅存在一二象限或者三四象限的点，那么则选取最近的点的值作为i的像素值；

若仅存在一三象限或者二四象限的点，则使用双线性插值方式计算得到新的i的像素值；

若仅存在一二三象限的点，则比较一三象限点的距离值的和是否大于第二象限点距离值的2倍，若是则使用一三象限的点双线性插值得到新的i的像素值，否则将i的像素值置为第二象限点的值；

若仅存在一二四象限的点，则比较二四象限点的距离值的和是否大于第一象限点距离值的2倍，若是则使用二四象限的点双线性插值得到新的i的像素值，否则将值的像素值置为第一象限点的值；

若仅存在二三四象限的点，则比较二四象限点的距离值的和是否大于第三象限点距离值的2倍，若是则使用二四象限的点双线性插值得到新的i的像素值，否则将i的像素值置为第三象限点的值；

若仅存在一三四象限的点，则比较一三象限点的距离值的和是否大于第四象限点距离值的2倍，若是则使用一三象限的点双线性插值得到新的i的像素值，否则将i的像素值置为第四象限点的值；

若四个象限都存在点，那么则比较一三象限点和二四象限点的距离，使用较小的那一对点进行双线性插值，若此时距离均小于等于2，则比较梯度，选取梯度小的那一对点进行双线性插值。

2.根据权利要求1所述的消除纤维镜成像蜂窝状结构的方法，其特征在于，步骤S1进一步包括：使用原始raw图像的G通道进行双线性插值得到完整图像。

3.根据权利要求1所述的消除纤维镜成像蜂窝状结构的方法，其特征在于，步骤S2进一步包括：

S21、选取完整图像I四角区域的像素值，得到其中最大像素值I_MAX；

S22、在I_MAX的基础上添加一个偏移值I_MAX_OFFSET得到前景阈值I_TH；

S23、判断I_TH是否大于I_CUTOFF，若大于则将I_TH设置为I_CUTOFF，否则保持不变；

S24、将完整图像I中的像素值大于前景阈值I_TH的区域定位为前景区域。

4.根据权利要求1所述的消除纤维镜成像蜂窝状结构的方法，其特征在于，步骤S3进一步包括：

S31、在前景区域中使用中值滤波得到图像I_MEDIAN；

S32、在I_MEDIAN的基础上添加一个偏移值I_MEDIAN_OFFSET得到中心阈值I_M_TH；

S33、将完整图像I中像素值大于中心阈值I_M_TH的区域判定为光纤中心候选区域CENTER_P。

5.根据权利要求4所述的消除纤维镜成像蜂窝状结构的方法，其特征在于，步骤S31中，中值滤波的窗体大小计算步骤包括：

S311、按如下公式计算变量x：

其中r表示前景区域半径，N表示光纤束数量；

S312、判断x是否小于3，若是则置为3，再将x进行四舍五入得到整数值，作为中值滤波的窗体大小MEDIAN_SIZE。

6.根据权利要求1所述的消除纤维镜成像蜂窝状结构的方法，其特征在于，步骤S4进一步包括：

S41、分别对原始raw图像的R、G、B通道进行处理，将每个像素点扩展为微调窗口，微调窗口的大小与中值滤波的窗体大小相等；

S42、在微调窗口内选取光纤中心候选区域中的点，将其像素值求平均得到微调后的各像素点的值，从而获得包含微调后的像素信息的光纤中心区域。

7.根据权利要求1所述的消除纤维镜成像蜂窝状结构的方法，其特征在于，所述对处理后的raw域的RGGB图像进行锐化处理包括：

在处理后的raw域的RGGB图像NEW_RAW_IMG中根据前景区域选取出对应区域NEW_FG，分别对R、G、G、B通道采用以下步骤处理：

将对应通道像素使用11*11的高斯核对NEW_FG进行卷积处理得到NEW_FG_CONV，将NEW_FG减去NEW_FG_CONV得到细节和边缘信息NEW_FG_DETAIL，将NEW_FG_DETAIL放大预设的M倍后加到NEW_FG上得到增强后的结果NEW_FG_RES，即对应通道锐化处理后的像素值。