CN110335197B - 基于非局部统计本征的去马赛克方法 - Google Patents

Abstract

本发明公开了一种基于非局部统计本征的去马赛克方法，该方法包括以下步骤：将测量值按光谱通道分离后，分别进行初始化估计得到各通道的预设图像；设定样例图像子块，在预设图像中搜索与样例图像子块结构相似的图像子块进行匹配，并将结构相似的图像子块组合成数据矩阵；对数据矩阵进行低秩正则化约束，并联合模拟测量值与真实测量值的最小化约束，得到优化重建的目标函数；对目标函数进行求解，得到目标图像的估计值；将估计值作为新的预设图像，循环迭代上述步骤至指定次数或算法收敛，得到目标去马赛克图像。该方法在压缩感知理论的基础上，充分利用了自然图像的非局部结构信息，提高了图像去马赛克重建精度，能够达到更好的去马赛克效果。

Description

基于非局部统计本征的去马赛克方法

技术领域

本发明涉及计算机视觉和计算摄像学中的计算重建技术领域，特别涉及一种基于非局 部统计本征的去马赛克方法。

背景技术

为了能够用体积小、成本低的数码相机获取彩色图像或者多光谱图像，人们发明了单 传感器结构相机。这类相机的结构特点是它仅有一个探测器，在探测器前面有一层彩色/多 通道滤波阵列，使每个像素点只接受一种波段的光。这类单传感器结构相机获取的图像被 称为马赛克图，通过算法将各波段缺失的像素分量估计出来的过程称为去马赛克过程。去 马赛克问题自诞生以来就被广泛关注，通过去马赛克算法重建出高精度的图像成为研究的 重点。

传统的去马赛克技术多以插值法为主。简单的插值法包括最近邻插值和双线性插值， 但他们对于图像的边缘区域重建效果极差。针对该问题，1997年柯达公司的J.FHamilton 和J.Adams提出自适应插值方法，该方法沿着边缘梯度进行插值进而将图像的像素间相关 性利用了起来，在该自适应插值方法的基础上，2005年美国西弗吉尼亚大学的Li等人提出 了连续逼近去马赛克方法。除了上述利用相关性的插值方法，2011年香港理工大学的Zhang 等人还提出了基于局部方向插值和非局部均值滤波的去马赛克方法及基于局部方向插值和 自适应阈值的去马赛克方法，他们利用图像的非局部冗余性来提高图像的重建效果。

与此同时，随着压缩感知技术的发展，2010年密歇根州立大学的A.A Moghadam等人 提出压缩去马赛克方法，将压缩感知和去马赛克问题结合起来并设计了一种新的随机排列 的彩色滤波阵列，该方法成功的将去马赛克图像重建出来，且效果优于传统的插值方法。 这项研究的成功开启了去马赛克问题的一个新的研究方向。受此启发，2014年Aggarwal 等人尝试将去马赛克问题从红绿蓝(RGB)三通道模型向多通道(多光谱)模型拓展，并 尝试利用压缩感知理论解决多光谱去马赛克问题。该方法使用的彩色滤波阵列拓展性更强 并且去马赛克效果更好。因此，如何在增加光谱通道的同时保证去马赛克重建精度，亟待 解决。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的目的在于提出一种基于非局部统计本征的去马赛克方法，该方法充分 利用了自然图像的非局部结构信息，能够达到更好的去马赛克效果。

为达到上述目的，本发明提出了基于非局部统计本征的去马赛克方法，包括以下步骤： 将场景经过滤波矩阵，得到总测量值，并将所述总测量值按光谱通道进行分离，得到多个 子测量值；将所述多个子测量值分别进行初始化估计得到各通道的预设图像；设定样例图 像子块，在所述预设图像中搜索与所述样例图像子块结构相似的图像子块进行匹配，并将 所述样例图像子块和所述结构相似的图像子块组合成数据矩阵；对所述数据矩阵进行低秩 正则化约束，并联合模拟测量值与真实测量值的最小化约束，得到优化重建的目标函数； 对所述目标函数进行求解，得到目标图像的估计值；将所述目标图像的估计值作为新的预 设图像，循环迭代上述步骤至指定次数或算法收敛，得到目标去马赛克图像。

本发明实施例的基于非局部统计本征的去马赛克方法，将去马赛克问题建模为非局部 统计本征的压缩感知问题，通过充分利用了自然图像的非局部统计特征和结构稀疏性，得 到一种重建光谱通道数量易控、重建图像精度高、重建算法鲁棒性强的去马赛克方法，实 现了高质量的去马赛克图重建，提高了重建精度，且计算过程简单、方便、快捷。

另外，根据本发明上述实施例的基于非局部统计本征的去马赛克方法还可以具有以下 附加的技术特征：

可选地，在本发明的一个实施例中，所述预设图像的初始化估计方法包括但不限于插 值法去马赛克或压缩感知去马赛克算法。

进一步地，在本发明的一个实施例中，所述插值法去马赛克包括但不限于最近邻插值 法、双线性插值法和自适应插值法。

进一步地，在本发明的一个实施例中，所述压缩感知去马赛克方法包括但不限于离散 余弦变换下的压缩感知方法、全变差最小化下的压缩感知方法和基于广义交替投影的全变 差最小化下的压缩感知方法。

进一步地，在本发明的一个实施例中，在进行匹配过程前，需按指定步长提取所述样 例图像子块并预设一个初值T作为衡量图像子块之间的相似度阈值，其中，当搜索范围内 的图像子块与所述样例图像子块的相似度满足T时，则所述图像子块被选为与所述样例图 像子块结构相似的图像子块。

可选地，在本发明的一个实施例中，所述相似度的度量方法包括但不限于曼哈顿距离、 欧氏距离和标准化欧氏距离。

进一步地，在本发明的一个实施例中，所述在预设图像中搜索与所述样例图像子块结 构相似的图像子块进行匹配中的搜索范围为全局范围内的非局部范围，是否被选中为与所 述样例图像子块结构相似的图像子块仅取决于相似度是否满足阈值要求。

进一步地，在本发明的一个实施例中，所述数据矩阵的低秩正则化约束使用加权核范 数代替核范数，以将原来的凸优化问题转变成非凸优化问题，使所述低秩正则化约束精度 更高。

进一步地，在本发明的一个实施例中，所述加权核范数的形式为：

其中，σ_j表示内部矩阵X的第j个奇异值；ω_j表示第j个奇异值对应的权重。

进一步地，在本发明的一个实施例中，所述目标函数求解时，引入辅助变量，使所述 目标函数经过分解后，通过交替进行所述数据矩阵的低秩估计和所述目标图像的去马赛克 重建，最后得到对所述目标图像的估计值。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明 显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和 容易理解，其中：

图1是本发明一个实施例的基于非局部统计本征的去马赛克方法流程图；

图2是基于非局部统计本征的去马赛克成像模型示意图，其中，1为场景、2为相机镜 头、3为滤波阵列和4为探测器；

图3是滤波阵列Mask的结构示意；

图4是各通道基于非局部统计本征的去马赛克流程图；

图5是基于非局部统计本征的去马赛克输入和输出示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同 或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描 述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的基于非局部统计本征的去马赛克方法。

图1是本发明一个实施例的基于非局部统计本征的去马赛克方法流程图。

如图1所示，该基于非局部统计本征的去马赛克方法包括以下步骤：

在步骤S101中，将场景经过滤波矩阵，得到总测量值，并将总测量值按光谱通道进行 分离，得到多个子测量值。

也就是说，需要将测量值分解，对每个通道的图像单独进行初始化估计得到各通道的 预设图像。

在步骤S102中，将多个子测量值分别进行初始化估计得到各通道的预设图像。

进一步地，在本发明的一个实施例中，预设图像的初始化估计值即可以通过使用的插 值法去马赛克得到，也可以使用压缩感知法去马赛克得到。其中，插值法去马赛克包括但 不限于最近邻插值法、双线性插值法和自适应插值法，压缩感知法去马赛克包括不限于离 散余弦变换下的压缩感知方法DCT、全变差最小化下的压缩感知方法TV和基于广义交替 投影的全变差最小化下的压缩感知GAP-TV方法。其为基于非局部统计本征的去马赛克方 法提供一个良好的迭代初值，以提高重建精度。

在步骤S103中，设定样例图像子块，在预设图像中搜索与样例图像子块结构相似的图 像子块进行匹配，并将样例图像子块和结构相似的图像子块组合成数据矩阵。

也就是说，在整幅图像中进行图像子块匹配，在全局范围内搜索与样例图像子块结构 相似的图像子块，并将它们组合成数据矩阵。

进一步地，在本发明的一个实施例中，在进行匹配过程前，搜索过程需按指定步长提 取样例图像子块并预设一个初值T作为衡量图像子块之间的相似度阈值，其中，当搜索范 围内的图像子块与样例图像子块的相似度满足T时，则图像子块被选为与样例图像子块结 构相似的图像子块。其中，相似度的度量方法包括但不限于曼哈顿距离(l₁范数)、欧氏距 离(l₂范数)和标准化欧氏距离。

也就是说，只有与样例图像子块相似度满足阈值T时，才能被选为与样例图像子块结 构相似的图像子块，进而能够准确的找出在结构上具有相似性的图像子块。

需要说明的是，在预设图像中搜索与样例图像子块结构相似的图像子块进行匹配中的 搜索范围为全局范围内的非局部范围，是否被选中为与样例图像子块结构相似的图像子块 仅取决于相似度是否满足阈值要求。

可以理解为，搜索范围不限于样例图像子块周边的局部范围，还包括全局范围内的非 局部范围，只要满足相似性要求即会被选中，从而能够最大程度的利用图像中结构相似的 图像子块以达到结构性稀疏增强的目的。

在步骤S104中，对数据矩阵进行低秩正则化约束，并联合模拟测量值与真实测量值的 最小化约束，得到优化重建的目标函数。

也就是说，目标函数由数据矩阵的低秩正则化约束和模拟测量值与真实测量值的最小 化约束一同构成。

进一步地，在本发明的一个实施例中，数据矩阵的低秩正则化约束使用加权核范数代 替核范数，以将原来的凸优化问题转变成非凸优化问题，使低秩正则化约束精度更高。

其中，加权核范数的形式为：

其中，σ_j表示内部矩阵X的第j个奇异值；ω_j表示第j个奇异值对应的权重。

进一步地，将数据矩阵的低秩正则化约束和模拟测量值与真实测量值的最小化约束， 得到优化重建的目标函数的形式为：

其中，y_k为第k个通道的测量值；Φ_k为第k个通道的下采样矩阵；x_k为第k个通道的目标图像。

简单来讲，在数据矩阵的低秩正则化约束中，使用了加权核范数代替核范数，将原来 的凸优化问题转变成非凸优化问题，进而能够使低秩正则化约束精度更高；然后，在去马 赛克的过程中，将数据矩阵的低秩正则化约束与模拟测量值与真实测量值的最小化约束联 合，得到新的优化重建目标函数。

在步骤S105中，对目标函数进行求解，得到目标图像的估计值。

也就是说，将对优化重建的目标函数进行求解，得到最终的目标图像估计值。

进一步地，在本发明的一个实施例中，将在目标函数求解中引入了辅助变量L_i。引入 辅助变量后的目标函数变为

对引入辅助变量后的目标函数进行分解后得到下式

通过对上述两个等式交替进行数据矩阵的低秩估计和目标图像的去马赛克重建，最后得到 对目标图像的估计值。

需要说明的是，未引入辅助变量的优化重建目标函数虽然能够保证更高的重建精度， 但在数学上难以求解。通过借助辅助变量L_i将新的目标函数进行分解，进而能够快速准确 的求解目标图像的估计值。

在步骤S106中，将目标图像的估计值作为新的预设图像，循环迭代上述步骤至指定次 数或算法收敛，得到目标去马赛克图像。

具体地，在完成一次上述基于非局部统计本征的去马赛克重建后，将其结果作为下次 迭代的初值，再次进行块匹配、低秩估计和去马赛克，循环迭代进行上述步骤至指定次数 或算法收敛，以提高图像去马赛克重建精度。

需要说明的是，在求解去马赛克结果时，可以将去马赛克优化模型的解等效为一个二 次优化问题的封闭解，使用共轭梯度算法就可以直接解得，使得计算简单、方便、快捷。

下面结合具体示例对本发明实施例的工作原理进行具体说明，但本发明并不局限于以 下实施例。

如图2所示，场景透过相机镜头投影在预先设计好的滤波阵列Mask上，Mask对场景光在光谱维度上进行指定的滤波，随后打到探测器上获取测量值。这里的滤波阵列Mask，其效果是使得指定的像素点上只允许指定波长的光通过，以此达到同时采集多个光谱通道信息的目的。

如图3所示，滤波阵列Mask的结构除了图中的规则排列模式外，还可以采用均匀随机 分布模式排列。需要说明的是，本发明实施例所适应的Mask通道数不仅限于图示的4通道，其通道数可向下或者向上拓展生成任意通道数的滤波阵列。

如图4所示，场景经过Mask的滤波后获得的测量值Measurements作为输入，总的测量值在输入后会被按通道拆分成多个子测量值，分别进行去马赛克操作。最后的输出结果是各个通道完整的去马赛克灰度图像。如果有需要，能够继续在光谱维度上求和获得彩色图像输出。

如图5所示，从整体而言，本发明实施例将去马赛克问题建模为解压缩感知问题，其 各通道的成像模型可以表述为

y_k＝Φ_kx_k+η (1)

其中，y_k为第k个通道的测量值；Φ_k为第k个通道的下采样矩阵，即第k个通道的Mask； x_k为第k个通道的真实值；η为第k个通道的噪声。以传统解压缩感知问题的方法，该成像 模型可以通过解以下无约束优化问题求得：

通过对各通道图像测量值y_k使用简单的压缩感知去马赛克方法(包括但不限于DCT\TV\GAP-TV)，可以获得各通道目标图像x_k的估计值，并以此作为基于非局部统计本 征的去马赛克方法的迭代初值。随后在该预设图像上进行块匹配、低秩估计和去马赛克： 首先是块匹配寻找具有相似结构的图像子块组成数据矩阵；然后是对数据矩阵做低秩估计以增强结构稀疏性；最后将低秩估计作为约束，进行去马赛克处理。

块匹配阶段的实施方法是，在图像的迭代初值上以固定步长提取样例图像子块x_i'(i＝1,2,3,...,N)。对每一个样例图像子块x_i'都在其大范围搜索窗内按规定搜索具有相似结 构的图像子块，相似的判定准则为下式

其中，

为第i样例图像子块的搜索窗内的第j个图像子块；T为预设的阈值。找到的 每一块相似图像子块都将和样例图像子块一起构成数据矩阵

低秩估计阶段的实施方法是，将传统的解低秩优化模型

中的核范数||·||*项用加权核范数代替。代替后的低秩优化模型变成

其中，||L_i||_ω,*加权核范数，其计算式为

ω_j≥0为L_i矩阵的每个奇异值σ_j所对应的权重。λ>0是正则化参数。在数据矩阵低秩估计的优化模型改为公式5后，各数 据矩阵的低秩估计更新可以使用加权奇异值阈值法解得。

去马赛克阶段的实施方法是，对所有的数据矩阵都完成了低秩估计后，将这些低秩估 计作为正则化约束项修改公式2的解压缩感知优化模型为：

其中，

是在x_k上相同位置抠出来的数据矩阵，他们与块匹配时选出的结构相似块 位置一样，不同的是块匹配阶段所用的图像是已知的迭代初值图像，而此处所用的图像是 待求解的重建图像x_k。针对公式6的优化模型，可以将其转变成一个二次优化问题的封闭 解问题，并使用共轭梯度法或交替方向乘子法快速更新。

完成上述过程后，得到了相较于简单压缩感知去马赛克方法质量更高的图像重建值。 之后，使用该高质量的图像重建值作为迭代初值继续进行块匹配、低秩估计和去马赛克过 程。不断的循环更新低秩估计L_i和去马赛克图像x_k。这是一个相辅相成的过程，L_i的更新 能够提高x_k的去马赛克质量，x_k的更新能够提高L_i的低秩准确度。这样的循环迭代过程将 持续到指定次数或算法收敛为止。

根据本发明实施例提出的基于非局部统计本征的去马赛克方法，将去马赛克问题建模 为非局部统计本征的压缩感知问题，通过充分利用了自然图像的非局部统计特征和结构稀 疏性，得到一种重建光谱通道数量易控、重建图像精度高、重建算法鲁棒性强的去马赛克 方法，实现了高质量的去马赛克图重建，提高了重建精度，且计算过程简单、方便、快捷。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者 隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐 含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三 个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术 语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元 件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术 人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是 第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特 征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅 仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面” 可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二 特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、 或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包 含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须 针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一 个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技 术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合 和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的， 不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例 进行变化、修改、替换和变型。

Claims (7)

1.一种基于非局部统计本征的去马赛克方法，其特征在于，包括以下步骤：

将场景经过滤波矩阵，得到总测量值，并将所述总测量值按光谱通道进行分离，得到多个子测量值；

将所述多个子测量值分别进行初始化估计得到各通道的预设图像；

设定样例图像子块，在所述预设图像中搜索与所述样例图像子块结构相似的图像子块进行匹配，并将所述样例图像子块和所述结构相似的图像子块组合成数据矩阵；

对所述数据矩阵进行低秩正则化约束，并联合模拟测量值与真实测量值的最小化约束，得到优化重建的目标函数；所述对所述数据矩阵进行低秩正则化约束包括：对所有的数据矩阵都完成低秩估计后，将这些低秩估计作为正则化约束项；

对所述目标函数进行求解，得到目标图像的估计值；以及：

将所述目标图像的估计值作为新的预设图像，所述新的预设图像作为下次迭代的初值，再次进行块匹配、低秩估计和去马赛克，循环迭代上述步骤至指定次数或算法收敛，得到目标去马赛克图像；

所述数据矩阵的低秩正则化约束使用加权核范数代替核范数，所述加权核范数的形式为：

其中，σ_j表示内部矩阵X的第j个奇异值；ω_j表示第j个奇异值对应的权重；所述目标函数形式为：

其中，y_k为第k个通道的测量值；Φ_k为第k个通道的下采样矩阵；x_k为第k个通道的目标图像；η为通道的噪声；

所述目标函数求解时，引入辅助变量，使所述目标函数经过分解后，通过交替进行所述数据矩阵的低秩估计和所述目标图像的去马赛克重建，最后得到对所述目标图像的估计值；所述引入辅助变量为L_i，引入辅助变量后的目标函数变为

对引入辅助变量后的目标函数进行分解后得到下式

其中，

是在x_k上相同位置抠出来的数据矩阵，

加权核范数，其计算式为

ω_j≥0为L_i矩阵的每个奇异值σ_j所对应的权重, λ>0是正则化参数;

通过对上述两个等式交替进行数据矩阵的低秩估计和目标图像的去马赛克重建，最后得到对目标图像的估计值。

2.根据权利要求1所述的方法，其特征在于，所述预设图像的初始化估计方法包括插值法去马赛克或压缩感知去马赛克算法。

3.根据权利要求2所述的方法，其特征在于，所述插值法去马赛克包括最近邻插值法、双线性插值法和自适应插值法。

4.根据权利要求2所述的方法，其特征在于，所述压缩感知去马赛克方法包括离散余弦变换下的压缩感知方法、全变差最小化下的压缩感知方法和基于广义交替投影的全变差最小化下的压缩感知方法。

5.根据权利要求1所述的方法，其特征在于，在进行匹配过程前，需按指定步长提取所述样例图像子块并预设一个初值T作为衡量图像子块之间的相似度阈值，其中，当搜索范围内的图像子块与所述样例图像子块的相似度满足T时，则所述图像子块被选为与所述样例图像子块结构相似的图像子块。

6.根据权利要求5所述的方法，其特征在于，所述相似度的度量方法包括曼哈顿距离、欧氏距离和标准化欧氏距离。

7.根据权利要求1或5所述的方法，其特征在于，在所述预设图像中搜索与所述样例图像子块结构相似的图像子块进行匹配中的搜索范围为全局范围内的非局部范围，是否被选中为与所述样例图像子块结构相似的图像子块仅取决于相似度是否满足阈值要求。

Images