CN109146799A - 基于多张图的摩尔纹去除方法 - Google Patents

Abstract

本发明涉及计算机视觉、图像处理技术，为提出具有普适性的摩尔纹去除方法，本发明，基于多张图的摩尔纹去除方法，步骤如下：步骤1、图像对齐：将拍屏图像都变换到同一视角；步骤2、从同一视角的图像中，选择无摩尔纹或者摩尔纹轻微的区域，生成对应的掩摸{M₁，M₂，...，M_M}，即图像中被选择的区域对应的像素值为1，其他区域像素值为0，选择的区域应至少要有几个像素的重叠，以便在下一步中合成整张图像；步骤3、图像融合：将上步中选择的各个图像区域融合到一张图I_C，重叠部分的像素取平均值以减轻边界效应：其中∑表示图像融合操作。本发明主要应用于图像处理场合。

Description

基于多张图的摩尔纹去除方法

技术领域

本发明涉及计算机视觉、图像处理技术，具体讲,涉及基于多张图的摩尔纹去除方法。

背景技术

拍屏图像(即相机拍摄的有关显示屏内容的图片)当中，往往会出现不规则的色彩各异的条纹，即摩尔纹。这一现象由显示设备网格和相机传感器阵列间的混叠而形成，严重影响了图像质量。摩尔纹的结构和分布与场景信息、相机采样频率和差值算法密切相关，不同场景下摩尔纹的样式不同，摩尔纹分布的密度也会随相机的拍摄位置及视角变化，因此数字图像中摩尔纹的去除比较困难。

现下摩尔纹的去除方法主要分为两类。一类采用预处理的方法。最常见的方法是在相机镜头前放置一个抗混叠滤波器，它通过引入模糊成像的方式来解决摩尔纹问题，在去除摩尔纹的同时丢失了部分细节和纹理信息。另一种预处理方法针对彩色滤波阵列(Color Filter Array,CFA)设计差值算法去除摩尔纹。首先通过简单差值补全绿色通道丢失的像素信息，然后利用重建的绿色通道道德像素数据以及图像传感器捕获的红、蓝通道的像素数据，进一步借助彩色图像通道间信息的相关性完成红、蓝通道的重建。这一方法计算复杂度高并且严重依赖于绿色通道的图像质量。

另一类摩尔纹去除方法基于不同类型的摩尔纹图像做后处理，如电影胶片、X射线图、扫描图像和纹理图像等，针对不同的摩尔纹图像源和不同的摩尔纹样式采用不同的先验模型。虽然这类方法针对特定摩尔纹能实现良好的效果，但是不能通用于丰富的摩尔纹图像的去除。

发明内容

为克服现有技术的不足，本发明旨在提出具有普适性的摩尔纹去除方法。为此，本发明采用的技术方案是，基于多张图的摩尔纹去除方法，步骤如下：

步骤1、图像对齐：将拍屏图像都变换到同一视角

步骤1.1、从M张拍屏图像{I₁,I₂,…,I_M}中选择感兴趣的一张图像视角作为基准图像I_b，b∈{1,2,…,M}；

步骤1.2、将拍屏图像I_i分别对齐到I_b，i＝1,2,…,M且i≠b；

步骤2、从同一视角的图像中，选择无摩尔纹或者摩尔纹轻微的区域，生成对应的掩摸{M₁,M₂,…,M_M}，即图像中被选择的区域对应的像素值为1，其他区域像素值为0，选择的区域应至少要有几个像素的重叠，以便在下一步中合成整张图像；

步骤3、图像融合：将上步中选择的各个图像区域融合到一张图I_C，重叠部分的像素取平均值以减轻边界效应：其中Σ表示图像融合操作。

步骤1.2进一步细化如下：

步骤1.2.1、从拍屏图像I_i和基准图像I_b中依据SIFT特征提取特征点，表示为Ω_x＝{xⁱ,x^b}；

步骤1.2.2、采用RANSAC算法计算I_i和I_b间的单应性矩阵H，从Ω_x中随机选择四对匹配点计算H矩阵，用Ω_x中剩余的匹配点来验证H矩阵的匹配效果，如果和间的距离小于给定阈值∈，则这一匹配对为内部对，否则为外部对，重复这一过程直至H可以匹配的内部对数目达到最大值，然后利用所有的内部对计算得到单应性矩阵H₀；

步骤1.2.3、根据上步得到的矩阵H₀对齐I_i到I_b，对齐图像记为

本发明的特点及有益效果是：

本发明针对摩尔纹的去除方法，通过对齐多张图像到同一视角，融合多张图的互补信息，有效的去除了摩尔纹，具有以下特点：

1、本发明提出的算法基于融合各图像的互补信息，方法简单且行之有效。

2、本发明提出的算法不受限于图像的种类或者摩尔纹的类型，具有普适性。

附图说明：

图1是算法流程图；

图2是本发明的输入和输出：(a)是输入，包含三张带摩尔纹图像,(b)是输出的去摩尔纹图像。

图3、图4展示了本发明的两组结果：(a)是输入图像，第一列大图是作为基准的带摩尔纹图像，第二列是其余输入图像；(b)是输出图像的去摩尔纹结果。

具体实施方式

本发明属于计算机视觉领域，涉及多张拍屏图像去摩尔纹的方法。具体讲，相机拍摄屏幕时会产生摩尔纹现象，严重影响图像视觉效果，通过对齐多个视角的拍屏图像到同一视角，融合这一视角下的多张图的互补信息，去除拍屏图像中的摩尔纹，进而得到干净的拍屏图像。

为克服现有技术的不足，本发明旨在提供一种具有普适性的摩尔纹去除方法。为实现上述目的，本发明采取以下技术方案：基于多张图的互补信息去除摩尔纹，步骤如下：

步骤1、图像对齐：将拍屏图像都变换到同一视角。

步骤1.1、从M张拍屏图像{I₁,I₂,…,I_M}中选择感兴趣的一张图像视角作为基准图像I_b，b∈{1,2,…,M}；

步骤1.2、将拍屏图像I_i(i＝1,2,…,M且i≠b)分别对齐到I_b；

步骤1.2.1、从拍屏图像I_i和基准图像I_b中依据SIFT特征提取特征点，表示为Ω_x＝{xⁱ,x^b}；

步骤1.2.2、采用RANSAC(Random Sample Consensus)算法计算I_i和I_b间的单应性矩阵H。从Ω_x中随机选择四对匹配点计算H矩阵，用Ω_x中剩余的匹配点来验证H矩阵的匹配效果。如果和间的距离小于给定阈值∈，则这一匹配对为内部对，否则为外部对。重复这一过程直至H可以匹配的内部对数目达到最大值。然后利用所有的内部对计算得到单应性矩阵H₀；

步骤1.2.3、根据上步得到的矩阵H₀对齐I_i到I_b，对齐图像记为

步骤2、从同一视角的图像中，选择无摩尔纹或者摩尔纹轻微的区域，生成对应的掩摸{M₁,M₂,…,M_M}，即图像中被选择的区域对应的像素值为1(逻辑数据类)，其他区域像素值为0。注意选择的区域应至少要有几个像素的重叠，以便在下一步中合成整张图像。

步骤3、图像融合：将上步中选择的各个图像区域融合到一张图I_C，重叠部分的像素取平均值以减轻边界效应：其中Σ表示图像融合操作。

本发明采取了如下技术方案：

步骤1、图像对齐：将拍屏图像都变换到同一视角。

步骤1.1、从M张拍屏图像{I₁,I₂,…,I_M}中选择感兴趣的一张图像视角作为基准图像I_b，b∈{1,2,…,M}；

步骤1.2、将拍屏图像I_i(i＝1,2,…,M且i≠b)分别对齐到I_b；

步骤1.2.1、从拍屏图像I_i和基准图像I_b中依据SIFT特征提取特征点，表示为Ω_x＝{xⁱ,x^b}；

步骤1.2.2、采用RANSAC算法计算I_i和I_b间的单应性矩阵H。从Ω_x中随机选择四对匹配点计算H矩阵，用Ω_x中剩余的匹配点来验证H矩阵的匹配效果。如果和间的距离小于给定阈值∈，则这一匹配对为内部对，否则为外部对。重复这一过程直至H可以匹配的内部对数目达到最大值。然后利用所有的内部对计算得到单应性矩阵H₀；

步骤1.2.3、根据上步得到的矩阵H₀对齐I_i到I_b，对齐图像记为

步骤2、从同一视角的图像中，选择无摩尔纹或者摩尔纹轻微的区域，生成对应的掩摸{M₁,M₂,…,M_M}，即图像中被选择的区域对应的像素值为1(逻辑数据类)，其他区域像素值为0。注意选择的区域至少要有几个像素的重叠，以便在下一步中合成整张图像。

步骤3、图像融合：将上步中选择的各个图像区域融合到一张图I_C，重叠部分的像素取平均值以减轻边界效应：其中Σ表示图像融合操作。

Claims (2)

1.一种基于多张图的互补信息去除摩尔纹，其特征是，步骤如下：

步骤1、图像对齐：将拍屏图像都变换到同一视角

步骤1.1、从M张拍屏图像{I₁,I₂,…,I_M}中选择感兴趣的一张图像视角作为基准图像I_b，b∈{1,2,…,M}；

步骤1.2、将拍屏图像I_i分别对齐到I_b，i＝1,2,…,M且i≠b；

步骤2、从同一视角的图像中，选择无摩尔纹或者摩尔纹轻微的区域，生成对应的掩摸{M₁,M₂,…,M_M}，即图像中被选择的区域对应的像素值为1，其他区域像素值为0，选择的区域应至少要有几个像素的重叠，以便在下一步中合成整张图像；

步骤3、图像融合：将上步中选择的各个图像区域融合到一张图I_C，重叠部分的像素取平均值以减轻边界效应：其中Σ表示图像融合操作。

2.如权利要求1所述的基于多张图的互补信息去除摩尔纹，其特征是，步骤1.2进一步细化如下：

步骤1.2.1、从拍屏图像I_i和基准图像I_b中依据SIFT特征提取特征点，表示为Ω_x＝{xⁱ,x^b}；

步骤1.2.2、采用RANSAC算法计算I_i和I_b间的单应性矩阵H，从Ω_x中随机选择四对匹配点计算H矩阵，用Ω_x中剩余的匹配点来验证H矩阵的匹配效果，如果和间的距离小于给定阈值∈，则这一匹配对为内部对，否则为外部对，重复这一过程直至H可以匹配的内部对数目达到最大值，然后利用所有的内部对计算得到单应性矩阵H₀；

步骤1.2.3、根据上步得到的矩阵H₀对齐I_i到I_b，对齐图像记为