CN109146799A - 基于多张图的摩尔纹去除方法 - Google Patents
基于多张图的摩尔纹去除方法 Download PDFInfo
- Publication number
- CN109146799A CN109146799A CN201810758573.9A CN201810758573A CN109146799A CN 109146799 A CN109146799 A CN 109146799A CN 201810758573 A CN201810758573 A CN 201810758573A CN 109146799 A CN109146799 A CN 109146799A
- Authority
- CN
- China
- Prior art keywords
- image
- moire fringes
- region
- matrix
- visual angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 16
- 230000000007 visual effect Effects 0.000 claims abstract description 16
- 230000000694 effects Effects 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 20
- 230000000295 complement effect Effects 0.000 claims description 6
- 230000004438 eyesight Effects 0.000 abstract description 3
- 230000007812 deficiency Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
Abstract
本发明涉及计算机视觉、图像处理技术,为提出具有普适性的摩尔纹去除方法,本发明,基于多张图的摩尔纹去除方法,步骤如下:步骤1、图像对齐:将拍屏图像都变换到同一视角;步骤2、从同一视角的图像中,选择无摩尔纹或者摩尔纹轻微的区域,生成对应的掩摸{M1,M2,...,MM},即图像中被选择的区域对应的像素值为1,其他区域像素值为0,选择的区域应至少要有几个像素的重叠,以便在下一步中合成整张图像;步骤3、图像融合:将上步中选择的各个图像区域融合到一张图IC,重叠部分的像素取平均值以减轻边界效应:其中∑表示图像融合操作。本发明主要应用于图像处理场合。
Description
技术领域
本发明涉及计算机视觉、图像处理技术,具体讲,涉及基于多张图的摩尔纹去除方法。
背景技术
拍屏图像(即相机拍摄的有关显示屏内容的图片)当中,往往会出现不规则的色彩各异的条纹,即摩尔纹。这一现象由显示设备网格和相机传感器阵列间的混叠而形成,严重影响了图像质量。摩尔纹的结构和分布与场景信息、相机采样频率和差值算法密切相关,不同场景下摩尔纹的样式不同,摩尔纹分布的密度也会随相机的拍摄位置及视角变化,因此数字图像中摩尔纹的去除比较困难。
现下摩尔纹的去除方法主要分为两类。一类采用预处理的方法。最常见的方法是在相机镜头前放置一个抗混叠滤波器,它通过引入模糊成像的方式来解决摩尔纹问题,在去除摩尔纹的同时丢失了部分细节和纹理信息。另一种预处理方法针对彩色滤波阵列(Color Filter Array,CFA)设计差值算法去除摩尔纹。首先通过简单差值补全绿色通道丢失的像素信息,然后利用重建的绿色通道道德像素数据以及图像传感器捕获的红、蓝通道的像素数据,进一步借助彩色图像通道间信息的相关性完成红、蓝通道的重建。这一方法计算复杂度高并且严重依赖于绿色通道的图像质量。
另一类摩尔纹去除方法基于不同类型的摩尔纹图像做后处理,如电影胶片、X射线图、扫描图像和纹理图像等,针对不同的摩尔纹图像源和不同的摩尔纹样式采用不同的先验模型。虽然这类方法针对特定摩尔纹能实现良好的效果,但是不能通用于丰富的摩尔纹图像的去除。
发明内容
为克服现有技术的不足,本发明旨在提出具有普适性的摩尔纹去除方法。为此,本发明采用的技术方案是,基于多张图的摩尔纹去除方法,步骤如下:
步骤1、图像对齐:将拍屏图像都变换到同一视角
步骤1.1、从M张拍屏图像{I1,I2,…,IM}中选择感兴趣的一张图像视角作为基准图像Ib,b∈{1,2,…,M};
步骤1.2、将拍屏图像Ii分别对齐到Ib,i=1,2,…,M且i≠b;
步骤2、从同一视角的图像中,选择无摩尔纹或者摩尔纹轻微的区域,生成对应的掩摸{M1,M2,…,MM},即图像中被选择的区域对应的像素值为1,其他区域像素值为0,选择的区域应至少要有几个像素的重叠,以便在下一步中合成整张图像;
步骤3、图像融合:将上步中选择的各个图像区域融合到一张图IC,重叠部分的像素取平均值以减轻边界效应:其中Σ表示图像融合操作。
步骤1.2进一步细化如下:
步骤1.2.1、从拍屏图像Ii和基准图像Ib中依据SIFT特征提取特征点,表示为Ωx={xi,xb};
步骤1.2.2、采用RANSAC算法计算Ii和Ib间的单应性矩阵H,从Ωx中随机选择四对匹配点计算H矩阵,用Ωx中剩余的匹配点来验证H矩阵的匹配效果,如果和间的距离小于给定阈值∈,则这一匹配对为内部对,否则为外部对,重复这一过程直至H可以匹配的内部对数目达到最大值,然后利用所有的内部对计算得到单应性矩阵H0;
步骤1.2.3、根据上步得到的矩阵H0对齐Ii到Ib,对齐图像记为
本发明的特点及有益效果是:
本发明针对摩尔纹的去除方法,通过对齐多张图像到同一视角,融合多张图的互补信息,有效的去除了摩尔纹,具有以下特点:
1、本发明提出的算法基于融合各图像的互补信息,方法简单且行之有效。
2、本发明提出的算法不受限于图像的种类或者摩尔纹的类型,具有普适性。
附图说明:
图1是算法流程图;
图2是本发明的输入和输出:(a)是输入,包含三张带摩尔纹图像,(b)是输出的去摩尔纹图像。
图3、图4展示了本发明的两组结果:(a)是输入图像,第一列大图是作为基准的带摩尔纹图像,第二列是其余输入图像;(b)是输出图像的去摩尔纹结果。
具体实施方式
本发明属于计算机视觉领域,涉及多张拍屏图像去摩尔纹的方法。具体讲,相机拍摄屏幕时会产生摩尔纹现象,严重影响图像视觉效果,通过对齐多个视角的拍屏图像到同一视角,融合这一视角下的多张图的互补信息,去除拍屏图像中的摩尔纹,进而得到干净的拍屏图像。
为克服现有技术的不足,本发明旨在提供一种具有普适性的摩尔纹去除方法。为实现上述目的,本发明采取以下技术方案:基于多张图的互补信息去除摩尔纹,步骤如下:
步骤1、图像对齐:将拍屏图像都变换到同一视角。
步骤1.1、从M张拍屏图像{I1,I2,…,IM}中选择感兴趣的一张图像视角作为基准图像Ib,b∈{1,2,…,M};
步骤1.2、将拍屏图像Ii(i=1,2,…,M且i≠b)分别对齐到Ib;
步骤1.2.1、从拍屏图像Ii和基准图像Ib中依据SIFT特征提取特征点,表示为Ωx={xi,xb};
步骤1.2.2、采用RANSAC(Random Sample Consensus)算法计算Ii和Ib间的单应性矩阵H。从Ωx中随机选择四对匹配点计算H矩阵,用Ωx中剩余的匹配点来验证H矩阵的匹配效果。如果和间的距离小于给定阈值∈,则这一匹配对为内部对,否则为外部对。重复这一过程直至H可以匹配的内部对数目达到最大值。然后利用所有的内部对计算得到单应性矩阵H0;
步骤1.2.3、根据上步得到的矩阵H0对齐Ii到Ib,对齐图像记为
步骤2、从同一视角的图像中,选择无摩尔纹或者摩尔纹轻微的区域,生成对应的掩摸{M1,M2,…,MM},即图像中被选择的区域对应的像素值为1(逻辑数据类),其他区域像素值为0。注意选择的区域应至少要有几个像素的重叠,以便在下一步中合成整张图像。
步骤3、图像融合:将上步中选择的各个图像区域融合到一张图IC,重叠部分的像素取平均值以减轻边界效应:其中Σ表示图像融合操作。
本发明采取了如下技术方案:
步骤1、图像对齐:将拍屏图像都变换到同一视角。
步骤1.1、从M张拍屏图像{I1,I2,…,IM}中选择感兴趣的一张图像视角作为基准图像Ib,b∈{1,2,…,M};
步骤1.2、将拍屏图像Ii(i=1,2,…,M且i≠b)分别对齐到Ib;
步骤1.2.1、从拍屏图像Ii和基准图像Ib中依据SIFT特征提取特征点,表示为Ωx={xi,xb};
步骤1.2.2、采用RANSAC算法计算Ii和Ib间的单应性矩阵H。从Ωx中随机选择四对匹配点计算H矩阵,用Ωx中剩余的匹配点来验证H矩阵的匹配效果。如果和间的距离小于给定阈值∈,则这一匹配对为内部对,否则为外部对。重复这一过程直至H可以匹配的内部对数目达到最大值。然后利用所有的内部对计算得到单应性矩阵H0;
步骤1.2.3、根据上步得到的矩阵H0对齐Ii到Ib,对齐图像记为
步骤2、从同一视角的图像中,选择无摩尔纹或者摩尔纹轻微的区域,生成对应的掩摸{M1,M2,…,MM},即图像中被选择的区域对应的像素值为1(逻辑数据类),其他区域像素值为0。注意选择的区域至少要有几个像素的重叠,以便在下一步中合成整张图像。
步骤3、图像融合:将上步中选择的各个图像区域融合到一张图IC,重叠部分的像素取平均值以减轻边界效应:其中Σ表示图像融合操作。
Claims (2)
1.一种基于多张图的互补信息去除摩尔纹,其特征是,步骤如下:
步骤1、图像对齐:将拍屏图像都变换到同一视角
步骤1.1、从M张拍屏图像{I1,I2,…,IM}中选择感兴趣的一张图像视角作为基准图像Ib,b∈{1,2,…,M};
步骤1.2、将拍屏图像Ii分别对齐到Ib,i=1,2,…,M且i≠b;
步骤2、从同一视角的图像中,选择无摩尔纹或者摩尔纹轻微的区域,生成对应的掩摸{M1,M2,…,MM},即图像中被选择的区域对应的像素值为1,其他区域像素值为0,选择的区域应至少要有几个像素的重叠,以便在下一步中合成整张图像;
步骤3、图像融合:将上步中选择的各个图像区域融合到一张图IC,重叠部分的像素取平均值以减轻边界效应:其中Σ表示图像融合操作。
2.如权利要求1所述的基于多张图的互补信息去除摩尔纹,其特征是,步骤1.2进一步细化如下:
步骤1.2.1、从拍屏图像Ii和基准图像Ib中依据SIFT特征提取特征点,表示为Ωx={xi,xb};
步骤1.2.2、采用RANSAC算法计算Ii和Ib间的单应性矩阵H,从Ωx中随机选择四对匹配点计算H矩阵,用Ωx中剩余的匹配点来验证H矩阵的匹配效果,如果和间的距离小于给定阈值∈,则这一匹配对为内部对,否则为外部对,重复这一过程直至H可以匹配的内部对数目达到最大值,然后利用所有的内部对计算得到单应性矩阵H0;
步骤1.2.3、根据上步得到的矩阵H0对齐Ii到Ib,对齐图像记为
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810758573.9A CN109146799B (zh) | 2018-07-11 | 2018-07-11 | 基于多张图的摩尔纹去除方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810758573.9A CN109146799B (zh) | 2018-07-11 | 2018-07-11 | 基于多张图的摩尔纹去除方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109146799A true CN109146799A (zh) | 2019-01-04 |
CN109146799B CN109146799B (zh) | 2022-04-08 |
Family
ID=64800096
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810758573.9A Active CN109146799B (zh) | 2018-07-11 | 2018-07-11 | 基于多张图的摩尔纹去除方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109146799B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110661969A (zh) * | 2019-08-19 | 2020-01-07 | 厦门快商通科技股份有限公司 | 显示屏的图像采集方法、装置、电子设备及介质 |
CN110728219A (zh) * | 2019-09-29 | 2020-01-24 | 天津大学 | 基于多列多尺度图卷积神经网络的3d人脸生成方法 |
CN111489300A (zh) * | 2020-03-11 | 2020-08-04 | 天津大学 | 基于无监督学习的屏幕图像去摩尔纹方法 |
CN112565595A (zh) * | 2020-11-25 | 2021-03-26 | 西安闻泰电子科技有限公司 | 图像抖动消除方法、装置、电子设备和存储介质 |
CN112598602A (zh) * | 2021-01-06 | 2021-04-02 | 福建帝视信息科技有限公司 | 一种基于掩码的深度学习视频去摩尔纹方法 |
CN112967182A (zh) * | 2019-12-12 | 2021-06-15 | 杭州海康威视数字技术股份有限公司 | 图像处理方法、装置及设备、存储介质 |
CN117291857A (zh) * | 2023-11-27 | 2023-12-26 | 武汉精立电子技术有限公司 | 图像处理方法、摩尔纹消除方法、设备及装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101149486A (zh) * | 2007-11-14 | 2008-03-26 | 上海炫视电子科技有限公司 | 一种裸眼可视立体显示***及其实现方法 |
CN201788644U (zh) * | 2010-09-27 | 2011-04-06 | 郑州胜龙信息技术有限公司 | 有效消除摩尔纹的led显示屏 |
CN103676176A (zh) * | 2013-12-31 | 2014-03-26 | 京东方科技集团股份有限公司 | 一种立体显示装置及其成像方法 |
CN104717474A (zh) * | 2013-12-16 | 2015-06-17 | 瑞昱半导体股份有限公司 | 图像处理方法与模块 |
CN106773082A (zh) * | 2016-12-21 | 2017-05-31 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种裸眼3d指向性背光***中减弱摩尔条纹的方法 |
CN107424123A (zh) * | 2017-03-29 | 2017-12-01 | 北京粉笔未来科技有限公司 | 一种摩尔纹去除方法及装置 |
CN108154487A (zh) * | 2017-12-25 | 2018-06-12 | 天津大学 | 基于多通道分解的屏摄图像摩尔纹消除方法 |
-
2018
- 2018-07-11 CN CN201810758573.9A patent/CN109146799B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101149486A (zh) * | 2007-11-14 | 2008-03-26 | 上海炫视电子科技有限公司 | 一种裸眼可视立体显示***及其实现方法 |
CN201788644U (zh) * | 2010-09-27 | 2011-04-06 | 郑州胜龙信息技术有限公司 | 有效消除摩尔纹的led显示屏 |
CN104717474A (zh) * | 2013-12-16 | 2015-06-17 | 瑞昱半导体股份有限公司 | 图像处理方法与模块 |
CN103676176A (zh) * | 2013-12-31 | 2014-03-26 | 京东方科技集团股份有限公司 | 一种立体显示装置及其成像方法 |
CN106773082A (zh) * | 2016-12-21 | 2017-05-31 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种裸眼3d指向性背光***中减弱摩尔条纹的方法 |
CN107424123A (zh) * | 2017-03-29 | 2017-12-01 | 北京粉笔未来科技有限公司 | 一种摩尔纹去除方法及装置 |
CN108154487A (zh) * | 2017-12-25 | 2018-06-12 | 天津大学 | 基于多通道分解的屏摄图像摩尔纹消除方法 |
Non-Patent Citations (2)
Title |
---|
CHENGLIANG DI 等: "Moiré-Based Absolute Interferometry With Large Measurement Range in Wafer-Mask Alignment", 《IEEE PHOTONICS TECHNOLOGY LETTERS》 * |
栗小斌: "LED显示屏摩尔纹的消除方法", 《演艺科技》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110661969A (zh) * | 2019-08-19 | 2020-01-07 | 厦门快商通科技股份有限公司 | 显示屏的图像采集方法、装置、电子设备及介质 |
CN110661969B (zh) * | 2019-08-19 | 2021-09-10 | 厦门快商通科技股份有限公司 | 显示屏的图像采集方法、装置、电子设备及介质 |
CN110728219A (zh) * | 2019-09-29 | 2020-01-24 | 天津大学 | 基于多列多尺度图卷积神经网络的3d人脸生成方法 |
CN110728219B (zh) * | 2019-09-29 | 2023-09-26 | 天津大学 | 基于多列多尺度图卷积神经网络的3d人脸生成方法 |
CN112967182A (zh) * | 2019-12-12 | 2021-06-15 | 杭州海康威视数字技术股份有限公司 | 图像处理方法、装置及设备、存储介质 |
CN112967182B (zh) * | 2019-12-12 | 2022-07-29 | 杭州海康威视数字技术股份有限公司 | 图像处理方法、装置及设备、存储介质 |
CN111489300A (zh) * | 2020-03-11 | 2020-08-04 | 天津大学 | 基于无监督学习的屏幕图像去摩尔纹方法 |
CN111489300B (zh) * | 2020-03-11 | 2022-07-08 | 天津大学 | 基于无监督学习的屏幕图像去摩尔纹方法 |
CN112565595A (zh) * | 2020-11-25 | 2021-03-26 | 西安闻泰电子科技有限公司 | 图像抖动消除方法、装置、电子设备和存储介质 |
CN112598602A (zh) * | 2021-01-06 | 2021-04-02 | 福建帝视信息科技有限公司 | 一种基于掩码的深度学习视频去摩尔纹方法 |
CN117291857A (zh) * | 2023-11-27 | 2023-12-26 | 武汉精立电子技术有限公司 | 图像处理方法、摩尔纹消除方法、设备及装置 |
CN117291857B (zh) * | 2023-11-27 | 2024-03-22 | 武汉精立电子技术有限公司 | 图像处理方法、摩尔纹消除方法、设备及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109146799B (zh) | 2022-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109146799A (zh) | 基于多张图的摩尔纹去除方法 | |
Xu et al. | Real-world noisy image denoising: A new benchmark | |
CN103337094B (zh) | 一种应用双目摄像机实现运动三维重建的方法 | |
KR101121034B1 (ko) | 복수의 이미지들로부터 카메라 파라미터를 얻기 위한 시스템과 방법 및 이들의 컴퓨터 프로그램 제품 | |
CN104392416B (zh) | 一种运动场景的视频拼接方法 | |
CN109064404A (zh) | 一种基于多相机标定的全景拼接方法、全景拼接*** | |
Gallo et al. | Locally non-rigid registration for mobile HDR photography | |
CN103999124A (zh) | 多谱成像*** | |
US20130076789A1 (en) | Augmented reality using projector-camera enabled devices | |
CN107346041B (zh) | 裸眼3d显示设备的光栅参数的确定方法、装置及电子设备 | |
CN103632362B (zh) | 图像匹配处理方法、装置及*** | |
KR20120021666A (ko) | 파노라마 영상 생성 방법 | |
CN103595981B (zh) | 基于非局部低秩的色彩滤波阵列图像去马赛克方法 | |
WO2017059620A1 (zh) | 用于led显示屏的图像处理方法和装置 | |
CN103053163A (zh) | 图像生成装置、图像生成***、方法及程序 | |
CN111510691A (zh) | 颜色插值方法及装置、设备、存储介质 | |
Huang et al. | Reconstruction distortion oriented light field image dataset for visual communication | |
TW201526646A (zh) | 影像處理方法與模組 | |
CN110691236B (zh) | 一种全景视频质量评价方法 | |
Zhao et al. | Revisiting radial distortion rectification in polar-coordinates: A new and efficient learning perspective | |
US20110069891A1 (en) | Edge detection apparatus and computing circuit employed in edge detection apparatus | |
CN108093188A (zh) | 一种基于混合投影变换模型的大视场视频全景图拼接的方法 | |
Chen et al. | Focus manipulation detection via photometric histogram analysis | |
Rathi et al. | Convolution Filter based Efficient Multispectral Image Demosaicking for Compact MSFAs. | |
CN113052765B (zh) | 基于最优栅格密度模型的全景图像拼接方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |