CN101571950B - 基于各向同性扩散和稀疏表示的图像修复方法 - Google Patents
基于各向同性扩散和稀疏表示的图像修复方法 Download PDFInfo
- Publication number
- CN101571950B CN101571950B CN2009100429586A CN200910042958A CN101571950B CN 101571950 B CN101571950 B CN 101571950B CN 2009100429586 A CN2009100429586 A CN 2009100429586A CN 200910042958 A CN200910042958 A CN 200910042958A CN 101571950 B CN101571950 B CN 101571950B
- Authority
- CN
- China
- Prior art keywords
- defect area
- pixel
- image
- area
- restoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于各向同性扩散和稀疏表示的图像修复方法。它包括以下步骤:根据缺损区域周围图像的信息,将图像缺损区域分为均匀区域和复杂区域两类;对均匀区域采用各向同性扩散方法进行修复;对复杂区域采用稀疏表示方法进行修复;将均匀修复区域和复杂修复区域修复结果相融合,得到缺损区域的修复结果,将缺损区域的修复结果替换源图像的缺损部分,得到最终的修复结果图像。本发明的修复结果图像优于当前同类修复方法所产生的结果,且修复速度更快,适合应用于具有复杂纹理和结构特征的真实照片或合成图像的修复。此外,也适用于艺术品的数字修复和影视节目的后期制作。
Description
技术领域
本发明涉及一种图像修复方法,特别涉及一种基于各向同性扩散和稀疏表示的图像修复方法。
背景技术
图像修复是对图像上信息缺损区域进行填充的过程,其目的是恢复有信息缺损的图像,并使观察者无法察觉图像曾经缺损并且已被修复。随着数字图像处理技术的发展,越来越多的领域期望能够对图像进行一定的修改,并且达到人眼觉察不出来的效果。因此,数字图像修复技术成为当前计算机图形学和计算机视觉中的一个研究热点,在文物保护、影视特技制作、多余目标物体剔除(如视频图像中删除字幕、台标等)、图像缩放、图像有损压缩、视频通信的错误隐匿等方面有着广泛的应用前景。
目前,数字图像修复技术主要分为两类:基于结构的图像修复和基于纹理的图像修复。基于结构的图像修复的代表性方法有全变分方法、曲率驱动扩散方法、快速修复方法。全变分方法通过建立图像的先验模型,将图像修复问题转化为求解全变分(Total Variation,TV)泛函极值的问题,其主要不足在于破坏了视觉理论中的连通原理。曲率驱动扩散(Curvature Driven Diffusions,CDD)方法改进了全变分方法中的传导系数,成为了一种比较可靠的修复技术;快速修复法是一种使用去心高斯函数平滑卷积模板对小面积区域进行快速修复的技术。基于结构的修复方法在小面积缺损的图像修复中取得了良好的效果,但无法修复细节,因此在复杂图像的修复效果无法令人满意。
基于纹理的图像修复技术的代表性方法是基于取样合成(exemplar-based synthesis)的纹理生成法,其主要思想是先从缺损区域的边界上选取一个像素点,同时以该点为中心,根据图像的纹理特征,选取大小适合的纹理块,然后在缺损区域的周围寻找与之最相近的纹理匹配块来代替该纹理块。此类技术的缺点在于处理时间较长,在搜索平滑区域候选填充块时容易产生误匹配。
发明内容
为了解决现有基于结构的图像修复技术和基于纹理结构的图像修复技术存在的技术问题,本发明提供一种基于各向同性扩散和稀疏表示相结合的图像修复方法,提高修复结果图像的质量,达到理想的实用效果。
本发明解决上述技术问题的技术方案包括以下步骤:
计算待修复图像缺损区域内每个像素点的纹理分布值,利用自适应门限法产生一个缺损区域二值化阈值,将每个像素点的纹理分布值与阈值进行比较,将纹理分布值高于阈值的像素判定为复杂缺损区域,将纹理分布值低于阈值的像素判定为均匀缺损区域;
对均匀缺损区域进行修复,从均匀缺损区域的边缘开始按由外到内,逆时针的顺序对区域内的每个点使用3×3的各向同性平滑扩散模板进行卷积,按照均匀缺损区域面积,重复卷积过程直至完成均匀区域修复;
对复杂缺损区域进行修复:第一步,产生源图像稀疏表示过完备原子库;第二步,计算复杂缺损区域边缘上所有像素点的优先级,将优先级最高的像素点确定为本次迭代将填充的图像块的中心点;第三步,采用稀疏表示,填充图像块的缺失信息;第四步,更新本次迭代处理的源图像块,回到第二步直到所有的复杂缺损区域完成修复;
将均匀修复区域和复杂修复区域修复结果相融合,得到缺损区域的修复结果,将缺损区域的修复结果替换源图像的缺损部分。
上述的基于各向同性扩散和稀疏表示的图像修复方法中,所述像素点的纹理分布值计算公式如下:
本发明的技术效果在于:本发明对图像缺损区域进行局部纹理分布分析,将图像缺损区域按其复杂程度进行区分,在均匀区域使用各向同性扩散的方法进行修复,不但可以保证均匀区域的平滑特性,还能加快总体的修复速度;在复杂区域使用稀疏表示方法则可以在修复过程中尽可能多的恢复出图像的结构和纹理特征,最后将两部分相融合得到修复结果图像。本发明基于各向同性扩散和稀疏表示的图像修复方法能够充分提高图像修复的性能,对于各种应用***的后续处理和图像应用具有重要的意义和实用价值。
下面结合附图对本发明作进一步的说明。
附图说明
图1为本发明的流程图。
图2为源图像和缺损区域进行局部纹理分布分析后得到缺损区域分类图。图2中(a)、(b)为源图像,(c)为源图像(a)的缺损区域分类图,(d)为源图像(b)的缺损区域分类图,其中白色部分表示复杂区域,灰色部分表示均匀区域。
图3为本发明实施例的修复结果与其它不同修复方法产生结果的对照。图3中(a)为待修复的源图像,(b)-(d)分别采用快速修复方法、曲率驱动扩散方法和基于取样合成的纹理生成修复方法得到的图像,(e)为采用本发明修复方法得到的图像。
图4为本发明实施例的修复结果与其它不同修复方法产生结果的细节放大对照。图4中(a)、(e)是图3(b)的局部放大图,(b)、(f)是图3(c)的局部放大图,(c)、(g)是图3(d)的局部放大图,(d)、(h)是图3(e)的局部放大图。
具体实施方式
本发明的实施例中,采用基于各向同性扩散和稀疏表示的图像修复方法对图3(a)进行修复,此方法按图1所示流程进行,各部分具体实施细节如下:
1.根据缺损区域周围的图像信息,将缺损区域分类
图像修复技术本质上是根据缺损区域周围的图像信息经过一定处理后进行填充的过程,因此缺损区域周围的图像信息对图像修复有着决定性作用,本发明采用局部纹理分布分析得到缺损区域周围的纹理分布特性,根据缺损区域的不同性质选取不同的方法进行修复。本发明的局部纹理分布分析是以缺损区域内像素点为中心,根据式(1)计算半径6像素的圆形区域内所含纹理信息的过程。
完成缺损区域的纹理分布值计算后,本发明使用OTSU自适应门限方法产生二值化阈值对缺损区域进行分类,OTSU假设缺损区域以t为阈值根据各个像素点的纹理分布值划分为两部分I0、I1,w0为I0所占缺损区域的比例,w1为I1所占缺损区域的比例,其计算公式如下:
(2)
u=w0·u0+w1·u1
式(2)中u0为I0的纹理分布值的平均值,u1为I1的纹理分布值的平均值,当g(t)取最大值时,其t值即为自适应二值化阈值T。利用T值将源图像(图2(a)、(b))的缺损区域分为两部分,高于阈值的像素点属于复杂区域——图2(c)、(d)的白色部分,低于阈值的像素点属于均匀区域——图2(c)、(d)的灰色部分。
2.采用各向同性扩散的平滑方法对缺损区域的均匀部分进行修复
定义一个3×3大小的高斯去心平滑模板,即中心为零的平滑卷积模板,对均匀缺损区域进行处理。本发明采用的卷积模板w定义如下:
0.0073 | 0.1768 | 0.0073 |
0.1768 | 0 | 0.1768 |
0.0073 | 0.1768 | 0.0073 |
从均匀缺损区域的边缘像素点开始按照由外到内,逆时针的顺序对每一个像素点使用3×3的各向同性平滑扩散模板w进行卷积,过程如式(3)所示:
其中w为扩散卷积模板,f(x,y)为源图像,m(x,y)标识缺损区域的二值图像,1为缺损部分,0为完整部分。根据均匀缺损区域的大小重复上述各项同性平滑扩散过程若干次直至修复完成。
3.采用稀疏表示方法对缺损区域的复杂部分进行修复
首先建立源图像稀疏表示过完备原子库,在源图像中选取一块包含缺损区域的矩形区域,其面积为缺损区域的5-9倍,本发明选其大小为n×n的滑动窗口对此矩形区域进行交叠采样,将此矩形区域采样多个n×n大小的图像块,然后去除其中含有缺损区域的图像快,将余下的M个图像块按公式(4)按列展开为n2×1的列向量d,其中n的取值范围是17-31像素,n与待修复图像的大小成正比。然后依照式(5)将列向量组成源图像过完备原子库D。
d=[m11,m21,L,mn1,m21,m22,L,mn2,L,mn1,mn2,L mnn]′(4)
D=[d1,d2,L,dM] (5)
修复顺序对图像修复结果具有非常大的影响,本发明结合缺损区域置信度与图像的结构特征来确定图像修复顺序。对每一个缺损区域的边界线上的点,计算优先权值以确定修复的先后顺序,这一优先权值由两方面决定,一是像素点周围结构线的强度和方向,二是周围未缺损像素点的数量,其计算公式如下:
P(p)=D(p)×C(p) (6)
其中Φ表示图像完整区域,Ω表示缺损区域,p为缺损区域的边界线上一点。D(p)描述前边界线点p周围的结构信息,其中表示过p点的等照度线,它与p点的梯度垂直,n(p)表示边界线在p点的法线强度,α为归一化因子(一般取255)。C(p)表示当前边界线点p周围一定区域内未缺损像素所占的比值,这个区域的面积一般与前文提到的滑动窗口相同,其中代表未缺损像素的总数,size(Ψp)表示当前边界线上点p周围区域的面积。
优先级计算完成后,得到优先级最高的像素点,选取以此点为中心大小为n×n的图像块,将其按列展开成为n2×1的列向量y,由于含有缺损像素,因此列向量y中的若干行为空,去除列向量y和过完备原子库D中的这些行得到和然后依照式(9)求解在上的稀疏表示系数x,
其中||g||0表示零范数。式(9)是一个NP-hard问题,一般采用Mallat和Zhang提出的正交匹配寻踪(Orthogonal Matching Pursuit,OMP)求解。求得图像块在源图像过完备原子库的稀疏表示系数x后将源图像过完备原子库左乘此系数即D·x可得到经修复的列向量最后将列向量还原为n×n的图像块。更新源图像重新计算修复优先级并修复下一个优先级最高的图像块,直到复杂缺损区域修复完成。
4.生成最终修复结果图像
将均匀修复区域和复杂修复区域的修复结果相融合,得到缺损区域的完整修复结果,将完整修复结果替换源图像的缺损部分得到最终的修复结果。
将本发明所提供的方法所得到的修复结果与其他修复方法所得到的修复结果进行比较。图3和图4给出了实验结果,图3中(a)为待修复的源图像,(b)为快速修复方法得到的结果,(c)为曲率驱动扩散方法得到的结果,(d)为基于取样合成的纹理生成修复方法得到的图像,(e)为本发明修复方法得到的图像。图4是图3的细节放大对照,其中(a)、(e)是图3(b)的细节放大图,(b)、(f)是图3(c)的细节放大图,(c)、(g)是图3(d)的细节放大图,(d)、(h)是图3(e)的细节放大图。
结果表明本发明对图像的结构和纹理缺损的修复都取得了较好的结果,优于其他同类图像修复方法。
Claims (2)
1.一种基于各向同性扩散和稀疏表示的图像修复方法,包括以下步骤:
计算待修复图像缺损区域内每个像素点的纹理分布值,利用自适应门限法产生一个缺损区域二值化阈值,将每个像素点的纹理分布值与阈值进行比较,将纹理分布值高于阈值的像素判定为复杂缺损区域,将纹理分布值低于阈值的像素判定为均匀缺损区域;
对均匀缺损区域进行修复,从均匀缺损区域的边缘开始按由外到内,逆时针的顺序对区域内的每个点使用3×3的各向同性平滑扩散模板进行卷积,按照均匀缺损区域面积,重复卷积过程直至完成均匀区域修复;
对复杂缺损区域进行修复:第一步,产生源图像稀疏表示过完备原子库;第二步,计算复杂缺损区域边缘上所有像素点的优先级,将优先级最高的像素点确定为本次迭代将填充的图像块的中心点;第三步,采用稀疏表示,填充图像块的缺失信息;第四步,更新本次迭代处理的源图像块,回到第二步直到所有的复杂缺损区域完成修复;
将均匀修复区域和复杂修复区域修复结果相融合,得到缺损区域的修复结果,将缺损区域的修复结果替换源图像的缺损部分。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2009100429586A CN101571950B (zh) | 2009-03-25 | 2009-03-25 | 基于各向同性扩散和稀疏表示的图像修复方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2009100429586A CN101571950B (zh) | 2009-03-25 | 2009-03-25 | 基于各向同性扩散和稀疏表示的图像修复方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101571950A CN101571950A (zh) | 2009-11-04 |
CN101571950B true CN101571950B (zh) | 2011-10-12 |
Family
ID=41231302
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2009100429586A Expired - Fee Related CN101571950B (zh) | 2009-03-25 | 2009-03-25 | 基于各向同性扩散和稀疏表示的图像修复方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101571950B (zh) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101833781B (zh) * | 2010-04-22 | 2012-09-05 | 清华大学 | 基于几何信息的相似对象隐藏部分自动补全方法 |
CN101867821B (zh) * | 2010-06-18 | 2011-11-16 | 上海交通大学 | 基于稀疏采样和纹理重建的视频编码*** |
CN101895769B (zh) * | 2010-06-21 | 2011-11-30 | 清华大学 | 基于稀疏表示的视频差错隐藏方法和装置 |
CN101958000B (zh) * | 2010-09-24 | 2012-08-15 | 西安电子科技大学 | 基于稀疏表示的人脸画像-照片生成方法 |
CN101980285B (zh) * | 2010-11-09 | 2013-04-17 | 西安电子科技大学 | 结合gmrf先验的非局部图像修复方法 |
CN102005060B (zh) * | 2010-12-08 | 2012-11-14 | 上海杰图软件技术有限公司 | 自动移除图像中选定影像的方法和装置 |
CN102005036B (zh) * | 2010-12-08 | 2012-05-09 | 上海杰图软件技术有限公司 | 自动移除全景图像中三脚架残留影像的方法和装置 |
CN102201111B (zh) * | 2011-05-26 | 2013-04-17 | 重庆大学 | 自适应图像修复方法 |
CN102231790A (zh) * | 2011-06-23 | 2011-11-02 | 上海大学 | 视频序列中条带损伤的修复方法 |
CN102567970B (zh) * | 2011-12-29 | 2014-06-25 | 方正国际软件有限公司 | 图像修复方法及装置 |
CN103745432A (zh) * | 2013-12-03 | 2014-04-23 | 杭州电子科技大学 | 一种结构约束和样本稀疏表示相结合的图像修复方法 |
CN103700065B (zh) * | 2013-12-03 | 2016-07-06 | 杭州电子科技大学 | 一种特征分类学习的结构稀疏传播图像修复方法 |
CN106897970A (zh) * | 2015-12-21 | 2017-06-27 | 阿里巴巴集团控股有限公司 | 一种图像修复方法及装置 |
CN105607122B (zh) * | 2015-12-23 | 2018-04-10 | 西南科技大学 | 一种基于全变分地震数据分解模型的地震纹理提取与增强方法 |
CN106296604B (zh) * | 2016-08-04 | 2019-04-02 | 厦门美图之家科技有限公司 | 一种图像修复方法及装置 |
CN106408546A (zh) * | 2016-09-05 | 2017-02-15 | 广东欧珀移动通信有限公司 | 图像修复方法、装置和终端设备 |
CN107945120B (zh) * | 2017-11-03 | 2020-09-01 | 天津大学 | 基于样本块的旋转及缩放图像修复方法 |
CN108460746B (zh) * | 2018-04-10 | 2021-09-03 | 武汉大学 | 一种基于结构和纹理分层预测的图像修复方法 |
CN111311515B (zh) * | 2020-02-13 | 2023-05-30 | 山西大学 | 一种错误区域自动检测的深度图像快速迭代修复方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1794785A (zh) * | 2005-11-03 | 2006-06-28 | 上海交通大学 | 用自适应平滑修复模型修复电影胶片中霉斑噪声的方法 |
CN101043579A (zh) * | 2006-03-23 | 2007-09-26 | 三星电子株式会社 | 数字图像中细微细节恢复方法 |
-
2009
- 2009-03-25 CN CN2009100429586A patent/CN101571950B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1794785A (zh) * | 2005-11-03 | 2006-06-28 | 上海交通大学 | 用自适应平滑修复模型修复电影胶片中霉斑噪声的方法 |
CN101043579A (zh) * | 2006-03-23 | 2007-09-26 | 三星电子株式会社 | 数字图像中细微细节恢复方法 |
Non-Patent Citations (2)
Title |
---|
Julien Mairal ET AL..Sparse Representation for Color Image Restoration.《IEEE TRANSACTIONS ON IMAGE PROCESSING》.2008,第17卷(第1期),53-69. * |
王光新等.图像复原中边缘保持与稀疏先验模型的选择.《计算机工程》.2008,第34卷(第7期),1-3. * |
Also Published As
Publication number | Publication date |
---|---|
CN101571950A (zh) | 2009-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101571950B (zh) | 基于各向同性扩散和稀疏表示的图像修复方法 | |
Engin et al. | Cycle-dehaze: Enhanced cyclegan for single image dehazing | |
CN108986050B (zh) | 一种基于多分支卷积神经网络的图像和视频增强方法 | |
CN101980285B (zh) | 结合gmrf先验的非局部图像修复方法 | |
CN107680054A (zh) | 雾霾环境下多源图像融合方法 | |
CN104376535A (zh) | 一种基于样本的快速图像修复方法 | |
CN103578085B (zh) | 基于可变块的图像空洞区域修补方法 | |
CN103839223A (zh) | 图像处理方法及装置 | |
CN102999887A (zh) | 一种基于样本的图像修复方法 | |
CN110310238B (zh) | 一种基于重用原始信息的压缩奖惩神经网络的单幅图像去雨方法 | |
CN102142132A (zh) | 基于模块的图像修复方法 | |
CN107203981A (zh) | 一种基于雾气浓度特征的图像去雾方法 | |
CN113706372B (zh) | 自动抠图模型建立方法及*** | |
CN102420985B (zh) | 一种多视点视频对象提取方法 | |
US20220366682A1 (en) | Computer-implemented arrangements for processing image having article of interest | |
CN105719250A (zh) | 基于简单背景的图像修复方法、***及拍摄终端 | |
CN103164855A (zh) | 一种结合反射光照的贝叶斯决策前景提取方法 | |
CN112330613B (zh) | 一种细胞病理数字图像质量的评价方法及*** | |
CN106339984A (zh) | 基于k均值驱动卷积神经网络的分布式图像超分辨方法 | |
CN108898603A (zh) | 卫星影像上的地块分割***及方法 | |
CN105701770A (zh) | 一种基于上下文线性模型的人脸超分辨率处理方法及*** | |
CN116993975A (zh) | 基于深度学习无监督领域适应的全景相机语义分割方法 | |
CN115546466A (zh) | 一种基于多尺度显著特征融合的弱监督图像目标定位方法 | |
CN116205876A (zh) | 基于多尺度标准化流的无监督笔记本外观缺陷检测方法 | |
CN105701515A (zh) | 一种基于双层流形约束的人脸超分辨率处理方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20111012 Termination date: 20140325 |