CN105678712B - 结合自适应梯度分块和等距变换的改进Criminisi图像修复方法 - Google Patents
结合自适应梯度分块和等距变换的改进Criminisi图像修复方法 Download PDFInfo
- Publication number
- CN105678712B CN105678712B CN201610065519.7A CN201610065519A CN105678712B CN 105678712 B CN105678712 B CN 105678712B CN 201610065519 A CN201610065519 A CN 201610065519A CN 105678712 B CN105678712 B CN 105678712B
- Authority
- CN
- China
- Prior art keywords
- formula
- block
- image
- repaired
- grad
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000008439 repair process Effects 0.000 title claims abstract description 38
- 230000009466 transformation Effects 0.000 title claims abstract description 22
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 15
- 230000006872 improvement Effects 0.000 title claims abstract description 15
- 239000011159 matrix material Substances 0.000 claims description 16
- 230000011218 segmentation Effects 0.000 claims description 14
- 238000011426 transformation method Methods 0.000 claims description 8
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 4
- 238000007796 conventional method Methods 0.000 abstract description 2
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 238000012913 prioritisation Methods 0.000 abstract 1
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 241001504519 Papio ursinus Species 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012062 charged aerosol detection Methods 0.000 description 1
- 238000001360 collision-induced dissociation Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000011960 computer-aided design Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种结合自适应梯度分块和等距变换的改进Criminisi图像修复方法,在该发明中,首先对待修复图像的已知和修复区域进行标记,对落入已知区域的所有像素点计算梯度直方图,从而将已知区域像素点划分为平滑、纹理和边缘三种类型;其次结合块分类的改进优先权函数增强对边缘纹理部分的辨别能力,以克服传统方法所导致的纹理延伸问题;再次通过判断待修复块中的已知梯度信息判断待修复块所属的块类型,并通过建立自适应块大小函数来保证不同类型采用不同大小的块进行修复,并且只在对应的类型中进行匹配来提高匹配效率;最后通过引入等距变换来提高匹配精度。同现有方法相比,本发明较好地克服了纹理延伸,时间复杂度高等问题,提高了修复质量。
Description
技术领域
本发明属于图像信号处理领域,涉及一种数字图像修复方法,特别涉及一种结合自适应梯度分块和等距变换的改进Criminisi图像修复方法。
背景技术
图像修复是对图像缺失信息区域进行信息填充,其目的是使填充后的图像接近或达到一定的视觉质量。图像修复技术是目前计算图形学和视觉计算中的研究热点,在文物保护,破损图像修补和复原,目标障碍物剔除以及高分辨率图像再现上有着重大的应用和研究价值。
基于变分PDE的图像修补技术和基于纹理合成的图像修复技术是两种主要的图像修复策略。其中,变分PDE(Partial Differential Equation,PDE)的图像修补方法主体思想是利用物理学中的热扩散方程,将待修补区域周围的有效信息扩散到待修补区域。其中,比较典型的方法包括基于3阶PDE模拟平滑的BSCB(Bertalmio Spairo Caselles andBellester)方法(Bertalmio M.,Sapiro G.,Caselles V.,et al.Image inpainting[C]//Proceedings of the 27th annual conference on Computer graphics andinteractive techniques.ACM Press/Addison-Wesley Publishing Co.,2000:417-424.)模型、整体变分(TV,Total Variation)模型(Chan T.F,Shen J.Mathematical Models forLocal Nontexture Inpaintings.[J].Siam Journal on Applied Mathematics,2002,62(3):1019-1043.)和结合三阶PDE的CDD(Curvature Driven Diffusions)方法(ChanT.Non-texture inpainting by curvature driven diffusion[J].J.visual Comm.imageRep,2001,12:436-449.)。这些方法能很好地保留图像线性结构,在修复小尺度破损图像有较好的修复效果,然而上述方法是在有界变差空间上对图像建模,采用分段平滑函数将破损区域周围信息扩散到破损区域,导致对大范围破损或富纹理缺失区域的修复质量则整体欠佳。
针对变分PDE图像修补方法存在的不足,一些学者提出了基于纹理合成的图像修复方法。比较典型的方法是Criminisi图像修复方法(Criminisi A.,Pérez P.,ToyamaK.Region filling and object removal by exemplar-based image inpainting[J].IEEE Transactions on Image Processing,2004,13(9):1200-1212.),该方法主要由修复区域优先权计算、修复块全局匹配搜索和匹配块填充3步组成,其主体思想是从待修补区域边界上选取修复优先权最高的像素点,以该点为中心建立待修复块,利用待修复块中的已知信息在已知信息区域内寻找与该块纹理最相近的块来填充待修补区域。尽管Criminisi方法能够对大范围缺失信息图像进行较高质量的图像修复,但仍然存在很多不足:
①Criminisi方法的优先权模型被设计为置信项和数据项的乘积,随着修补填充的不断进行,置信项在迭代多次后急剧下降且趋于零值,但是数据项保持平稳变化,这就导致数据项受制于趋于零值的置信项,使得优先权计算变得不可靠,因此导致错误的填充顺序,从而影响图像修复质量;
②Criminisi方法在修复时并未对待修复块信息进行具体分析,导致优先权可能计算不可靠,易将纹理部分误认为边缘部分,造成本来属于纹理部分的图像块先修复,从而出现纹理延伸影响最终图像修复质量;
③Criminisi方法在整个图像已知信息的所有区域寻找合适的匹配块,而忽视自然图像自身的局部自相似性,这将带来高昂的匹配计算代价;
④Criminisi方法仅采用块与块之间的Euclidean距离直接匹配存在欠缺,会导致相似性度量不准确,造成直接匹配的目标块不是最佳目标块,从而影响图像修复质量。
针对问题①,文献(Cheng W.H.,Hsieh C.W.,Lin S.K,et al.Robust algorithmfor exemplar-based image inpainting[C]//The International Conference onComputer Graphics,Imaging and Vision(CGIV 2005).2005:64-69.)将标准Criminisi方法中优先权计算模型的置信项与数据项乘积改为两项之和,并对数据项与置信项赋予简单的权重,以保证图像结构和纹理填充的正确顺序。文献(Zhou Y.,Li L.,Xia K..Researchon weighted priority of exemplar-based image inpainting[J].Journal ofElectronics,2012,29(1):166-170.)则在此基础上,对优先权公式进一步设置,通过增加数据项的权重来提高结构信息对于优先权的贡献度,使得所提策略在修复结构边缘图像时有着良好性能,但与此同时对非结构边缘图像修复时则会降低视觉质量,同时该方法需根据不同图像,手动选择不同的优先权模型,适用范围十分有限。文献(林云莉,赵俊红,朱学峰,等.改进的纹理合成图像修复算法[J].计算机应用与软件,2010,27(10):11-12.)则在优先权计算模型中引入补偿因子和加权系数,根据图像纹理结构信息来动态调节补偿因子和加权系数,使得不同图像对应着不同的优先权计算方法,但是并没有解决优先权的自动计算问题。文献(刘业妃,王福龙,奚祥艳.改进的Criminisi图像修复算法[J].小型微型计算机***,2014,35(12):2754-2758.)在修改优先权模型时通过将置信项改为指数函数的形式,使得置信项的变化趋势相比原始方法更为平滑合理,但根据不同图像结构纹理信息丰富程度人为的选取权重因子来控制置信项与数据项的比例,同样存在优先权的自动计算问题。
针对问题②,文献(任澍,唐向宏,康佳伦.利用纹理和边缘特征的Criminisi改进算法[J].中国图象图形学报,2012,17(9):1085-1091.)通过对待修复块已知像素点求其均值和方差,利用其法线方向对待修复块进行分割,采用均值差差值和方差差值两个因素来对图像待修复块进行纹理边缘区分,进而引入差别因子改进优先权模型,克服了修复过程中的纹理延伸,但仍然不能解决由于不存在合适的匹配块所造成的修复失真,以及对待修复块边缘纹理分类不合理问题;为解决存在不合适匹配块导致的修复失真问题,文献(任澍,唐向宏,康佳伦.纹理和边缘特征相结合的图像修复算法[J].计算机辅助设计与图形学学报,2013,25(11):1682-1693.)对修复过程中的不良匹配区域进行定位,采用基于图像分解的图像修复方法进行修复;但是这两篇文章在对待修复图像块的边缘纹理信息判断时采用均值差和方差差值两个因素来对图像待修复块进行纹理边缘区分,并没有对图像已知区域内的所有信息进行划分,在匹配待修复块的最佳目标块时并没有针对待修复块的信息进行分类搜索,从而依然无法有效地降低匹配计算代价。
针对问题③,为了降低计算代价,文献(任澍,唐向宏,康佳伦.利用纹理和边缘特征的Criminisi改进算法[J].中国图象图形学报,2012,17(9):1085-1091.)调整方法在修复过程中匹配块的搜索方式,在采用全局搜索的基础上,附加一个判断待修复块与目标匹配块两个图像块中心距离的搜索条件,如果该距离过大,则停止修复,将修复目标转为次优先级的修复块,若仍旧发生相同情况,则继续转移修复目标,且转移次数最多为3次,3次之后忽略该条件按照原来的搜索方式进行匹配搜索,在效率上有所提高,但是依旧采用的是全局搜索,时间复杂度高;为将全局搜索改为局部搜索,文献(代仕梅,张红英,曾超.一种基于样例的快速图像修复算法[J].微型机与应用,2010(22):34-36.)通过减少和限定匹配块的搜索空间来提高方法效率,尽管缓解了计算代价,但简单的搜索空间会导致丢失合理的匹配块,从而降低图像的视觉修复质量。
针对④,文献(Vantigodi S.,Babu R.V.,Entropy constrained exemplar-basedimage inpainting[C]//Signal Processing and Communications(SPCOM),2014International Conference on.IEEE,2014.)引入待修复像素值熵的信息,改进判断相似度的方法,利用结构相似性指标SSIM的相似度判断方法来搜索与待修复块差异最小的目标块;文献(王新年,王哲,王演.基于几何距离的Criminisi图像修复算法[J].计算机工程与设计,2015,36.)引入距离修正因子,将待修复块与目标块的几何距离引入到判断相似性度量函数中,在搜索目标块时首先通过欧式距离相似性函数找出3个目标块,然后根据几何距离修正因子来找到最佳匹配块。但是,上述修复方法在搜索最佳匹配块时,并没有考虑到可能存在经过等距变换后的目标块与样本块的相似度更高的问题。
发明内容
本发明的目的在于克服现有技术缺陷,给出一种结合自适应梯度分块和等距变换的改进Criminisi图像修复方法,用于大样本缺失图像修复,相对于传统方法具有更高的方法效率和更好的视觉质量。
为实现上述目的,本发明采用以下技术方案:
结合自适应梯度分块和等距变换的改进Criminisi图像修复方法,包括以下步骤:
第1步:记G=(gi,j=-1)m×n为待修复图像A=(ai,j)m×n的梯度图,记Ω为待修复区域,由标记矩阵B=(bi,j)m×n中bi,j=0的元素进行标记,Φ为已知区域;由标记矩阵B=(bi,j)m×n中最开始bi,j=1的元素进行标记,Φ′为已修复区域;初始化Φ′=Φ,为待修复区域边界,对即bi,j=1中的元素,计算图像像素ai,j对应的梯度值gi,j,即gi,j=Grad(ai,j,(i,j));
第2步:对G中每个gi,j≠-1的元素按其对应的梯度值进行统计形成梯度直方图HG=(hk)L,其中hk表示梯度值为k的G中元素发生次数,L为梯度直方图中梯度阶数;
第3步:对梯度直方图中的每个梯度阶k=0,1,…,L-1,统计每个梯度值的发生概率Pk,k=0,1,…,L-1;
第4步:将落入已修复区域Φ′中的每个像素划分成平滑、纹理和边缘区域像素;
第5步:对计算p点对应的优先权Pp;
第6步:确定优先权Pp最大的点自适应地确定当前待修复像素块的边长
第7步:判断梯度项的块类型,在图像已知区域Φ中寻找和相匹配的的最优目标块的位置及其所对应的等距变换类型
第8步:利用最优目标块和最优目标块所对应的等距变换类型将变换为并将当前待修复像素块中被bi,j=0标记的像素由中的对应位置像素进行填充,然后将所有当前待修复像素块被填充像素的标记值由bi,j=0调整为bi,j=1;
第9步:反复执行第5步至第8步,直到图像中待修复区域Ω中所有像素点修复完毕,即B=(bi,j)m×n中所有元素都调整成bi,j=1,修复结束。
进一步,第1步中计算图像像素ai,j对应的梯度值gi,j,即gi,j=Grad(ai,j,(i,j))的具体方法为使用式(1):
式(1)中,gx和gy是像素ai,j的x方向和y方向梯度,分别按式(2)和式(3)进行计算:
gx=ai,j+1-ai,j-1 (2)
gy=ai+1,j-ai-1,j (3)
式(2)和式(3)中,若且ax,y∈Ω,即bx,y=0则用ai,j替代ax,y,从而保证每个落入已修补区域的元素ai,j∈Φ′在G中都有对应的梯度值。
进一步,第3步中统计每个梯度值的发生概率Pk,k=0,1,…,L-1的具体方法为式(4):
Pk=hk/Ncount (4)
式(4)中,Ncount是梯度直方图中所有梯度值的总数,按式(5)进行计算;
第4步中将落入Φ′中的每个像素划分成平滑、纹理和边缘区域像素的具体方法为式(6):
式(6)中λ1是平滑和非平滑区域分割阈值,λ2是将非平滑区域细分为纹理和边缘区域的分割阈值且满足0≤λ1≤λ2≤L-1。
进一步,第4步式(6)分割阈值λ1和λ2的具体确定方法为式(7):
即对区间范围内的λ∈[λbegin,λend],求解使目标式δ最大化的λ,即λ,式(7)中upart1,upart2,utotal可分别按式(8)、式(9)和式(10)进行计算:
将λbegin=0,λend=L-1代入式(7),可确定分割阈值λ1,将λbegin=λ1+1,λend=L-1代入式(7),可确定分割阈值λ2。
进一步,第5步对计算p点对应的优先权Pp的具体方法为式(11):
Pp=Cp·l+Gp·(1-l) (11)
式(11)中,Cp为置信项,Gp为梯度项,权重l∈[0,1]的取值按式(12)确定,即按p点所属的边缘、平滑和纹理区域进行自适应地调整;
式(12)中,参数α∈[0,1]范围内的随机数且满足α+β=1。
进一步,第5步式(11)中,置信项Cp,梯度项Gp的具体计算方法如式(13)和式(14)所示:
式(13)中,ψp为以p为中心的矩阵小块,是ψp中的元素数量,为ψp落入已修补区域中的元素数量;
式(14)中,q为ψp落入已修补区域Φ′的坐标,aq为A中对应的像素。
进一步,第6步中确定优先权Pp最大的点的具体方法为式(15):
第6步中自适应地确定当前待修复像素块的边长的具体方法为式(16):
进一步,第7步中判断的块类型的具体方法为式(6):
第7步中在图像已知区域Φ中寻找和相匹配的的最优目标块的位置及其所对应的等距变换类型的具体方法为对且按式(17)在图像已知区域Φ中寻找和相匹配的的最优目标块的位置及其所对应的等距变换类型
式(17)中d()为欧氏距离表示样本块中已知像素和目标块T(Θq,t)中对应位置像素差的平方和,T()等距变换函数,记Θq所对应的原子块子块旋转90度、180度、270度对应子块以及这些子块的水平翻转子块分别为则T()执行的功能为式(18):
式(18)中,即Θq与它的原子块等价。
同现有技术不同,本发明的优点主要体现在:
①在同一幅图像中存在着平滑、边缘和纹理区域,不同区域所包含的图像信息量不同,传统Criminisi图像修复方法未对图像进行分类,导致在所有区域进行匹配搜索时代价较大,而本发明将图像已知区域划分为平滑区域、纹理区域和边缘区域,只在特定的区域进行搜索匹配,从而降低了匹配搜索代价,同时也减少了对纹理和边缘区域的误判,从而提高了修复精度。在修复过程中,本发明根据梯度项预估待修复像素点属于哪一类图像区域,自适应选择不同大小图像块。
②Criminisi修复方法的优先权模型被设计为置信项和数据项的乘积,随着修补填充的不断进行,待修补块中已知信息的可靠性迅速下降导致代表纹理信息的置信项值迅速下降,置信项在迭代多次后急剧下降且趋于零值,但是数据项保持平稳变化,这就导致数据项受制于趋于零值的置信项,使得优先权计算变得不可靠,因此导致错误的填充顺序,从而影响图像修复质量,针对此,本发明将优先权模型设计为加权的置信项与梯度项之和并采用优先权系数加权自适应策略,在计算完待修复区域边界像素点的优先权顺序后,根据梯度项的值结合图像分类的阈值来自适应改变加权系数,达到在修复过程中自适应根据像素点的信息来进行修复。
③Criminisi修复方法在整个图像已知信息的所有区域寻找合适的匹配块,而忽视自然图像自身的局部自相似性,这将带来高昂的计算代价,但是简单的减少搜索空间有可能导致合理匹配块的丢失。本发明结合分类策略,在匹配样本块与目标块时,根据样本块的已知信息判断其属于平滑、边缘和纹理的类型在对应的图像区域类型进行搜索,在减少搜索时间的同时又能避免合理匹配块的丢失。
④Criminisi修复方法在搜索匹配块时,仅从已知区域中搜索,但是有可能样本块与目标块等距变换后的像素块更为相近,同时传统Criminisi方法采用边修复边更新已知区域,会带来误差扩展。针对此,本发明将搜索字典块改为已知区域的目标块及其八种等距变换的像素块,提高样本块与目标块的相似性,进一步改善图像的视觉修复质量。同时本发明在修复过程中不更新最初已知区域空间大小,搜索匹配区域一直保持在最初图像的已知区域空间。
附图说明
图1是图像修复流程图;
图2是分辨率为206×308的24位灰度图像bungee;
图3是实施例:存在待修复区域的待修复图像bungee;
图4是实施例:图3修复完成图像;
图5是分辨率为512×512的24位灰度图像Tank;
图6是实施例:存在待修复区域的待修复图像Tank;
图7是实施例:图6修复完成图像;
图8是分辨率为213×284的8位灰度图像bw;
图9是实施例:存在待修复区域的待修复图像bw;
图10是实施例:图9修复完成图像;
图11是分辨率为512×512的8位灰度图像的baboon;
图12是实施例:存在待修复区域的待修复图像baboon;
图13是实施例:baboon修复完成图像。
具体实施方式
以JAVA jdk1.8.0_20作为案例实施环境,结合附图对本发明实施方式进行详细说明,但不局限于本实施案例,其中图1是图像修复流程图。
第1步:记G=(gi,j=-1)m×n为待修复图像A=(ai,j)m×n梯度图,记Ω为待修复区域,由标记矩阵B=(bi,j)m×n中bi,j=0的元素进行标记,Φ为已知区域,由标记矩阵B=(bi,j)m×n中最开始bi,j=1的元素进行标记,Φ′为已修复区域,初始化Φ′=Φ,为待修复区域边界,对即bi,j=1中的元素,按式(1)计算图像像素ai,j对应的梯度值gi,j,即gi,j=Grad(ai,j,(i,j)):
式(1)中,gx和gy是像素ai,j的x方向和y方向梯度,分别按式(2)和式(3)进行计算:
gx=ai,j+1-ai,j-1 (2)
gy=ai+1,j-ai-1,j (3)
式(2)和式(3)中,若且ax,y∈Ω,即bx,y=0则用ai,j替代ax,y,从而保证每个落入已修补区域的元素ai,j∈Φ′在G中都有对应的梯度值;
假设选取的待修复图像A=(ai,j)m×n为
其中A中元素255所对应的区域为待修复区域Ω,则A所对应的标记矩阵B=(bi,j)m×n为:
则已知区域Φ对应为标记矩阵B=(bi,j)m×n中元素为1的区域,已修复区域Φ′被初始化为Φ,待修复区域边界对应为标记矩阵中元素b1,3,b2,2,b3,2,b4,1,b4,3,b3,4,b2,4所在位置;
对可计算其梯度:例如由于b1,2=1,故a1,2=20所对应的梯度值g1,2可由式(2):gx=a1,3-a0,1=20和式(3):gy=a2,2-a0,2=20则按式(1)可计算得到例如由于b2,2=1,故a2,2=50所对应的梯度值g2,2需要用到a2,3,a2,1,a1,2,a3,2,但a2,3属于待修复区域Ω,此时用a2,2替代a2,3,然后由式(2)计算可得到gx=10,然后由式(3)计算得到gy=60,故g2,2=60;通过对图像中已知区域的所有像素点进行梯度值计算可得图像A所对应的梯度图G。
第2步:对G中每个gi,j≠-1的元素按其对应的梯度值进行统计形成梯度直方图HG=(hk)L;
h10=1,h14=4,h20=3,h22=7,h28=1,h31=2,h36=1,h40=1,h60=1,h63=1。
第3步:对梯度直方图中的每个梯度阶k=0,1,…,L-1,按式(4)统计每个梯度值的发生概率Pk,k=0,1,…,L-1
Pk=hk/Ncount (4)
式(4)中,Ncount是梯度直方图中所有梯度值的总数,按式(5)进行计算;
例如:由h10=1,h14=4,h20=3,h22=7,h28=1,h31=2,h36=1,h40=1,h60=1,h63=1按式(5)得Ncount=h10+h14+h20+h22+h28+h31+h36+h40+h60+h63=22,代入式(4),可得P10=0.05,P14=0.18,P20=0.14,P22=0.22,P28=0.05,P31=0.09,P36=0.05,P40=0.05,P60=0.05,P63=0.05;
第4步:按式(6)将落入Φ′中的每个像素划分成平滑、纹理和边缘区域像素:
式(6)中λ1是平滑和非平滑区域分割阈值,λ2是将非平滑区域细分为纹理和边缘区域的分割阈值且满足0≤λ1≤λ2≤L-1分割,阈值λ1和λ2可按式(7)确定:
即对区间范围内的λ∈[λbegin,λend],求解使目标式δ最大化的λ,即式(7)中upart1,upart2,utotal分别按式(8)、式(9)和式(10)进行计算:
将λbegin=0,λend=L-1代入式(7),可确定分割阈值λ1,将λbegin=λ1+1,λend=L-1,可确定分割阈值λ2;
例如:根据标记矩阵B,将梯度图中相对应位置bi,j=1的所有梯度值进行分类,得到两个分割点λ1,λ2;假设P10=0.05,P14=0.18,P20=0.14,P22=0.22,P28=0.05,P31=0.09,P36=0.05,P40=0.05,P60=0.05,P63=0.05,且有λbegin=0,λend=63,将其分别代入式(8)、式(9)和式(10)可分别得到:upart1=0.06,upart2=0.03,utotal=25.86,然后将P10=0.05,P14=0.18,P20=0.14,P22=0.22,P28=0.05,P31=0.09,P36=0.05,P40=0.05,P60=0.05,P63=0.05和upart1=0.06,upart2=0.03,utotal=25.86代入式(7)可得到:δ10=27.02,δ14=69.29,δ20=48.04,δ22=0.04,δ28=0.91,δ31=8.99,δ36=14.37,δ40=17.81,δ60=17.59,δ63=7.42,可得到最大类间方差i=14,从而可得到分割点λ1=14,同理可得分割点λ2=20;
第5步:记p为上边界点,即按式(11)和式(12)分别计算的置信项Cp和梯度项Gp
式(11)中,ψp为以p为中心的矩阵小块,是ψp中的元素数量,为ψp落入已修补区域中的元素数量。
式(12)中,q为ψp落入已修补区域Φ′的坐标,aq为A中对应的像素。
例如:假设p点为边界上的点,以p为中心的矩阵小块中的元素数量为49,该矩阵小块在已知区域中的元素数量为35,代入式(11)得Cp=0.71,且该矩阵小块在已知区域中所有像素点的梯度值和为455,代入式(12)得,则Gp=13。
第6步:对按式(13)计算p点对应的优先权Pp:
Pp=Cp·l+Gp·(1-l) (13)
式(13)中,权重l∈[0,1]的取值按式(14)确定,即按p点所属的边缘、平滑和纹理区域进行自适应地调整
式(14)中,参数α∈[0,1]范围内的随机数且满足α+β=1,参数α可按优化方法结合无参考图像评价方法优化得到;
例如:假设p点为优先权最大的点,将Gp=13代入式(6)可知,p点的块类型type(Gp)=平滑,假设α=0.2,λ1=14,代入式(14)可知l=0.2,将Cp=0.71,Gp=13,l=0.2,代入式(13)可知:Pp=10.54;
第7步:按式(15)确定优先权Pp最大的点按式(16)自适应地确定当前待修复像素块的边长
例如:假设优先权最大的点所对应的将代入式(16)可知
第8步:按式(6)判断的块类型,对且按式(17)在图像已知区域Φ中寻找和相匹配的的最优目标块的位置及其所对应的等距变换类型
式(17)中d()为欧氏距离,表示样本块中已知像素和目标块T(Θq,t)中对应位置像素差的平方和,T()等距变换函数,记Θq所对应的原子块子块旋转90度、180度、270度对应子块以及这些子块的水平翻转子块分别为则T()执行的功能为式(18):
式(18)中,即Θq与它的原子块等价;
例如:假设p点的样本块Ψp块类型在已知区域Φ中匹配的最佳目标块为T(Θq,1),则将q和1返回作为和
第9步:将和代入式(18),从而将变换为并将中被bi,j=0标记的像素由中的对应位置像素进行填充,然后将所有被填充像素的标记值由bi,j=0调整为bi,j=1;
则将最佳目标块T(Θq,1)填充到样本块后Ψp,Ψp中的像素值对应为:
第10步:重复执行第5步至第9步,直到图像中待修复区域Ω中所有像素点修复完毕,即B=(bi,j)m×n中所有元素都调整成bi,j=1,修复结束。
图2、图5、图8和图11分别为修复测试图像bungee、Tank、bw和baboon,图3、图6、图9和图12是与之对应的存在缺失信息的待修复图像,图4、图7、图10和图13是按本发明给出的图像修复方法对其修复的结果,从修复结果看,本方法较好的视觉修复效果。
Claims (8)
1.结合自适应梯度分块和等距变换的改进Criminisi图像修复方法,其特征在于包括以下步骤:
第1步:记G=(gi,j=-1)m×n为待修复图像A=(ai,j)m×n的梯度图,记Ω为待修复区域,由标记矩阵B=(bi,j)m×n中bi,j=0的元素进行标记,Φ为已知区域,由标记矩阵B=(bi,j)m×n中最开始bi,j=1的元素进行标记,Φ′为已修复区域;初始化Φ′=Φ,为待修复区域边界,对即bi,j=1中的元素,计算图像像素ai,j对应的梯度值gi,j,即gi,j=Grad(ai,j,(i,j));
第2步:对G中每个gi,j≠-1的元素按其对应的梯度值进行统计形成梯度直方图HG=(hk)L,其中hk表示梯度值为k的G中元素发生次数,L为梯度直方图中梯度阶数;
第3步:对梯度直方图中的每个梯度值k=0,1,…,L-1,统计每个梯度值的发生概率Pk,k=0,1,…,L-1;
第4步:将落入已修复区域Φ′中的每个像素划分成平滑、纹理和边缘区域像素;
第5步:对计算p点对应的优先权Pp;
第6步:确定优先权Pp最大的点自适应地确定当前待修复像素块的边长
第7步:判断梯度项的块类型,在图像已知区域Φ中寻找和相匹配的的最优目标块的位置及其所对应的等距变换类型
第8步:利用最优目标块和最优目标块所对应的等距变换类型将变换为并将当前待修复像素块中被bi,j=0标记的像素由中的对应位置像素进行填充,然后将所有当前待修复像素块被填充像素的标记值由 bi,j=0调整为bi,j=1;
第9步:反复执行第5步至第8步,直到图像中待修复区域Ω中所有像素点修复完毕,即B=(bi,j)m×n中所有元素都调整成bi,j=1,修复结束。
2.如权利要求1所述的结合自适应梯度分块和等距变换的改进Criminisi图像修复方法,其特征在于:第1步中计算图像像素ai,j对应的梯度值gi,j,即gi,j=Grad(ai,j,(i,j))的具体方法为使用式(1):
式(1)中,gx和gy是像素ai,j的x方向和y方向梯度,分别按式(2)和式(3)进行计算:
gx=ai,j+1-ai,j-1 (2)
gy=ai+1,j-ai-1,j (3)
式(2)和式(3)中,若且ax,y∈Ω,即bx,y=0则用ai,j替代ax,y,从而保证每个落入已修补区域的元素ai,j∈Φ′在G中都有对应的梯度值。
3.如权利要求1所述的结合自适应梯度分块和等距变换的改进Criminisi图像修复方法,其特征在于:第3步中统计每个梯度值的发生概率Pk,k=0,1,…,L-1的具体方法为式(4):
Pk=hk/Ncount (4)
式(4)中,Ncount是梯度直方图中所有梯度值的总数,按式(5)进行计算;
第4步中将落入Φ′中的每个像素划分成平滑、纹理和边缘区域像素的具体方法为式(6):
式(6)中λ1是平滑和非平滑区域分割阈值,λ2是将非平滑区域细分为纹理和边缘区域的分割阈值且满足0≤λ1≤λ2≤L-1。
4.如权利要求3所述的结合自适应梯度分块和等距变换的改进Criminisi图像修复方法,其特征在于:第4步式(6)分割阈值λ1和λ2的具体确定方法为式(7):
即对区间范围内的λ∈[λbegin,λend],求解使目标式δ最大化的λ,即式(7)中upart1,upart2,utotal可分别按式(8)、式(9)和式(10)进行计算:
将λbegin=0,λend=L-1代入式(7),可确定分割阈值λ1,将λbegin=λ1+1,λend=L-1代入式(7),可确定分割阈值λ2。
5.如权利要求3所述的结合自适应梯度分块和等距变换的改进Criminisi图像修复方法,其特征在于:第5步对计算p点对应的优先权Pp的具体方法为式(11):
Pp=Cp·l+Gp·(1-l) (11)
式(11)中,Cp为置信项,Gp为梯度项,权重l∈[0,1]的取值按式(12)确定,即按p点所属的边缘、平滑和纹理区域进行自适应地调整:
式(12)中,参数α∈[0,1]范围内的随机数且满足α+β=1。
6.如权利要求5所述的结合自适应梯度分块和等距变换的改进Criminisi图像修复方法,其特征在于:第5步式(11)中,置信项Cp,梯度项Gp的具体计算方法如式(13)和式(14)所示:
式(13)中,ψp为以p为中心的矩阵小块,是ψp中的元素数量,为ψp落入已修补区域中的元素数量;
式(14)中,q为ψp落入已修补区域Φ′的坐标,aq为A中对应的像素。
7.如权利要求3所述的结合自适应梯度分块和等距变换的改进Criminisi图像修复方法,其特征在于:第6步中确定优先权Pp最大的点的具体方法为式(15):
第6步中自适应地确定当前待修复像素块的边长的具体方法为式(16):
。
8.如权利要求3所述的结合自适应梯度分块和等距变换的改进Criminisi 图像修复方法,其特征在于:第7步中判断的块类型的具体方法为式(6):
第7步中在图像已知区域Φ中寻找和相匹配的的最优目标块的位置及其所对应的等距变换类型的具体方法为对且按式(17)在图像已知区域Φ中寻找和相匹配的的最优目标块的位置及其所对应的等距变换类型
式(17)中d()为欧氏距离,表示样本块中已知像素和目标块T(Θq,t)中对应位置像素差的平方和,T()为等距变换函数,记Θq所对应的原子块子块旋转90度、180度、270度对应子块以及这些子块的水平翻转子块分别为则T()执行的功能为式(18):
式(18)中,即Θq与它的原子块等价。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610065519.7A CN105678712B (zh) | 2016-01-29 | 2016-01-29 | 结合自适应梯度分块和等距变换的改进Criminisi图像修复方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610065519.7A CN105678712B (zh) | 2016-01-29 | 2016-01-29 | 结合自适应梯度分块和等距变换的改进Criminisi图像修复方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105678712A CN105678712A (zh) | 2016-06-15 |
CN105678712B true CN105678712B (zh) | 2018-08-24 |
Family
ID=56303917
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610065519.7A Active CN105678712B (zh) | 2016-01-29 | 2016-01-29 | 结合自适应梯度分块和等距变换的改进Criminisi图像修复方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105678712B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106780332B (zh) * | 2016-12-14 | 2020-03-24 | 中国科学院地质与地球物理研究所兰州油气资源研究中心 | 全井眼测井图像生成装置 |
CN106600552A (zh) * | 2016-12-14 | 2017-04-26 | 中国科学院地质与地球物理研究所兰州油气资源研究中心 | 纹理图像补全方法及装置 |
CN107316283B (zh) * | 2017-07-14 | 2020-08-14 | 天津大学 | 基于多窗口融合的数字图像修复方法 |
CN107977941B (zh) * | 2017-12-04 | 2021-04-20 | 国网智能科技股份有限公司 | 一种明亮区域色彩保真及对比度增强的图像去雾方法 |
CN112862710B (zh) * | 2021-01-28 | 2022-03-25 | 西南石油大学 | 一种基于Criminisi算法优化的电成像测井图像井壁复原方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1542155A1 (en) * | 2003-12-11 | 2005-06-15 | Sony United Kingdom Limited | Object detection |
CN101777178A (zh) * | 2010-01-28 | 2010-07-14 | 南京大学 | 一种图像修复方法 |
CN101980285A (zh) * | 2010-11-09 | 2011-02-23 | 西安电子科技大学 | 结合gmrf先验的非局部图像修复方法 |
CN102142132A (zh) * | 2011-03-31 | 2011-08-03 | 北京交通大学 | 基于模块的图像修复方法 |
CN104134195A (zh) * | 2014-08-01 | 2014-11-05 | 西安电子科技大学 | 基于块几何稀疏的图像修复方法 |
-
2016
- 2016-01-29 CN CN201610065519.7A patent/CN105678712B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1542155A1 (en) * | 2003-12-11 | 2005-06-15 | Sony United Kingdom Limited | Object detection |
CN101777178A (zh) * | 2010-01-28 | 2010-07-14 | 南京大学 | 一种图像修复方法 |
CN101980285A (zh) * | 2010-11-09 | 2011-02-23 | 西安电子科技大学 | 结合gmrf先验的非局部图像修复方法 |
CN102142132A (zh) * | 2011-03-31 | 2011-08-03 | 北京交通大学 | 基于模块的图像修复方法 |
CN104134195A (zh) * | 2014-08-01 | 2014-11-05 | 西安电子科技大学 | 基于块几何稀疏的图像修复方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105678712A (zh) | 2016-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105678712B (zh) | 结合自适应梯度分块和等距变换的改进Criminisi图像修复方法 | |
CN109580630B (zh) | 一种机械零部件缺陷的视觉检测方法 | |
CN109523506B (zh) | 基于视觉显著图像特征增强的全参考立体图像质量客观评价方法 | |
CN112651968B (zh) | 一种基于深度信息的木板形变与凹坑检测方法 | |
CN106204503B (zh) | 基于改进置信度更新函数及匹配准则的图像修复算法 | |
CN106023230B (zh) | 一种适合变形图像的稠密匹配方法 | |
CN104376535A (zh) | 一种基于样本的快速图像修复方法 | |
CN112233067A (zh) | 一种热轧钢卷端面质量检测方法及*** | |
CN110322403A (zh) | 一种基于生成对抗网络的多监督图像超分辨重建方法 | |
CN108109147A (zh) | 一种模糊图像的无参考质量评价方法 | |
CN103034982A (zh) | 一种基于变焦视频序列的图像超分辨率重建方法 | |
CN106815832B (zh) | 一种表面贴装技术的钢网图像自动配准方法和*** | |
CN110189408B (zh) | 一种根据人体照片得到人体外表数据的***及方法 | |
CN111833237A (zh) | 基于卷积神经网络和局部单应性变换的图像配准方法 | |
CN107330854B (zh) | 一种基于新型模板的图像超分辨率增强方法 | |
CN110458874A (zh) | 一种图像非刚性配准方法和*** | |
CN108346135A (zh) | 一种改进的Criminisi图像修复方法 | |
CN111179173B (zh) | 一种基于离散小波变换和坡度融合算法的图像拼接方法 | |
CN106815879B (zh) | 一种基于lbp特征的快速纹理合成方法 | |
TWI439961B (zh) | Conversion algorithm for voids generated after converting 2D images | |
CN106937109B (zh) | 低成本判断摄像头分辨率水平的方法 | |
CN116205876A (zh) | 基于多尺度标准化流的无监督笔记本外观缺陷检测方法 | |
CN113160301B (zh) | 一种测量弯管弯曲半径的方法及*** | |
CN110555385A (zh) | 一种基于变步长曲率滤波的焊缝特征点求取方法 | |
CN108924434A (zh) | 一种基于曝光变换的立体高动态范围图像合成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |