CN106875359B - 一种基于分层引导策略的样本块图像修复方法 - Google Patents
一种基于分层引导策略的样本块图像修复方法 Download PDFInfo
- Publication number
- CN106875359B CN106875359B CN201710082887.7A CN201710082887A CN106875359B CN 106875359 B CN106875359 B CN 106875359B CN 201710082887 A CN201710082887 A CN 201710082887A CN 106875359 B CN106875359 B CN 106875359B
- Authority
- CN
- China
- Prior art keywords
- image
- top layer
- sample block
- information
- repaired
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008439 repair process Effects 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 22
- 238000005070 sampling Methods 0.000 claims abstract description 10
- 238000004040 coloring Methods 0.000 claims description 4
- 238000005267 amalgamation Methods 0.000 abstract description 4
- 230000000007 visual effect Effects 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 3
- 150000001875 compounds Chemical class 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
本发明公开一种基于分层引导策略的样本块图像修复方法，包括对待修复的原始图像进行高斯金字塔分解，获取多层不同分辨率的分解图像，按照从顶层至底层的顺序对所述分解图像逐层修复，先对顶层的所述分解图像基于样本块修复方法进行修复，获得修复好的顶层图像修复结果，对所述顶层图像修复结果上采样处理，再与次顶层分解图像进行合并，并将合并结果中待填充区域内的信息作为引导信息修复次顶层分解图像，重复此过程，直到所有层的待填充区域修复完毕，本发明的一种基于分层引导策略的样本块图像修复方法，其具有适用范围广，修复效果好和实用性强特点，能够适用大面积破损的图像修复，符合视觉效果。
Description
技术领域
本发明涉及图像修复技术领域，特别是涉及一种基于分层引导策略的样本块图像修复方法。
背景技术
图像修复是一个实际应用问题，主要应用于目标物隐藏、文物损失修复、照片上文字或日期的移除等。
目前最具代表性的修复方法有两类：一类是基于变分偏微分的图像修复方法；另一类是基于样本块的技术。现有的样本块修复方法对大面积的图像破损区域修复时，存在难以保持结构一致性的问题。
发明内容
本发明是为了解决现有技术中的不足而完成的，本发明的目的是提供一种适用范围广，修复效果好和实用性强特点，能够适用大面积破损的图像修复，符合视觉效果的基于分层引导策略的样本块图像修复方法。
本发明的一种基于分层引导策略的样本块图像修复方法，包括步骤一、对待修复的原始图像进行高斯金字塔分解，获取多层不同分辨率的分解图像；步骤二、按照从顶层至底层的顺序对所述分解图像逐层修复，先对顶层的所述分解图像基于样本块修复方法进行修复，获得修复好的顶层图像修复结果；步骤三、对所述顶层图像修复结果上采样处理，再与次顶层分解图像进行合并，并将合并结果中待填充区域内的信息作为引导信息修复次顶层分解图像，重复此过程，直到所有层的待填充区域修复完毕。
本发明的一种基于分层引导策略的样本块图像修复方法还可以是：
若填充前沿上有一点p，在以p为中心的待填充块Ψp中有两个区域：已知信息区域Ψpa和待填充区域Ψpb，基于样本块的修复方法，利用Ψp中Ψpa的信息，根据公式(1)计算在样本资源Φ中搜索最佳样本块
其中，Φ表示图像中的样本区域，是与Ψp距离最小的样本块，d(Ψpa，Ψpa)表示Ψpa和Ψqa之间的颜色分量和梯度分量的欧式距离；
再根据公式(2)计算Ψp和Ψq之间的颜色分量和梯度分量的欧式距离，
其中，Ip，Iq是相应的RGB向量，表示图像的梯度向量；
若顶层图像GK修复后经过上采样处理得到SK-1，SK-1与GK-1合并得到AK-1，这时AK-1中的Ω中的信息已经得到填充，采用引导策略的样本块修复图像时，把Ψpb中的信息作为引导信息，若待填充块为Ψp，此时寻找最佳样本块利用公式(3)计算最佳样本块
其中，Ψpa是已知信息区域，Ψpb是待填充区域，其中的信息为引导信息；
再通过公式(4)利用样本块的颜色信息计算距离，
其中，Ip，Iq是相应的RGB向量。
本发明的一种基于分层引导策略的样本块图像修复方法，包括对待修复的原始图像进行高斯金字塔分解，获取多层不同分辨率的分解图像；按照从顶层至底层的顺序对所述分解图像逐层修复，先对顶层的所述分解图像基于样本块修复方法进行修复，获得修复好的顶层图像修复结果；对所述顶层图像修复结果上采样处理，再与次顶层分解图像进行合并，并将合并结果中待填充区域内的信息作为引导信息修复次顶层分解图像，重复此过程，直到所有层的待填充区域修复完毕。本发明的一种基于分层引导策略的样本块图像修复方法，其具有适用范围广，修复效果好和实用性强特点，能够适用大面积破损的图像修复，符合视觉效果。
附图说明
图1是本发明一种基于分层引导策略的样本块图像修复方法的流程示意图。
图2是本发明一种基于分层引导策略的样本块图像修复方法的图像分解示意图。
图3是本发明一种基于分层引导策略的样本块图像修复方法的待填充区域示意图。
图4是本发明一种基于分层引导策略的样本块图像修复方法的修复后的示意图。
具体实施方式
下面结合附图的图1至图4对本发明的一种基于分层引导策略的样本块图像修复方法作进一步详细说明。
本发明的一种基于分层引导策略的样本块图像修复方法，请参考图1-4，包括：
步骤一、对待修复的原始图像进行高斯金字塔分解，获取多层不同分辨率的分解图像。其中，高斯金字塔分解是图像中多尺度表达的一种，本发明金字塔分解采取亚采样，也就是说第K层高斯金字塔通过亚采样就可以获得K+1层高斯图像，其截止频率从上一层到下一层是以因子2逐渐增加，所以高斯金字塔可以跨越很大的频率范围，如图1所示，图1为待修复的原始图像金字塔分解后的图像。
步骤二、按照从顶层至底层的顺序对所述分解图像逐层修复，先对顶层的所述分解图像基于样本块修复方法进行修复，获得修复好的顶层图像修复结果。基于样本块的修复方法对顶层图像进行修复，金字塔分解图像后，在所有图像中顶层图像的分辨率最低，破损区域的面积最小，所以先修复顶层图像。由于基于样本块的技术可以同时修复纹理和结构，因此采用基于样本块的方法修复金字塔的顶层图像，修复后的图像可以保持纹理和结构的一致性，更符合视觉效果。
步骤三、对所述顶层图像修复结果上采样处理，再与次顶层分解图像进行合并，并将合并结果中待填充区域内的信息作为引导信息修复次顶层分解图像，重复此过程，直到所有层的待填充区域修复完毕。金子塔分解图像后，从底层到顶层，图像的分辨率逐渐变低，破损区域的面积也相应变小，所以按从顶层到底层的顺序逐层修复。顶层图像修复后，修复结果可以引导下层图像进一步修复，直到待修复图像修复完成为止。
本发明的一种基于分层引导策略的样本块图像修复方法，请参考图1-4，在前面描述的技术方案的基础上还可以是：若填充前沿上有一点p，在以p为中心的待填充块Ψp中有两个区域：已知信息区域Ψpa和待填充区域Ψpb，基于样本块的修复方法，利用Ψp中Ψpa的信息，根据公式(1)计算在样本资源Φ中搜索最佳样本块
其中，Φ表示图像中的样本区域，是与Ψp距离最小的样本块，d(Ψpa，Ψqa)表示Ψpa和Ψqa之间的颜色分量和梯度分量的欧式距离；
再根据公式(2)计算Ψp和Ψq之间的颜色分量和梯度分量的欧式距离，
其中，Ip，Iq是相应的RGB向量，表示图像的梯度向量；
若顶层图像GK修复后经过上采样处理得到SK-1，SK-1与GK-1合并得到AK-1，这时AK-1中的Ω中的信息已经得到填充，采用引导策略的样本块修复图像时，把Ψpb中的信息作为引导信息，若待填充块为Ψp，此时寻找最佳样本块利用公式(3)计算最佳样本块
其中，Ψpa是已知信息区域，Ψpb是待填充区域，其中的信息为引导信息；
再通过公式(4)利用样本块的颜色信息计算距离，
其中，Ip，Iq是相应的RGB向量。
利用公式(4)寻找最佳样本块时，可以利用中所有信息，但仅利用颜色信息就能够很好地找到最佳样本块，还可以提高搜索速度，故公式(4)计算距离没有利用样本块的梯度信息。
上述仅对本发明中的几种具体实施例加以说明，但并不能作为本发明的保护范围，凡是依据本发明中的设计精神所做出的等效变化或修饰或等比例放大或缩小等，均应认为落入本发明的保护范围。
Claims (1)
1.一种基于分层引导策略的样本块图像修复方法，其特征在于：包括
步骤一、对待修复的原始图像进行高斯金字塔分解，获取多层不同分辨率的分解图像；
步骤二、按照从顶层至底层的顺序对所述分解图像逐层修复，先对顶层的所述分解图像基于样本块修复方法进行修复，获得修复好的顶层图像修复结果；
步骤三、对所述顶层图像修复结果上采样处理，再与次顶层分解图像进行合并，并将合并结果中待填充区域内的信息作为引导信息修复次顶层分解图像，重复此过程，直到所有层的待填充区域修复完毕；
具体包括：
若填充前沿上有一点p，在以p为中心的待填充块Ψp中有两个区域：已知信息区域Ψpa和待填充区域Ψpb，基于样本块的修复方法，利用Ψp中Ψpa的信息，根据公式(1)计算在样本资源Φ中搜索最佳样本块
其中，Φ表示图像中的样本区域，是与Ψp距离最小的样本块，d(Ψpa，Ψqa)表示Ψpa和Ψqa之间的颜色分量和梯度分量的欧式距离；
再根据公式(2)计算Ψp和Ψq之间的颜色分量和梯度分量的欧式距离，
其中，Ip，Iq是相应的RGB向量，表示图像的梯度向量；
若顶层图像GK修复后经过上采样处理得到SK-1，SK-1与GK-1合并得到AK-1，这时AK-1中的Ω中的信息已经得到填充，采用引导策略的样本块修复图像时，把Ψpb中的信息作为引导信息，若待填充块为Ψp，此时寻找最佳样本块利用公式(3)计算最佳样本块
其中，Ψpa是已知信息区域，Ψpb是待填充区域，其中的信息为引导信息；
再通过公式(4)利用样本块的颜色信息计算距离，
其中，Ip，Iq是相应的RGB向量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710082887.7A CN106875359B (zh) | 2017-02-16 | 2017-02-16 | 一种基于分层引导策略的样本块图像修复方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710082887.7A CN106875359B (zh) | 2017-02-16 | 2017-02-16 | 一种基于分层引导策略的样本块图像修复方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106875359A CN106875359A (zh) | 2017-06-20 |
| CN106875359B true CN106875359B (zh) | 2019-12-03 |
Family
ID=59166255
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710082887.7A Active CN106875359B (zh) | 2017-02-16 | 2017-02-16 | 一种基于分层引导策略的样本块图像修复方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106875359B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109544465A (zh) * | 2018-10-23 | 2019-03-29 | 天津大学 | 基于尺度变换的图像损坏块修复方法 |
| CN110189278B (zh) * | 2019-06-06 | 2020-03-03 | 上海大学 | 一种基于生成对抗网络的双目场景图像修复方法 |
| CN110706167B (zh) * | 2019-09-25 | 2022-06-10 | 中国人民解放军61646部队 | 一种遥感图像待修复区域的精细补全处理方法及装置 |
| CN112258606B (zh) * | 2020-10-21 | 2024-06-04 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备及可读存储介质 |
| CN117974460B (zh) * | 2024-03-29 | 2024-06-11 | 深圳中科精工科技有限公司 | 图像增强方法、***及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104182939A (zh) * | 2014-08-18 | 2014-12-03 | 成都金盘电子科大多媒体技术有限公司 | 一种医疗影像图像细节增强方法 |
| CN106204502A (zh) * | 2016-08-17 | 2016-12-07 | 重庆大学 | 基于混合阶l0正则化模糊核估计方法 |
| CN106327449A (zh) * | 2016-09-12 | 2017-01-11 | 厦门美图之家科技有限公司 | 一种图像修复方法、应用和计算设备 |
-
2017
- 2017-02-16 CN CN201710082887.7A patent/CN106875359B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104182939A (zh) * | 2014-08-18 | 2014-12-03 | 成都金盘电子科大多媒体技术有限公司 | 一种医疗影像图像细节增强方法 |
| CN106204502A (zh) * | 2016-08-17 | 2016-12-07 | 重庆大学 | 基于混合阶l0正则化模糊核估计方法 |
| CN106327449A (zh) * | 2016-09-12 | 2017-01-11 | 厦门美图之家科技有限公司 | 一种图像修复方法、应用和计算设备 |
Non-Patent Citations (4)
| Title |
|---|
| Exemplar based inpainting in a multi-scaled space;Baek-Sop Kim等;《Optik》;20151231;第3978-3981页 * |
| Exemplar-Based Image Inpainting Using Multiscale Graph Cuts;Yunqiang Liu等;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20130531;第22卷(第5期);第1699-1711页 * |
| HIERARCHICAL DIGITAL IMAGE INPAINTING USING WAVELETS;S.Padmavathi等;《Signal & Image Processing》;20120831;第3卷(第4期);第85-93页 * |
| 样本块搜索和优先权填充的弧形推进图像修复;刘华明等;《中国图象图形学报》;20161231;第21卷(第8期);第993-1003页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106875359A (zh) | 2017-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106875359B (zh) | 一种基于分层引导策略的样本块图像修复方法 | |
| CN110135455B (zh) | 影像匹配方法、装置及计算机可读存储介质 | |
| CN107103613B (zh) | 一种三维手势姿态估计方法 | |
| CN108898610A (zh) | 一种基于mask-RCNN的物体轮廓提取方法 | |
| CN109903236B (zh) | 基于vae-gan与相似块搜索的人脸图像修复方法及装置 | |
| CN107403424A (zh) | 一种基于图像的车辆定损方法、装置及电子设备 | |
| CN106228528B (zh) | 一种基于决策图与稀疏表示的多聚焦图像融合方法 | |
| CN103824049A (zh) | 一种基于级联神经网络的人脸关键点检测方法 | |
| CN104408708B (zh) | 一种基于全局和局部低秩的图像显著目标检测方法 | |
| CN103971338B (zh) | 一种基于显著图的可变块图像修复方法 | |
| CN107730507A (zh) | 一种基于深度学习的病变区域自动分割方法 | |
| CN105913407B (zh) | 一种基于差值图对多聚焦度图像融合优化的方法 | |
| CN109948441B (zh) | 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN109034245A (zh) | 一种利用特征图融合的目标检测方法 | |
| CN104537622B (zh) | 单幅图像中去除雨滴影响的方法和*** | |
| CN104680492B (zh) | 基于样本结构一致性的图像修复方法 | |
| CN103578085A (zh) | 基于可变块的图像空洞区域修补方法 | |
| Ting et al. | Image inpainting by global structure and texture propagation | |
| CN109146767A (zh) | 基于深度图的图像虚化方法及装置 | |
| CN108921942A (zh) | 对图像进行2d转制3d的方法及装置 | |
| CN110751668B (zh) | 图像处理方法、装置、终端、电子设备及可读存储介质 | |
| CN113920378A (zh) | 基于注意力机制的柴胡种子识别方法 | |
| CN110533713A (zh) | 桥梁裂缝宽度高精度测量方法及测量装置 | |
| CN106570928B (zh) | 一种基于图像的重光照方法 | |
| CN107564013A (zh) | 融合局部信息的场景分割修正方法与*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 236000 Qinghe Road, Fuyang, Anhui Patentee after: Fuyang Normal University Country or region after: China Address before: 236037 Qinghe West Road, Fuyang, Anhui Province, No. 100 Patentee before: FUYANG NORMAL University Country or region before: China |
|
| TR01 | Transfer of patent right |
Effective date of registration: 20240603 Address after: Room 1905, Building 1, Science and Technology Entrepreneurship City, No. 17 Huaguoshan Avenue, Haizhou District, Lianyungang City, Jiangsu Province, 222000 Patentee after: Rongcheng Digital Technology (Lianyungang) Co.,Ltd. Country or region after: China Address before: 236000 Qinghe Road, Fuyang, Anhui Patentee before: Fuyang Normal University Country or region before: China |