CN108734680A - 一种自适应选择样本块大小的图像修复方法 - Google Patents

一种自适应选择样本块大小的图像修复方法 Download PDF

Info

Publication number
CN108734680A
CN108734680A CN201810531430.4A CN201810531430A CN108734680A CN 108734680 A CN108734680 A CN 108734680A CN 201810531430 A CN201810531430 A CN 201810531430A CN 108734680 A CN108734680 A CN 108734680A
Authority
CN
China
Prior art keywords
image
sample block
repaired
size
optimal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810531430.4A
Other languages
English (en)
Inventor
刘洪盛
范勤辉
方道恒
舒畅
徐进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201810531430.4A priority Critical patent/CN108734680A/zh
Publication of CN108734680A publication Critical patent/CN108734680A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种自适应选择样本块大小的图像修复方法，属于图像处理领域，对图像中的破损部分进行修复。所述图像修复方法基于Criminisi算法，包括以下步骤：输入标记好破损区域的图像，根据修复优先级函数确定修复优先级最高的待修复点；对破损图像进行四叉分解，得出待修复点所在位置的图像块大小，并以此大小作为待修点的最优样本块大小；根据最小绝对差平方和匹配准则、最优样本块的大小，从图像已知区域中寻找最优匹配块；利用最优匹配块对待修复样本块进行填补，更新破损区域及已知区域。本方法根据待修复图像不同区域的局部信息和结构特征来自适应确定最优的填补样本块大小，可有效提高修复效果。

Description

一种自适应选择样本块大小的图像修复方法
技术领域：
本发明涉及计算机图像处理领域，尤其涉及一种自适应样本块图像修复方法，该修复方法基于Criminisi算法，可广泛用于机器视觉、目标移除、虚拟现实等领域。
背景技术：
图像修复是计算机图像和视觉研究领域的热点之一，在艺术品修复、破损照片修复、视频后期制作及目标移除等方面都得到了广泛的应用。其核心思想是利用图像中已知的纹理和结构信息，按照一定的修复顺序和匹配准则对缺损区域进行修补，以保证图像的视觉完整性。
目前该技术大体上可分为两类：一类是Structure-based(基于结构)的修复方法，该类方法主要用于修复破损区域较小的图像，另一类是Exemplar-based(基于样本)的修复方法，该类方法致力于修复大面积破损区域。Criminisi算法是2004年提出的一种基于样本的图像修复算法，在图像修复领域有着深远影响。
传统的基于样本的图像修复算法大多通过人工设定样本块大小，来达到最佳修复果，样本块大小对修复结果有着重要影响。然而一幅图像通常具有不同的局部纹理特性，对所有的位置都采用相同大小的样本块进行修复缺乏自适应性。事实上，每个待修复的像素点所对应的填补样本块大小应该能够根据待修复点周围的局部结构信息进行自动调节，以满足不同结构区域信息自动修复的需要。
为解决上述问题，本发明通过在修复过程中对破损图像进行四叉分解，使得修复算法能够在修复过程中根据图像的局部信息和结构特征自适应地选取当前待修复点的最佳样本块大小，对图像修复效果有着明显的提升。
发明内容：
本发明提供了一种自适应选择样本块大小的图像修复方法，本发明针对传统基于样本的图像修复算法，在修复过程中采取固定大小样本块的缺点，修复结果容易造成图像结构信息错误传递的现象，提出根据待修复图像不同区域的局部信息和结构特征来自适应确定合适的样本块大小，可有效提高修复效果，详细步骤见下文描述：
1.标记图像的破损区域，根据算法中定义的修复优先级函数确定修复优先级最高的待修复点；
2.对破损图像进行四叉分解，得出待修复点的所在位置的图像块大小，并以此大小作为待修点的最优样本块大小；
3.根据最小绝对差平方和匹配准则、最优样本块的大小，从图像已知区域中寻找最优匹配块；
4.利用最优匹配块对待修复样本块进行填补，更新破损区域及源区域。
附图说明：
图1为一种自适应选择样本块大小的图像修复方法流程图；
图2为一幅图像四叉分解的示意图；其中分解阈值设置为6，(a)为图像四叉分解结果，其中每个字母标记一个子区域，最终分解得到a、c、d、x、y、z、t七个子区域，(b)为四叉树表示的分解过程，每一个叶结点代表一个图像子区域，叶结点旁边标记的区间表示子区域的灰度值范围。
具体实施办法：
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。为了解决背景技术中存在的问题，本发明实施例提出一种基于Criminisi算法的自适应选择样本块大小图像修复方法，在修复过程中对图像进行四叉分解得到当前待修复点处的图像块大小，并以此样本块大小作为待修复点的修复样本块大小，使得算法能够根据图像的局部信息和结构特征自适应地选择合适的样本块大小。本发明算法流程如图1所示，以下结合附图和实施示例做进一步详细叙述：
1.输入待修复图像，对图像破损区域边界上的每个像素点计算置信度C(p)和数据项D(p)，确定破损区域边界上每个像素点的修复优先级P(p)，P(p)＝C(p)×D(p)；
其中，上述计算置信度C(p)和数据项D(p)的步骤为本领域技术人员所公知，本发明实施例对此不做赘述。
2.根据优先级的计算结果选取优先级最高的目标像素点，并将该目标像素点作为当前待修复点；
3.设定一个阈值，对当前破损图像进行四叉分解，将整幅图像分解成为不同大小的图像块。四叉分解的具体过程为：
(1)将破损图像转化为灰度图，并将图像破损区域内的灰度值设置为0，如果图像尺寸不是正方形的，则将图像填充为正方形区域，其中填充区域灰度值设为0；
(2)取当前图像区域内所有像素点的最大灰度值与最小灰度值(如果最小灰度值为0，则取次小灰度值)；
(3)如果最大灰度值和最小灰度值差异大于设定的阈值时，则将图像区域分为互不重叠的四块同样大小的子区域；
(4)对图像的所有子区域重复上步骤(2)和(3)，直到所有子区域内的像素灰度值差异都小于阈值，则完成分解。
4.得到待修复点所处位置的图像子区域大小，以待修复像素点为中心取同样大小的图像邻域作为待修复块Ψp；
5.采用SSD匹配准则在图像已知区域内寻找与待修复样本块Ψp尺寸相同的匹配块，计算SSD匹配代价，得到与待修复样本块Ψp具有最小绝对差平方和的最优匹配块Ψq。其中，待修复样本块Ψp与最优匹配块Ψq的SSD匹配代价D(Ψp,Ψq)计算公式为：
其中，R(a)、G(a)、B(a)表示待修复样本块Ψp内的任意像素点a的RGB分量，R(b)、G(b)、B(b)表示最优匹配块Ψq内的像素点b的RGB分量。
6.利用最优匹配块Ψq对待修复样本块Ψp进行填充，并将待修复样本块Ψp标记为已修复的样本块，更新破损区域已知区域。
7.重复步骤1～6，直至完成图像修复。
综上所述，本发明实施例通过上述步骤1～7根据图像局部信息和结构特征自适应确定待修复样本块大小，对不同的纹理和结构信息区域，采用不同大小的样本块进行修复，减少了误匹配，使得修复后的结构和纹理更加自然。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，但所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种自适应选择样本块大小的图像修复方法，其特征在于，所述图像修复方法在修复过程中对图像进行四叉分解，根据图像局部信息和结构特征自适应地选取修复样本块大小，包括以下步骤：
1)标记图像的破损区域，确定待修复点，对破损图像进行四叉分解，得出待修复点所在位置的图像块大小，并以此大小作为待修点的最优样本块大小；
2)根据匹配准则、最优样本块的大小，从图像已知区域中寻找最优匹配块；
3)利用最优匹配块对待修复样本块进行填补，更新破损区域及源区域。
2.如权利要求1所述的图像修复方法，其特征在于对Criminisi方法的改进，改进体现在用四叉分解获得不同大小的样本块。
CN201810531430.4A 2018-05-29 2018-05-29 一种自适应选择样本块大小的图像修复方法 Pending CN108734680A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810531430.4A CN108734680A (zh) 2018-05-29 2018-05-29 一种自适应选择样本块大小的图像修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810531430.4A CN108734680A (zh) 2018-05-29 2018-05-29 一种自适应选择样本块大小的图像修复方法

Publications (1)

Publication Number Publication Date
CN108734680A true CN108734680A (zh) 2018-11-02

Family

ID=63935799

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810531430.4A Pending CN108734680A (zh) 2018-05-29 2018-05-29 一种自适应选择样本块大小的图像修复方法

Country Status (1)

Country Link
CN (1) CN108734680A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344813A (zh) * 2021-06-02 2021-09-03 中国工商银行股份有限公司 图像修复方法、装置和服务器

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1098628A (ja) * 1996-08-30 1998-04-14 Xerox Corp ハーフトーン画像からの連続色調画像の作成方法
CN101777178A (zh) * 2010-01-28 2010-07-14 南京大学 一种图像修复方法
CN103268490A (zh) * 2013-05-30 2013-08-28 电子科技大学 一种采用两边三宽特征的数字识别方法
WO2014096400A1 (en) * 2012-12-21 2014-06-26 Imcube Labs Gmbh Method, apparatus and computer program usable in synthesizing a stereoscopic image
CN105023246A (zh) * 2015-06-23 2015-11-04 首都师范大学 一种基于对比度和结构相似度的图像增强方法
CN106683128A (zh) * 2016-12-28 2017-05-17 电子科技大学 一种用于机场跑道图像的亚像素配准方法
CN107967673A (zh) * 2017-12-03 2018-04-27 天津大学 一种自适应样本块图像修复方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1098628A (ja) * 1996-08-30 1998-04-14 Xerox Corp ハーフトーン画像からの連続色調画像の作成方法
CN101777178A (zh) * 2010-01-28 2010-07-14 南京大学 一种图像修复方法
WO2014096400A1 (en) * 2012-12-21 2014-06-26 Imcube Labs Gmbh Method, apparatus and computer program usable in synthesizing a stereoscopic image
CN103268490A (zh) * 2013-05-30 2013-08-28 电子科技大学 一种采用两边三宽特征的数字识别方法
CN105023246A (zh) * 2015-06-23 2015-11-04 首都师范大学 一种基于对比度和结构相似度的图像增强方法
CN106683128A (zh) * 2016-12-28 2017-05-17 电子科技大学 一种用于机场跑道图像的亚像素配准方法
CN107967673A (zh) * 2017-12-03 2018-04-27 天津大学 一种自适应样本块图像修复方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
IHSEN HEDHLI等: "Contextual multi-scale image clasification on quadtree", 《IEEE INTERHATIONAL CONFERENCE ON IMAGE PROCESSING(ICIP)》 *
QINHUI FAN等: "Exemplar-Based Image Inpainting based on pixel inhomogeneity factorm", 《PROCEEDING OF APSIPA ANNUAL SUMMIT AND CONFERENCE 2017》 *
SCHOLEFIELD,A等: "Image restoration using a sparse quadtree decomposition representation", 《2009 16TH IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 *
赵晨萍等: "一种基于Eno-Haar模型新的图像修复算法", 《现代电子技术》 *
赵翠芳等: "基于四叉树和偏微分方程的灰度图像压缩", 《光学技术》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344813A (zh) * 2021-06-02 2021-09-03 中国工商银行股份有限公司 图像修复方法、装置和服务器

Similar Documents

Publication Publication Date Title
CN104376529B (zh) 一种基于glcm的灰度图像彩色化***和方法
CN106651805B (zh) 基于机器学习的图像水印去除方法
CA2442603C (en) Digital composition of a mosaic image
CN109036245A (zh) 一种显示处理的方法、装置、集成电路及计算机存储介质
US8044971B2 (en) Methods of and apparatus for processing computer graphics
KR102322433B1 (ko) 그래픽 처리 시스템
CN106468543B (zh) 一种基于图像处理的叶片面积测量方法
CN108985363A (zh) 一种基于rbpnn的钢筋混凝土桥梁裂缝分类识别方法
CN107967673A (zh) 一种自适应样本块图像修复方法
CN113012096B (zh) 显示屏子像素定位及亮度提取方法、设备以及存储介质
CN111489322A (zh) 给静态图片加天空滤镜的方法及装置
CN108537760A (zh) 一种基于大气散射模型的红外图像增强方法
CN101599172A (zh) 非均匀光照的文本图像的亮度补偿分割方法
CN111915507A (zh) 一种壁画脱落的修复方法
CN113487473B (zh) 一种添加图像水印的方法、装置、电子设备及存储介质
CN110675345A (zh) 一种遥感图像待修复区域的模糊补全处理方法及装置
CN108734680A (zh) 一种自适应选择样本块大小的图像修复方法
CN107369138B (zh) 基于高阶统计模型的图像最优化显示方法
KR100999811B1 (ko) 균등확률분할 히스토그램 평활화를 이용한 영상 화질 개선 방법
JP7151742B2 (ja) 画像変換装置、画像変換方法及び画像変換用コンピュータプログラム
CN112784894A (zh) 一种岩石薄片显微图像自动标注方法
CN104794695B (zh) 基于拍照的用于处理三维房屋装修材质的方法
US20170274285A1 (en) Method and apparatus for automating the creation of a puzzle pix playable on a computational device from a photograph or drawing
CN112233050B (zh) 一种光线自适应的绿色场地提取方法
Huang et al. A patch-based image inpainting based on structure consistence

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181102

WD01 Invention patent application deemed withdrawn after publication