CN101833781B - 基于几何信息的相似对象隐藏部分自动补全方法 - Google Patents

基于几何信息的相似对象隐藏部分自动补全方法 Download PDF

Info

Publication number
CN101833781B
CN101833781B CN2010101584401A CN201010158440A CN101833781B CN 101833781 B CN101833781 B CN 101833781B CN 2010101584401 A CN2010101584401 A CN 2010101584401A CN 201010158440 A CN201010158440 A CN 201010158440A CN 101833781 B CN101833781 B CN 101833781B
Authority
CN
China
Prior art keywords
completion
source object
pixel value
blocked
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2010101584401A
Other languages
English (en)
Other versions
CN101833781A (zh
Inventor
胡事民
程明明
张方略
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN2010101584401A priority Critical patent/CN101833781B/zh
Publication of CN101833781A publication Critical patent/CN101833781A/zh
Application granted granted Critical
Publication of CN101833781B publication Critical patent/CN101833781B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了一种基于几何信息的相似对象隐藏部分自动补全方法,包括步骤:利用图像中待补全对象的轮廓几何信息、该图像中源对象的轮廓几何信息,以及所建立的待补全对象与源对象轮廓上所有像素点的一一对应关系,将待补全对象划分为两部分:部分a)被遮挡部分,以及部分b)未被遮挡部分;S2,对于部分a),采用变形后的源对象的各点的像素值进行补全,其中,变形后的源对象与待补全对象的形状完全相同;其中,所述待补全对象和源对象为同一幅图像中同一种物体的不同个体。本发明使补全后的相似对象具有几何信息和语义信息上的双重完整性,使对未遮挡部分的补全达到无缝拼接的效果。

Description

基于几何信息的相似对象隐藏部分自动补全方法
技术领域
本发明属于图像处理技术领域,特别涉及一种基于几何信息的相似对象隐藏部分自动补全方法。
背景技术
随着多媒体设备的普及和多媒体技术的不断发展,数码相机等设备被广泛使用,由此而产生的大量的照片处理需求,使得图像编辑技术成为了目前计算机学科研究的热点之一。目前,市场上的图像处理软件,如Adobe Photoshop等,只能提供一些初级的像素级操作,用户需要复杂的交互、较强的艺术素养和熟练的操作技能,才能实现一些符合用户最终需求的图像编辑效果。因此,图像编辑技术的智能化、自动化成为最近技术发展的主要方向。其中,图像编辑的智能传播有着广泛的应用前景和用户需求,而把编辑传播应用到对象级的图像操作,是更具挑战性和前沿性的工作。对象级的编辑传播,需要首先对一张有着多个重复/相似对象的图像进行重复/相似对象的提取,这方面比较有代表性的技术有2.1D方法(是一种在计算机视觉领域中用于提取相似纹理的方法)——利用树的形式来表达图像,以匹配相似节点的方法——以及一些基于纹理的相似图元检测方法。
上述方法虽然可以较好地找出相似的纹理部分,但对于对象被遮挡等几何信息缺失的情况无能为力。所以对象级的图像操作必须要保留相似对象的几何信息,而在已知对象的形状等几何信息的情况下,被遮挡部分则需要进一步的处理,从而保证提取出的图片中相似对象的完整性。
发明内容
(一)要解决的技术问题
本发明要解决的技术问题是如何在已知图像中相似对象的几何信息的情况下,在对象被遮挡部分自动地完成缺失部分的补全。
(二)技术方案
为解决上述问题,本发明提供了一种基于几何信息的相似对象隐藏部分自动补全方法,包括以下步骤:
S1,利用图像中待补全对象的轮廓几何信息、该图像中源对象的轮廓几何信息,以及所建立的待补全对象与源对象轮廓上所有像素点的一一对应关系,将待补全对象划分为两部分:部分a)被遮挡部分,以及部分b)未被遮挡部分;
S2,对于部分a),采用变形后的源对象的各点的像素值进行补全,其中,变形后的源对象与待补全对象的形状完全相同;
其中,所述待补全对象和源对象为相似对象,即,为同一幅图像中同一种物体(同类物体)的不同个体。
其中,对于部分b),按照以下方式补全:计算未被遮挡部分各点的像素值与所述源对象对应点的像素值之差,若差小于预设的阈值,则采用所述变形后的源对象各点的像素值补全所述未被遮挡部分的对应点;否则,用最大图分割(Graph-Cut)的方法找到一条最优路径,使得能量
E = Σ i = 0 n | c i , origin - c i , reference |
最小,式中ci,origin和ci,reference分别代表当前路径上的一个像素点位置对应的待补全对象各点的像素值和源对象对应点的像素值;i、n均为整数,n表示当前路径上的像素点的总数,优化的目标是整条路径上n个点的差值绝对值和最小,因此从0计算到n。在该最优路径的两侧分别采用所述未被遮挡部分的各点的像素值和所述变形后的源对象对应点的像素值来补全该未被遮挡部分的像素点。
其中,在步骤S1中,利用形状上下文(Shape-Context)的方法建立待补全对象与源对象二者轮廓上各像素点的一一对应关系,然后利用薄板样条插值(Thin Plate Interpolate)的方法建立待补全对象与源对象所有像素点的一一对应关系。
在步骤S1与步骤S2之间包括将所述源对象变形的步骤。
(三)有益效果
本发明的技术方案通过同时补全相似对象中的被遮挡部分与未被遮挡部分,使得图像中补全后的相似对象具有几何信息和语义信息上的双重的完整性,以便于进行真正意义上的对象级的智能图像处理;在补全未被遮挡部分时采用Graph-Cut的方法找到一条最优的路径,用这条路径作为分别采用源对象内容和待补全对象自身内容进行填充的两部分的分界线,使得对未遮挡部分的补全达到了无缝拼接的效果。
附图说明
图1为本发明实施的方法流程图;
图2为本发明实施例的方法中针对待补全对象的不同部分进行补全的示意图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细说明。以下实施例用于说明本发明,但不用来限制本发明的范围。
图1为本发明的方法流程图。参照图1,本发明首先利用图像中待补全对象的轮廓几何信息、该图像中与待补全对象属于同一种物体的源对象(该源对象不需要形状大小等的准确相同,只是需要是同一幅图像上的同类物体,但完整显示在图像上)的轮廓几何信息,以及所建立的待补全对象与源对象轮廓上所有像素点的一一对应关系,从而判断出被遮挡部分和其余部分的部分范围。其中,利用形状上下文的方法建立待补全对象与源对象二者轮廓上各像素点的一一对应关系,然后利用薄板样条插值的方法建立待补全对象与源对象所有像素点的一一对应关系。
具体来说,这些部分是通过和图像大小相等的不同的蒙板(mask)来实现存储和使用的。同时,在已知轮廓几何信息的情况下,本发明需要将源对象,通过变形(以达到与待补全对象形状完全相同的目的)的方式,来完成待补全对象与源对象的语义内容上的一一对应。这样,在进行待补全对象任意位置的补全的时候,所要填充的内容就都具有两个选择:a)本身自身的内容;b)所参照的源对象对应位置的内容。
图2表示的是对于填充内容选择的方法。针对待补全对象被遮挡的隐藏内容,因为本部分的内容完全缺失,所以直接采用变形后的源对象的内容进行填充。而为了保证本发明对对象补全后内容的连续性和语义上的完整性,未被遮挡部分不能直接保留待补全对象的自身内容,而应该为了使补全后的两部分结果保持边界处的连续性,同时,又为了保证调整后的对象补全结果和自身原内容的相似性,如图2所示,本发明采取如下原则进行内容的填充:
首先未被遮挡部分的自身内容与所述源对象的内容之间的差别,差别小于某一阈值的,则直接采用自身内容填充;针对差别大于该阈值的,则针对该部分,用Graph-Cut的方法,找到一条最优的路径,使得能量:
E = Σ i = 0 n | c i , origin - c i , reference |
达到最小,式中ci,origin和ci,reference分别代表当前路径上一像素点位置对应的待补全对象各点的像素值和源对象对应点的像素值;i、n均为整数,n表示一条路径上的像素点的总数。路径的两侧分别采用自身内容和源对象的内容填充,从而可以认为该路径是由无缝拼接起来的两个不同方式补全的。
本发明在上面这个步骤中,为了实现补全结果的最优化,还可以选取多个不同的源对象分别进行补全,并取其中计算得到的E最小者,作为最终结果。
由以上实施例可以看出,该技术方案通过同时补全相似对象中的被遮挡部分与未被遮挡部分,使得图像中提取出的相似对象具有几何信息和语义信息上的双重的完整性,以便于进行真正意义上的对象级的智能图像处理;在补全未被遮挡部分时采用Graph-Cut的方法找到一条最优的路径,用这条路径作为分别采用源对象内容和待补全对象自身内容进行填充的两部分的分界线,使得对未遮挡部分的补全达到了无缝拼接的效果。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变型,这些改进和变型也应视为本发明的保护范围。

Claims (3)

1.一种基于几何信息的相似对象隐藏部分自动补全方法,其特征在于,包括以下步骤:
S1,利用图像中待补全对象的轮廓几何信息、该图像中源对象的轮廓几何信息,以及所建立的待补全对象与源对象轮廓上所有像素点的一一对应关系,将待补全对象划分为两部分:部分a)被遮挡部分,以及部分b)未被遮挡部分;
S2,对于部分a),采用变形后的源对象的各点的像素值进行补全,其中,变形后的源对象与待补全对象的形状完全相同;对于部分b),按照以下方式补全:计算未被遮挡部分各点的像素值与所述源对象对应点的像素值之差,若差小于预设的阈值,则直接采用所述未被遮挡部分的各点的像素值来填充;否则,用最大图分割的方法找到一条最优路径,使得能量
Figure FSB00000658213300011
最小,式中ci,origin和ci,reference分别代表当前路径上的一个像素点位置对应的待补全对象各点的像素值和源对象对应点的像素值;i、n均为整数,n表示当前路径上的像素点的总数;在该最优路径的两侧分别采用所述未被遮挡部分的各点的像素值和所述变形后的源对象对应点的像素值来补全该未被遮挡部分的像素点;
其中,所述待补全对象和源对象为同一幅图像中同一种物体的不同个体。
2.如权利要求1所述的基于几何信息的相似对象隐藏部分自动补全方法,其特征在于,在步骤S1中,利用形状上下文的方法建立待补全对象与源对象二者轮廓上各像素点的一一对应关系,然后利用薄板样条插值的方法建立待补全对象与源对象所有像素点的一一对应关系。
3.如权利要求1或2所述的基于几何信息的相似对象隐藏部分自动补全方法,其特征在于,在步骤S1与步骤S2之间包括将所述源 对象变形的步骤。 
CN2010101584401A 2010-04-22 2010-04-22 基于几何信息的相似对象隐藏部分自动补全方法 Active CN101833781B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010101584401A CN101833781B (zh) 2010-04-22 2010-04-22 基于几何信息的相似对象隐藏部分自动补全方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010101584401A CN101833781B (zh) 2010-04-22 2010-04-22 基于几何信息的相似对象隐藏部分自动补全方法

Publications (2)

Publication Number Publication Date
CN101833781A CN101833781A (zh) 2010-09-15
CN101833781B true CN101833781B (zh) 2012-09-05

Family

ID=42717842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010101584401A Active CN101833781B (zh) 2010-04-22 2010-04-22 基于几何信息的相似对象隐藏部分自动补全方法

Country Status (1)

Country Link
CN (1) CN101833781B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107957750B (zh) * 2017-12-15 2020-05-22 Oppo广东移动通信有限公司 电子装置、截图方法及相关产品
CN111079494B (zh) * 2019-06-09 2023-08-25 广东小天才科技有限公司 一种学习内容推送方法及电子设备
CN113012126B (zh) * 2021-03-17 2024-03-22 武汉联影智融医疗科技有限公司 标记点重建方法、装置、计算机设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101141633A (zh) * 2007-08-28 2008-03-12 湖南大学 一种复杂场景中的运动目标检测与跟踪方法
CN101571950A (zh) * 2009-03-25 2009-11-04 湖南大学 基于各向同性扩散和稀疏表示的图像修复方法
CN101635047A (zh) * 2009-03-25 2010-01-27 湖南大学 基于小波变换的纹理合成图像修复方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1587035A1 (en) * 2004-04-14 2005-10-19 Koninklijke Philips Electronics N.V. Ghost artifact reduction for rendering 2.5D graphics

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101141633A (zh) * 2007-08-28 2008-03-12 湖南大学 一种复杂场景中的运动目标检测与跟踪方法
CN101571950A (zh) * 2009-03-25 2009-11-04 湖南大学 基于各向同性扩散和稀疏表示的图像修复方法
CN101635047A (zh) * 2009-03-25 2010-01-27 湖南大学 基于小波变换的纹理合成图像修复方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张红英等.数字图像修复技术综述.《中国图象图形学报》.2007,第12卷(第1期),1-10. *

Also Published As

Publication number Publication date
CN101833781A (zh) 2010-09-15

Similar Documents

Publication Publication Date Title
US8655055B2 (en) Method, system and computer program product for converting a 2D image into a 3D image
US9508126B2 (en) Image haze removal using fast constrained transmission estimation
CN102867288A (zh) 深度图像转换设备和方法
CN103581650B (zh) 双目3d视频转多目3d视频的方法
CN101833781B (zh) 基于几何信息的相似对象隐藏部分自动补全方法
CN104299263A (zh) 一种基于单幅图像建模云场景的方法
US20150195510A1 (en) Method of integrating binocular stereo video scenes with maintaining time consistency
CN104038699A (zh) 对焦状态的提示方法和拍摄装置
GB2523329A (en) Method, apparatus and computer program product for image segmentation
CN103927727A (zh) 一种标量图像转化为矢量图的方法
CN104166987A (zh) 一种基于改进的自适应加权和置信度传播的视差估计方法
Hu et al. Hybrid shift map for video retargeting
CN103186880B (zh) 生成缩略图的方法和装置
CN103413331A (zh) 一种支持编辑传播的高分辨率视频图像内容稀疏表达方法
CN104952089B (zh) 一种图像处理方法及***
CN104200451B (zh) 一种基于非局部稀疏k‑svd算法的图像融合方法
CN105096282A (zh) 一种基于直方图均衡化的图像数据去雾方法
CN101609547B (zh) 基于累积能量的无缝拼接图像处理方法
Bare et al. Pixel fusion based stereo image retargeting
EP3062288B1 (en) Method, apparatus and computer program product for reducing chromatic aberrations in deconvolved images
Wang et al. Avoiding bleeding in image blending
Otani et al. Video colorization based on optical flow and edge-oriented color propagation
Lin et al. Anisotropic energy accumulation for stereoscopic image seam carving
Yu et al. Exploring Deeper! Segment Anything Model with Depth Perception for Camouflaged Object Detection
Lin et al. Accumulative Energy-Based Seam Carving for Image Resizing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant