CN102957923B - 立体影像深度图的校正***及方法 - Google Patents

立体影像深度图的校正***及方法 Download PDF

Info

Publication number
CN102957923B
CN102957923B CN201110251422.2A CN201110251422A CN102957923B CN 102957923 B CN102957923 B CN 102957923B CN 201110251422 A CN201110251422 A CN 201110251422A CN 102957923 B CN102957923 B CN 102957923B
Authority
CN
China
Prior art keywords
depth map
input image
dimensional image
object boundary
boundary pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110251422.2A
Other languages
English (en)
Other versions
CN102957923A (zh
Inventor
陈良基
李宗德
郑朝钟
赖彦杰
吴谦
黄玲琇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Himax Technologies Ltd
Original Assignee
Himax Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Himax Technologies Ltd filed Critical Himax Technologies Ltd
Priority to CN201110251422.2A priority Critical patent/CN102957923B/zh
Publication of CN102957923A publication Critical patent/CN102957923A/zh
Application granted granted Critical
Publication of CN102957923B publication Critical patent/CN102957923B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明是有关于一种立体影像深度图的校正***及方法，空间频谱转换单元根据输入影像以萃取物体边界像素，其中该空间频谱转换单元使用希尔伯特黄转换(HHT)。校正单元根据物体边界像素，用以校正相应于输入影像的输入深度图，因而产生输出深度图。

Description

立体影像深度图的校正***及方法
技术领域
本发明涉及一种立体影像处理，特别是涉及一种使用希尔伯特黄(Hilbert-Huang)转换以校正立体影像深度图的方法。
背景技术
立体(或三维)显示装置可将立体深度感知(perception)传递给观者。由于立体显示装置的逐渐普及，使得立体影像处理成为重要的课题。其中，深度图(depth map)在立体影像处理中更是占有重要地位。深度资讯的产生并没有一个标准作法，目前有许多方法可用以产生深度图，大致上可分为两类：使用单眼深度提示(monocular depth cue)的单眼影像方法，以及使用双眼像差(binocular disparity)的立体影像方法。
关于单眼影像方法，一般使用对比或/且模糊资讯以产生深度资讯。然而，位于物体边界的像素，所估算的深度图通常并不可靠。至于立体影像方法，一般使用阐述立体匹配(stereo matching)问题的信任传递(beliefpropagation)以产生深度资讯。然而，位于物体边界的像素，深度图的品质通常会降低。
因此，如何创设一种新颖的机制，用以改善深度图，因而提供优于传统方法的深度品质，实属当前重要研发课题之一，亦成为当前业界极需改进的目标。
发明内容
本发明的目的在于，提供一种立体影像深度图的校正***及方法，用以强化空间频谱(spatial spectrum)的深度品质。
本发明的目的及解决其技术问题是采用以下技术方案来实现的。依据本发明提出的一种立体影像深度图的校正***，其包含：一空间频谱转换单元，其根据一输入影像以萃取物体边界像素，其中该空间频谱转换单元使用希尔伯特黄转换(HHT)；及一校正单元，其根据该物体边界像素，用以校正相应于该输入影像的一输入深度图，因而产生一输出深度图；其中所述的希尔伯特黄转换(HHT)使用经验模态分解(EMD)将该输入影像分解为多个本质模态函数(IMF)，且频率低于一预设临界值的本质模态函数(IMF)的转变点定义为该物体边界像素。
本发明的目的及解决其技术问题还可采用以下技术措施进一步实现。
前述的立体影像深度图的校正***，其中所述的空间频谱转换单元分解该输入影像的列信号或该输入影像的行信号。
前述的立体影像深度图的校正***，其中所述的校正单元根据该输入深度图及该物体边界像素，用以建构一最小生成树(minimal spanningtree)。
前述的立体影像深度图的校正***，其中所述的最小生成树的建构包含以下步骤：分割该输入影像为多个巨集区块(MB)；分别映射该多个巨集区块至一生成树的顶点，其中该巨集区块以边缘(edge)连接，且该边缘的权重定义为相邻二巨集区块之间的平均色彩差异值；以相邻二巨集区块之间的物体边界像素，切割该生成树为多个独立片段；及对于每一该片段，平均该片段相应的输入深度图的信息，因而得到一平均值，用以分派作为该输出深度图的新深度信息。
前述的立体影像深度图的校正***，其还包含一改善单元，其根据该输入影像以改善该输出深度图。
前述的立体影像深度图的校正***，其中所述的改善单元使用一交叉双测(cross-bilateral)滤波器以改善该输出深度图。
本发明的目的及解决其技术问题还采用以下技术方案来实现。依据本发明提出的一种立体影像深度图的校正方法，其包含以下步骤：根据一输入影像，使用一空间频谱转换以萃取物体边界像素，其中该空间频谱转换使用希尔伯特黄转换(HHT)；及根据该物体边界像素，以校正相应于该输入影像的一输入深度图，因而产生一输出深度图；其中所述的希尔伯特黄转换(HHT)使用经验模态分解(EMD)将该输入影像分解为多个本质模态函数(IMF)，且频率低于一预设临界值的本质模态函数(IMF)的转变点定义为该物体边界像素。
本发明的目的及解决其技术问题还可采用以下技术措施进一步实现。
前述的立体影像深度图的校正方法，其中所述的空间频谱转换分解该输入影像的列信号或该输入影像的行信号。
前述的立体影像深度图的校正方法，其中所述的校正步骤根据该输入深度图及该物体边界像素，用以建构一最小生成树(minimal spanningtree)。
前述的立体影像深度图的校正方法，其中所述的最小生成树的建构包含以下步骤：分割该输入影像为多个巨集区块(MB)；分别映射该多个巨集区块至一生成树的顶点，其中该巨集区块以边缘(edge)连接，且该边缘的权重定义为相邻二巨集区块之间的平均色彩差异值；以相邻二巨集区块之间的物体边界像素，切割该生成树为多个独立片段；及对于每一该片段，平均该片段相应的输入深度图的信息，因而得到一平均值，用以分派作为该输出深度图的新深度信息。
前述的立体影像深度图的校正方法，其还更包含一改善步骤，其根据该输入影像以改善该输出深度图。
前述的立体影像深度图的校正方法，其中所述的改善步骤使用一交叉双测(cross-bilateral)滤波器以改善该输出深度图。
本发明与现有技术相比具有明显的优点和有益效果。借由上述技术方案，本发明立体影像深度图的校正***及方法至少具有下列优点及有益效果：本发明可用以强化空间频谱(spatial spectrum)的深度品质。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。
附图说明
图1显示本发明实施例的立体影像深度图的校正***及方法的方块图。
图2A至图2C显示图1的校正单元的最小生成树图的建构示意图。
10：空间频谱转换单元             12：校正单元
14：改善单元                     Din：输入深度图
Dout：输出深度图                 I：输入影像
Q：像素集                        MB：巨集区块
具体实施方式
为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的立体影像深度图的校正***及方法其具体实施方式、结构、特征及其功效，详细说明如后。
图1显示本发明实施例的立体(三维)影像深度图的校正***及方法的方块图。
首先，使用空间频谱转换单元10处理二维输入影像I，用以得到(或萃取)像素集Q，其由物体边界所组成。在本实施例中，空间频谱转换单元10使用希尔伯特黄(Hilbert-Huang)转换(HHT)。希尔伯特黄转换(HHT)提供一种方法以分解信号，特别是非稳态(nonstationary)及非线性信号，使其分解为本质模态函数(intrinsic mode function，IMF)，因而获得瞬时频率(instantaneous frequency)信息。在希尔伯特黄转换(HHT)中，通常使用经验模态分解(empirical mode decomposition，EMD)将信号分解为多个元件或本质模态函数(IMF)。关于希尔伯特黄转换(HHT)及经验模态分解(EMD)的细节可参考黄(N.E.Huang)等人于Proc.of The RoyalSociety，vol.454，no.1971，pp.903-995，8 Mar.1998所提出的“Theempirical mode decomposition and the Hilbert spectrum for nonlinearand nonstationary time series analysis”。
相较于其他的转换，例如傅力叶(Fourier)转换，希尔伯特黄转换(HHT)具可调适性且具较佳局部性(Iocality)。因此，得以提供适当资讯并藉由本质模态函数(IMF)以估算不同频率元件的转变点。藉此，较低频率的本质模态函数(IMF)的转变点可定义出物体边界，而较高频率的本质模态函数(IMF)则用以得到纹理。在本说明书中，较低频率的本质模态函数(IMF)是指频率低于预设临界值的本质模态函数(IMF)。
在本实施例中，并非对输入影像I直接进行二维分解，而是对输入影像I的列信号Hor或/且行信号Ver进行一维分解。列信号Hor及行信号Ver可定义如下：
HorI，k(x)＝I(x，k)，
VerI，m(y)＝I(m，y)。
藉由分解可得到所有非负整数j的IMF(j，HorI，k(x))及IMF(j，VerI，m(y))。在本实施例中，像素集Q可定义如下：
Q＝{(x，y)|grad(x，y)＞threhsold}，
grad ( x , y ) = max ( | ▿ Σ j = p ∞ IMF ( j , Hor I , y ( x ) ) | , | ▿ Σ j = p ∞ IMF ( j , Vre I , x ( y ) ) | )
其中，p为定义低频本质模态函数(IMF)的预设临界值。
接下来，校正单元12根据像素集Q的物体边界，对相应于输入影像I的输入深度图Din进行自动校正，因而产生输出深度图Dout。在本实施例中，在校正单元12内建构最小生成树(minimal spanning tree)的图(graph)。详而言的，如图2A所例示，将输入影像I切割为多个巨集区块(macro block，MB)，如图式中的4x4巨集区块。如图2B所示，该些巨集区块被分别映射至生成树的顶点。这些巨集区块藉由边缘(edge)予以连接，且边缘的权重则由相邻巨集区块之间的平均色彩差异值(mean colordifference)来定义。接着，使用相邻巨集区块之间的物体边界像素用以将生成树切割为多个互为独立的片段(segment)，如第二C图所例示的三个独立片段。对于每一片段，相应的输入深度图Din的信息则予以平均，因而得到一平均值，用以分派作为输出深度图Dout的新深度信息。
再者，根据输入影像I，选择性使用改善单元14以处理输出深度图Dout。在本实施例中，改善单元14使用交叉双侧(cross-bilateral)滤波器。使用交叉双侧滤波器以进行信息改善的细节可参考Elmar Eisemann等人于ACM Transactions on Graphics，vol.23，no.3，pp.673-678，July2004所提出的“Flash photography enhancement via intrinsicrelighting”。
上述实施例提供一种强化空间频谱深度品质的自动深度校正方法。根据萃取的物体边界，本实施例的深度校正提供较传统方法(例如暗通道优先(dark channel prior)或立体匹配)更佳的改良效果。再者，本实施例还可适用于遮蔽(occlusion)的处理。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (12)

1.一种立体影像深度图的校正***，其特征在于其包含：
一空间频谱转换单元，其根据一输入影像以萃取物体边界像素，其中该空间频谱转换单元使用希尔伯特黄转换；及
一校正单元，其根据该物体边界像素，用以校正相应于该输入影像的一输入深度图，因而产生一输出深度图；
其中所述的希尔伯特黄转换使用经验模态分解将该输入影像分解为多个本质模态函数，且频率低于一预设临界值的本质模态函数的转变点定义为该物体边界像素。
2.根据权利要求1所述的立体影像深度图的校正***，其特征在于其中所述的空间频谱转换单元分解该输入影像的列信号或该输入影像的行信号。
3.根据权利要求1所述的立体影像深度图的校正***，其特征在于其中所述的校正单元根据该输入深度图及该物体边界像素，用以建构一最小生成树。
4.根据权利要求3所述的立体影像深度图的校正***，其特征在于其中所述的最小生成树的建构包含以下步骤：
分割该输入影像为多个巨集区块；
分别映射该多个巨集区块至一生成树的顶点，其中该巨集区块以边缘连接，且该边缘的权重定义为相邻二巨集区块之间的平均色彩差异值；
以相邻二巨集区块之间的物体边界像素，切割该生成树为多个独立片段；及
对于每一该片段，平均该片段相应的输入深度图的信息，因而得到一平均值，用以分派作为该输出深度图的新深度信息。
5.根据权利要求1所述的立体影像深度图的校正***，其特征在于其还包含一改善单元，其根据该输入影像以改善该输出深度图。
6.根据权利要求5所述的立体影像深度图的校正***，其特征在于其中所述的改善单元使用一交叉双测滤波器以改善该输出深度图。
7.一种立体影像深度图的校正方法，其特征在于其包含以下步骤：
根据一输入影像，使用一空间频谱转换以萃取物体边界像素，其中该空间频谱转换使用希尔伯特黄转换；及
根据该物体边界像素，以校正相应于该输入影像的一输入深度图，因而产生一输出深度图；
其中所述的希尔伯特黄转换使用经验模态分解将该输入影像分解为多个本质模态函数，且频率低于一预设临界值的本质模态函数的转变点定义为该物体边界像素。
8.根据权利要求7所述的立体影像深度图的校正方法，其特征在于其中所述的空间频谱转换分解该输入影像的列信号或该输入影像的行信号。
9.根据权利要求7所述的立体影像深度图的校正方法，其特征在于其中所述的校正步骤根据该输入深度图及该物体边界像素，用以建构一最小生成树。
10.根据权利要求9所述的立体影像深度图的校正方法，其特征在于其中所述的最小生成树的建构包含以下步骤：
分割该输入影像为多个巨集区块；
分别映射该多个巨集区块至一生成树的顶点，其中该巨集区块以边缘连接，且该边缘的权重定义为相邻二巨集区块之间的平均色彩差异值；
以相邻二巨集区块之间的物体边界像素，切割该生成树为多个独立片段；及
对于每一该片段，平均该片段相应的输入深度图的信息，因而得到一平均值，用以分派作为该输出深度图的新深度信息。
11.根据权利要求7所述的立体影像深度图的校正方法，其特征在于其还更包含一改善步骤，其根据该输入影像以改善该输出深度图。
12.根据权利要求11所述的立体影像深度图的校正方法，其特征在于其中所述的改善步骤使用一交叉双测滤波器以改善该输出深度图。
CN201110251422.2A 2011-08-24 2011-08-24 立体影像深度图的校正***及方法 Active CN102957923B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110251422.2A CN102957923B (zh) 2011-08-24 2011-08-24 立体影像深度图的校正***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110251422.2A CN102957923B (zh) 2011-08-24 2011-08-24 立体影像深度图的校正***及方法

Publications (2)

Publication Number Publication Date
CN102957923A CN102957923A (zh) 2013-03-06
CN102957923B true CN102957923B (zh) 2015-06-03

Family

ID=47766078

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110251422.2A Active CN102957923B (zh) 2011-08-24 2011-08-24 立体影像深度图的校正***及方法

Country Status (1)

Country Link
CN (1) CN102957923B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201528775A (zh) 2014-01-02 2015-07-16 Ind Tech Res Inst 景深圖校正方法及系統
CN104767986A (zh) * 2014-01-02 2015-07-08 财团法人工业技术研究院 景深图校正方法及***
CN104796684A (zh) * 2015-03-24 2015-07-22 深圳市广之爱文化传播有限公司 裸眼3d视频处理方法
CN105141937B (zh) * 2015-06-29 2017-01-25 西安交通大学 一种基于二维经验模式分解的自适应立体视差估计方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101751661A (zh) * 2008-12-01 2010-06-23 奇景光电股份有限公司 深度相关的影像加强***及方法
CN102075780A (zh) * 2011-02-25 2011-05-25 福建华映显示科技有限公司 立体影像产生装置及其方法
CN102098526A (zh) * 2011-01-28 2011-06-15 清华大学 一种深度图求取方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4214409B2 (ja) * 2003-01-31 2009-01-28 国立大学法人東京工業大学 高解像度カラー画像生成方法、高解像度カラー画像生成装置及び高解像度カラー画像生成プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101751661A (zh) * 2008-12-01 2010-06-23 奇景光电股份有限公司 深度相关的影像加强***及方法
CN102098526A (zh) * 2011-01-28 2011-06-15 清华大学 一种深度图求取方法及装置
CN102075780A (zh) * 2011-02-25 2011-05-25 福建华映显示科技有限公司 立体影像产生装置及其方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Hilbert-Huang Transform-based Local Regions Descriptors;Dongfeng Han,Wenhui Li,Wu Guo,Zongcheng Li;《British Machine Vision Conference》;20071231;2、4页，图2 *
Unsupervised Semantic Object Segmentation of Stereoscopic Video Sequences;Anastasios D.Doulamis,Nikolaos D.Doulamis etc;《Information Intelligence and Systems》;19991031;2、5-6页，图9 *

Also Published As

Publication number Publication date
CN102957923A (zh) 2013-03-06

Similar Documents

Publication Publication Date Title
CN102404594B (zh) 基于图像边缘信息的2d转3d的方法
CN102957923B (zh) 立体影像深度图的校正***及方法
CN104574404B (zh) 一种立体图像重定位方法
CN103793907A (zh) 一种水体信息的提取方法及装置
GB2494736A (en) Improvements in 3D object delineation
US10154242B1 (en) Conversion of 2D image to 3D video
CN104837000B (zh) 一种利用轮廓感知的虚拟视点合成方法
CN102609950B (zh) 一种二维视频深度图的生成方法
CN103455991A (zh) 一种多聚焦图像融合方法
CN104299263A (zh) 一种基于单幅图像建模云场景的方法
CN107564078B (zh) 一种带有干扰像素的栅格分区图自动矢量化方法
CN104361583B (zh) 一种确定非对称失真立体图像客观质量的方法
CN104299241A (zh) 基于 Hadoop 的遥感图像显著性目标检测方法及***
CN103337073B (zh) 一种基于三维熵的二维图像阈值分割方法
CN107113464B (zh) 内容提供装置、显示装置及其控制方法
US8655054B2 (en) System and method of correcting a depth map for 3D image
CN103337064A (zh) 图像立体匹配中的一种误匹配点剔除方法
CN104050673B (zh) 一种基于K‑means图像分割的深度图提取方法
CN110175548A (zh) 基于注意力机制和通道信息的遥感图像建筑物提取方法
CN103606162A (zh) 一种基于图像分割的立体匹配算法
CN105488792A (zh) 基于字典学习和机器学习的无参考立体图像质量评价方法
CN106682599B (zh) 一种基于稀疏表示的立体图像视觉显著提取方法
MX2022003201A (es) Codificar y decodificar una nube de puntos usando parches para muestras intermedias.
CN109697693A (zh) 一种实现基于大数据空间运算的方法
CN102982532A (zh) 一种基于矩阵分解的立体图像客观质量评价方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant