CN103814306B

CN103814306B - 深度测量质量增强

Info

Publication number: CN103814306B
Application number: CN201280030960.1A
Authority: CN
Inventors: L·盖格思; M·塞缪尔; J·托洛
Original assignee: Softkinetic Software SA
Current assignee: Sony Depthsensing Solutions NV SA
Priority date: 2011-06-24
Filing date: 2012-06-22
Publication date: 2016-07-06
Anticipated expiration: 2032-06-22
Also published as: EP2538242B1; US20140253679A1; JP6244407B2; TWI536318B; KR20140027468A; TW201308252A; CN103814306A; WO2012175731A1; JP6143747B2; JP2016201117A; KR101554241B1; JP2014524016A; EP2538242A1; US9426444B2

Abstract

此处公开的是一种用于修正深度图图像中的缺陷深度值的方法。缺陷值对应于位于连续的平的表面上的“噪声像素”和位于沿前景对象和背景对象之间的边缘的内插的“飞行像素”。该方法包括如下步骤：评估包括前景和背景对象的场景的深度图；使用一方法来检测并标识该深度图内的噪声和内插的深度测量；使用特定地定义的加权的修正因子来定义修正并将该修正应用于每一个所检测到的缺陷的噪声和内插的深度测量。通过在深度图图像中提供经修正的缺陷深度值，边缘在深度上被锐化且连续平面被平坦化，能获得进一步图像处理的更高效率和稳健性。

Description

深度测量质量增强

技术领域

本发明涉及距离测定测量(诸如包含“三维点云”数据信息的深度图或图像)的质量增强，且更特定地涉及与所成像的三维景象中的前景对象和背景对象之间的边缘对应的像素相关联的深度测量的去噪和有问题的内插深度值的修正。

背景技术

深度测量相机***是新近的距离测定设备，由于被用于消费电子***和控制台游戏中的姿势识别和人体骨架追踪的技术，该设备变得越发常用。

主要地，存在两种类型的环境照明独立的深度感测或三维(3D)相机技术适于这样的应用。一种类型的3D相机技术是结构光3D相机，例如，由PrimeSense所提供、用于微软的Xbox360的Kinect(称为Kinect)视频游戏控制台中的姿势识别。(微软、Kinect、和Xbox360的Kinect是微软公司的商标)。第二种类型的3D感测相机技术是由数个独立公司研发和制造的飞行时间(ToF)相机且被用于例如汽车工业或在包括人机交互的各种环境(包括视频游戏、机器人、家庭自动化等)中用于姿势识别和人体骨架追踪。

题名为“BoundaryArtifactReductioninViewSynthesisof3DVideo:FromPerspectiveofTexture-DepthAlignment(3D视频的视图合成中的边界伪像减少：从文本深度对齐的角度)”、YinZhao等人发表在IEEETransactionsonBroadcasting,IEEEServiceCenter,Piscataway,NJ,US,57卷,第2期,2011年6月1日,510-522页的文章，公开了一种使用术语表达为不对齐抑制和对齐增强(SMART)的过程来修正视图合成的深度图的方法。该过程要求在预处理步骤中使用深度信息以及文本来在从至少两个立体声图像中创建的虚拟视图中提供孔洞填充。对于前景-背景边界，使用将被修正的像素一侧的两个像素获得导数且将这些值与阈值比较来确定该像素落在前景内还是背景内。边缘点和深度边缘点之间的距离被平均来提供与深度或文本边缘平行的平滑曲线。

在名为“Spatial-DepthSuperResolutionforRangeImages(距离图像的空间深度超级分辨率)”、QingxiongYang等人发表在CVPR’07,IEEEConferenceonComputerVisionandPatternRecognition,18-23June2007,Minneapolis,MN,USA,IEEEPiscataway,NJ,US,57卷,第2期,2007年6月1日,1-8页)的文章中，描述了后处理技术，其中通过对深度或然率的3D体(称为成本体(costvolume))的片段迭代地应用双边滤波器来产生新的成本体(该新的成本体被用于限制一般的两视图立体声视觉问题的深度分辨率)，从而处理深度或然率的3D体。后处理的步骤包括将低分辨率深度图上采样至与高分辨率相机图像相同大小、基于经上采样的深度图来建立成本体、并向该成本体的片段应用双边滤波器来产生新的成本提，受限的深度图是基于该新的成本体的。

名为“RobustFeature-PreservingMeshDenoisingBasedonConsistentSubneighborhoods(基于一致的子相邻进行的稳健的特征保持的网格去噪)”，由HanqiFan等人发表于IEEETransactionsonVisualizationandComputerGraphics,IEEEServiceCenter,LosAlamitos,CA,US,16卷,第2期,2010年3月1日，公开了使用基于密度的聚簇算法来逐个标识平滑的子相邻的方法。通过拟合二次模型来确定顶点正向和曲率张量的初始估算，然后被滤波从而平滑正向场和曲率张量场。然后使用第二双边滤波来保持曲率细节并减轻去噪过程的体积缩减。

在名为“TemporalConsistencyEnhancementonDepthSequences(对于深度序列的时间一致性增强)”，由DeliangFu等人发表于PictureCodingSymposium2010；Nagoya,2010年12月8日，公开了深度过滤算法来移除深度序列中的时间不一致。

US-B-6577307描述了防混叠过程，其中使用加权值用最相邻的色彩来混合前景色彩。每一个像素的加权值表示该像素的覆盖百分比。

然而，无论3D感测相机的类型如何，提供包括多个像素的场景的图像，该图像的每一个像素包含至少与所成像的对象与该相机之间的距离有关的信息，这样的信息是测得的深度值。内嵌有至少深度测量信息的这样的图像用术语表达为“深度图(depthmap)”。其他类型的图像也可包括内嵌的深度测量信息，例如，“3D点云”数据矩阵，其中图像包括相对于相机坐标***或相对于虚拟环境坐标***的内嵌的信息。在这样的图像中，x和y分别对应于水平和垂直轴且z-轴对应于深度。从相机坐标***到虚拟环境坐标***的转换是投影的问题，且这样的变换一般称为“场景校准”。

使用提供深度测量的图像的任何应用或***从而依赖于在分辨率、噪声、准确度、稳健性、和可重复性方面的测量质量。特定地，当主要考虑3DToF相机技术时，场景对象边缘周围的深度测量已知会展现出也被称为“飞行像素”的卷积和/或内插伪像，这可影响单个自然锐利边缘的至少一个像素半径的深度数据。这样的“飞行像素”是空间伪像，其发生在对象边缘处的位置中的且独立于任何可能的运动模糊，且其需要在景象中被移除和/或恢复至对应于新计算的深度值的正确位置，该新计算的深度值将该“飞行像素”合适地分配至前景对象或分配至背景对象。这样的恢复的目的是在于显著改进之后的对象检测置信度并增强3D景象中对象的深度信息质量。

发明内容

因此本发明的目的在于，通过检测可能形式为噪声像素值和/或形式为内插的“飞行像素”值的缺陷像素，来提供增强距离测定测量的质量的方法与***，例如诸如以深度图或以3D点云的形式来提供的测量。特定地，噪声像素值涉及整个深度图。然而，它们易于减少平且连续的表面的质量。“飞行像素”值涉及深度图中或对应的3D点云中表示的3D对象的边缘，这些边缘被定义为位于不同深度的前景对象和背景对象之间的界限。

根据本发明的一个方面，提供了三维图像的缺陷像素值的深度图质量增强的方法，该方法包括如下步骤：

a)确定与一场景有关的深度测量数据；

b)检测该深度测量数据中的缺陷；

c)定义每一个检测到的缺陷像素的深度修正；和

d)向每一个检测到的缺陷像素的深度测量数据应用该深度修正；

其特征在于，其中步骤c)优选地包括，对于每一个所标识的缺陷像素，进行如下步骤：

c1)确定与所述深度方向导数有关的向量；

c2)确定所确定的向量的法向；

c3)使用所确定的向量和所确定的向量的法向的至少一个结果结合数据参数来确定加权因子参数，所述参数的值与由像素宽度表示的实空间中的度量大小相关；和

c4)使用所述加权因子和与相邻像素有关的信息中的至少一个来确定修正因子。

通过使用本发明的方法，可获得深度图或3D点云图像质量的显著增强，同时可特定地减少深度测量噪声。特定地，在位于对象边缘处的内插的“飞行像素”内包含的信息被恢复且然后这些边缘因此被锐化从而使得它们对于进一步的信号处理方法相关且有用。

此外，本发明的一个结果在于极大地改进用户和对象检测、标识、追踪、以及运动相关的数据分析(诸如在三维景象中的感兴趣的对象上执行的姿势识别之类)，因为这类方法依赖于深度图深度数据值质量。作为另一个结果，可以更好的可靠性和准确度来进行与景象内用户形状和对象形状有关的图像提取。

此外，改进的对象检测还提供3D景象内的用户和对象的显著更好的建模，特定地，由于最小化了用户身体部分与对象或与其本身的融合，还显著改进了人体骨架适配和追踪，且可更为准确地建模用户的身体形状。

在一个实施例中，步骤c4)可进一步包括使用相邻像素的深度值、加权因子、和修正因子中的至少一个。可选地或附加地，步骤c4)可包括使用与相邻像素有关的信息的统计学众数。

有利地，步骤c4)仅使用有效的相邻像素。

步骤c4)还可包括使用从在相邻像素上确定的回归面所提取的深度信息。

在本发明的一个实施例中，缺陷像素可包括位于三维图像中前景对象和背景对象之间的边缘处的内插的像素数据值。在这个情况下，步骤b)还可包括，当像素的至少一个深度方向导数大于预定阈值且如果至少两个相继的方向导数具有相同正负号，则使用深度相关的方向导数来标识位于边缘处的像素的缺陷深度测量。这提供了如上所述的“飞行像素”的测试。

除了修正“飞行像素”外，本发明的方法还修正了“噪声像素”。在这个情况下，步骤b)包括确定三维图像中连续表面上的像素的缺陷测量。

在这个情况下，步骤b)还包括，当像素的至少一个深度方向导数大于预定阈值且当该像素的另一个深度方向导数也大于预定阈值且这两个方向导数具有相反的正负号时，使用深度相关的方向导数来标识连续表面上的像素的缺陷深度测量。

当缺陷像素是“噪声像素”时，步骤c)还可包括，对于每一个所标识的缺陷像素，进行如下步骤：

c5)使用两个正交的轴来确定与深度方向导数数据值有关的向量；

c6)使用所确定的向量的半径值、所确定的向量的法向信息、和由像素表示的场景中的实际宽度中的至少一个来确定加权因子参数；和

c7)使用所确定的加权因子参数组合与相邻像素有关的信息来应用修正因子。

在一个实施例中，使用至少两个正交的轴来确定深度相关的方向导数。在另一个实施例中，使用法线图(normalmap)来确定深度相关的方向导数。在另一个优选实施例中，可使用深度相关的方向导数来确定法线图(normalmap)。

在本发明的一个实施例中，使用本方法来修正“飞行像素”和“噪声像素”中的至少一个，且在优选实施例中，本方法修正“飞行像素”且修正“噪声像素”。

步骤a)可包括估算由3D感测设备或相机提供的或来自存储介质的形式为深度图、3D点云或任何其他形式的深度测量数据。

附图说明

为了更好地理解本发明，现在将仅以示例的方式参考附图，在附图中：

图1示出三维景象的示意性二维俯视图；

图2示出图1的三维场景的示意性二维相机前视图；

图3示出图1的二维俯视图的三维数据测量的示意性表示；

图4示出深度值信号和像素位置的示意性表示；

图5类似于图4，但是示出了根据本发明修正后的深度值信号和像素位置；

图6示出根据本发明的深度图去噪和边缘修正方法的步骤的流程图；

图7示出中心在“飞行像素”上的3x3内核，其中相邻像素位于两个正交的轴；和

图8示出中心在“飞行像素”上的3x3内核，其中相邻像素被确定为有效且形成前景或背景对象图像的一部分。

具体实施方式

将针对特定实施例并参考特定附图来描述本发明，但是本发明不限于此。所描述的附图只是示意性的和非限制性的。在附图中，出于说明的目的，一些元件的尺寸可被夸大且不按比例地绘制。

要理解，术语“垂直的”和“水平的”在本文中指附图的具体取向，并且这些术语不对本文描述的具体实施例构成限制。

对于典型的飞行时间(ToF)3D相机，使用TOF原理计算距离或深度数据的过程涉及具有模拟和数字处理单元的光学和电子装置的组合。一般而言，通过内嵌在ToF相机设备中的照明***，发送出调幅(AM)红外(IR)信号至场景处。因变于相位，专用传感器同时记录场景中对象反射回来的IR强度。然后随时间积分来自传感器的信号，且利用相位延迟计算来估算每一个像素的深度值测量。ToF3D图像可受限于根据传感器分辨率和透镜景深所确定的它们的分辨率、根据光的调制频率所确定的它们的深度测量准确度、由场景所反射的光量、以及与成像***关联的参数(例如，光学引擎质量)，还有光、电子、和信号处理装置的组合，该组合基本上在测量中产生量化伪像和噪声，并且更成问题的是，产生基本导致深度图中的“模糊”边缘的某些内插的深度测量。“模糊”边缘中的这样的像素还被称为“飞行像素”。

本发明涉及用于解决“噪声”和“飞行像素”(统称为“缺陷像素”)的方法与***，从而将深度图中的它们的深度测量值修正为尽可能对应于场景中出现的情况。该方法与***具有输入，该输入包括由3D感测相机、介质存储设备、或经由因特网的介质所提供的内嵌了深度相关的测量(形式为相位图、深度图、或3D点云)的图像。向输入的3D图像的深度数据应用特定的信号处理来相对于一些特定深度梯度测量、向量、和几何约束的计算、阈值、且更特定地是加权的卷积，来修正“噪声”和内插的“飞行像素”。所得输出提供重建的深度图图像，其包括较少噪声，并且在具有边缘的场景图像周围、沿z-轴或深度轴的内插的“飞行像素”显著较少。然后意在由3D成像应用来使用该增强的和/或修正的图像而不是使用由3D相机设备或其他3D成像***提供的原始输出3D图像，此举实现了所述应用的更好的操作性和有效性。

一开始参看图1，在x-z平面中示出场景的二维(2D)俯视图。相机10具有由虚线12、14所定义的景深，其中呈现了前景对象16和背景对象18。前景对象16的边缘20可生成相对于背景对象18的“飞行像素”，这将相对于图3而描述。

图2是图1中定义的3D场景的2D相机前视图，其中前景对象16和背景对象18位于x-y平面内。在这个视图中，边缘20被良好地定义在前景对象16和背景对象18之间且该边缘是锐利的。尽管仅示出了边缘20，可理解的是，前景对象16与背景对象18重叠的情况下，“飞行像素”还可出现在顶部和底部边缘22、24处。此外，应理解，对象16和18的平的连续表面也可表现出由于相机传感器性能引起的一些噪声像素。

图3按照与图1中所示图像对应的像素来示出前景对象32和背景对象34。如图所示，两个“飞行像素”36、38位于前景对象32和背景对象34之间。这两个“飞行像素”可均属于前景对象32或背景对象34、或者仅一个属于前景对象32且一个属于背景对象34。前景对象32是连续的平的表面对象，且其测量示出至少一个噪声像素37。

图4类似于图3，但是示出涉及深度图的信号40。如图所示，在信号40中，下方的线对应于由像素42所表示的前景对象，上方的线对应于由像素44所表示的背景对象，且下方和上方线之间的斜线对应于“飞行像素”46、48。下方线中的小点对应于由像素42表示的前景对象中的“噪声像素”43。

在根据本发明处理后，如图5中所示，“噪声像素”43和“飞行像素”46、48被修正。如图5中所示，信号50更为明确，具有对应于像素52的直的下方线和对应于像素54的直的上方线。图4中图示为43的“噪声像素”现在如像素53所示地被修正，且“飞行像素”46、48已经被修正地分配给对应于前景对象的像素52(像素56)和对应于背景对象的像素54(像素58)。

在图6中，示出流程图，其示出本发明的方法的一个实施例的主要步骤。在步骤60中，获得输入的深度图或3D点云。可直接从3D相机、从介质存储设备、或从因特网获得该深度图或3D点云。在步骤62中，检测到“噪声像素”和内插的“飞行像素”，并称为“缺陷像素”。对于已经被确定为“噪声像素”的每一个像素确定去噪声修正因子，并且，相对于相邻像素来应用该修正因子，步骤64。然后执行并应用对于已被确定为“缺陷像素”的每个像素的修正因子的确定，步骤66。在步骤66中，相对于前景对象和背景对象深度值来执行修正。在步骤64和66中，这样的修正因子的确定可包括使用统计学模型，其中根据相邻像素的平均、中值、和/或众数值(modevalue)中的至少一个而确定分配给该像素的值。然后输出经恢复的深度图或3D点云(步骤68)。可在其中要求或优选准确且可靠的深度图的任何应用中使用来自步骤68的输出。

本发明的方法包括两个主要步骤，即，检测“噪声像素”和内插的“飞行像素”、以及修正所检测到的“噪声像素”以及“飞行像素”二者。

对于“噪声像素”和内插的“飞行像素”二者的检测，第一个步骤使用点周围的方向导数来决定像素是否是“噪声的”或是否是“飞行的”，该点对应于被评估的像素。优选地，评估所有的深度图像像素。这些方向导数可以是多方向的，但是为便于描述，下文仅描述垂直和水平方向。然而将理解的是相同原理应用于其他方向。此外，可使用其他方法替代使用方向导数。

如果“P”是深度图中被评估的像素，且“a”是平面中所选的方向，则da(P)是像素“P”在方向“a”的导数值。如果方向导数的绝对值|da(P)|和|da+π(P)|超过方向“a”中的预定阈值且如果da(P)|和|da+π(P)|的正负号相同，则像素被宣告为“飞行的”。如果一像素具有与所有相邻像素显著不同的深度值，特定地，如果至少一个方向导数超过预定阈值且如果至少两个方向导数具有相反的正负号，则该像素被宣告为“噪声的”。可对于每一个像素的任意数量的方向来执行“噪声像素”测试或“飞行像素”测试。理想地，这些方向应该覆盖单位圆，即，一个像素半径的圆。一般而言，可按下式使用一组方向{a_i}，其中i＝1到n：

a_i＝(i-1)*π/n

可简单地由有限差来估算方向导数。在图7中，像素70是被评估的像素“P”，且像素72、74、76、78对应于像素“P”的顶部“T”、左边“L”、右边“R”、和底部“B”像素。在两个方向，即0°和π/2角度(水平和垂直方向)，可使用像素72、74、76、78的值来确定像素是否是“飞行的”或者像素是否是“噪声的”。

对于这两个方向，“噪声像素”测试简化至

(|R-P|<Th且|L-P|<Th)或(|T-P|<Th且|B-P|<Th)

且

正负号(R-P)≠正负号(P–L)或正负号(T–P)≠正负号(P–B)

“飞行像素”测试简化为

(|R-P|>kTh且|L-P|>kTh)或(|T-P|>kTh且|B-P|>kTh)

且

正负号(R-P)＝正负号(P–L)或正负号(T–P)＝正负号(P–B)

其中Th是所施加的阈值，且k是预定加权因子。例如，可使用0.08m的Th值，但是将理解的是可使用任何其他合适的值。作为上述给出的“飞行像素”测试和“噪声像素”测试的可选方案，可替代使用下式：

|L–R|>Th且|T–B|>Th

在该后者的情况下，阈值的值可大于之前的测试中所给出的，因为它使用了在围绕所评估的像素的两个像素之间的值。

已经标识出“噪声像素”和“飞行像素”，第二个步骤估算新的深度值，用于对每一个所标识的“噪声像素”或“飞行像素”应用独立修正。可在单个过程中以单程处理执行修正。为了更好地理解，相对于时间顺序地描述修正步骤。

所有的“飞行像素”和“噪声像素”首先被标记为无效。特定地，当使用ToF相机时，还可将由于其他理由(例如，较差的置信度、较低的IR照明)被判断(即，使用阈值)为不可靠的其他像素也标记为不可靠，且也可使用本发明的方法来重新估算它们的深度。

原理在于使用无效像素的有效周围像素来估算该无效像素的新的深度。这被图示于图8中，其中相对于由像素对82、84所示的周围有效像素来评估像素80。尽管图示出像素对用于评估，将理解的是可使用任何合适数量的有效像素用于确定。

在图8中，围绕无效“飞行像素”、“P”的有效像素，被表示为“V”。然而，为了这个估算，仅使用前景的有效像素(由82表示)或背景的有效像素(由84表示)，且不是使用前景和背景的有效像素的组合。像素82将具有小于“P”的深度值，且像素84将具有大于“P”的深度值。

对于“噪声像素”，该像素是有效的但是已经被标识为“噪声”，在“噪声像素”上执行上述对于“飞行像素”的相同过程。

选择哪些有效像素用于估算评估了该无效点是在前景对象中或是在背景对象中的首选项。例如，可通过根据“飞行像素”的深度值所需要的最小修正量来映射“飞行像素”以确定首选项模式，如果与相机的距离超过预定阈值则将“飞行像素”设置为前景对象、或如果与相机的记录小于预定阈值则将将“飞行像素”设置为背景对象。如果使用前景对象的首选项，且有效前景对象像素组不为空，则仅基于这些有效的前景对象像素来估算“P”的新的深度值。如果有效的前景对象像素组为空且有效背景对象像素组不为空，则将仅基于有效的背景对象像素来估算“P”的新的深度值。如果有关有效的前景和背景对象像素的组都为空，则不可修正该像素且该像素保持无效。类似地，如果使用背景对象的首选项，如果有效背景对象像素组不为空，则仅基于这些有效的背景对象像素来估算“P”的新的深度值。如果有效的背景对象像素组为空且有效前景对象像素组不为空，则将仅基于有效的前景对象像素来估算“P”的新的深度值。如果有关有效的背景和前景对象像素的组都为空，则不可修正该像素且该像素保持无效。

可通过各种方式来从一组周围像素(来自前景对象或背景对象)中确定“P”的深度值，这些方式包括应用加权因子、使用统计学确定或使用回归面的任何内插方法。

在本发明的一个实施例中，使用了基于有效前景像素的回归面。在点p处回归面的深度值被分配为像素“p”的新的深度值。

在另一个实施例中，确定前景对象中有效像素的平均深度值并将其分配为像素“P”的新的深度值。作为可选方案，可使用有效前景对象像素和/或有效背景对象像素的深度值的最小、最大、中值、或众数。可对于有效前景对象像素组和有效背景对象像素组使用不同估算方法。例如，如果该估算依赖于有效前景对象像素，则可使用该组中的有效像素的最大深度值，且如果该估算依赖于有效背景像素，则可使用该组中的有效像素的最小深度值。

所有通过本方法已经成功地估算了其深度值的无效像素(即，所有具有至少一个有效相邻像素的无效像素)被标记为有效。倘若在该过程的开始时有至少一个像素被标记为有效，则可迭代地重复本方法来允许重建深度图内的所有无效像素。

然而，为了改进“飞行像素”标识和修正的可靠性，需要从深度图中移除由相机产生的噪声。通过首先确定每一个像素的ω_i且然后对于每一个像素使用3x3加权的ω_i内核，来实现此举。可在重新计算或不重新计算内核ω_i参数的情况下，应用多程处理。

再次参看图8，可使用下述式子来从景深中确定法向角：

\partial x = (L - P) / 2 + (P - R) / 2 = (L - R) / 2 - - - (1)

\partial y = (T - P) / 2 + (B - R) / 2 = (T - B) / 2 - - - (2)

dz＝√(dx2+dy2)/4(3)

dw＝P的宽度(4)

r＝√(dz2+dw2)(5)

式(1)和(2)涉及梯度和且式(3)以梯度形式提供半径。式(4)给出如所述的像素“P”的宽度，且式(5)和(6)分别提供法向半径和法向角。

可使用其他方法来计算、估算、或取得该法向角，例如，如果可以的话从相机取得，取决于相机、信号、和平台特性也可使用其他方法。

例如，对于计算效率，来自深度图的可确定为：

一般而言，函数被称为窗函数。

在噪声移除过程后，计算场梯度且将二次导数d²z的正负号用作局部分离参数(disjunctionparameter)。部分二级导数d²z被计算为在投影空间中的梯度向量的两个末端处的导数dz之间的差异。

然后在n程处理中应用加权的双极内核。该分离参数用作内核中的组标识；且具有相同正负号的像素值将被取平均，同时忽略具有相反正负号的像素值。

改进了这个原理来允许分离参数的没有正负号(即，等于0)的值以使这些点可与两种正负号一起被平均。这个改进允许向分离参数施加阈值，例如，使用或其他数据，诸如IR功率，来努力减少由该分离参数引入输出信号的噪声。

可多次应用该内核来产生期望效果。一般而言，当前TOF信号最佳地受益于两程处理。

为了加速这个分离和/或避免多程处理，可构建梯度方向的位移图来创建局部扩展。可使用独立深度值以及局部最小和/或最大值。然而，输出信号中的噪声和所期望的分离速率将决定使用哪个扩展方法。

Claims

1.一种用于三维成像***产生的三维图像中的缺陷像素深度数据值的深度图质量增强的方法，所述方法包括如下步骤：

a)确定与场景有关的深度测量数据；

b)通过对于每一个像素确定并使用在至少一个方向中的深度相关的方向导数来检测所述深度测量数据中的缺陷像素；

c)定义每一个检测到的缺陷像素的深度修正；且

d)向每一个检测到的缺陷像素的深度测量数据应用所述深度修正；

其特征在于，所述缺陷像素包括位于三维图像中前景对象和背景对象之间的边缘处的内插的像素数据值,且其中步骤b)还包括，当像素的至少一个深度方向导数大于预定阈值且如果至少两个相继的方向导数具有相同正负号，则使用深度相关的方向导数来标识位于边缘处的像素的缺陷深度测量；且其中步骤c)包括，对于每一个所标识的缺陷像素，进行如下步骤：

c1)确定与至少一个所述深度相关的方向导数有关的向量；

c2)确定所确定的向量的法向；

2.如权利要求1所述的方法，其特征在于，所述缺陷像素包括位于所述三维图像的连续表面内的噪声像素数据值，且步骤b)还包括，当像素的至少一个深度方向导数大于另一个预定阈值且当所述像素的另一个深度方向导数也大于另一个预定阈值且这两个方向导数具有相反的正负号时，使用深度相关的方向导数来标识连续表面上的像素的缺陷深度测量。

3.如权利要求1所述的方法，其特征在于，步骤c)还包括，对于每一个所标识的缺陷像素，进行如下步骤：

c5)使用两个正交的轴来确定与所述深度相关的方向导数数据值有关的向量；

c6)使用所确定的向量的半径值、所确定的向量的法向信息、和由像素表示的场景中的实际宽度中的至少一个来确定加权因子；和

c7)使用所确定的加权因子结合与相邻像素有关的信息来应用修正因子。

4.如权利要求1-3中任一项所述的方法，其特征在于，步骤c4)仅使用有效相邻像素的数据值。

5.如权利要求1-3中任一项所述的方法，其特征在于，步骤c4)还包括使用所述相邻像素的深度值、加权因子、和修正因子中的至少一个。

6.如权利要求1-3中任一项所述的方法，其特征在于，步骤c4)包括使用与相邻像素有关的信息的统计众数。

7.如权利要求1-3中任一项所述的方法，其特征在于，步骤c4)还包括使用从在所述相邻像素上所确定的回归面中提取的深度信息。

8.如权利要求1-3中任一项所述的方法，其特征在于，使用至少两个正交的轴来确定所述深度相关的方向导数。

9.如权利要求1-3中任一项所述的方法，其特征在于，使用法线图来确定所述深度相关的方向导数。

10.如权利要求1-3中任一项所述的方法，其特征在于，使用所述深度相关的方向导数来确定法线图。