CN106462949B - 深度传感器校准和逐像素校正 - Google Patents

Abstract

本文描述的各种技术针对由深度传感器捕获的输入深度图像的校正。输入深度图像可以包括像素，并且像素可以具有输入深度图像中的相应深度值。此外，可以利用针对深度传感器所校准的非线性误差模型的深度校准数据来确定用于像素的逐像素校正值。逐像素校正值可以基于分别对应于像素和深度值的深度校准数据的部分来确定。逐像素校正值可以被应用于深度值以生成经校正的深度图像。另外，可以输出经校正的深度图像。

Description

深度传感器校准和逐像素校正

背景技术

图像传感器的使用最近已经变得更加普遍。通常采用用于在制造之后对图像传感器的本征参数进行定制校准的各种技术。常规地在图像传感器的制造之后校准的本征参数的示例包括焦距、透镜畸变、光轴中心的偏移等等。此外，基于本征参数的校准的校正可以在图像传感器产生读数时实时地应用。

尽管各种常规方案往往会校准图像传感器的本征参数，但是常规方案有时候没有充分地解决深度读数偏置。因而，相比于由精确距离测量仪器（例如，激光测距仪）所测量的到这样的对象的距离而言，其中许多个在离开制造现场之后具有有限的准确度的深度传感器通常报告到对象的不正确的距离。

深度传感器通常包括在用于采用到场景上的对象的距离的各种应用的视觉***中。例如，深度传感器可以用于在室内环境中导航或者操控桌面上的对象。深度传感器典型地在离开制造现场之后具有有限的准确度，其可能是由于用于深度传感器的硬件能力和传统校准技术的组合的缘故。例如，许多深度传感器通常作为制造过程的部分而在逐传感器的基础上进行校准。通常源自于这样的常规校准技术的低准确度水平对于用于利用由深度传感器检测的距离的应用的总体***性能而言可能是有害的，诸如二维（2D）和三维（3D）场景重构、3D扫描、场景分段、机器人导航和操控以及其它。

发明内容

本文描述了针对由深度传感器捕获的输入深度图像的校正的各种技术。输入深度图像可以包括像素，并且像素可以具有输入深度图像中的相应深度值。此外，用于像素的逐像素校正值可以利用针对深度传感器所校准的非线性误差模型的深度校准数据来确定。逐像素校正值可以基于分别对应于像素和深度值的深度校准数据的部分来确定。逐像素校正值可以应用于深度值以生成经校正的深度图像。另外，经校正的深度图像可以被输出。

依照各种实施例，针对深度传感器所校准的非线性误差模型的深度校准数据可以包括参数矩阵，并且参数矩阵可以包括用于像素的误差拟合参数。因而，对于输入深度图像的每一个像素，来自像素的参数矩阵的误差拟合参数可以用于在评估非线性误差函数时计算逐像素校正值。根据其它实施例，针对深度传感器所校准的非线性误差模型的深度校准数据可以包括查找表，其包括在用于像素的预设深度值处的预限定的校正值。

依照各种实施例，可以标识形成相应补片的输入深度图像的多个像素。可以为补片分配深度校准数据的相应子集。例如，包括在给定补片中的多个像素可以共享深度校准数据的对应子集。因而，可以基于分别对应于像素和深度值的深度校准数据的子集来确定逐像素校正值。

另外，本文阐述的各种实施例针对深度传感器的校准。可以接收由深度传感器捕获的表面的深度图像。表面的深度图像的子集可以在距表面的相应距离处捕获。此外，深度图像各自包括像素，其中像素具有每一个深度图像中的相应深度值。还可以接收针对与深度图像的子集对应的表面的相应地面实况测量结果。地面实况测量结果可以由距离测量设备测量。像素的深度值可以在距表面的相应距离处所捕获的深度图像的每一个子集中的深度图像之上平均。另外，像素的平均深度值可以与地面实况测量结果比较以计算距表面的每一个相应距离处的像素的误差值。此外，可以针对深度传感器所校准的非线性误差模型而基于距表面的每一个相应距离处的像素的误差值和地面实况测量结果来生成深度校准数据。

以上发明内容呈现了简化总结以便提供对本文讨论的***和/或方法的一些方面的基本理解。该发明内容不是本文讨论的***和/或方法的全面概述。其不意图标识关键/必要特征，也不描绘这样的***和/或方法的范围。其唯一目的是将一些概念以简化形式呈现，以作为对随后呈现的更详细描述的前序。

附图说明

图1图示了校正由深度传感器生成的输入深度图像的示例性***的功能框图。

图2图示了示例性深度图像。

图3图示了校正由深度传感器生成的深度图像的另一示例性***的功能框图。

图4图示了包括深度传感器的示例性***的功能框图，其中深度传感器可以校正输入深度图像。

图5图示了校准深度传感器的示例性***的功能框图。

图6图示了校准深度传感器的另一示例性***的功能框图。

图7图示了包括竖直带的示例性深度图像。

图8是图示了校正输入深度图像的示例性方法的流程图。

图9是图示了校准深度传感器的示例性方法的流程图。

图10图示了示例性计算设备。

具体实施方式

现在参照附图来描述针对由深度传感器捕获的深度图像的逐像素校正和深度传感器校准的各种技术，其中相同参考标号自始至终用于指代相同元件。在以下描述中，出于解释的目的，阐述众多具体细节以便提供对一个或多个方面的透彻理解。然而，可以显而易见的是，（多个）这样的方面可以在没有这些具体细节的情况下实践。在其它实例中，以框图形式示出公知的结构和设备以便促进对一个或多个方面的描述。另外，要理解到，被描述为由某些***组件实施的功能性可以由多个组件执行。类似地例如，组件可以配置为执行被描述为由多个组件实施的功能性。

此外，术语“或”旨在意指包括性的“或”而非排他性的“或”。也就是说，除非以其它方式指定，或者从上下文清楚，否则短语“X采用A或B”旨在意指任何自然的包括性置换。也就是说，短语“X采用A或B”满足以下实例中的任一个：X采用A；X采用B；或者X采用A和B二者。此外，如在该说明书和随附权利要求中使用的冠词“一”和“一个”应当一般地解释为意指“一个或多个”，除非以其它方式指定或者从上下文清楚的是针对单数形式。

现在参照附图，图1图示了校正由深度传感器102生成的输入深度图像的***100。***100包括深度传感器102和深度校正***104。深度传感器102可以捕获输入深度图像106。输入深度图像106包括像素，并且像素具有输入深度图像106中的相应深度值。由深度传感器102捕获的输入深度图像106可以提供给深度校正***104。深度校正***104可以校正由深度传感器102捕获的输入深度图像106中的深度值以生成经校正的深度图像108。因而，在深度传感器102产生输入深度图像（例如，深度帧）时的运行时间处，深度校正***104可以应用由深度传感器102报告的输入深度图像中的深度值的逐像素校正。

各种类型的深度传感器旨在落入随附于此的权利要求的范围。例如，深度传感器102可以是结构化光3D扫描仪、飞行时间扫描仪、调制光3D扫描仪等。例如，结构化光3D扫描仪可以在场景上投射光图案，捕获光的快照，并且分析图案的畸变以确定输入深度图像106中的像素的深度值。

深度校正***104包括接收由深度传感器102捕获的输入深度图像106的输入组件110。例如，输入组件110可以响应于由深度传感器102捕获到输入深度图像106而接收输入深度图像106（例如，深度传感器102可以将输入深度图像的流发送给深度校正***104）。根据另一示例，输入组件110可以接收批量的输入深度图像（包括输入深度图像106）（例如，深度传感器102可以收集并且发送该批量输入深度图像）。尽管本文阐述的许多示例描述了输入深度图像106，但是要领会到，这样的示例可以扩展到由深度传感器102捕获的其它输入深度图像。

依照示例，输入组件110可以直接地从深度传感器102接收输入深度图像106。按照该示例的说明，计算设备可以包括深度校正***104，并且这样的计算设备可以与深度传感器102耦合或者包括深度传感器102。根据另一示例，输入组件110可以从网络中的全异节点（没有示出）接收由深度传感器102捕获的输入深度图像106。作为说明，服务器计算设备（或者多个服务器计算设备）可以包括深度校正***104。

深度校正***104还包括调节确定组件112，其利用针对深度传感器102所校准的非线性误差模型的深度校准数据114来确定用于像素的逐像素校正值。逐像素校正值由调节确定组件112基于分别对应于像素的深度校准数据114的部分来确定。调节确定组件112还基于输入深度图像106中的深度值来确定逐像素校正值。

此外，深度校正***104包括补偿组件116，其将逐像素校正值应用于深度值以生成经校正的深度图像108。例如，补偿组件116可以从对应深度值减除逐像素校正值以产生经校正的深度图像108。经校正的深度图像108可以进一步由深度校正***104的输出组件118输出。输出组件118例如可以使经校正的深度图像108显示在显示屏幕上，保持在数据仓库中，传送给全异的计算设备（或多个计算设备），其组合等。

因而，在响应于输入深度图像106由深度传感器102产生的运行时间处，调节确定组件112可以基于像素的所报告的深度值来计算逐像素校正值（例如，用于输入深度图像106中的每一个像素的误差）。此外，补偿组件116可以从对应深度值减除逐像素校正值（例如，逐像素误差可以从来自输入深度图像106的原始读数减除）。相应地，深度校正***104可以补偿***性偏置（负和/或正）。

根据各种实施例，针对深度传感器102所校准的非线性误差模型的深度校准数据114可以包括参数矩阵，并且参数矩阵可以包括用于像素的误差拟合参数。因而，调节确定组件112可以利用参数矩阵确定逐像素校正值。更具体地，调节确定组件112可以从参数矩阵检索用于像素的误差拟合参数，其中像素具有输入深度图像106中的深度值。此外，调节确定组件112可以通过使用用于像素的误差拟合参数评估非线性误差函数来计算用于像素的逐像素校正值。非线性误差函数可以由调节确定组件112针对输入深度图像106而基于深度值来评估。前述内容可以由调节确定组件112针对输入深度图像106的每一个像素来执行。

根据其中深度校准数据114包括参数矩阵的示例，非线性误差函数可以是二阶多项式，诸如：误差=Ax²+Bx+C。在前述内容中，x是用于输入深度图像106中的给定像素的深度值，并且A、B和C是来自参数矩阵的给定像素的误差拟合参数。然而，要领会到，可以由调节确定组件112使用来自参数矩阵的误差拟合参数评估的其它非线性误差函数（例如，三角法函数等）是旨在落入随附于此的权利要求的范围内。

根据其它实施例，针对深度传感器102所校准的非线性误差模型的深度校准数据114可以包括查找表。查找表可以包括用于像素的预设深度值处的预限定的校正值。调节确定组件112可以利用查找表确定逐像素校正值。更具体地，调节确定组件112可以从查找表检索用于像素的第一预设深度值处的第一预限定的校正值，其中像素具有输入深度图像106中的深度值。此外，第一预设深度值可以等于或者贴近地大于查找表中的像素的深度值。另外，调节确定组件112可以在查找表中检索用于像素的第二预设深度值处的第二预限定的校正值。第二预设深度值可以贴近地小于查找表中的像素的深度值。调节确定组件112可以基于第一预设深度值处的第一预限定的校正值与第二预设深度值处的第二预限定的校正值之间的线性插值来确定具有深度值的像素的逐像素校正值。再次，前述内容可以由调节确定组件112针对输入深度图像106的每一个像素来执行。

深度校准数据114可以包括经逐像素或者逐补片校准的数据的子集，其中补片包括多个像素。作为说明，在深度校准数据114经逐像素校准的情况下，深度校准数据114可以包括针对第一像素所校准的数据的第一子集、针对第二像素所校准的数据的第二子集等等。按照其中深度校准数据114经逐补片校准的另一说明，深度校准数据114可以包括针对第一补片（例如，第一多个像素）所校准的数据的第一子集、针对第二补片（例如，第二多个像素）所校准的数据的第二子集等等。

根据各种实施例，深度校准数据114可以包括经逐补片校准的数据的子集。相应地，调节确定组件112可以标识形成相应补片的输入深度图像106的多个像素。可以为补片分配深度校准数据114的相应子集。另外，包括在补片中的多个像素可以共享深度校准数据114的子集。此外，调节确定组件112可以基于分别对应于像素和深度值的深度校准数据的子集来确定逐像素校正值。

作为说明，针对深度传感器102所校准的非线性误差模型的深度校准数据114可以包括参数矩阵，并且深度校准数据114可以包括经逐补片校准的数据的子集。遵循该说明，输入深度图像106可以包括多个补片（例如，如由调节确定组件112所标识），其包括输入深度图像106的相应多个像素。此外，可以为补片分配参数矩阵的相应误差拟合参数。因而，包括在给定补片中的多个像素可以共享分配给补片的误差拟合参数。

设想到，补片可以具有基本上任何形状和尺寸。例如，补片可以是方形或矩形；然而，其它形状旨在落入随附于此的权利要求的范围内。根据其中补片具有方形形状的各种示例，补片可以是8x8（例如，8个像素宽乘以8个像素高）或者20x20；然而，其它尺寸的补片旨在落入随附于此的权利要求的范围内。

按照另外的示例，每一个补片可以是输入深度图像106的预设份额。遵循该示例，输入深度图像的预设份额可以独立于由深度传感器102捕获的输入深度图像106的分辨率。因而，深度校准数据114可以是分辨率不可知的。相应地，并不是以像素计来测量补片的尺寸，而是补片可以为具有所指定的适用性区域（例如，将补片应用于输入深度图像106的给定区域中的像素）的帧分辨率的预设份额（例如，方形补片的宽度可以是输入深度图像106的宽度的1/40并且方形补片的高度可以是输入深度图像106的高度的1/30）。遵循该示例，补片可以以相对性术语，而不是绝对性术语来限定。

设想到，计算设备（或者多个计算设备）可以包括深度校正***104。作为说明，深度校正***104可以由计算设备的处理器或图形处理单元（GPU）执行。根据各种示例，深度校准数据114可以保持在计算设备的数据仓库、计算设备的固件等中。此外，基本上任何类型的计算设备都旨在落入随附于此的权利要求的范围内（例如，个人计算机，移动计算设备，服务器计算设备，游戏操控台，包括在机器人、机动车、相机、电视等中的嵌入式计算设备等）。

转向图2，图示了示例性深度图像200（例如，深度帧）。深度图像200可以是图1的输入深度图像106。此外，可以针对深度图像200而标识包括深度图像200的相应多个像素的多个补片（包括补片202）。图2所描绘的示例示出了包括方形补片的深度图200；然而设想到，其它形状的补片旨在落入随附于此的权利要求的范围内。所要求保护的主题还不限于在图2所图示的示例中示出的补片的数目、深度图像200的分辨率或者深度图像200的纵横比。

根据各种实施例，补片可以包括深度图像200的相应预确定的多个像素。在其它实施例中，补片可以是深度图像200的预设份额，每一个处于深度图像200内的相应指定区域处。因而例如，补片202可以是深度图像200的宽度的1/20，深度图像200的高度的1/15，并且位于深度图像200的右上角落处。

如图2中所图示，以分解视图图示出了深度图像200的区段204。在区段204中，描绘了四个补片，也就是说，补片206、补片208、补片210和补片212。如图2中所图示，每一个补片206-212是8个像素宽乘以8个像素高。然而，再次要指出的是，补片206-212可以包括其它数目的像素。

此外，可以为深度图像200的每一个补片分配图1的深度校准数据114的对应子集。例如，包括在补片206中的像素可以共享分配给补片206的深度校准数据114的子集。因而，分配给补片206的深度校准数据114的子集可以用于确定补片206中的像素的逐像素校正值。

转向图3，图示了校正由深度传感器102捕获的深度图像的另一***300。***300再次包括深度传感器102和深度校正***104。与以上情况类似，深度校正***104可以包括输入组件110、调节确定组件112、深度校准数据114、补偿组件116和输出组件118。

更具体地，输入组件110可以接收由深度传感器102捕获的输入深度图像106。此外，调节确定组件112可以利用针对深度传感器102所校准的非线性误差模型的深度校准数据114来确定用于像素的逐像素校正值。调节确定组件112还可以标识形成相应补片的输入深度图像106的多个像素。另外，为补片分配深度校准数据114的相应子集。因而，包括在补片中的多个像素可以共享深度校准数据114的子集。此外，调节确定组件112可以基于分别对应于像素和深度值的深度校准数据114的子集来确定逐像素校正值。相应地，由包括在补片中的像素所共享的深度校准数据114的子集可以被调节确定组件112使用以确定用于包括在补片中的像素的逐像素校正值。另外，补偿组件116可以将逐像素校正值应用于深度值以生成经校正的深度图像108。

深度校正***104还可以包括滤波器组件302，其对经校正的深度图像108进行滤波以使补片之间平滑。因而，响应于补偿组件116将逐像素校正值应用于深度值，滤波器组件302可以对经校正的深度图像108进行滤波。此外，输出组件118可以输出滤波的经校正的深度图像108。滤波器组件302可以采用补片之间的基本上任何类型的滤波。例如，滤波器组件302可以采用双边滤波、引导式滤波等。由滤波器组件302实现的这样的滤波可以使补片之间平滑，由此缓解补片之间的伪影的可见性。

现在转向图4，图示了包括深度传感器102的***400，其中深度传感器102可以校正输入深度图像。在图4的示例中，深度传感器102包括深度校正***104，其可以进一步包括调节确定组件112、深度校准数据114和补偿组件116。因而，深度传感器102可以使用深度校正***104来实现由其捕获的输入深度图像的逐像素校正以生成经校正的深度图像。

参照图5，图示了校准深度传感器102的***500。***500包括校准***502，其从与深度传感器102所捕获的表面504的深度图像以及由距离测量设备506对表面504测量的对应地面实况测量结果来生成用于深度传感器102的深度校准数据114。根据示例，表面504可以是平坦墙壁；然而，设想到，表面504可以具有任何已知的几何结构，只要可以直接地确定从深度传感器102的投射平面到表面504的（多个）距离的地面实况测量结果即可（例如，表面504可以是地板等）。

距离测量设备506测量到表面504的距离，其中由距离测量设备506测量的这样的距离被视为地面实况测量结果。距离测量设备506例如可以是激光测距仪；然而，其它类型的距离测量设备旨在落入随附于此的权利要求的范围内。例如，距离测量设备506可以是可以确定地面实况测量结果的（例如，深度传感器102或可移动装置514的）内部测量设备和/或传感器。遵循该示例，距离测量设备506可以是惯性测量单元（IMU）或者采用测距法的组件。此外设想到，距离测量设备506例如不需要直接测量地面实况测量结果。

校准***502可以接收由深度传感器102捕获的表面504的深度图像。表面504的深度图像的子集可以在距表面504的相应距离处捕获（例如，表面504的深度图像的第一子集可以在距表面504的第一距离处捕获，表面504的深度图像的第二子集可以在距表面504的第二距离处捕获等）。另外，深度图像可以各自包括像素，其中像素具有每一个深度图像中的相应深度值。校准***502可以进一步（例如，从距离测量设备506）接收与深度图像的子集对应的表面的相应地面实况测量结果。

校准***502包括样本组合组件508，其可以在距表面504的相应距离处所捕获的每一个子集中的深度图像之上对像素的深度值进行平均。作为说明，如果由深度传感器102在距离50cm处捕获的表面504的100个深度图像被校准***502所接收，则样本组合组件508可以在100个深度图像之上对像素的深度值进行平均。在距表面504的其它距离处捕获的表面504的深度图像可以类似地由样本组合组件508组合。

此外，校准***502可以包括误差计算组件510，其比较像素的平均深度值与从距离测量设备506所获取的地面实况测量结果以便计算距表面504的每一个相应距离处的像素的误差值。再次参照其中接收到在50cm处捕获的表面504的100个深度图像并且在100个深度图像之上对像素的深度值进行平均的前述说明，误差计算组件510可以比较像素的平均深度值与地面实况测量结果（例如，在该说明中，距离测量设备506可以提供用于100个深度图像的50cm的地面实况测量结果）以便计算距离50cm处的像素的误差值。

校准***502可以进一步包括校准数据生成组件512，其基于距表面504的每一个相应距离处的像素的误差值和地面实况测量结果来生成针对深度传感器102所校准的非线性误差模型的深度校准数据114。根据各种实施例，针对深度传感器102所校准的非线性误差模型的深度校准数据114可以包括参数矩阵，其中参数矩阵包括用于像素的误差拟合参数。按照其它实施例，针对深度传感器102所校准的非线性误差模型的深度校准数据114可以包括查找表，其中查找表包括用于像素的预设深度值处的预限定的校正值。

***500可以进一步包括可移动装置514，其可以使深度传感器102和距离测量设备506关于表面504移动。例如，可移动装置514可以是深度传感器102和距离测量设备506安装在其上的可移动平台。根据另一示例，可移动装置514可以是机器人，其包括深度传感器102和距离测量设备506。但是，所要求保护的主题不限于前述示例。

根据各种实施例，可移动装置514可以可编程地控制成自主地移动，使得其可以使深度传感器102沿垂直于表面504的轴线移动。另外，可移动装置514可以使深度传感器102对照表面504对准（例如，使深度传感器102平移和/或倾斜）。根据示例，可移动装置514可以采用对照其运行校准的表面的自动发现（例如，在自主导航机器人场景中）；但是，所要求保护的主题不限于这样的示例。

此外设想到，可以检测表面504的非平坦部分并且使其从场景移除（例如，墙壁、地板上的***等可以被检测到并且移除）。例如，校准***502可以检测并且移除表面504的非平坦部分；但是，所要求保护的主题不如此受限制。

对于距离的集合中距表面504的每一个距离，深度传感器102可以从这样的距离捕获表面504的多于一个深度图像，其可以被提供给校准***502。例如，在可移动装置514移动到距表面504的下一距离之前，可以从深度传感器102收集T个样本，其中T可以是基本上任何整数（例如，T可以是100等）。在每一个测量之前，深度传感器102可以对照表面504对准。这样的对准可以通过例如平移深度传感器102而以机械方式达成。根据另一示例，平面可以通过点云来拟合并且可以计算每一个像素从平面的偏离以使深度传感器102对准到表面504。

表面504的深度图像的子集可以在X个步长处捕获，其中X可以是基本上任何整数（例如，X可以是10等）。因而，深度图像可以由深度传感器102在距表面504的X个不同距离处捕获，其中可移动装置514可以将深度传感器102和距离测量设备506定位在距表面504的X个不同距离处。例如，步长可以在其之上发生的距离范围可以是从4m到50 cm；然而，基本上任何其它的范围旨在落入随附于此的权利要求的范围之内。

根据示例，可移动装置514可以使深度传感器102和距离测量设备506在等同大小的步长（例如，1/2米步长）中移动。按照另一示例，可移动装置514可以使深度传感器102和距离测量设备506在到表面504的距离减小时以逐渐变小的步长移动（例如，每一个步长可以是到表面504的总距离的10%）。采用逐渐变小的步长可以引起更高分辨率的样本数据全集，其中深度传感器102的本生分辨率和准确度处于最高处，其可能导致在近范围处的样本相比于在较远距离处获得的样本的更高权重。

相应地，校准***502可以获取用于给定像素的误差值（例如，如由误差计算组件510所计算）的阵列连同在其处观察到那些误差的距离的地面实况测量结果。如上文所指出，校准数据生成组件512可以基于距表面504的每一个相应距离处的像素的误差值和地面实况测量结果来生成针对深度传感器102所校准的非线性误差模型的深度校准数据114。非线性误差模型的各种示例包括二阶多项式、三角法函数（例如，正弦曲线的叠加等）等。

根据示例，非线性误差模型可以是二阶多项式，诸如：误差=Ax²+Bx+C。在以上内容中，x是用于给定像素的深度值，并且A、B和C是用于给定像素的误差拟合参数（例如，深度校准数据114的部分）。误差拟合参数可以对于深度传感器102是唯一的，但是非线性误差模型可以跨相同类型的其它深度传感器而类似。遵循该示例，校准数据生成组件512可以（例如使用递归）而将二阶多项式拟合到误差值以生成深度校准数据114（例如，参数矩阵的误差拟合参数）。相应地，深度校准数据114可以在运行时间处用于在给定其在深度图像上的坐标以及由像素报告的距离的情况下，计算像素的预期误差偏置（例如，逐像素校正值）。

设想到，非线性误差模型的各种分析形式和阶次旨在落入随附于此的权利要求的范围之内。例如，可以明确地确定对深度传感器102的误差进行近似的非线性误差函数的分析形式和阶次（例如，通过知晓深度传感器102和物理过程的底层特性）。根据又一示例，非线性误差函数的分析形式和阶次可以手动地确定（例如，通过分析模型和/或发现模型）。按照又一示例，非线性误差函数的分析形式和阶次可以通过采用算法来分析用于递归的分析函数形式的范围和/或使用神经网络/SVM（支持向量机）递归来自动地确定。

参照图6，图示了校准深度传感器102的另一示例性***600。再次，***600包括校准***502，其可以进一步包括样本组合组件508、误差计算组件510和校准数据生成组件512。校准***502从深度传感器102所捕获的表面（例如，图5的表面504等）的深度图像以及由距离测量设备506对表面所测量的对应地面实况测量结果来生成用于深度传感器102的深度校准数据114。

一些深度传感器可以生成被提供给校准***502的深度图像中的伪影。例如，深度传感器102可以提供竖直带，其是类似于深度图像上的竖直列的伪影。竖直带在由深度传感器102捕获的深度图像内的位置可以随时间而变化。另外，竖直带可能不能够受控制。

校准***502可以包括伪影移除组件602。在样本组合组件508对在距表面的相应距离处所捕获的每一个子集中的深度图像之上的像素的深度值进行平均之前，伪影移除组件602可以针对由深度传感器102捕获的表面的每一个深度图像而检测深度图像中的竖直带。此外，伪影移除组件602可以确定用于深度图像中的竖直带的深度值中的相应偏移值。另外，伪影移除组件可以从深度图像中的对应深度值移除偏移值。

在记录样本之前，可以由伪影移除组件602将竖直带从深度图像移除，因为竖直带的位置和幅度随时间和距离而变化。如果竖直带将要被移除，则深度校准数据114将具有短寿命，其可能在几分钟内过时，由此引起深度传感器102的频繁再校准。然而将领会到，竖直带可能不能够在运行时间处从深度传感器102所捕获的深度图像所移除（例如，竖直带可能不能够从图1的深度校正***104的输入组件110所接收的输入深度图像106移除）；但是，逐像素校正可能仍旧在这样的情况下执行。

图7图示了包括竖直带（例如，竖直带702、竖直带704、竖直带706和竖直带708）的示例性深度图像700。如在深度图像700的深度轮廓710中所示，每一个竖直带702-708从暴跌值（collapsed value）向上或向下偏移（例如，由虚线表示）。例如，竖直带702中的像素的深度值可以向上偏移15毫米，竖直带704中的像素的深度值可以向下偏移5毫米等。然而，还设想到，竖直带中的一个或多个不需要从暴跌值偏移。

包括在竖直带中的像素的列可以随时间改变，竖直带的数目可以随时间改变，并且偏移值的数量可以随时间改变。伪影移除组件602可以检测深度图像700中的竖直带702-708，确定用于竖直带的相应偏移值，并且通过相应偏移值而补偿深度图像700中的深度值。

再次参照图6。校准***502可以进一步包括邻居结合组件604。邻居结合组件604可以针对深度传感器102所捕获的表面的深度图像而计算距表面的每一个相应距离处的像素的补片的平均误差值，其中补片包括像素中的相应多个像素。此外，校准数据生成组件512可以基于距表面的每一个相应距离处的像素的补片的平均误差值和地面实况测量结果，来生成用于补片的深度校准数据114的相应子集。

甚至在样本组合组件508跨数个深度图像对像素的深度值进行平均之后，来自各个像素的噪声水平可以为高，从而导致可能遭受过量拟合噪声的深度校准数据114（例如，逐像素参数矩阵等），尤其是在外推超出在其处获得测量结果的距离时。为了补偿像素水平噪声，以及减小深度校准数据114的大小（例如，减小参数矩阵的大小等），邻居结合组件604可以对来自作为补片的部分的相邻像素的误差值进行装仓（例如，装桶）。因而，校准数据生成组件512可以计算用于补片的拟合函数。补片可以具有任意形状（例如，方形、矩形、其它形状等），只要它们表示像素的本地紧密邻域。如由深度图像中的坐标所限定的补片中的像素可以设定成共享深度校准数据114的公共子集（例如，校正参数的公共集合、拟合多项式的公共系数等）。

根据示例，补片的大小可以由邻居结合组件604自动地检测。遵循该示例，邻居结合组件604可以使用粗到细方案，其中（例如，由图5的可移动装置514自主地）执行附加测量并且可以测试补片大小和噪声水平和/或预测质量改进之间的相关性。然而，将领会到，所要求保护的主题不如此受限制。

按照各种示例，补片可以是全分辨率（例如，640x480）帧上的8个像素乘以8个像素、20个像素乘以20个像素等。要领会到，小于8x8的补片大小可能是有噪声的并且可能展现过拟合伪影（例如，高变化），并且20x20以上的补片大小可能不具有足够的分辨率以抑制明显的深度场畸变（例如，高偏置）。

深度校准数据114例如可以包括参数矩阵。相应地，参数矩阵可以是包括每一补片的误差拟合参数的二维阵列。这样的阵列可以是稀疏阵列。此外，参数矩阵可以是分辨率不可知的，例如每一个补片的大小可以被确定为帧分辨率的份额，如以像素数目为单位测量大小形成对照。因而，方形补片的宽度可以是所指定的适用性区域中的图像帧的宽度的1/40和图像帧的高度的1/30（例如，补片可以被应用于视场的给定区域中的像素）。前述内容可以提供灵活性（例如，参数矩阵的导出可以在由深度传感器102捕获的全分辨率深度图像上执行以实现高质量参数矩阵，但是可以针对深度传感器102所捕获的更低分辨率深度图像而应用于实时场景中，如由底层应用所确定的那样）。

图8-9图示了涉及校准深度传感器并且校正由深度传感器捕获的深度图像的示例性方法。尽管将方法示出并且描述为顺序执行的动作的序列，但是要理解和领会到，方法不受顺序的次序所限制。例如，一些动作可以以与本文描述的次序不同的次序而发生。此外，动作可以与另一动作并发地发生。另外，在一些实例中，并非所有动作对于实现本文描述的方法而言都是所要求的。

此外，本文描述的动作可以是计算机可执行指令，其可以由一个或多个处理器实现和/或存储在计算机可读介质或媒介上。计算机可执行指令可以包括例程、子例程、程序、执行线程等。仍进一步地，方法的动作的结果可以存储在计算机可读介质中，显示在显示设备上等。

图8图示了校正输入深度图像的方法800。在802处，可以接收由深度传感器捕获的输入深度图像。输入深度图像可以包括像素。另外，像素可以具有输入深度图像中的相应深度值。在804处，可以利用针对深度传感器所校准的非线性误差模型的深度校准数据，来确定用于像素的逐像素校正值。逐像素校正值可以基于分别对应于像素和深度值的深度校准数据的部分来确定。在806处，逐像素校正值可以被应用于深度值以生成经校正的深度图像。在808处，经校正的深度图像可以被输出。

参照图9，图示了校准深度传感器的方法900。在902处，可以接收由深度传感器捕获的表面的深度图像。表面的深度图像的子集可以在距表面的相应距离处捕获。深度图像可以各自包括像素，其中像素可以具有每一个深度图像中的相应深度值。在904处，可以接收与深度图像的子集对应的表面的相应地面实况测量结果。地面实况测量结果可以由距离测量设备测量。在906处，可以在距表面的相应距离处所捕获的每一个子集中的深度图像之上对像素的深度值进行平均。在908处，像素的平均深度值可以与地面实况测量结果比较以计算距表面的每一个相应距离处的像素的误差值。在910处，可以基于距表面的每一个相应距离处的像素的误差值和地面实况测量结果而针对深度传感器所校准的非线性误差模型来生成深度校准数据。

现在参照图10，图示了可以依照本文描述的***和方法而使用的示例性计算设备1000的高层图示。例如，计算设备1000可以使用在执行由深度传感器捕获的输入深度图像的逐像素校正以生成经校正的深度图像的***中。作为另一示例，计算设备1000可以使用在校准深度传感器以生成深度校准数据的***中。计算设备1000包括至少一个处理器1002，其执行存储在存储器1004中的指令。指令可以例如是用于实现被描述为由以上所讨论的一个或多个组件实施的功能性的指令或者用于实现以上所描述的方法中的一个或多个的指令。处理器1002可以通过***总线1006的方式而访问存储器1004。除了存储可执行指令之外，存储器1004还可以存储深度图像、深度校准数据、地面实况测量结果、距表面的相应距离处的像素的平均深度值等。

计算设备1000附加地包括数据仓库1008，其由处理器1002通过***总线1006的方式而可访问。数据仓库1008可以包括可执行指令、深度图像、深度校准数据、地面实况测量结果、距表面的相应距离处的像素的平均深度值等。计算设备1000还包括输入接口1010，其允许外部设备与计算设备1000通信。例如，输入接口1010可以用于从外部计算设备、从用户等接收指令。计算设备1000还包括输出接口1012，其使计算设备1000与一个或多个外部设备对接。例如，计算设备1000可以通过输出接口1012的方式而显示文本、图像等。

设想到，经由输入接口1010和输出接口1012与计算设备1000通信的外部设备可以包括在提供用户可以与其交互的基本上任何类型的用户接口的环境中。用户接口类型的示例包括图形用户界面、自然用户接口等。例如，图形用户界面可以接受来自采用诸如键盘、鼠标、遥控等等的（多个）输入设备的用户的输入，并且在诸如显示器之类的输出设备上提供输出。另外，自然用户接口可以使得用户能够以免受由诸如键盘、鼠标、遥控等等输入设备所施加的约束的方式而与计算设备1000交互。相反，自然用户接口可以依赖于语音识别、触摸和触笔识别、屏幕上和屏幕附近的手势识别、空中手势、头部和眼睛追踪、话音和语音、视觉、触摸、手势、机器智能等。

附加地，尽管被图示为单个***，但是要理解到，计算设备1000可以是分布式***。因而例如，若干设备可以通过网络连接的方式而通信，并且可以联合地执行被描述为由计算设备1000执行的任务。

如本文中所使用的，术语“组件”和“***”旨在涵盖配置有计算机可执行指令的计算机可读数据存储装置，该计算机可执行指令在由处理器执行时引起某些功能性的执行。计算机可执行指令可以包括例程、函数等。还要理解到，组件或***可以位于单个设备上或者跨若干设备分布。

另外，如本文中所使用的，术语“示例性”旨在意指“充当某事物的说明或者示例”。

本文描述的各种功能可以实现在硬件、软件或者其任何组合中。如果实现在软件中，则功能可以作为一个或多个指令或代码而存储在计算机可读介质上或者在计算机可读介质之上传送。计算机可读介质包括计算机可读存储介质。计算机可读存储介质可以是可以由计算机访问的任何可用的存储介质。作为示例而非限制，这样的计算机可读存储介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储设备、或可以用于以指令或数据结构的形式承载或存储期望的程序代码并且可以由计算机访问的任何其它介质。如本文中所使用的，盘和圆盘包括致密盘（CD）、激光盘、光盘、数字多用盘（DVD）、软盘和蓝光盘（BD），其中盘通常以磁性方式再现数据并且圆盘通常利用激光以光学方式再现数据。另外，传播信号不包括在计算机可读存储介质的范围之内。计算机可读介质还包括通信介质，其包括促进计算机程序从一个地方向另一个的转移的任何介质。连接例如可以是通信介质。例如，如果软件使用同轴线缆、光纤线缆、双绞线、数字订户线路（DSL）或无线技术（诸如红外、无线电和微波）而从网站、服务器或其它远程源传送，则同轴线缆、光纤线缆、双绞线、DSL或无线技术（诸如红外、无线电和微波）包括在通信介质的定义中。以上的组合也应当包括在计算机可读介质的范围之内。

可替换地或者此外，本文描述的功能性可以至少部分地由一个或多个硬件逻辑组件执行。例如并且不作为限制，可以使用的硬件逻辑组件的说明性示例包括现场可编程门阵列（FPGA）、程序特定集成电路（ASIC）、程序特定标准产品（ASSP）、片上***（SOC）、复杂可编程逻辑器件（CPLD）等。

以上已经描述的内容包括一个或多个实施例的示例。当然，不可能描述以上设备或方法的每一个可预见的修改和更改以用于描述前述方面的目的，但是本领域普通技术人员可以认识到，各种方面的许多另外的修改和置换是可能的。相应地，所描述的方面旨在涵盖落入随附权利要求的精神和范围之内的所有这样的更改、修改和变化。此外，就术语“包括”在详细描述或权利要求中所使用的程度而言，这样的术语旨在以术语“包含”类似的方式为包括性的，如“包含”在被用作权利要求中的过渡性词语时所解释的那样。

Claims (10)

1.一种校正输入深度图像的方法，包括:

接收由深度传感器捕获的输入深度图像，其中输入深度图像包括像素，像素具有输入深度图像中的相应深度值；

利用针对深度传感器所校准的非线性误差模型的深度校准数据来确定用于像素的逐像素校正值，其中逐像素校正值基于分别对应于像素和深度值的深度校准数据的部分来确定，以及其中用于针对所述深度传感器而校准的非线性误差模型的所述深度校准数据直接基于针对所述像素的深度误差值以及地面实况测量结果而被生成；

将逐像素校正值应用于深度值以生成经校正的深度图像；以及

输出经校正的深度图像。

2.权利要求1所述的方法，其中针对深度传感器所校准的非线性误差模型的深度校准数据包括参数矩阵，并且其中参数矩阵包括用于像素的误差拟合参数。

3.权利要求2所述的方法，其中基于分别对应于像素和深度值的深度校准数据的部分来确定逐像素校正值还包括:

对于输入深度图像的每一个像素:

从参数矩阵检索用于像素的误差拟合参数，其中像素具有输入深度图像中的深度值；以及

通过使用用于像素的误差拟合参数评估非线性误差函数来计算用于像素的逐像素校正值，其中针对输入深度图像而基于深度值来评估非线性误差函数。

4.权利要求2所述的方法，其中输入深度图像包括多个补片，所述补片包括输入深度图像的像素中的相应多个像素，其中为补片分配参数矩阵的相应误差拟合参数，并且其中包括在补片中的多个像素共享被分配给补片的误差拟合参数。

5.权利要求1所述的方法，其中针对深度传感器所校准的非线性误差模型的深度校准数据包括查找表，其中查找表包括用于像素的预设深度值处的预限定的校正值，并且其中基于分别对应于像素和深度值的深度校准数据的部分来确定逐像素校正值还包括:

对于输入深度图像的每一个像素:

从查找表检索用于像素的第一预设深度值处的第一预限定的校正值，其中像素具有输入深度图像中的深度值，并且其中第一预设深度值等于或者贴近地大于查找表中的像素的深度值；

从查找表检索用于像素的第二预设深度值处的第二预限定的校正值，其中第二预设深度值贴近地小于查找表中的像素的深度值；以及

基于第一预设深度值处的第一预限定的校正值与第二预设深度值处的第二预限定的校正值之间的线性插值来确定具有深度值的像素的逐像素校正值。

6.权利要求1所述的方法，还包括:

标识形成相应补片的输入深度图像的多个像素，其中为补片分配深度校准数据的相应子集，并且其中包括在补片中的多个像素共享深度校准数据的子集。

7.一种校正输入深度图像的***，包括:

接收由深度传感器捕获的输入深度图像的输入组件，其中输入深度图像包括像素，像素具有输入深度图像中的相应深度值；

利用针对深度传感器所校准的非线性误差模型的深度校准数据来确定用于像素的逐像素校正值的调节确定组件，调节确定组件还标识形成相应补片的输入深度图像的多个像素，其中为补片分配深度校准数据的相应子集，其中包括在补片中的多个像素共享深度校准数据的子集，并且其中基于分别对应于像素和深度值的深度校准数据的子集来确定逐像素校正值，以及其中用于针对所述深度传感器而校准的非线性误差模型的所述深度校准数据直接基于针对所述像素的深度误差值以及地面实况测量结果而被生成；

将逐像素校正值应用于深度值以生成经校正的深度图像的补偿组件；以及

输出经校正的深度图像的输出组件。

8.权利要求7所述的***，其中每一个补片是输入深度图像的预设份额，输入深度图像的预设份额独立于由深度传感器捕获的输入深度图像的分辨率。

9.权利要求7所述的***，还包括对经校正的深度图像进行滤波以使补片之间平滑的滤波器组件。

10.一种校准深度传感器的方法，包括:

接收由深度传感器捕获的表面的深度图像，表面的深度图像的子集在距表面的相应距离处捕获，深度图像各自包括像素，像素具有每一个深度图像中的相应深度值；

接收与深度图像的子集对应的表面的相应地面实况测量结果，地面实况测量结果由距离测量设备测量；

在距表面的相应距离处所捕获的每一个子集中的深度图像之上对像素的深度值进行平均；

比较像素的平均深度值与地面实况测量结果以便计算距表面的每一个相应距离处的像素的误差值；以及

直接基于距表面的每一个相应距离处的像素的误差值和地面实况测量结果，来生成针对深度传感器所校准的非线性误差模型的深度校准数据。