CN107657635B - 深度相机温度误差校正方法及*** - Google Patents

Abstract

本发明提供一种深度相机温度误差校正的方法和***，所述方法包括利用深度相机获取当前目标的斑点图像，并计算出斑点图像与参考斑点图像对应像素之间的偏离值；对温度变化引起的深度相机的测量误差进行建模；利用经过建模的测量误差对当前测量偏离值进行校正，并根据校正后的偏离值计算深度图像。建立温度变化与深度测量误差之间的关系模型，通过得到温度变化引起的采集模组的透镜与图像传感器间的距离变化就可以直接计算出较为真实的深度值，可以提高深度相机的测量精度。

Description

深度相机温度误差校正方法及***

技术领域

本发明涉及光学及电子技术领域，尤其涉及一种深度相机温度误差校正方法与***。

背景技术

在一些基于深度图像的应用中，比如3D建模、尺寸测量等，需要深度相机获取精度及准度高的深度图像，然而由于深度相机由激光光源、光学元件、图像传感器等元器件构成，因此不可避免的受到自身温度以及环境温度的影响，温度会导致光学元件性能不稳定，同样也会使得深度相机本体发生热变形，这些因素都会使得深度图像的质量下降，从而使深度相机的精准度降低。

本发明针对这一问题，提供一种深度相机温度误差校正的方法以及***。

发明内容

本发明为了解决现有技术中温度使得深度相机的精准度降低问题，提供一种深度相机温度误差校正方法与***。

为了解决上述问题，本发明采用的技术方案如下所述：

一种深度相机温度误差校正的方法，包括：S1：利用深度相机获取当前目标的斑点图像，并计算出斑点图像与参考斑点图像对应像素之间的偏离值；S2：对温度变化引起的深度相机的测量误差进行建模；S3：利用经过建模的测量误差对当前测量偏离值进行校正，并根据校正后的偏离值计算深度图像。

所述步骤S2包括：温度变化ΔT使得所述深度相机中采集模组的透镜与图像传感器间距l发生变化Δl；以及，间距变化Δl使得测量的偏离值d′与真实偏离值d出现偏差Δd，且Δd＝Δl·tanθ，其中θ是目标与所述透镜光心连线与所述透镜光轴之间夹角沿基线方向上的分量，所述基线指的是所述深度相机中所述采集模组与投影模组之间的连线。

所述利用经过建模的测量误差对当前测量偏离值进行校正指的是利用下式进行校正：d′＝d-Δd；所述根据校正后的偏离值计算深度图像指根据下式计算深度图像：

所述间距变化Δl满足关系：Δl＝kΔT，其中k为温度变化系数；所述根据校正后的偏离值计算深度图像指根据下式计算深度图像：

本发明还一种深度相机温度误差校正的***，包括：投影模组，用于向目标投射斑点图像；采集模组，用于采集所述斑点图像；处理器，被配置用于执行以下步骤：T1：计算出所述斑点图像与参考斑点图像对应像素之间的偏离值；T2：对温度变化引起的深度相机的测量误差进行建模；T3：利用经过建模的测量误差对当前测量偏离值进行校正，并根据校正后的偏离值计算深度图像。

所述步骤T2包括：温度变化ΔT使得所述深度相机中采集模组的透镜与图像传感器间距l发生变化Δl，且Δl＝kΔT，其中k为温度变化系数；以及，间距变化Δl使得测量的偏离值d′与真实偏离值d出现偏差Δd，且Δd＝Δl·tanθ，其中θ是目标与所述透镜光心连线与所述透镜光轴之间夹角沿基线方向上的分量，所述基线指的是所述深度相机中所述采集模组与投影模组之间的连线。所述利用经过建模的测量误差对当前测量偏离值进行校正指的是利用下式进行校正：d′＝d-Δd；所述根据校正后的偏离值计算深度图像指根据下式计算深度图像：

本发明的有益效果为：提供了一种深度相机误差校正方法与***，建立温度变化与深度测量误差之间的关系模型，通过得到温度变化引起的采集模组的透镜与图像传感器间的距离变化就可以直接计算出较为真实的深度值，可以提高深度相机的测量精度。

附图说明

图1是本发明实施例中深度相机成像原理以及误差形成示意图。

图2是本发明实施例中一种深度相机温度误差校正的方法示意图。

图3是本发明实施例中深度相机温度校正示意图。

图4是本发明实施例中激光安全控制方法原理示意图。

图5是本发明实施例中又一种深度相机温度误差校正的方法示意图。

图6是本发明实施例中利用经过建模的测量误差对所述深度图像进行校正的方法示意图。

其中，11-投影模组，12-采集模组，13-平面，14-目标物体，15-光束，16-光线，17-光线，121-图像传感器的位置，122-图像传感器的位置，21-深度相机，22-真实的平面，23-所测的平面，211-投影模组，212-采集模组，31-深度相机，32-深度相机，33-目标，34-获取的深度图像，35-获取的深度图像。

具体实施方式

为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接即可以是用于固定作用也可以是用于电路连通作用。

需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

深度相机获取的深度图像中，各个像素上的值表示的是对应的空间点距离深度相机的距离，深度图像的质量包括精度以及准度，其中精度指的是对于深度相机与目标之间的位置相对固定时，获取的多幅深度图像之间的差异，差异越小表明精度越高，或者说深度相机的测量一致性、稳定性高，而准度指的是测量值与真实值之间的差距，差距越小表明准度越高，测量值即深度图像上所显示的值，真实值指的是目标与深度相机之间真实距离所代表的值。

对于利用单个深度相机进行测量时，在深度相机开启后温度会逐渐增加，一直到温度稳定的过程中获取的深度图像精准度都较差，特别是精度，所获取的深度图像非常不稳定，因此，往往是等到温度稳定后才提取其深度图像以进行进一步的应用。然而对于准度而言，由于一般是***误差决定，最终导致获取的深度图像偏离其真实值，对于结构光深度相机，由于温度等因素影响会使得获取的深度图像偏离真实值并发生偏转。

在一些应用中，需要同时利用多个深度相机来实现更大视场的深度图像获取，各个深度相机独自获取深度图像后再将多幅深度图像进行拼接融合，当深度相机获取的深度图像准度较差时，会导致拼接出现差错，比如将两个深度相机同时获取一个平面的不同区域的深度图像(二者之间一般会有部分重叠区域)，而融合后的深度图像中却变成了非平面，比如曲面、断面等形式。

因此，对深度相机由温度引起的误差进行纠正有利于提高深度相机的精准度。在下面将结合图1-图3，以结构光深度相机为例进行阐述，提供温度误差校正方法及***。

结构光深度相机测量原理

如图1所示，是根据本发明一个实施例的深度相机成像原理示意图。结构光深度相机一般包括投影模组11、采集模组12以及深度计算处理器(图中未示出)，在一个实施例中，投影模组11为近红外斑点投影仪，用于向目标空间投影近红外斑点图案，若投射到某一平面上时，所形成的斑点图像具备随机且不相关的特性；采集模组12为近红外相机，用于采集斑点图像，采集到的斑点图像随后被传输到深度计算处理器中进行深度计算以输出深度图像。图1中以单个斑点为例进行说明，投影模组11投影出光束15，照射到目标物体14上的Z点，该点通过采集模组12的透镜B成像在图像传感器121上，光线17仅用来表示成像关系。

深度相机一般还包括存储器，其保存了参考斑点图像，该参考斑点图像是利用投影模组11向已知距离Z₀的平面13上投影出斑点图像后由采集模组12采集到的，采集光线16用来表示成像关系。在平面13上的斑点通过透镜成像在图像传感器的121位置上，从图中可以看出，由于目标物体14与参考平面13位于不同的深度上，导致同一个斑点在图像传感器上成像的位置发生了改变。深度计算处理器在计算时将当前目标的斑点图像与参考斑点图像进行匹配计算，找到当前斑点图像中的斑点(即像素)相对于参考斑点图像中对应的斑点(像素)之间的偏离值d，再根据以下公式计算出目标的深度值，各个像素的深度值最终组成了深度图像。

其中，Z为目标的深度值；Z₀为平面13的深度值；为采集模组12中透镜到图像传感器之间的距离，一般情况下等于透镜的焦距，这里的透镜也可以是透镜组；b为投影模组11到采集模组12之间的基线长度。

温度引起的测量误差

深度相机中采集模组在采集斑点图像过程中，会产生高热量，导致模组温度较高，由此会带来多方面的影响，温度会使得采集模组中透镜的性能发生变化，比如会改变焦距使得斑点图像对比度下降，对于此问题，一般可以通过采集玻璃材质的透镜来解决，玻璃材质对温度的适应性较高。另外，温度会使得采集模组发生热变形，比如会使得透镜以及图像传感器偏离原来的位置，即l值发生变化，在图1所示的实施例中，假设温度变化使得透镜与图像传感器间距l变化了Δl，在本实施例中假定透镜所在的位置B不变，仅是图像传感器从121位置变化到了122位置，可以理解的是这仅是为了方便说明做了一个简化处理，在其他实施例中也可以由其他变化形式。

一般地，在参考斑点图像采集时，假定采集模组的温度为T₁，此时透镜与图像传感器的间距为l；而在对目标物体进行测量时，当采集模组的温度为T₂，且T₂≠T₁，也就意味着当前目标上的点原本应成像在121位置处，而由于温度变化最终成像在了122位置处，见图1中光线17的延长线与122位置处的图像传感器的交线。当进行匹配计算时，测量的偏离值d′与真实的偏离值d之间存在以下关系：

d′＝d-Δd (2)

上式中Δd为由于位置变化导致的偏离值的变化，由图1可知，Δd＝Δl·tanθ，其中θ是物体与透镜光心B连线与透镜光轴之间夹角沿基线(x)方向上的分量。

根据以上分析，可以得出以下两种校正方法：

内部校正法：将公式(2)代入到公式(1)中可得真实的深度值计算表达式：

公式(3)说明了真实深度值Z与测量偏离值d′以及温度影响Δl之间的关系，由此可知，只要得到温度引起的距离变化Δl就可以直接计算出较为真实的深度值Z。

外部校正法：对公式(1)进行偏导数计算，可得偏离值变化Δd与深度值变化(即真实深度值与测量值之差)之间的关系：

根据公式(4)可知，在获取了Δl后就可以计算出深度值变化ΔZ，再根据深度值变化ΔZ可以实现对测量值的校正。

以下两种校正法的区别在于，内部校正法通过直接对温度变化与真实深度值进行建模，通过获取温度变化值可以直接输出真实的深度图像。而外部校正法则是通过对温度变化与深度值变化进行建模，通过获取温度变化值以及测量的深度值计算出真实深度值。以下将分别对两种校正法并结合具体实施例进行说明。

利用内部校正法进行温度误差校正

如图2所示，对由温度变化引起的深度相机测量误差，可以经由以下方法思路进行校正：

首先，利用深度相机中的深度计算处理器获取当前目标的斑点图像相对与参考斑点图像的测量偏离值；

其次，对温度变化引起的深度相机的测量误差进行建模；

最后，利用经过建模的测量误差对当前测量偏离值进行校正，并根据校正后的偏离值计算深度图像。

以下将通过实施例重点对温度对测量误差建模以及深度图像校正进行阐述。

如图3所示，是根据本发明一个实施例的深度相机温度校正示意图。若真实目标为一平面22，由于温度变化导致深度相机21所测得的深度图像中所反映的平面为23。平面23相对于平面22发生了偏转，测量的深度值Z′与真实深度值Z之间存在差异ΔZ。

在测量误差建模阶段，基于前面对误差的分析结果，并基于公式(3)，假设采集模组的变形Δl与温度变化成线性关系，即Δl＝kΔT，其中k为温度变化系数，ΔT指的采集模组的当前温度与参考斑点图像采集时的温度之间的差异，因此，通过对温度变化系数k以及ΔT的测量就可以实现对变形Δl的测量。在误差校正阶段，将测得的Δl代入公式(3)即可获取真实的深度图像：

其中温度变化系数k可以通过对采集模组进行温度变化实验获取，或者依据采集模组的材料以及经验公式获取，ΔT的获取可以通过在采集模组中配置一个温度传感器，温度传感器用于对采集模组的温度进行实时检测从而实现对ΔT的测量。

上述校正方法实现过程可以由深度计算处理器来完成。深度相机温度误差校正***将包括投影模组、采集模组、温度传感器、存储器以及深度计算处理器，其中温度传感器用于实时测量采集模组温度并传输给处理器，存储器中除了存储参考斑点图像外还用于保存参考斑点图像采集时的温度、以及采集模组的温度变化系数k，处理器接收由采集模组传输来的当前斑点图像后，与参考斑点图像进行匹配计算，获取偏离值的测量值，再结合温度差ΔT以及k并利用公式(5)计算出真实深度值，以实现对温度误差的纠正。深度计算处理器可以被集成在深度相机中，也可以独立于深度相机存在于其他计算设备中。

以上深度相机测量误差校正***中校正引擎位于处理器中，处理器无需输出深度图像后再对深度图像进行校正，这一方法可以称为是内部校正方法，然而内部校正方法过程中需要额外地采用温度传感器装置，会导致深度相机成本增加且体积变大，另外内部校正方法往往是基于某一具体的误差模型理论，而实际上，该误差模型理论往往仅代表某一方面原因引起的误差，难以全面衡量深度相机的温度误差。因此在一些深度相机中，往往不提供内部校正方法，深度相机可以直接输出没有经过误差校正的深度图像，再利用额外的误差校正引擎根据具体的应用场景对原始深度图像进行校正。

利用外部校正法进行温度误差校正

图4是根据本发明又一实施例的激光安全控制方法原理示意图。深度相机31与32共同对场景目标33进行测量，各自获取目标33的部分深度图像34与35，然而由于温度误差影响，导致获取的深度图像34、35与真实的目标33在深度上并不一致，即产生了温度误差。一般地，为了后续可以将深度图像34与35能更好的融合成单幅深度图像，深度相机31与32之间会拥有部分共同视野，可以预见的是，当深度图像34与35融合后得到的深度图像将偏离真实目标，另外即使在共同视野部分，两幅深度图像中的数据也存在差异。本实施例中，将以两个深度相机为例阐述温度误差校正方法及***，但该校正方法与***可以被应用到2个以上的深度相机共同工作时的情形。

如图5所示，根据共同视野中，不同深度相机获取的深度图像需要尽可能一致的思想，亦即差异最小的思想，本实施例中深度相机温度误差校正的方法：

首先，由至少两个深度相机获取目标的深度图像，且多个深度相机中相邻的两个深度相机有部分共同视野区域；

其次，对温度变化对每个深度相机的测量误差进行建模；

最后，利用经过建模的测量误差对获取的深度图像进行校正，使得校正后的深度图像在共同视野区域差异最小。

以下将详细对温度误差建模以及校正进行阐述。

温度误差建模中建立温度变化与误差引起原因可详见前述部分内容。此外，温度误差建模还包括建立温度变化所引起的多个深度相机深度图像之间的误差，以下将进行详细说明。

如图4中所示，深度相机31与32获取的深度图像34、35与真实的目标33之间均存在偏离，在其共同视野区域，深度图像34与35之间的差异ΔZ可以表示为

ΔZ＝Z₁-Z₂

＝Z₁-Z+Z-Z₂

＝ΔZ₁-ΔZ₂ (5)

若该差异是由温度变化引起的，则可以将(4)式分别应用于深度相机31与32，(5)式转化为：

根据Δd＝Δl·tanθ，上式变为：

上述中Z₁、Z₂指的深度相机31与32的真实深度值，但考虑到该深度值为未知项，常常用测量值代替。需要注意的是，以上各式仅以目标中的单个点进行说明，实际应用中，式中的深度值与角度值一般表示的是二维数组。

在利用以上得到的温度变化与深度误差的模型进行误差校正的过程，本质上即是已知共同区域各个像素的ΔZ，求解Δl₁、Δl₂的过程。

在一个具体实施例中，选取共同视野区域内的m个像素，m的值应小于共同视野区域中像素的总数量，误差校正的具体步骤如下：

(1)计算共同区域中各个像素在不同深度图像中深度值的差异ΔZ⁽ⁱ⁾＝Z₁ ⁽ⁱ⁾-Z₂ ⁽ⁱ⁾，i∈[1，m]；

(2)该差异由相邻两个深度相机的误差共同引起，并假定相邻的两个深度相机的误差相同，即ΔZ₁ ⁽ⁱ⁾＝-ΔZ₂ ⁽ⁱ⁾＝ΔZ⁽ⁱ⁾/2。

(3)根据ΔZ₁ ⁽ⁱ⁾、ΔZ₂ ⁽ⁱ⁾的值，并代入公式(4)分别计算出Δl₁ ⁽ⁱ⁾、Δl₂ ⁽ⁱ⁾，并对共同区域各个像素对应的Δl₁ ⁽ⁱ⁾、Δl₂ ⁽ⁱ⁾进行平均，得到最终的Δl₁、Δl₂；

(4)利用最终的Δl₁、Δl₂，并结合公式(4)实现对两个深度相机的所有像素深度值的校正。

上述方法中，是假定共同区域的误差是由两个深度相机共同引起的，且二者的误差相同，另外对共同像素区域的误差还进行了平均。然而实际上，二者的误差并非完成相同，因此上述的校正方法的精度较低。

在一些实施例中，利用最小二乘法可以较为准确的误差校正。该校正方法的数学模型即：已知两个深度相机共同视野区域中的m个像素且对应的深度值

求得两个深度相机的温度变化引起的间距误差Δl₁、Δl₂，使得代价函数

最小，其中ΔZ⁽ⁱ⁾利用式(7)确定，k为系数，在一个实施例中，k＝0.5。求解方法包括梯度下降法、牛顿迭代法、法方程法(normal equations)等，具体解法在此不做赘述。

以上所述的利用外部校正法进行温度误差校正的***，一般包括两个及以下的深度相机，校正方法一般由额外的校正引擎来完成，该校正引擎可以是专用的处理器、也可以是被运行于处理器中的软件模块，校正引擎分别与多个深度相机连接，通过接收两个深度相机的深度数据以及二者之间的相互位置关系，执行以上所述的校正方法。

本发明如上所述的方法中为了构建数学模型所采用的具体的误差采用简化处理，其所对应的实际应用中的误差是较为复杂的。通过将本发明所述的方法应用到具体复杂的场景中，其应用可以是直接应用也可以在本发明思路的基础上做出合理的变通再应用，能在一定程度上提高深度相机的精准度。在本发明思路的基础上基于具体应用场景做出的合理变通应该视为本发明的保护范围。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (7)

1.一种深度相机温度误差校正的方法，其特征在于，包括：

S1：利用深度相机获取当前目标的斑点图像，并计算出斑点图像与参考斑点图像对应像素之间的偏离值；

S2：对温度变化引起的深度相机的采集模组发生热变形导致的测量误差进行建模，所述采集模组的热变形与温度变化成线性关系，所述温度变化是指采集模组的当前温度与参考斑点图像采集时的温度之间的差异；

所述深度相机的采集模组在采集所述斑点图像过程中，温度变化ΔT使得所述深度相机中采集模组的透镜与图像传感器间距l发生变化Δl且所述透镜所在位置不变；以及，

间距变化Δl使得测量的偏离值d′与真实偏离值d出现偏差Δd，且Δd＝Δl.tanθ；

S3：利用经过建模的测量误差对当前测量偏离值进行校正，并根据校正后的偏离值计算深度图像的真实深度值，所述根据校正后的偏离值计算深度图像的真实深度值指根据下式计算深度图像：

其中，Z₀为由于温度变化测得的深度图像中所反映的平面的深度值，b为投影模组到采集模组之间的基线长度，所述基线指的是所述深度相机中所述采集模组与投影模组之间的连线；l是所述深度相机中采集模组的透镜与图像传感器间距，Δl是温度变化使得所述深度相机中采集模组的透镜与图像传感器间距发生的变化，θ是目标与所述透镜光心连线与所述透镜光轴之间夹角，d′是测量的偏离值。

2.如权利要求1所述的深度相机温度误差校正的方法，其特征在于，所述利用经过建模的测量误差对当前测量偏离值进行校正指的是利用下式进行校正：d'＝d-Δd

3.如权利要求2所述的深度相机温度误差校正的方法，其特征在于，所述间距变化Δl满足关系：Δl＝kΔT，其中k为温度变化系数。

4.如权利要求3所述的方法，其特征在于，所述根据校正后的偏离值计算深度图像指根据下式计算深度图像：

5.一种深度相机温度误差校正的***，其特征在于，包括：

投影模组，用于向目标投射斑点图像；

采集模组，用于采集所述斑点图像；

处理器，被配置用于执行以下步骤：

T1：计算出所述斑点图像与参考斑点图像对应像素之间的偏离值；

T2：对温度变化引起的深度相机的测量误差进行建模；温度变化ΔT使得所述深度相机中采集模组的透镜与图像传感器间距l发生变化Δl且所述透镜所在位置不变，且Δl＝kΔT，其中k为温度变化系数；以及，

间距变化Δl使得测量的偏离值d′与真实偏离值d出现偏差Δd，且Δd＝Δl·tanθ；

T3：利用经过建模的测量误差对当前测量偏离值进行校正，并根据校正后的偏离值计算深度图像，所述根据校正后的偏离值计算深度图像指根据下式计算深度图像：

其中，Z₀为由于温度变化测得的深度图像中所反映的平面的深度值，b为投影模组到采集模组之间的基线长度，所述基线指的是所述深度相机中所述采集模组与投影模组之间的连线；l是所述深度相机中采集模组的透镜与图像传感器间距，Δl是温度变化使得所述深度相机中采集模组的透镜与图像传感器间距发生的变化，θ是目标与所述透镜光心连线与所述透镜光轴之间夹角，d′是测量的偏离值。

6.如权利要求5所述的深度相机温度误差校正的***，其特征在于，所述利用经过建模的测量误差对当前测量偏离值进行校正指的是利用下式进行校正：d'＝d-Δd

7.如权利要求6所述的深度相机温度误差校正的***，其特征在于，所述根据校正后的偏离值计算深度图像指根据下式计算深度图像：

Images