CN118259254A - 数据处理装置、深度检测装置与数据处理方法 - Google Patents

Abstract

本发明公开了一种用于飞行时间传感器的数据处理装置，包括：存储模块，配置成存储飞行时间传感器获取的第一飞行时间数据；处理模块，包括机器学习组件，所述处理模块配置成：通过所述机器学习组件将所述第一飞行时间数据优化为第二飞行时间数据，其中，所述第二飞行时间数据中的噪声信号少于所述第一飞行时间数据中的噪声信号。本发明所提供的用于飞行时间传感器的数据处理装置，通过预先训练的机器学习组件，将飞行时间传感器的原始数据进行优化，直接对于原始数据做降噪处理，获得优化后的原始数据或深度数据。相比于深度图后处理及其他对飞行时间传感器***去除噪声的技术方案，达到了更好的去噪效果。

Description

数据处理装置、深度检测装置与数据处理方法

技术领域

本发明涉及光学传感技术领域，尤其涉及一种用于飞行时间传感器的数据处理装置、包括其的深度检测装置，以及用于飞行时间传感器的数据处理方法、使用该方法进行深度检测的方法。

背景技术

随着科学技术的发展，深度传感器，如ITOF(间接飞行时间测量距离技术)摄像装置，越来越广泛地应用在人脸识别、自动驾驶、人工智能、3D建模等领域。

在实际应用中，由于ITOF摄像装置通过求解发射光信号与接收光信号的相位差来反推飞行时间，该相位并非原始相位，而是对发射光信号的光强进行调制后的相位。

随着ITOF摄像装置的应用场景不断增加，后端应用算法对ITOF深度数据质量的要求也越来越高。ITOF摄像装置采集的深度图像中的噪声主要来源于：1，***热噪声；2，接收端的暗电流、脉冲噪声；3，场景噪声，即光在场景中多次反射形成的随机噪声；4，多径噪声，即光在目标物的多个表面来回、多次反射的叠加产生的噪声。

现有技术中，存在获得ITOF深度图像后，对深度图像进行处理的技术方案，即深度图后处理的技术方案。该技术方案难以取得很好的去噪效果，原因在于一部分噪声信号存在于相位信息之中，而采用深度图后处理的方案，损失了图像成像过程中的信息，仅仅保留了场景的结构信息。

发明内容

有鉴于现有技术的至少一个缺陷，第一方面，本发明提供一种用于飞行时间传感器的数据处理装置，包括：

存储模块，配置成存储所述飞行时间传感器获取的第一飞行时间数据；

处理模块，包括机器学习组件，所述处理模块配置成：

通过所述机器学习组件将所述第一飞行时间数据优化为第二飞行时间数据，其中，所述第二飞行时间数据中的噪声信号少于所述第一飞行时间数据中的噪声信号。

根据本发明的第一方面，其中所述第一飞行时间数据包括相位偏置信息及光强信息；所述第二飞行时间数据包括相位偏置信息，或所述第二飞行时间数据为深度数据。

根据本发明的第一方面，其中所述机器学习组件基于训练数据对获得模型参数，所述训练数据对包括：

对应同一深度值的至少一组所述飞行时间传感器获取的第一飞行时间训练数据和深度传感器获取的第二飞行时间训练数据，其中，所述第二飞行时间训练数据中的噪声信号少于所述第一飞行时间数据中的噪声信号。

根据本发明的第一方面，其中所述第一飞行时间训练数据包括相位偏置信息及光强信息；所述第二飞行时间训练数据包括相位偏置信息，或所述第二飞行时间训练数据为深度数据。

根据本发明的第一方面，其中所述第二飞行时间训练数据包括相位偏置信息，所述相位偏置信息通过以下方式计算：

将所述深度传感器获得的深度信息变换至所述飞行时间传感器的视角下；

基于变换后的深度信息计算回波信号的相位偏移量；

基于所述回波信号的相位偏移量计算所述相位偏置信息。

根据本发明的第一方面，其中所述飞行时间传感器和所述深度传感器在所述飞行时间传感器的使用场景下同步获取飞行时间训练数据。

根据本发明的第一方面，其中所述深度传感器的角分辨率大于所述飞行时间传感器的角分辨率；和/或

所述深度传感器的最大测量范围大于所述飞行时间传感器的最大测量范围；和/或

所述深度传感器的视场角大于所述飞行时间传感器的视场角。

根据本发明的第一方面，所述装置进一步包括：

预处理模块，与所述存储模块、所述处理模块分别耦接，配置成对所述第一飞行时间数据执行一种或多种操作，并将执行操作后的第一飞行时间数据输出至所述处理模块，所述一种或多种操作包括：

数据归一化；

数据增广；

过曝点过滤。

根据本发明的第一方面，其中所述飞行时间传感器包括ITOF摄像装置；所述深度传感器包括ITOF摄像装置、DTOF摄像装置、激光雷达、单目散斑结构光传感器、双目结构光传感器中的一种或多种。

根据本发明的第一方面，其中所述机器学习组件包括卷积神经网络，所述卷积神经包括U-net架构网络、transformer架构网络中的一种或多种。

第二方面，本发明还提供一种深度检测装置，包括：

飞行时间传感器，包括发射模块和接收模块，其中：

所述发射模块配置成发射出检测信号，用于检测目标物的深度；

所述接收模块配置成接收所述检测信号被目标物反射的回波，并将回波信号转换为第一飞行时间数据；

如本发明的第一方面所介绍的数据处理装置，与所述接收模块耦接，其中所述处理模块进一步配置成根据所述第二飞行时间数据确定所述目标物的深度值。

第三方面，本发明还提供一种用于飞行时间传感器的数据处理方法，包括：

存储飞行时间传感器获取的第一飞行时间数据；

通过机器学习组件将所述第一飞行时间数据优化为第二飞行时间数据，其中，所述第二飞行时间数据中的噪声信号少于所述第一飞行时间数据中的噪声信号。

根据本发明的第三方面，其中所述第一飞行时间数据包括相位偏置信息及光强信息；所述第二飞行时间数据包括相位偏置信息，或所述第二飞行时间数据为深度数据。

根据本发明的第三方面，其中所述机器学习组件基于训练数据对获得模型参数，所述训练数据对包括：

对应同一深度值的至少一组所述飞行时间传感器获取的第一飞行时间训练数据和深度传感器获取的第二飞行时间训练数据，其中，所述第二飞行时间训练数据中的噪声信号少于所述第一飞行时间数据中的噪声信号。

根据本发明的第三方面，其中所述第一飞行时间训练数据包括相位偏置信息及光强信息；所述第二飞行时间训练数据包括相位偏置信息，或所述第二飞行时间训练数据为深度数据。

根据本发明的第三方面，其中所述第二飞行时间训练数据包括相位偏置信息，所述相位偏置信息通过以下方式计算：

将所述深度传感器获得的深度信息变换至所述飞行时间传感器的视角下；

基于变换后的深度信息计算回波信号的相位偏移量；

基于所述回波信号的相位偏移量计算所述相位偏置信息。

根据本发明的第三方面，其中所述飞行时间传感器和所述深度传感器在所述飞行时间传感器的使用场景下同步获取飞行时间训练数据。

根据本发明的第三方面，其中所述深度传感器的角分辨率大于所述飞行时间传感器的角分辨率；和/或

所述深度传感器的最大测量范围大于所述飞行时间传感器的最大测量范围；和/或

所述深度传感器的视场角大于所述飞行时间传感器的视场角。

根据本发明的第三方面，所述方法进一步包括：

对所述第一飞行时间数据执行一种或多种操作，并将执行操作后的第一飞行时间数据输出至所述机器学习组件，所述一种或多种操作包括：

数据归一化；

数据增广；

过曝点过滤。

第四方面，本发明还提供一种深度检测方法，包括：

发射出检测信号，用于检测目标物的深度；

接收所述检测信号被目标物反射的回波，并将回波信号转换为第一飞行时间数据；

使用如本发明的第三方面所介绍的数据处理方法，获得第二飞行时间数据；

根据所述第二飞行时间数据确定所述目标物的深度值。

第五方面，本发明还提供一种非瞬时性计算机可读存储介质，其上存储有计算机可读指令，当所述指令被处理器执行时，使得所述处理器执行如本发明的第三方面或第四方面所介绍的方法。

本发明所提供的用于飞行时间传感器的数据处理装置，通过预先训练的机器学习组件，将飞行时间传感器的原始数据进行优化，直接对于原始数据做降噪处理，获得优化后的原始数据或深度数据。相比于深度图后处理及其他对飞行时间传感器***去除噪声的技术方案，达到了更好的去噪效果。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图，而并不超出本申请要求保护的范围。

图1示出了ITOF飞行时间传感器的发射检测光信号、接收回波信号与对回波信号进行采样的过程；

图2示出了本发明的一个实施例所提供的用于飞行时间传感器的数据处理装置；

图3A示出了本发明的一个实施例所提供的用于飞行时间传感器的数据处理装置机器机器学习组件的训练过程；

图3B示出了本发明的一个实施例所提供的用于飞行时间传感器的数据处理装置机器机器学习组件的训练过程；

图3C示出了本发明的一个实施例所提供的用于飞行时间传感器的数据处理装置机器机器学习组件的训练过程；

图4示出了本发明的一个实施例所提供的用于飞行时间传感器的数据处理装置；

图5示出了本发明的一个实施例所提供的深度检测装置；

图6示出了采用本发明所提供的深度检测装置获得的深度图像与未校准的深度图像对比；

图7示出了本发明的一个实施例所提供的用于飞行时间传感器的数据处理方法；

图8示出了本发明的一个实施例所提供的深度检测方法。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

现有技术中，用于测量目标物深度的传感器包括通过测量检测光信号的飞行时间实现深度测量的飞行时间传感器。飞行时间传感器通常包括发射组件和接收组件，其中发射组件例如包括：垂直腔面发射型激光器(VCSEL)、边发射型激光器(EEL)中的一种或多种；接收组件例如包括：CMOS图像传感器、CCD图像传感器、雪崩光电二极管(APD)、单光子雪崩二极管(SPAD)中的一种或多种。飞行时间传感器的发射组件发射出检测光信号，该检测光信号被目标物反射产生的回波信号被接收组件接收，根据检测光信号的飞行时间，可以推算出目标物与飞行时间传感器之间的距离(即目标物的深度)。

由于直接基于检测光信号的发射时间和回波信号的到达时间进行测量，难以做到十分精确，实现工艺也较为复杂，通常在短距离测量的应用场景下，采用测量相位偏移/延迟的方法。采用测量相位偏移/延迟的方法对飞行时间进行测量，需要对检测光信号进行相位调制，例如：调制后的检测光信号的频率为f，周期为1/F，检测光信号与回波信号的相位差为则产生这个相位差所需的时间为：设光的飞行速度为c，那么检测光到达目标物并返回的总距离就是：可以得到目标物与飞行时间传感器之间的距离(目标物的深度)为：

如图1所示，在一些实施例中，测量相位偏移/延迟的方法使用ITOF飞行时间传感器，包括发射探测光信号的发射组件及接收回波信号的接收组件，发射组件与接收组件分别包括对应的多个像素。

ITOF飞行时间传感器的接收组件在采样时间内接收回波信号并进行光电转换，采样结束后(完成了采样时间内光信号的积分过程后)将数据读出，再经过模数转换器发送至计算单元。计算单元将多次采样的回波信号的积分值进行拟合，获得符合检测光信号工作频率的曲线，并由此计算出每个像素的相位偏移/延迟。ITOF飞行时间传感器首先通过在采样时间内接收回波信号并进行光电转换，获得光强信息，再通过多次采样的光强信息拟合光的波动曲线，解算出回波信号的相位偏移量。ITOF飞行时间传感器的原始数据包括光强信息，也包括相位偏置信息。

不妨以发射组件发射检测光信号作为相位零点，设回波信号相对于检测光信号的相位延迟为那么，发射组件发射检测光信号的相位为0°时，接收组件接收的回波信号的相位为发射组件发射检测光信号的相位为90°时，接收组件接收的回波信号的相位为发射组件发射检测光信号的相位为180°时，接收组件接收的回波信号的相位为发射组件发射检测光信号的相位为270°时，接收组件接收的回波信号的相位为

接收组件依次进行四次采样，在曝光时间内得到的光强信息分别为：

其中A为光强信号的幅值，raw₀、raw_π/2、rew_π、raw_3π/2为ITOF飞行时间传感器的原始数据，是包括相位偏置信息的光强信息。以此计算回波信号的相位偏移/延迟量为：

通过回波信号的相位偏移/延迟量与目标物深度的关系，可以计算出目标物的深度值，但是如果噪声来源存在于原始数据的相位信息之中，则计算出的深度值可能出现偏差，且难以通过后续对于深度图像的处理整体滤除。

本发明提供一种用于飞行时间传感器的数据处理装置，通过预先训练的机器学习组件对原始数据相位信息中的噪声进行过滤，相比于深度图后处理及其他对飞行时间传感器***去除噪声的技术方案，达到了更好的去噪效果。

根据本发明的一个实施例，如图2所示，本发明提供一种用于飞行时间传感器的数据处理装置100，包括存储模块110和处理模块120。

其中：

存储模块110配置成存储飞行时间传感器获取的第一飞行时间数据。第一飞行时间数据为飞行时间传感器获取的原始数据，即上文所述的包括相位偏置信息的光强信息。飞行时间传感器的发射组件发射检测光信号，检测光信号被目标物反射后产生的回波，被飞行时间传感器的接收组件接收，回波信号经采样后生成包括相位偏置信息的光强信息，存储模块110与飞行时间传感器的接收组件耦接，配置成存储飞行时间传感器获取的原始数据。在进行相位差计算时，通常只需要相位偏置信息，而本发明中需要将原始数据通过机器学习组件进行优化，故需要同时调取相位偏置信息及光强信息。

处理模块120包括机器学习组件121，处理模块120配置成：

通过机器学习组件121将所述第一飞行时间数据优化为第二飞行时间数据，其中，所述第二飞行时间数据中的噪声信号少于所述第一飞行时间数据中的噪声信号。

将飞行时间传感器获取的原始数据输入机器学习组件121，输出第二飞行时间数据，其中飞行时间传感器的原始数据为包括相位偏置信息的光强信息，第二飞行时间数据可以是同样类型的数据，即包括相位偏置信息的光强信息；也可以是归一化后的光强信息，仅包括相位偏置信息，通过计算也可以得到对应的深度值。第二飞行时间数据也可能为深度数据，处理模块120基于深度数据直接确定对应的深度值。第二飞行时间数据的数据格式和类型，与机器学习组件121进行模型训练时采用的训练数据对的数据格式和类型相对应。

经训练的机器学习组件121，能够根据第一飞行时间数据推理出第二飞行时间数据，其中第二飞行时间数据中的噪声信号少于第一飞行时间数据中的噪声信号，通过机器学习组件121，消除或减少了第一飞行时间数据中包含在相位信息中的噪声。

根据本发明的一个实施例，将第一飞行时间数据，包括相位偏置信息及光强信息，输入机器学习组件121，得到第二飞行时间数据，包括用于解算目标物深度值的相位偏置信息。处理模块120还包括计算组件，将第二飞行时间数据输入计算组件，则可以根据检测光信号与回波信号的相位差与目标物深度值的对应关系，计算出目标物的深度值。根据本发明的另一个实施例，将第一飞行时间数据，包括相位偏置信息及光强信息，输入机器学习组件121，得到第二飞行时间数据，包括对应的深度数据。处理模块120根据该深度数据确定目标物的深度值。

根据本发明的一个实施例，如图3A-图3C所示，机器学习组件121基于训练数据对获得模型参数，所述训练数据对包括：

对应同一深度值，至少一组所述飞行时间传感器获取的第一飞行时间训练数据和深度传感器获取的第二飞行时间训练数据，其中，所述第二飞行时间训练数据中的噪声信号少于所述第一飞行时间训练数据中的噪声信号。

根据本发明的一个实施例，如图3A所示，第一飞行时间训练数据包括相位偏置信息及光强信息，第二飞行时间训练数据包括相位偏置信息，深度学习模型由以下步骤训练得到：

飞行时间传感器发射检测光信号采集飞行时间数据，该飞行时间传感器为具有降噪需求的飞行时间传感器，或与具有降噪需求的飞行时间传感器同型号的飞行时间传感器，采集的飞行时间数据为具有降噪需求的飞行时间传感器的原始数据。

深度传感器发射检测光信号采集飞行时间数据，该深度传感器为“真值采集***”，深度传感器采集的飞行时间数据中具有较少的相位噪声，可以作为“真值原始数据”使用。

飞行时间传感器与深度传感器多次同时采集飞行时间训练数据，组成数据训练集。可选地，具有降噪需求的飞行时间传感器采集的第一飞行时间训练数据，和作为真值采集***的深度传感器采集的第二飞行时间训练数据具有一一对应的关系，组成多个训练数据对。

将具有降噪需求的飞行时间传感器多次采集的原始数据训练集，和作为真值采集***的深度传感器多次采集的真值原始数据训练集输入深度学习网络，进行训练，学习得到深度学习模型，该深度学习模型可以根据具有降噪需求的飞行时间传感器采集的第一飞行时间数据，推理出作为真值采集***的深度传感器在同等探测条件下，采集的第二飞行时间数据。将第一飞行时间数据，包括相位偏置信息及光强信息，输入机器学习组件121，得到第二飞行时间数据，包括用于解算目标物深度值的相位偏置信息。处理模块120还包括计算组件122，将第二飞行时间数据输入计算组件122，则可以根据检测光信号与回波信号的相位差与目标物深度值的对应关系，计算出目标物的深度值。

根据本发明的另一个实施例，如图3B所示，第一飞行时间训练数据包括相位偏置信息及光强信息，第二飞行时间训练数据包括相位偏置信息，深度学习模型由以下步骤训练得到：

飞行时间传感器发射检测光信号采集飞行时间数据，该飞行时间传感器为具有降噪需求的飞行时间传感器，或与具有降噪需求的飞行时间传感器同型号的飞行时间传感器，采集的飞行时间数据为具有降噪需求的飞行时间传感器的原始数据。

采用底噪水平低于具有降噪需求的飞行时间传感器的深度传感器采集深度数据，将采集到的深度数据反算为第二飞行时间训练数据。反算出的第二飞行时间训练数据作为“真值原始数据”，将底噪水平低于具有降噪需求的飞行时间传感器的深度传感器作为“真值采集***”。

具有降噪需求的飞行时间传感器与作为“真值采集***”的深度传感器多次同时采集数据，组成数据训练集。可选地，具有降噪需求的飞行时间传感器采集的第一飞行时间训练数据，与作为“真值采集***”的深度传感器采集的深度数据反算出的第二飞行时间训练数据具有一一对应的关系，组成多个训练数据对。

将具有降噪需求的飞行时间传感器多次采集的原始数据训练集，和作为“真值采集***”的深度传感器多次采集深度数据反算出的真值原始数据训练集输入深度学习网络，进行训练，学习得到深度学习模型，该深度学习模型可以根据具有降噪需求的飞行时间传感器采集的第一飞行时间数据，推理出第二飞行时间数据。将第一飞行时间数据，包括相位偏置信息及光强信息，输入机器学习组件121，得到第二飞行时间数据，包括用于解算目标物深度值的相位偏置信息。处理模块120还包括计算组件122，将第二飞行时间数据输入计算组件122，则可以根据检测光信号与回波信号的相位差与目标物深度值的对应关系，计算出目标物的深度值。

根据本发明的另一个实施例，如图3C所示，第一飞行时间训练数据包括相位偏置信息及光强信息，第二飞行时间训练数据为深度数据，深度学习模型由以下步骤训练得到：

飞行时间传感器发射检测光信号采集飞行时间数据，该飞行时间传感器为具有降噪需求的飞行时间传感器，或与具有降噪需求的飞行时间传感器同型号的飞行时间传感器。采集的飞行时间数据为具有降噪需求的飞行时间传感器的原始数据。

采用底噪水平低于具有降噪需求的飞行时间传感器的深度传感器采集深度数据，将采集到的深度数据作为“真值深度数据”。将底噪水平低于具有降噪需求的飞行时间传感器的深度传感器作为“真值采集***”。

具有降噪需求的飞行时间传感器与作为“真值采集***”的深度传感器多次同时采集数据，组成数据训练集。可选地，具有降噪需求的飞行时间传感器采集的第一飞行时间训练数据，与作为“真值采集***”的深度传感器采集的第二飞行时间训练数据具有一一对应的关系，组成多个训练数据对。

将具有降噪需求的飞行时间传感器多次采集的原始数据训练集，和作为“真值采集***”的深度传感器多次采集的真值深度数据训练集输入深度学习网络，进行训练，学习得到深度学习模型，该深度学习模型可以根据具有降噪需求的飞行时间传感器采集的第一飞行时间数据，推理出“真值采集***”在同等探测条件下获得的深度数据。将第一飞行时间数据，包括相位偏置信息及光强信息，输入机器学习组件121，得到第二飞行时间数据，包括对应的深度数据。处理模块120根据该深度数据确定目标物的深度值。

下面介绍一具体实施例，以说明通过深度信息反算出第二飞行时间训练数据的过程。根据本发明的一个实施例，第二飞行时间训练数据通过深度传感器获得，深度传感器的底噪水平低于飞行时间传感器，深度传感器获取的深度数据中的噪声信号少于飞行时间传感器在同等探测条件下获取的飞行时间数据中的噪声信号，深度传感器可以作为飞行时间传感器的“真值采集***”使用。

例如，待提升性能的飞行时间传感器为ITOF摄像装置，则“真值采集***”可以采用激光雷达。在一些实施例中，通过激光雷达获得的深度信息，反算出第二飞行时间训练数据，与ITOF摄像装置实际获取的第一飞行时间训练数据组成训练数据对，进行机器学习模型的训练，获得模型参数。通过经训练的机器学习模型对该ITOF摄像装置获得的飞行时间数据进行优化，可以减少飞行时间数据的相位信息中携带的噪声，从而提高了测距精度，减少了误差；另一方面，由于减少了相位噪声，使得ITOF摄像装置可以接近或达到理论上的最大测量范围(理论工作距离)，提升了ITOF摄像装置的测距性能。

在机器学习组件基于训练数据对进行训练，获得模型参数的过程中，训练数据对中的第二飞行时间训练数据包括相位偏置信息，根据深度传感器获得的深度信息反算出相位偏置信息包括：

将所述深度传感器获得的深度信息变换至所述飞行时间传感器的视角下。

首先，通过飞行时间传感器和深度传感器(真值采集***)采集同一目标物的深度信息，即通过飞行时间传感器和深度传感器采集同一深度图像，可选地，例如：通过飞行时间传感器和深度传感器(真值采集***)拍摄同一场景。

之后，将深度传感器(真值采集***)采集的深度图像转换到飞行时间传感器的视角之下，将深度传感器采集到的深度图像配准到飞行时间传感器的空间坐标系下，为飞行时间传感器的每一个像素值提供一个真值。

由于需要为飞行时间传感器采集的深度图像中的每一个像素提供一个真值，因此，优选地，深度传感器(真值采集***)的视场角覆盖飞行时间传感器的视场角，深度传感器的角分辨率高于飞行时间传感器的角分辨率。

第三步，基于变换后的深度信息计算回波信号的相位偏移量。将配准到飞行时间传感器的空间坐标系下的深度信息反算为回波信号的相位偏移量，该反算过程如下：

其中d为配准后的深度真值，f₀为飞行时间传感器的调制频率，c为光速，为反算的相位偏移量。

根据本发明的一个实施例，为了得到更好的去噪效果，选择飞行时间传感器与深度传感器(真值采集***)的频率种类与数量相对应。即当飞行时间传感器为多频飞行时间传感器时，通过深度传感器反算出多个第二飞行时间训练数据，该多个第二飞行时间训练数据的个数与飞行时间传感器发射检测光信号的频率个数相同。

本领域技术人员能够理解，深度传感器也可以选择角分辨率更高、视场角更大的基于其他测量形式的传感器，将深度传感器获得的深度信息，反算为多个相位偏移量，对应飞行时间传感器的多个调制频率。

第四步，再根据回波信号的相位偏移量反算第二飞行时间训练数据，第二飞行时间训练数据包括相位偏置信息，以***采用四个相位延迟的采样信号为例，反算过程如下：

与上文所述的原始数据(包括相位偏置信息的光强信息)相比，反算出的第二飞行时间训练数据不具有光强信息的幅值A，为归一化的光强信息，仅包括相位偏置信息。由于计算深度值采用光强信息的比值，故归一化的光强信息同样可以用于计算检测光信号与回波信号的相位差，进而解算出对应的深度值。

将上述步骤得到的第二飞行时间训练数据与飞行时间传感器实际获取的第一飞行时间训练数据组成训练数据对，输入深度学习网络进行训练，得到深度学习网络模型的模型参数。

根据本发明的一个实施例，其中所述飞行时间传感器获取的第一飞行时间训练数据和所述深度传感器获取的第二飞行时间训练数据在所述飞行时间传感器的使用场景下同步获取。

飞行时间传感器和深度传感器在同一场景下同时采集深度信息，作为真值采集***的深度传感器的测量精度根据应用场景进行选择，通常选择测量精度高于实际应用场景需求的深度传感器。优选地，作为真值采集***的深度传感器的测量误差小于飞行时间传感器，和/或，作为真值采集***的深度传感器的距离分辨率高于飞行时间传感器。

根据本发明的一个实施例，所述深度传感器的最大测量范围大于所述飞行时间传感器的最大测量范围。

根据本发明的一个实施例，其中机器学习组件121进行训练采用的飞行时间传感器包括与实际使用的、具有降噪需求的飞行时间传感器相同的传感器设备，也包括与实际使用的、具有降噪需求的飞行时间传感器型号相同的传感器设备。

机器学习组件121可以针对单个具有降噪需求的飞行时间传感器进行训练。对于单个飞行时间传感器，训练选用该具有降噪需求的飞行时间传感器即可，训练所需的原始数据采集自该具有降噪需求的飞行时间传感器；优选的，采集的训练数据覆盖使用场景及使用距离范围，以提升模型在使用场景的泛化效果。

机器学习组件121也可以针对多个具有降噪需求的飞行时间传感器进行训练，该多个具有降噪需求的飞行时间传感器的型号相同，例如为量产产品，但可能具有不同的硬件特性，如该多个具有降噪需求的飞行时间传感器具有不同的***误差。对于多个具有降噪需求的飞行时间传感器，根据多个飞行时间传感器的硬件特性，训练选用不同硬件特性的飞行时间传感器与作为真值采集***的深度传感器的组合，采集包含不同硬件特性的飞行时间训练数据，以提升在不同硬件特性的飞行时间传感器之间的泛化效果。优选的，采集的训练数据覆盖使用场景及使用距离范围，以提升模型在使用场景的泛化效果。

根据本发明的一个实施例，如图4所示，用于飞行时间传感器的数据处理装置100进一步包括：预处理模块130。其中：

预处理模块130与存储模块110、处理模块120分别耦接，配置成对所述第一飞行时间数据执行一种或多种操作，并将执行操作后的第一飞行时间数据输出至处理模块120，所述一种或多种操作包括：

数据归一化。通过数据归一化可提升机器学习模型收敛的鲁棒性，加快机器学习模型训练速度。

数据增广。如进行数据翻转、数据裁剪、叠加随机噪声等，通过数据增广可增加训练数据量，丰富训练数据多样性，使得机器学习模型泛化性能更好。

过曝点过滤。如通过设定阈值，去除过曝像素点(如将过曝像素点置0)。

去除***误差。

滤波处理。如HDRZ、平滑等对于相位数据的处理。

根据本发明的一个实施例，本发明的上述一个或多个实施例中所述的飞行时间传感器包括ITOF摄像装置；作为“真值采集***”的深度传感器包括ITOF摄像装置、DTOF摄像装置、激光雷达、单目散斑结构光传感器、双目结构光传感器中的一种或多种。

根据本发明的一个实施例，用于飞行时间传感器的数据处理装置100中，机器学习组件121包括卷积神经网络，所述卷积神经包括U-net架构网络、transformer架构网络中的一种或多种。

机器学习组件121选用的深度学习网络模型的输入分辨率和输出分辨率保持一致，深度学习网络模型的构成包括但不限于选择以下：

1、使用传统图像生成类网络，例如U-net网络架构；

2、使用transformer架构网络；

3、两者的结合。

网络的层数、卷积核大小、非线性函数、学习率、特征提取算子、下采样上采样算子、损失函数等网络具体配置都不做具体限制，根据实际应用场景及需求进行设置。

根据本发明的一个实施例，机器学习组件121使用的训练数据对，包括实际使用的、具有降噪需求的飞行时间传感器获得的原始数据，与作为真值采集***的深度传感器获得的原始数据或深度数据，或根据深度数据反算出的原始数据的组合，进行训练的原理在于：部分噪声包含在原始数据的相位信息之中，直接对深度信息进行过滤、降噪处理，模糊了该类噪声。通过原始数据进行训练，将包括相位偏置信息的光强信息与噪声更少的相位偏置信息或深度信息组成训练数据对，能够获得更多的对于噪声所带来影响的校正。并且，ITOF摄像装置的原始数据的获得是发射光与介质和物体表面卷积的结果，通过卷积神经网络进行去噪的效果更佳。

本发明的上述一个或多个实施例所提供的用于飞行时间传感器的数据处理装置，通过预先训练的机器学习组件，将飞行时间传感器的原始数据进行优化，直接对于原始数据做降噪处理，推理出优化后的原始数据或深度数据。相比于深度图后处理及其他对飞行时间传感器***去除噪声的技术方案，达到了更好的去噪效果。

根据本发明的一个实施例，如图5所示，本发明还提供一种深度检测装置200，包括：飞行时间传感器210和如上文所介绍的数据处理装置100。其中：

飞行时间传感器210包括发射模块211和接收模块212，其中：

发射模块211配置成发射出检测光信号，用于检测目标物的深度。

接收模块212配置成接收所述检测光信号被目标物反射的回波，并将回波信号转换为第一飞行时间数据。

如上文所介绍的数据处理装置100，与接收模块212耦接，其中，处理模块120进一步配置成根据所述第二飞行时间数据确定目标物的深度值。

图6示出了本发明一具体实施例的去噪效果，白色点云图是用直接获得的原始数据计算生成的点云图，而灰色点云图是用去噪后的原始数据计算生成的点云图。灰色点云图更接近于目标空间的实际深度分布，采用优化后的原始数据计算深度值，得到的深度图效果具有明显改善。

根据本发明的一个实施例，如图7所示，本发明还提供一种用于飞行时间传感器的数据处理方法10，包括：步骤S101至步骤S102。其中：

在步骤S101中，存储飞行时间传感器获取的第一飞行时间数据。

在步骤S102中，通过机器学习组件将所述第一飞行时间数据优化为第二飞行时间数据，其中，所述第二飞行时间数据中的噪声信号少于所述第一飞行时间数据中的噪声信号。

根据本发明的一个实施例，用于飞行时间传感器的数据处理方法10中，所述第一飞行时间数据包括相位偏置信息及光强信息；所述第二飞行时间数据包括相位偏置信息，或所述第二飞行时间数据为深度数据。

根据本发明的一个实施例，用于飞行时间传感器的数据处理方法10中，所述机器学习组件基于训练数据对获得模型参数，所述训练数据对包括：

对应同一深度值的至少一组所述飞行时间传感器获取的第一飞行时间训练数据和深度传感器获取的第二飞行时间训练数据，其中，所述第二飞行时间训练数据中的噪声信号少于所述第一飞行时间数据中的噪声信号。

根据本发明的一个实施例，用于飞行时间传感器的数据处理方法10中，所述第一飞行时间训练数据包括相位偏置信息及光强信息；所述第二飞行时间训练数据包括相位偏置信息，或所述第二飞行时间训练数据为深度数据。

根据本发明的一个实施例，用于飞行时间传感器的数据处理方法10中，所述第二飞行时间训练数据包括相位偏置信息，所述相位偏置信息通过以下方式计算：

将所述深度传感器获得的深度信息变换至所述飞行时间传感器的视角下；

基于变换后的深度信息计算回波信号的相位偏移量；

基于所述回波信号的相位偏移量计算所述相位偏置信息。

根据本发明的一个实施例，用于飞行时间传感器的数据处理方法10中，所述飞行时间传感器和所述深度传感器在所述飞行时间传感器的使用场景下同步获取飞行时间训练数据。

根据本发明的一个实施例，用于飞行时间传感器的数据处理方法10中，所述深度传感器的角分辨率大于所述飞行时间传感器的角分辨率；和/或

所述深度传感器的最大测量范围大于所述飞行时间传感器的最大测量范围；和/或

所述深度传感器的视场角大于所述飞行时间传感器的视场角。

根据本发明的一个实施例，用于飞行时间传感器的数据处理方法10进一步包括：

对所述第一飞行时间数据执行一种或多种操作，并将执行操作后的第一飞行时间数据输出至所述机器学习组件，所述一种或多种操作包括：

数据归一化；

数据增广；

过曝点过滤。

上述用于飞行时间传感器的数据处理方法10的具体限定与前述用于时间传感器的数据处理装置100中的具体限定相似，可以参见上文中关于数据处理装置100的介绍，在此不再赘述。

根据本发明的一个实施例，如图8所示，本发明还提供一种深度检测方法20，包括步骤S201至步骤S204。其中：

在步骤S201中，发射出检测信号，用于检测目标物的深度。

在步骤S202中，接收所述检测信号被目标物反射的回波，并将回波信号转换为第一飞行时间数据。

在步骤S203中，使用如上文所介绍的数据处理方法10，获得第二飞行时间训练数据；

在步骤S204中，根据所述第二飞行时间数据确定所述目标物的深度值。

根据本发明的一个实施例，本发明还提供一种非瞬时性计算机可读存储介质，其上存储有计算机可读指令，当所述指令被处理器执行时，使得所述处理器执行如上文的任一实施例所介绍的用于飞行时间传感器的数据处理方法10。

根据本发明的一个实施例，本发明还提供一种非瞬时性计算机可读存储介质，其上存储有计算机可读指令，当所述指令被处理器执行时，使得所述处理器执行如上文的任一实施例所介绍的深度检测方法20。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明仅用于帮助理解本申请的方法及其核心思想。同时，本领域技术人员依据本申请的思想，基于本申请的具体实施方式及应用范围上做出的改变或变形之处，都属于本申请保护的范围。综上所述，本说明书内容不应理解为对本申请的限制。

Claims (21)

1.一种用于飞行时间传感器的数据处理装置，其特征在于，包括：

存储模块，配置成存储所述飞行时间传感器获取的第一飞行时间数据；

处理模块，包括机器学习组件，所述处理模块配置成：

通过所述机器学习组件将所述第一飞行时间数据优化为第二飞行时间数据，其中，所述第二飞行时间数据中的噪声信号少于所述第一飞行时间数据中的噪声信号。

2.如权利要求1所述的装置，其中所述第一飞行时间数据包括相位偏置信息及光强信息；所述第二飞行时间数据包括相位偏置信息，或所述第二飞行时间数据为深度数据。

3.如权利要求1或2所述的装置，其中所述机器学习组件基于训练数据对获得模型参数，所述训练数据对包括：

对应同一深度值的至少一组所述飞行时间传感器获取的第一飞行时间训练数据和深度传感器获取的第二飞行时间训练数据，其中，所述第二飞行时间训练数据中的噪声信号少于所述第一飞行时间数据中的噪声信号。

4.如权利要求3所述的装置，其中所述第一飞行时间训练数据包括相位偏置信息及光强信息；所述第二飞行时间训练数据包括相位偏置信息，或所述第二飞行时间训练数据为深度数据。

5.如权利要求4所述的装置，其中所述第二飞行时间训练数据包括相位偏置信息，所述相位偏置信息通过以下方式计算：

将所述深度传感器获得的深度信息变换至所述飞行时间传感器的视角下；

基于变换后的深度信息计算回波信号的相位偏移量；

基于所述回波信号的相位偏移量计算所述相位偏置信息。

6.如权利要求3所述的装置，其中所述飞行时间传感器和所述深度传感器在所述飞行时间传感器的使用场景下同步获取飞行时间训练数据。

7.如权利要求6所述的装置，其中所述深度传感器的角分辨率大于所述飞行时间传感器的角分辨率；和/或

所述深度传感器的最大测量范围大于所述飞行时间传感器的最大测量范围；和/或

所述深度传感器的视场角大于所述飞行时间传感器的视场角。

8.如权利要求1或2所述的装置，进一步包括：

预处理模块，与所述存储模块、所述处理模块分别耦接，配置成对所述第一飞行时间数据执行一种或多种操作，并将执行操作后的第一飞行时间数据输出至所述处理模块，所述一种或多种操作包括：

数据归一化；

数据增广；

过曝点过滤。

9.如权利要求3所述的装置，其中所述飞行时间传感器包括ITOF摄像装置；所述深度传感器包括ITOF摄像装置、DTOF摄像装置、激光雷达、单目散斑结构光传感器、双目结构光传感器中的一种或多种。

10.如权利要求1或2所述的装置，其中所述机器学习组件包括卷积神经网络，所述卷积神经包括U-net架构网络、transformer架构网络中的一种或多种。

11.一种深度检测装置，其特征在于，包括：

飞行时间传感器，包括发射模块和接收模块，其中：

所述发射模块配置成发射出检测信号，用于检测目标物的深度；

所述接收模块配置成接收所述检测信号被目标物反射的回波，并将回波信号转换为第一飞行时间数据；

如权利要求1-10中任一项所述的数据处理装置，与所述接收模块耦接，其中所述处理模块进一步配置成根据所述第二飞行时间数据确定所述目标物的深度值。

12.一种用于飞行时间传感器的数据处理方法，其特征在于，包括：

存储飞行时间传感器获取的第一飞行时间数据；

通过机器学习组件将所述第一飞行时间数据优化为第二飞行时间数据，其中，所述第二飞行时间数据中的噪声信号少于所述第一飞行时间数据中的噪声信号。

13.如权利要求12所述的方法，其中所述第一飞行时间数据包括相位偏置信息及光强信息；所述第二飞行时间数据包括相位偏置信息，或所述第二飞行时间数据为深度数据。

14.如权利要求12或13所述的方法，其中所述机器学习组件基于训练数据对获得模型参数，所述训练数据对包括：

对应同一深度值的至少一组所述飞行时间传感器获取的第一飞行时间训练数据和深度传感器获取的第二飞行时间训练数据，其中，所述第二飞行时间训练数据中的噪声信号少于所述第一飞行时间数据中的噪声信号。

15.如权利要求14所述的方法，其中所述第一飞行时间训练数据包括相位偏置信息及光强信息；所述第二飞行时间训练数据包括相位偏置信息，或所述第二飞行时间训练数据为深度数据。

16.如权利要求15所述的方法，其中所述第二飞行时间训练数据包括相位偏置信息，所述相位偏置信息通过以下方式计算：

将所述深度传感器获得的深度信息变换至所述飞行时间传感器的视角下；

基于变换后的深度信息计算回波信号的相位偏移量；

基于所述回波信号的相位偏移量计算所述相位偏置信息。

17.如权利要求14所述的方法，其中所述飞行时间传感器和所述深度传感器在所述飞行时间传感器的使用场景下同步获取飞行时间训练数据。

18.如权利要求17所述的方法，其中所述深度传感器的角分辨率大于所述飞行时间传感器的角分辨率；和/或

所述深度传感器的最大测量范围大于所述飞行时间传感器的最大测量范围；和/或

所述深度传感器的视场角大于所述飞行时间传感器的视场角。

19.如权利要求12或13所述的方法，进一步包括：

对所述第一飞行时间数据执行一种或多种操作，并将执行操作后的第一飞行时间数据输出至所述机器学习组件，所述一种或多种操作包括：

数据归一化；

数据增广；

过曝点过滤。

20.一种深度检测方法，其特征在于，包括：

发射出检测信号，用于检测目标物的深度；

接收所述检测信号被目标物反射的回波，并将回波信号转换为第一飞行时间数据；

使用如权利要求12-19中任一项所述的数据处理方法，获得第二飞行时间数据；

根据所述第二飞行时间数据确定所述目标物的深度值。

21.一种非瞬时性计算机可读存储介质，其上存储有计算机可读指令，当所述指令被处理器执行时，使得所述处理器执行如权利要求12-20中任一项所述的方法。