CN110310265B - 一种图像噪声检测方法及终端、存储介质 - Google Patents

Abstract

本申请实施例提供了一种图像噪声检测方法及终端、存储介质，该方法包括：当利用深度相机获取到目标对象的深度图时，基于深度图构建目标对象对应的点云数据；对点云数据进行拟合，得到拟合平面；获取拟合平面和点云数据之间的差值集合，并根据差值集合确定深度图的空间噪声分布。

Description

一种图像噪声检测方法及终端、存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像噪声检测方法及终端、存储介质。

背景技术

深度图像是指将从图像采集器到场景中各点的深度作为像素值的图像，深度图像直接反应了目标对象中可见表面的几何形状。在深度图像经过坐标转换可以计算为点云数据，点云数据也可以反算出深度图像数据。在深度数据流所提供的图像帧中，每一个像素点代表在深度相机的视野中，(x，y)坐标处物体到离摄像头平面最近的物体到该平面的距离(以毫米为单位)。在利用深度相机对目标对象进行深度图像测量时，清晰、准确的深度信息是衡量深度相机性能的重要指标，然而在深度相机元器件制造以及组装过程中不可避免地会产生误差，导致获取的深度图像的误差大。

发明内容

本申请实施例提供一种图像噪声检测方法及终端、存储介质，能够降低获取深度图像的误差。

本申请的技术方案是这样实现的：

本申请实施例提供一种图像噪声检测方法，所述方法包括：

当利用深度相机获取到目标对象的深度图时，基于所述深度图构建所述目标对象对应的点云数据；

对所述点云数据进行拟合，得到拟合平面；

获取所述拟合平面和所述点云数据之间的差值集合，并根据所述差值集合确定所述深度图的空间噪声分布。

在上述方法中，所述基于所述深度图构建所述目标对象对应的点云数据，包括：

对所述深度图进行等距采样，获取所述目标对象对应的二维采样点集；

根据所述二维采样点集和所述深度图构建所述点云数据。

在上述方法中，所述对所述点云数据进行拟合，得到拟合平面，包括：

采用奇异值分解法或者随机抽样共识算法，对所述点云数据进行拟合，得到拟合平面。

在上述方法中，所述获取所述拟合平面和所述点云数据之间的差值集合，包括：

分别将所述拟合平面的Z轴值和对应的所述点云数据的Z轴值相减，得到所述差值集合。

在上述方法中，所述根据所述差值集合确定所述深度图的空间噪声分布，包括：

计算所述差值集合的标准差、平均值和最大值中的至少一种；

利用所述标准差、所述平均值和所述最大值中的至少一种确定所述空间噪声分布。

在上述方法中，所述根据所述差值集合确定所述深度图的空间噪声分布之后，所述方法还包括：

当所述标准差、所述平均值和所述最大值中的至少一种大于预设阈值时，输出所述深度图的空间噪声不合格；

当所述标准差、所述平均值和所述最大值中的至少一种小于或者等于预设阈值时，输出所述深度图的空间噪声合格。

在上述方法中，所述基于所述深度图构建所述目标对象对应的点云数据之后，所述对所述点云数据进行拟合，得到拟合平面之前，所述方法还包括：

从所述点云数据中确定深度值不满足预设范围的无效点；

从所述点云数据中剔除所述无效点，得到有效点云数据；

相应的，所述对所述点云数据进行拟合，得到拟合平面，包括：

对所述有效点云数据进行拟合，得到所述拟合平面。

在上述方法中，所述深度相机包括：结构光器件、飞行时间TOF器件和双目器件中的至少一种。

本申请实施例提供一种终端，所述终端包括：

构建单元，用于当利用深度相机获取到目标对象的深度图时，基于所述深度图构建所述目标对象对应的点云数据；

平面拟合单元，用于对所述点云数据进行拟合，得到拟合平面；

确定单元，用于获取所述拟合平面和所述点云数据之间的差值集合，并根据所述差值集合确定所述深度图的空间噪声分布。

在上述终端中，所述终端还包括：采样单元；

所述采样单元，用于对所述深度图进行等距采样，获取所述目标对象对应的二维采样点集；

所述构建单元，具体用于根据所述二维采样点集和所述深度图构建所述点云数据。

在上述终端中，所述平面拟合单元，具体用于采用奇异值分解法或者随机抽样共识算法，对所述点云数据进行拟合，得到拟合平面。

在上述终端中，所述确定单元，还用于分别将所述拟合平面的Z轴值和对应的所述点云数据的Z轴值相减，得到所述差值集合。

在上述终端中，所述终端还包括：计算单元；

所述计算单元，用于计算所述差值集合的标准差、平均值和最大值中的至少一种；

所述确定单元，还用于利用所述标准差、所述平均值和所述最大值中的至少一种确定所述空间噪声分布。

在上述终端中，所述终端还包括：输出单元；

所述输出单元，用于当所述标准差、所述平均值和所述最大值中的至少一种大于预设阈值时，输出所述深度图的空间噪声不合格；当所述标准差、所述平均值和所述最大值中的至少一种小于或者等于预设阈值时，输出所述深度图的空间噪声合格。

在上述终端中，所述终端还包括：剔除单元；

所述确定单元，还用于从所述点云数据中确定深度值不满足预设范围的无效点；

所述剔除单元，用于从所述点云数据中剔除所述无效点，得到有效点云数据；

所述平面拟合单元，还用于对所述有效点云数据进行拟合，得到所述拟合平面。

在上述终端中，所述深度相机包括：结构光器件、飞行时间TOF器件和双目器件中的至少一种。

本申请实施例提供一种终端，所述终端包括：处理器、存储器及通信总线；所述处理器执行存储器存储的运行程序时实现如上述任一项所述的方法。

本申请实施例提供一种存储介质，其上存储有计算机程序，应用于终端，该计算机程序被处理器执行时实现如上述任一项所述的方法。

本申请实施例提供了一种图像噪声检测方法及终端、存储介质，该方法包括：当利用深度相机获取到目标对象的深度图时，基于深度图构建目标对象对应的点云数据；对点云数据进行拟合，得到拟合平面；获取拟合平面和点云数据之间的差值集合，并根据差值集合确定深度图的空间噪声分布。采用上述实现方案，终端基于深度图构建目标对象对应的点云数据，并对点云数据进行拟合，得到拟合平面，之后，终端根据拟合平面和点云数据之间的差值集合确定深度图的空间噪声分布，能够根据深度图的空间噪声分布确定出深度相机的性能参数是否符合标准，进而降低了获取深度图像的误差。

附图说明

图1为本申请实施例提供的一种图像噪声检测方法的流程图一；

图2为本申请实施例提供的一种示例性的结构光的工作原理示意图；

图3为本申请实施例提供的一种示例性的双目相机的工作原理示意图；

图4为本申请实施例提供的一种示例性的结构光设备向测试平板发送结构光的示意图；

图5为本申请实施例提供的一种图像噪声检测方法的流程图二；

图6为本申请实施例提供的一种终端的结构示意图一；

图7为本申请实施例提供的一种终端的结构示意图二。

具体实施方式

应当理解，此处描述的具体实施例仅仅用以解释本申请。并不用于限定本申请。

实施例一

本申请实施例提供一种图像噪声检测方法，如图1所示，该方法可以包括：

S101、当利用深度相机获取到目标对象的深度图时，基于深度图构建目标对象对应的点云数据。

本申请实施例提供的一种图像噪声检测方法适用于对深度相机拍摄的深度图进行噪声检测的场景下。

本申请实施例中，终端利用深度相机拍摄目标对象，并利用深度相机获取目标对象的深度图，之后，终端基于深度图构建目标对象对应的点云数据。

本申请实施例中，深度相机可以包括结构光器件、飞行时间TOF器件和双目器件中的至少一种，具体的根据实际情况进行选择，本申请实施例不做具体的限定，本申请以结构光器件为例进行说明，在申请实施例中，结构光器件可以用于后置相机，能够提升发射端功率、点数以及改变准直及IP模组的调焦距离和焦距。

结构光的工作原理为如图2所示，近红外激光器投射红外散斑场到物体表面后，由近红外摄像头采集黑白pattern，并送入特殊应用集成电路(ASIC，Application SpecificIntegrated Circuit)芯片中根据物体造成的光信号的变化来计算物体的位置和深度等信息，进而复原整个三维空间。

双目摄像头获取深度图的示意图如图3所示，双目摄像头的左摄和右摄分别拍摄同一幅图像，得到左图像和右图像，之后，根据左图像和右图像计算出目标对象对应的深度图。

本申请实施例中，终端基于深度图构建目标对象对应的点云数据的具体过程为：终端对深度图进行等距采样，以获取目标对象对应的二维采样点集；之后，终端根据二维采样点集和深度图构建点云数据。

本申请实施例中，等距采样法一般采用2×2或者4×4进行采样，具体的根据实际情况进行选择，本申请实施例不做具体的限定。

示例性的，二维采样点的坐标集形式为(x0-xn，y0-yn)。

本申请实施例中，目标对象可以为测试平板，如图4所示，结构光设备向测试平板发送结构光，得到测试平板的深度图信息。

本申请实施例中，点云数据的形式为(坐标集+z轴数值)(深度值))，点云数据为三维数据。

S102、对点云数据进行拟合，得到拟合平面。

当终端获取到目标对象的深度图，并基于深度图构建出目标对象对应的点云数据之后，终端对点云数据进行拟合，得到拟合平面。

本申请实施例中，终端采用奇异值分解法或者随机抽样共识算法，对点云数据进行拟合，得到拟合平面，具体的拟合算法根据实际情况进行选择，本申请实施例不做具体的限定。

利用随机抽样共识算法得到拟合平面的过程包括：

1、从给定的点云数据中随机挑选几组数据获取一个拟合方程(最好可以保证随机挑选的数据不重复)；

2、将这个拟合方程作用于所有的点云数据，并根据阈值区分出模型的内点和外点信息；

3、重复多次上述操作，挑选出其中包含内点数目最多的模型作为拟合平面。

进一步地，终端对点云数据进行拟合，得到拟合平面之前，终端先从点云数据中确定深度值不满足预设范围的无效点；从点云数据中剔除无效点，得到有效点云数据；之后，终端对有效点云数据进行拟合，得到拟合平面。

本申请实施例中，无效点指的是深度信息不可信的点或者区域，该点一般表现为深度值为0、或者为极大值，终端获取结构光器件的测距范围，并将测距范围作为预设范围，结构光器件的测距范围一般是由结构光计算方法决定的，当点云数据中的深度值不满足结构光器件的测距范围时，判断出该点为无效点，此时，终端从点云数据中剔除该点。

示例性的，结构光器件测距范围为0-5m，那么远大于5m这个上限值的点为无效点，例如32001。

本申请实施例中，终端移除无效点的过程就是把该无效点的坐标(x，y)从二维采样点集合中去掉，该无效点不参与计算点云数据和拟合平面。

S103、获取拟合平面和点云数据之间的差值集合，并根据差值集合确定深度图的空间噪声分布。

当终端对点云数据进行拟合，得到拟合平面之后，终端获取拟合平面和点云数据之间的差值集合，并根据差值集合确定深度图的空间噪声分布。

本申请实施例中，终端分别获取拟合平面的Z轴值和点云数据的Z轴值，之后，终端分别将拟合平面的Z轴值和对应的点云数据的Z轴值相减，得到拟合平面和点云数据之间的差值集合。

本申请实施例中，终端计算差值集合的标准差、平均值和最大值中的至少一种；并利用标准差、平均值和最大值中的至少一种确定空间噪声分布。

本申请实施例中，终端为差值集合的标准差、平均值和最大值分别设置一个预设阈值，当终端计算出差值集合的标准差、平均值和最大值中的至少一种之后，终端将差值集合的标准差、平均值和最大值中的至少一种分别与对应的预设阈值进行比较；当终端判断出标准差、平均值和最大值中的至少一种大于预设阈值时，输出深度图的空间噪声不合格；当终端判断出标准差、平均值和最大值中的至少一种小于或者等于预设阈值时，输出深度图的空间噪声不合格。

本申请实施例中，终端通过判断深度图的空间噪声是否合格来判断深度相机的内部参数合格与否，当终端判断出深度图的空间噪声不合格时，表征深度相机的内部参数不合格；当终端判断出深度图的空间噪声合格时，表征深度相机的内部参数合格。

可以理解的是，终端基于深度图构建目标对象对应的点云数据，并对点云数据进行拟合，得到拟合平面，之后，终端根据拟合平面和点云数据之间的差值集合确定深度图的空间噪声分布，能够根据深度图的空间噪声分布确定出深度相机的性能参数是否符合标准，进而降低了获取深度图像的误差。

实施例二

本申请实施例提供一种图像噪声检测方法，如图5所示，该方法可以包括：

S201、当终端利用深度相机获取到目标对象的深度图时，终端对深度图进行等距采样，获取目标对象对应的二维采样点集。

本申请实施例提供的一种图像噪声检测方法适用于对深度相机拍摄的深度图进行噪声检测的场景下。

S202、终端根据二维采样点集和深度图构建点云数据。

当终端对深度图进行等距采样，获取到目标对象对应的二维采样点集之后，终端根据二维采样点集和深度图构建点云数据。

S203、终端从点云数据中确定深度值不满足预设范围的无效点。

当终端根据二维采样点集和深度图构建出点云数据之后，终端从点云数据中确定深度值不满足预设范围的无效点。

S204、终端从点云数据中剔除无效点，得到有效点云数据。

当终端从点云数据中确定深度值不满足预设范围的无效点之后，终端从点云数据中剔除无效点，得到有效点云数据。

S205、终端采用奇异值分解法或者随机抽样共识算法，对有效点云数据进行拟合，得到拟合平面。

当终端从点云数据中剔除无效点，得到有效点云数据之后，终端采用奇异值分解法或者随机抽样共识算法，对有效点云数据进行拟合，得到拟合平面。

S206、终端分别将拟合平面的Z轴值和对应的点云数据的Z轴值相减，得到差值集合。

当终端采用奇异值分解法或者随机抽样共识算法，对有效点云数据进行拟合，得到拟合平面之后，终端分别将拟合平面的Z轴值和对应的点云数据的Z轴值相减，得到差值集合。

S207、终端计算差值集合的标准差、平均值和最大值中的至少一种。

当终端分别将拟合平面的Z轴值和对应的点云数据的Z轴值相减，得到差值集合，终端计算差值集合的标准差、平均值和最大值中的至少一种。

S208、终端利用标准差、平均值和最大值中的至少一种确定空间噪声分布。

当终端计算差值集合的标准差、平均值和最大值中的至少一种之后，终端利用标准差、平均值和最大值中的至少一种确定空间噪声分布。

S209、当终端判断出标准差、平均值和最大值中的至少一种大于预设阈值时，终端输出深度图的空间噪声不合格。

当终端利用标准差、平均值和最大值中的至少一种确定空间噪声分布之后，终端将标准差、平均值和最大值中的至少一种与对应的预设阈值进行比较，当终端判断出标准差、平均值和最大值中的至少一种大于预设阈值时，终端输出深度图的空间噪声不合格。

S210、当终端判断出标准差、平均值和最大值中的至少一种小于或者等于预设阈值时，终端输出深度图的空间噪声合格。

当终端利用标准差、平均值和最大值中的至少一种确定空间噪声分布之后，终端将标准差、平均值和最大值中的至少一种与对应的预设阈值进行比较，当终端判断出标准差、平均值和最大值中的至少一种小于或者等于预设阈值时，终端输出深度图的空间噪声合格。

需要说明的是，S209和S210为S208之后的两个并列的步骤，具体的根据实际情况执行，本申请实施例不限定其具体的执行顺序。

可以理解的是，终端基于深度图构建目标对象对应的点云数据，并对点云数据进行拟合，得到拟合平面，之后，终端根据拟合平面和点云数据之间的差值集合确定深度图的空间噪声分布，能够根据深度图的空间噪声分布确定出深度相机的性能参数是否符合标准，进而降低了获取深度图像的误差。

实施例三

本申请实施例提供一种终端1，如图6所示，该终端1可以包括：

构建单元10，用于当利用深度相机获取到目标对象的深度图时，基于所述深度图构建所述目标对象对应的点云数据；

平面拟合单元11，用于对所述点云数据进行拟合，得到拟合平面；

确定单元12，用于获取所述拟合平面和所述点云数据之间的差值集合，并根据所述差值集合确定所述深度图的空间噪声分布。

可选的，所述终端还包括：采样单元13；

所述采样单元13，用于对所述深度图进行等距采样，获取所述目标对象对应的二维采样点集；

所述构建单元10，具体用于根据所述二维采样点集和所述深度图构建所述点云数据。

可选的，所述平面拟合单元11，具体用于采用奇异值分解法或者随机抽样共识算法，对所述点云数据进行拟合，得到拟合平面。

可选的，所述确定单元12，还用于分别将所述拟合平面的Z轴值和对应的所述点云数据的Z轴值相减，得到所述差值集合。

可选的，所述终端还包括：计算单元14；

所述计算单元14，用于计算所述差值集合的标准差、平均值和最大值中的至少一种；

所述确定单元12，还用于利用所述标准差、所述平均值和所述最大值中的至少一种确定所述空间噪声分布。

可选的，所述终端还包括：输出单元15；

所述输出单元15，用于当所述标准差、所述平均值和所述最大值中的至少一种大于预设阈值时，输出所述深度图的空间噪声不合格；当所述标准差、所述平均值和所述最大值中的至少一种小于或者等于预设阈值时，输出所述深度图的空间噪声合格。

可选的，所述终端还包括：剔除单元16；

所述确定单元12，还用于从所述点云数据中确定深度值不满足预设范围的无效点；

所述剔除单元16，用于从所述点云数据中剔除所述无效点，得到有效点云数据；

所述平面拟合单元11，还用于对所述有效点云数据进行拟合，得到所述拟合平面。

可选的，所述深度相机包括：结构光器件、飞行时间TOF器件和双目器件中的至少一种。

本申请实施例提供的一种终端，当利用深度相机获取到目标对象的深度图时，基于深度图构建目标对象对应的点云数据；对点云数据进行拟合，得到拟合平面；获取拟合平面和点云数据之间的差值集合，并根据差值集合确定深度图的空间噪声分布。由此可见，本实施例提出的终端，终端基于深度图构建目标对象对应的点云数据，并对点云数据进行拟合，得到拟合平面，之后，终端根据拟合平面和点云数据之间的差值集合确定深度图的空间噪声分布，能够根据深度图的空间噪声分布确定出深度相机的性能参数是否符合标准，进而降低了获取深度图像的误差。

图7为本申请实施例提供的一种终端1的组成结构示意图二，在实际应用中，基于上述实施例的同一公开构思下，如图7所示，本实施例的终端1包括：处理器17、存储器18及通信总线19。

在具体的实施例的过程中，上述构建单元10、平面拟合单元11、确定单元12、采样单元13、计算单元14、输出单元15和剔除单元16可由位于终端1上的处理器17实现，上述处理器17可以为特定用途集成电路(ASIC，Application Specific Integrated Circuit)、数字信号处理器(DSP，Digital Signal Processor)、数字信号处理装置(DSPD，DigitalSignal Processing Device)、可编程逻辑装置(PLD，Programmable Logic Device)、现场可编程门阵列(FPGA，Field Programmable Gate Array)、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本实施例不作具体限定。

在本申请实施例中，上述通信总线19用于实现处理器17和存储器18之间的连接通信；上述处理器17执行存储器18中存储的运行程序时实现如实施例一所述的图像噪声检测方法。

本申请实施例提供一种存储介质，其上存储有计算机程序，上述计算机可读存储介质存储有一个或者多个程序，上述一个或者多个程序可被一个或者多个处理器执行，应用于终端中，该计算机程序实现如实施例一所述的图像噪声检测方法。

以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。

Claims (14)

1.一种图像噪声检测方法，其特征在于，所述方法包括：

当利用深度相机获取到目标对象的深度图时，基于所述深度图构建所述目标对象对应的点云数据；

对所述点云数据进行拟合，得到拟合平面；

获取所述拟合平面和所述点云数据之间的差值集合，并根据所述差值集合确定所述深度图的空间噪声分布；

根据所述空间噪声分布确定所述深度相机的性能参数是否符合标准；

其中，所述基于所述深度图构建所述目标对象对应的点云数据，包括：

对所述深度图进行等距采样，获取所述目标对象对应的二维采样点集；

根据所述二维采样点集和所述深度图构建所述点云数据；

其中，所述根据所述差值集合确定所述深度图的空间噪声分布，包括：

计算所述差值集合的标准差、平均值和最大值中的至少一种；

利用所述标准差、所述平均值和所述最大值中的至少一种确定所述空间噪声分布。

2.根据权利要求1所述的方法，其特征在于，所述对所述点云数据进行拟合，得到拟合平面，包括：

采用奇异值分解法或者随机抽样共识算法，对所述点云数据进行拟合，得到拟合平面。

3.根据权利要求1所述的方法，其特征在于，所述获取所述拟合平面和所述点云数据之间的差值集合，包括：

分别将所述拟合平面的Z轴值和对应的所述点云数据的Z轴值相减，得到所述差值集合。

4.根据权利要求1所述的方法，其特征在于，所述根据所述差值集合确定所述深度图的空间噪声分布之后，所述方法还包括：

当所述标准差、所述平均值和所述最大值中的至少一种大于预设阈值时，输出所述深度图的空间噪声不合格；

当所述标准差、所述平均值和所述最大值中的至少一种小于或者等于预设阈值时，输出所述深度图的空间噪声合格。

5.根据权利要求1所述的方法，其特征在于，所述基于所述深度图构建所述目标对象对应的点云数据之后，所述对所述点云数据进行拟合，得到拟合平面之前，所述方法还包括：

从所述点云数据中确定深度值不满足预设范围的无效点；

从所述点云数据中剔除所述无效点，得到有效点云数据；

相应的，所述对所述点云数据进行拟合，得到拟合平面，包括：

对所述有效点云数据进行拟合，得到所述拟合平面。

6.根据权利要求1所述的方法，其特征在于，所述深度相机包括：结构光器件、飞行时间TOF器件和双目器件中的至少一种。

7.一种终端，其特征在于，所述终端包括：

构建单元，用于当利用深度相机获取到目标对象的深度图时，基于所述深度图构建所述目标对象对应的点云数据；

平面拟合单元，用于对所述点云数据进行拟合，得到拟合平面；

确定单元，用于获取所述拟合平面和所述点云数据之间的差值集合，并根据所述差值集合确定所述深度图的空间噪声分布；根据所述空间噪声分布确定所述深度相机的性能参数是否符合标准；

其中，所述终端还包括：采样单元；

所述采样单元，用于对所述深度图进行等距采样，获取所述目标对象对应的二维采样点集；

所述构建单元，具体用于根据所述二维采样点集和所述深度图构建所述点云数据；

其中，所述终端还包括：计算单元；

所述计算单元，用于计算所述差值集合的标准差、平均值和最大值中的至少一种；

所述确定单元，还用于利用所述标准差、所述平均值和所述最大值中的至少一种确定所述空间噪声分布。

8.根据权利要求7所述的终端，其特征在于，

所述平面拟合单元，具体用于采用奇异值分解法或者随机抽样共识算法，对所述点云数据进行拟合，得到拟合平面。

9.根据权利要求8所述的终端，其特征在于，

所述确定单元，还用于分别将所述拟合平面的Z轴值和对应的所述点云数据的Z轴值相减，得到所述差值集合。

10.根据权利要求7所述的终端，其特征在于，所述终端还包括：输出单元；

所述输出单元，用于当所述标准差、所述平均值和所述最大值中的至少一种大于预设阈值时，输出所述深度图的空间噪声不合格；当所述标准差、所述平均值和所述最大值中的至少一种小于或者等于预设阈值时，输出所述深度图的空间噪声合格。

11.根据权利要求7所述的终端，其特征在于，所述终端还包括：剔除单元；

所述确定单元，还用于从所述点云数据中确定深度值不满足预设范围的无效点；

所述剔除单元，用于从所述点云数据中剔除所述无效点，得到有效点云数据；

所述平面拟合单元，还用于对所述有效点云数据进行拟合，得到所述拟合平面。

12.根据权利要求7所述的终端，其特征在于，所述深度相机包括：结构光器件、飞行时间TOF器件和双目器件中的至少一种。

13.一种终端，其特征在于，所述终端包括：处理器、存储器及通信总线；所述处理器执行存储器存储的运行程序时实现如权利要求1-6任一项所述的方法。

14.一种存储介质，其上存储有计算机程序，应用于终端，其特征在于，该计算机程序被处理器执行时实现如权利要求1-6任一项所述的方法。

Images