CN111025330B

CN111025330B - 一种基于深度图的目标倾斜角检测方法及设备

Info

Publication number: CN111025330B
Application number: CN201911295839.1A
Authority: CN
Inventors: 刘龙
Original assignee: Orbbec Inc
Current assignee: Orbbec Inc
Priority date: 2019-12-16
Filing date: 2019-12-16
Publication date: 2022-04-26
Anticipated expiration: 2039-12-16
Also published as: CN111025330A

Abstract

本发明公开了一种基于深度图的目标倾斜角检测方法，包括如下步骤：步骤S1、利用3D信息采集单元获取待测目标的3D信息；步骤S2、获取3D信息采集单元的重力加速度信息；步骤S3、根据步骤S1中获得的待测目标的3D信息以及步骤S2中获得的3D信息采集单元的重力加速度信息，计算待测目标的倾斜角度。本发明基于深度图的目标倾斜角检测方法利用3D信息采集单元获取待测目标的3D信息；通过IMU单元获取3D信息采集单元的重力加速度信息；根据获得的待测目标的3D信息以及3D信息采集单元的重力加速度信息，计算待测目标的倾斜角度，从而可以得到物体准确的三维信息，以明确物体的空间位姿。

Description

一种基于深度图的目标倾斜角检测方法及设备

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于深度图的目标倾斜角检测方法及设备。

背景技术

深度相机可以获取目标的深度信息生成目标物体的深度图，由此实现3D扫描、场景建模、手势交互等功能，随着人工智能技术的快速发展，其已逐步应用在各行各业中。目前，深度相机根据工作原理可以分为：TOF(Time of Flight)深度相机、基于双目视觉的深度相机、结构光深度相机。深度相机在进行物体扫描获取深度图时，得到物体的二维像素信息，经过坐标变换可以得到物体的三维坐标信息；然而，当物体相对于地面是倾斜放置时，深度相机无法得到物体相对地面的倾斜角度，从而导致经深度图还原的物体三维信息不够准确，根据该三维信息难以明确物体的空间位姿。

以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

本发明的目的在于提供一种基于深度图的目标倾斜角检测方法及设备，以解决上述背景技术问题中的至少一种。

为达到上述目的，本发明实施例的技术方案是这样实现的：

一种基于深度图的目标倾斜角检测方法，包括如下步骤：

步骤S1、利用3D信息采集单元获取待测目标的3D信息；

通过3D信息采集单元获取待测目标的深度图，并经过相应的处理后将深度图中提取的信息变换为待测目标的3D信息；

步骤S2、获取3D信息采集单元的重力加速度信息；

通过IMU单元获取3D信息采集单元的重力加速度信息，其中,IMU单元和3D信息采集单元安装于同一个平台上，或者将IMU单元固定设置在3D信息采集单元上；

步骤S3、根据步骤S1中获得的待测目标的3D信息以及步骤S2中获得的3D信息采集单元的重力加速度信息，计算待测目标的倾斜角度。

在一些实施例中，所述步骤S1包括：

S11、采集待测目标所在区域的深度图；

S12、对深度图进行预处理，获取待测目标的深度信息；

S13、根据待测目标的深度信息计算待测目标的3D信息。

在一些实施例中，在步骤S13中，建立相机坐标系以及在采集到的深度图中建立图像坐标系和像素坐标系，根据相机坐标系到图像坐标系的转换关系以及图像坐标系到像素坐标系的转换关系，计算得到相机坐标系到像素坐标系的转换关系式如下：

其中，μ,ν为深度图中的单个像素点的像素坐标，其对应的深度值为Z，而X,Y,Z为单个像素点在相机坐标系下的空间坐标，即为3D信息，Δx和Δy是单个像素点在水平方向和垂直方向的大小，f_x和f_y是焦距f分别在水平方向和垂直方向上的大小；根据待测目标的深度信息，通过上述转换关系式计算即可得到待测目标的3D信息。

在一些实施例中，所述步骤S2包括：

S21、预先标定IMU单元和3D信息采集单元的相对位姿；

S22、获取IMU单元测试的数据信息；

IMU单元包括有三轴加速度计和三轴陀螺仪，结合加速度计和陀螺仪测量数据得到3D信息采集单元的三维姿态角信息以及线加速度；

S23、根据IMU单元的数据信息获取3D信息采集单元的重力加速度信息。

在一些实施例中，步骤S3中，利用3D信息计算待测目标的三维姿态信息，同时根据IMU单元计算得到3D信息采集单元的重力加速度信息，利用待测目标的三维姿态信息以及所述重力加速度信息计算待测目标相对地面的倾斜角度。

在一些实施例中，步骤S3包括：求取待测平面的法向量，以重力加速度作为地面的法向量，根据待测平面的法向量和地面的法向量，求两个平面之间夹角的余弦值，根据余弦值即可以计算出待测平面相对地面的倾斜角度。

本发明另一技术方案为：

一种基于深度图的目标倾斜角检测设备，包括3D信息采集单元、IMU单元以及处理单元；其中，3D信息采集单元用于获取待测目标的深度图；IMU单元用于获取3D信息采集单元的重力加速度信息，其中IMU单元和3D信息采集单元安装于同一个平台上，或者将IMU单元固定设置在3D信息采集单元上；处理单元，用于对3D信息采集单元采集到的深度图进行处理，以获取待测目标的3D信息，并根据3D信息以及重力加速度信息计算待测目标的倾斜角度。

在一些实施例中，处理单元还用于在采集到的深度图中建立图像坐标系和像素坐标系，根据相机坐标系到图像坐标系的转换关系以及图像坐标系到像素坐标系的转换关系，计算得到相机坐标系到像素坐标系的转换关系式如下：

在一些实施例中，IMU单元包括有三轴加速度计和三轴陀螺仪；其中，加速度计用于获取IMU单元的加速度信息，陀螺仪用于获取IMU单元在三个轴上的转动角速度变化率，经过积分得到姿态角信息。

本发明又一技术方案为：

一种终端电子设备，包括：壳体、屏幕、以及前述技术方案所述的基于深度图的目标倾斜角检测设备；其中，倾斜角检测设备的3D信息采集单元设置于终端电子设备的第一平面上，用于获取深度图信息；屏幕安装在电子设备的第二平面上，用于显示图像信息；第一平面与第二平面为同一平面或第一平面与第二平面为相对立的平面。

本发明技术方案的有益效果是：

本发明基于深度图的目标倾斜角检测方法利用3D信息采集单元获取待测目标的3D信息；通过IMU单元获取3D信息采集单元的重力加速度信息；根据所获得的待测目标的3D信息以及3D信息采集单元的重力加速度信息，计算待测目标的倾斜角度，从而可以得到物体准确的三维信息，以明确物体的空间位姿。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明一个实施例基于深度图的目标倾斜角检测方法的流程图示。

图2a、图2b是根据本发明一个实施例基于深度图的目标倾斜角检测方法构建坐标系的示意图。

图3是根据本发明一个实施例基于深度图的目标倾斜角检测设备的示意图。

图4是根据本发明一个实施例包括有图3所示设备的终端电子设备的示意图。

具体实施方式

为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接即可以是用于固定作用也可以是用于电路连通作用。

需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

图1所示为本发明一个实施例基于深度图的目标倾斜角检测方法的流程图示，所述检测方法包括如下步骤：

步骤S1、利用3D信息采集单元获取待测目标的3D信息；

通过3D信息采集单元获取待测目标的深度图，并经过相应的处理后将深度图中提取的信息变换为待测目标的3D信息。具体的，包括如下步骤：

S11、采集待测目标所在区域的深度图；

具体的，利用3D信息采集单元采集待测目标所在区域的深度图。其中，3D信息采集单元可以是深度相机或者其它可获取目标物体深度图的设备，而深度相机可包括TOF深度相机、基于双目视觉的深度相机、结构光深度相机等，在本发明中不做特别限制。在一个实施例中，3D信息采集单元为结构光深度相机，结构光深度相机包括有发射单元、接收单元以及处理单元；通过发射单元向目标所在区域发射经编码的结构光图案光束，接收单元接收到从目标所在区域反射回的结构光图案，输入到处理单元处理得到待测目标所在区域的深度图。

需要说明的是，深度图反映的是像素的二维矩阵，每个像素与其在场景中的位置具有一一对应关系，每个像素的值指示的是其在场景中的位置与参考位置之间的距离，即为深度。但是在实际应用中，并非深度图中所有的像素都包含有效的信息，当待测目标所在的位置不在深度相机采集的距离范围内时，则深度相机采集到的像素就包含有预定的零值，说明这些像素不包含深度信息。因此，在一些实施例中，需要对深度图进行预处理。

S12、对深度图进行预处理，获取待测目标的深度信息；

利用3D信息采集单元采集到的待测目标所在区域的深度图中，通常包括有背景信息以及其他的干扰信息，因此，需要对深度图进行处理操作，以去除背景以及干扰信息，将待测目标的深度信息提取出来，得到待测目标的深度信息，即深度值。

在一个实施例中，以结构光深度相机为例来进行说明，结构光深度相机的处理单元接收到结构光图案后，首先进行预处理，预处理一般包括用于去除深度图中粗大误差点和随机误差点的去噪、优化等，以及对图像对比度、亮度等进行处理；然后，基于图像匹配结果以及结构光三角法原理计算出待测目标的深度信息。在一些实施例中，图像匹配算法可以是平均绝对差算法、误差平方和算法等。在一些实施例中，预处理还包括去除背景的处理，将所采集的深度图中属于背景的各像素的深度置零，具体的去除背景的方法在本发明中不做限制。

S13、根据待测目标的深度信息计算待测目标的3D信息；

具体的，建立相机坐标系以及在采集到的深度图中建立图像坐标系和像素坐标系。结合图2a所示，其中，相机坐标系以深度相机光心O_c为坐标原点，光轴方向为Z_c轴，X_c轴和Y_c轴组成的面为深度相机的平面，且X_c轴和Y_c轴相互垂直。

深度相机的成像平面平行于XOY平面，且距离相机坐标系原点O_c的距离等于相机的焦距f，成像平面与光轴的交点为中心点o，将点o作为图像坐标系的坐标原点建立图像坐标系，点o的坐标为(μ₀，ν₀)，水平方向为x轴，与相机坐标系的X_c轴平行，垂直方向为y轴，与相机坐标系的Y_c轴平行。

像素坐标系以图像左上角的顶点为原点，水平方向为μ轴，与图像坐标系中的x轴平行，垂直方向为ν轴，与图像坐标系中的y轴平行。根据投影几何原理，以深度图中像素坐标为(μ，ν)的点P为例，说明如何计算该点在相机坐标系下P的空间坐标(X,Y,Z)。

从相机坐标系到图像坐标系的转换是从三维到二维，属于透视投影关系，其满足如下关系：

而从图像坐标系到像素坐标系之间的转换，其满足如下关系：

根据关系式(1)、(2)，可得到点P从相机坐标系到像素坐标系的转换关系：

根据以上变换关系式(3)可知，在待测目标的深度图中获取任意一点p，点p的像素坐标为(μ，ν)，其对应的深度值为Z，则根据公式(3)可求得点P在相机坐标系下的空间坐标(X,Y,Z)，即为点P的3D信息。其中，Δx和Δy是单个像素点在水平方向和垂直方向的大小，f_x和f_y是焦距f分别在水平方向和垂直方向上的大小。根据待测目标的深度信息，通过上述变换关系计算即可得到待测目标的3D信息。

本领域技术人员可以理解的是，上述f、μ₀、ν₀、Δx、Δy均属于深度相机的内参，可以由深度相机的内部结构具体设定，在一些实施例中，可采用张正友标定方法对深度相机进行标定获得。

步骤S2、获取3D信息采集单元的重力加速度信息；

通过IMU单元(Inertial measurement unit,惯性测量单元,简称：IMU单元)获取3D信息采集单元的重力加速度信息；其中,IMU单元和3D信息采集单元安装于同一个平台上，或者IMU单元固定设置在3D信息采集单元上。在一个实施例中，IMU单元包括一个三轴加速度计和一个三轴陀螺仪，结合加速度计和陀螺仪测量数据得到3D信息采集单元的三维姿态角信息。其中,步骤S2具体包括：

S21、预先标定IMU单元和3D信息采集单元的相对位姿；

IMU单元水平放置时，中心点L为坐标原点，垂直地面且向上的方向为Z轴正方向，与深度相机光轴平行的方向为Y轴，XOY平面与地面平行，具体参照图2b所示，以3D信息采集单元为深度相机作为例子进行说明。

对深度相机10进行标定，获取深度相机10的内部参数和外部参数。已知相机坐标系坐标与IMU坐标系坐标之间满足如下变换关系：

Tc＝RT_I+S (4)

其中，T_c为深度相机坐标系，T_I为IMU坐标系，而R和S分别为相机坐标系和IMU坐标系之间的旋转关系矩阵与平移关系矩阵。在一个实施例中，可通过采集不同姿态下IMU的数据以及深度相机的外部参数，结合最小二乘法求解出R和S。

S22、获取IMU单元测试的数据信息；

IMU单元的三轴加速度计输出三个轴的数据a_x，a_y，a_z，三个轴的数据即为加速度

在三个轴上的投影，其中

可为重力加速度或IMU单元外部加速度与重力加速度的和，则：

在一个实施例中，若IMU单元与3D信息采集单元相对地面水平静止放置或保持匀速运动，三轴加速度计在X方向和Y方向上的加速度分量为零，在Z轴上得到加速度矢量为

此时测得的加速度即为3D信息采集单元的重力矢量。

在一个实施例中，若IMU单元与3D信息采集单元相对地面倾斜静止放置或匀速运动时，三轴加速度计输出三个轴的数据g_x，g_y，g_z，此时的重力加速度即为：

根据加速度计的数据可以得到此时IMU单元和3D信息采集单元的倾斜角度，即与z轴的夹角Azr满足：

同理，还可以求得与x轴和y轴的夹角Axr、Ayr，其中Axr、Ayr分别满足：

在一个实施例中，若IMU单元与3D信息采集单元共同移动，在测量过程中，三轴加速度计输出的三个轴的数据不仅包含重力加速度的分量还包括移动产生的线加速度的分量，即测得的加速度

为重力加速度

和移动产生的线加速度

的和，记为：

此时加速度计无法准确区分3D信息采集单元的重力矢量，可采用低通滤波算法求出重力加速度信息，但由于加速度计实时测量时存在误差，因此需要利用陀螺仪短时测量的稳定性修正误差。利用三轴加速度计在静止状态下的重力加速度值作为初始值，结合三轴陀螺仪的测量值修正误差计算得到3D信息采集单元的重力矢量

在一些实施例中，用于修正的算法包括卡尔曼滤波器、互补滤波器、基于欧拉角的卡尔曼滤波器、乘法扩展卡尔曼滤波器等。

另一方面，还可以结合陀螺仪和加速度计计算出3D信息采集单元的三维姿态角信息以及当前的线加速度。三轴陀螺仪可用于测量IMU单元在三个轴上的转动角速度变化率，分别记为w_x，w_y，w_z，通过积分得到姿态角信息，从而可以不受到线加速度或线运动的影响。但是由于在采用角速度计算角度时需要引入积分过程，不可避免的会因零偏和噪声的存在而导致角度漂移，而且陀螺仪也无法直接测量水平面，因此通过结合加速度计和陀螺仪的测量即可求得此时的重力加速度，进一步还可以求得3D信息采集单元的三维姿态角信息以及线加速度。

S23、根据IMU单元的数据信息获取3D信息采集单元的重力加速度信息；

具体的，根据预先标定的关系以及IMU单元测得的加速度信息与角速度信息计算3D信息采集单元的重力加速度信息。

步骤S3、根据待测目标在相机坐标系下的3D信息以及重力加速度信息计算待测目标的倾斜角度。

具体的，根据待测目标深度图上获取的信息计算待测目标在相机坐标系下的3D信息，具体计算过程如步骤S13所示，进一步的利用3D信息计算待测目标的三维姿态信息。根据IMU单元计算得到3D信息采集单元的重力加速度矢量

利用待测目标的三维姿态信息以及重力加速度信息计算待测目标相对地面的倾斜角度。

在一个实施例中，假设待测目标为一个相对地面倾斜放置的平面，记为待测平面，待测平面相对地面的倾斜角为θ，根据3D信息计算的待测目标的三维姿态信息包括有待测平面的平面法向量，根据平面法向量和重力加速度信息可以求出倾斜角度。具体的计算步骤如下：

S31、根据3D信息采集单元获取的待测目标的深度图，根据至少3点可确定一个平面的原理，从深度图中提取至少任意三个像素点的坐标信息，即p₁(μ₁,ν₁)，p₂(μ₂,ν₂)，p₃(μ₃,ν₃)，根据坐标变换矩阵，求解出对应三点P₁(x₁,y₁,z₁)，P₂(x₂,y₂,z₂)和P₃(x₃,y₃,z₃)在相机坐标系下的空间坐标。

S32、根据待测平面上三点P₁(x₁,y₁,z₁)，P₂(x₂,y₂,z₂)，P₃(x₃,y₃,z₃)的三维姿态信息，分别计算两对点[P₁，P₂]和[P₁，P₃]的矢量，根据两个矢量可以求得待测平面的法向量，计算公式如下：

S33、求得待测平面的法向量，而重力加速度即为地面的法向量，根据数学公式可求得两个平面(待测平面与地面)之间夹角的余弦值：

根据余弦值即可以计算出待测平面相对地面的倾斜角度。

需要说明的是，以上所述的根据法向量求解倾斜角的方法只为一具体实例性用来说明本发明的设计思路，在一些其他的实施例中，还可用其他的计算方法求解待测平面的倾斜角度，凡是属于本发明设计思路的其他计算方法都属于本发明的保护范围。

本发明另一实施例为一种基于深度图的目标倾斜角检测设备，图3所示为本发明一个实施例基于深度图的目标倾斜角检测设备的示意图。设备包括3D信息采集单元10、IMU单元12以及处理单元14。其中，3D信息采集单元10用于获取待测目标16的深度图，IMU单元12用于获取3D信息采集单元的重力加速度信息。

其中，3D信息采集单元10与IMU单元12集成设置在同一个平台上或将IMU单元12固定在3D信息采集单元10上，保证设备在移动过程中3D信息采集单元和IMU单元保持相对静止的状态。处理单元14内部包含处理器和存储器，用于对3D信息采集单元10采集到的深度图进行一系列的处理以获取待测目标的3D信息，并根据所述3D信息以及重力加速度信息计算待测目标16与地面18之间的夹角θ。

3D信息采集单元10用于获取待测目标的深度图。在一些实施例中，3D信息采集单元包括有深度相机或其他可获取深度信息的设备；具体的，深度相机可以是基于双目视觉的深度相机、TOF(Time of Flight)深度相机、结构光深度相机等，在本发明中，不限制具体是哪一种深度相机，无论何种形式均可用在本发明的实施例中。以结构光深度相机为例进行说明，结构光深度相机包括有发射单元、接收单元以及处理单元；通过发射单元向目标所在区域发射经编码的结构光图案光束，接收单元接收到经目标所在区域反射回的结构光图案，输入到处理单元处理得到待测目标所在区域的深度图，在一些实施例中，深度相机的处理单元可以与检测设备的处理单元14共用。

在深度相机内建立相机坐标系以及在采集到的深度图中建立图像坐标系和像素坐标系。深度图中每个像素的值代表对应空间点离深度相机的距离，即为相机坐标系中的Z值，X和Y值由每个像素点在像素坐标系中的坐标和深度相机的内部参数来计算。因此，通过深度相机可以获取待测目标在相机坐标系下的三维信息,也称为3D信息，即目标的实际空间位置。

IMU单元12用于获取3D信息采集单元的重力加速度信息。在一个实施例中，IMU单元12包括一个三轴加速度计和一个三轴陀螺仪，其中加速度计用于获取IMU单元的加速度信息，陀螺仪用于获取IMU单元在三个轴上的转动角速度变化率，经过积分得到姿态角信息，从而可以不受到线加速度或线运动的影响。在一些实施例中，IMU单元12还可包括加速度计、陀螺仪、磁力计中的至少一种或者多种任意组合形式，用于获取重力加速度信息，具有体积小以及功耗低的特点。

处理单元14还用于接收深度图并做进一步的处理，根据深度图上获取的信息计算待测目标在相机坐标系下的3D信息，进一步的利用所述3D信息计算待测目标的三维姿态信息，并根据3D信息采集单元的重力加速度信息计算待测目标相对地面的倾斜角度。

在一些实施例中，处理单元14包括存储器20以及处理器22，存储器20可以用来存储计算机程序，该计算机程序由处理器22执行。其中，存储器20可以是由一个或多个存储单元组成，分别用来存储不同种类的数据。在本发明中，存储器20可用于存储深度相机在用于计算深度时需要用到的相机参数以及计算待测目标的倾斜角的相应算法程序等。

在一些实施例中，处理单元14可以是中央处理单元(CPU)，还可以是其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。存储器20可以是内部存储单元，也可以是连接处理单元的外部存储设备，例如插接式硬盘，智能存储卡(SMC)，安全数字(SD)卡，闪存卡(Flash Card)等。

本发明另一实施例还提供一种终端电子设备，所述终端电子设备可以是手机、平板、电脑、电视以及机器人等，参照图4所示，以手机为例进行说明，终端电子设备300包括壳体31、屏幕32、以及前述实施例所述的基于深度图的目标倾斜角检测设备；其中，倾斜角检测设备的3D信息采集单元设置于终端电子设备的第一平面上，用于获取深度图信息；屏幕32安装在电子设备的第二平面上，用于显示图像信息；第一平面与第二平面为同一平面或第一平面与第二平面为相对立的平面。在一些实施例中，倾斜角检测设备的处理单元可以共用终端电子设备的处理器；而在一些实施例中，当终端电子设备本身设置有IMU单元时，倾斜角检测设备也可以与终端电子设备共用同一个IMU单元。

通过将倾斜角检测设备集成到终端电子设备中，如：手机、平板、电脑、电视以及机器人等，从而使得终端电子设备的功能不断扩大，应用越来越广泛，例如利用人脸识别技术发展的刷脸支付、智能解锁等等。

可以理解的是，以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。

在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点，但应当理解，在不脱离由所附权利要求限定的范围的情况下，可以在本文中进行各种改变、替换和变更。

此外，本发明的范围不旨在限于说明书中所述的过程、机器、制造、物质组成、手段、方法和步骤的特定实施例。本领域普通技术人员将容易理解，可以利用执行与本文所述相应实施例基本相同功能或获得与本文所述实施例基本相同结果的目前存在的或稍后要开发的上述披露、过程、机器、制造、物质组成、手段、方法或步骤。因此，所附权利要求旨在将这些过程、机器、制造、物质组成、手段、方法或步骤包含在其范围内。

Claims

1.一种基于深度图的目标倾斜角检测方法，其特征在于，包括如下步骤：

步骤S1、利用3D信息采集单元获取待测目标的3D信息；

通过3D信息采集单元获取待测目标的深度图，并经过处理后将所述深度图中提取的信息变换为所述待测目标的3D信息；

步骤S2、获取所述3D信息采集单元的重力加速度信息；

通过IMU单元获取所述3D信息采集单元的重力加速度信息，其中,所述IMU单元和所述3D信息采集单元安装于同一个平台上，或者将所述IMU单元固定设置在所述3D信息采集单元上；

步骤S3、根据步骤S1中获得的所述待测目标的3D信息以及步骤S2中获得的所述3D信息采集单元的所述重力加速度信息，计算所述待测目标的倾斜角度。

2.根据权利要求1所述的基于深度图的目标倾斜角检测方法，其特征在于：所述步骤S1包括：

S11、采集所述待测目标所在区域的深度图；

S12、对所述深度图进行预处理，获取所述待测目标的深度信息；

S13、根据所述待测目标的深度信息计算所述待测目标的3D信息。

3.根据权利要求2所述的基于深度图的目标倾斜角检测方法，其特征在于：在步骤S13中，建立相机坐标系以及在采集到的所述深度图中建立图像坐标系和像素坐标系，根据所述相机坐标系到所述图像坐标系的转换关系以及所述图像坐标系到所述像素坐标系的转换关系，计算得到所述相机坐标系到所述像素坐标系的转换关系式如下：

其中，μ,ν为深度图中的单个像素点的像素坐标，其对应的深度值为Z，而X,Y,Z为单个像素点在所述相机坐标系下的空间坐标，即为3D信息，Δx和Δy是单个像素点在水平方向和垂直方向的大小，f_x和f_y是焦距f分别在水平方向和垂直方向上的大小；根据所述待测目标的深度信息，通过上述转换关系式计算即可得到所述待测目标的3D信息。

4.根据权利要求1所述的基于深度图的目标倾斜角检测方法，其特征在于：所述步骤S2包括：

S21、预先标定所述IMU单元和所述3D信息采集单元的相对位姿；

S22、获取所述IMU单元测试的数据信息；

所述IMU单元包括有三轴加速度计和三轴陀螺仪，结合所述加速度计和陀螺仪测量数据得到所述3D信息采集单元的三维姿态角信息以及线加速度；

S23、根据所述IMU单元的数据信息获取所述3D信息采集单元的重力加速度信息。

5.根据权利要求1所述的基于深度图的目标倾斜角检测方法，其特征在于：步骤S3中，利用所述3D信息计算所述待测目标的三维姿态信息，同时根据所述IMU单元计算得到所述3D信息采集单元的所述重力加速度信息，利用所述待测目标的三维姿态信息以及所述重力加速度信息计算所述待测目标相对地面的倾斜角度。

6.根据权利要求1所述的基于深度图的目标倾斜角检测方法，其特征在于：所述步骤S3包括：求取待测平面的法向量，以所述重力加速度作为地面的法向量，根据所述待测平面的法向量和所述地面的法向量，求两个平面之间夹角的余弦值，根据余弦值即可以计算出所述待测平面相对地面的倾斜角度。

7.一种基于深度图的目标倾斜角检测设备，其特征在于：包括3D信息采集单元、IMU单元以及处理单元；其中，

所述3D信息采集单元，用于获取待测目标的深度图；

所述IMU单元，用于获取所述3D信息采集单元的重力加速度信息；其中,所述IMU单元和所述3D信息采集单元安装于同一个平台上，或者将所述IMU单元固定设置在所述3D信息采集单元上；

所述处理单元，用于对所述3D信息采集单元采集到的深度图进行处理，以获取所述待测目标的3D信息，并根据所述3D信息以及所述重力加速度信息计算所述待测目标的倾斜角度。

8.根据权利要求7所述的基于深度图的目标倾斜角检测设备，其特征在于：所述处理单元还用于建立相机坐标系以及在采集到的深度图中建立图像坐标系和像素坐标系，根据所述相机坐标系到所述图像坐标系的转换关系以及所述图像坐标系到所述像素坐标系的转换关系，计算得到所述相机坐标系到所述像素坐标系的转换关系式如下：

其中，μ,ν为深度图中的单个像素点的像素坐标，其对应的深度值为Z，而X,Y,Z为单个像素点在相机坐标系下的空间坐标，即为3D信息，Δx和Δy是单个像素点在水平方向和垂直方向的大小，f_x和f_y是焦距f分别在水平方向和垂直方向上的大小；根据所述待测目标的深度信息，通过上述转换关系式计算即可得到所述待测目标的3D信息。

9.根据权利要求7所述的基于深度图的目标倾斜角检测设备，其特征在于：所述IMU单元包括有三轴加速度计和三轴陀螺仪；其中，所述加速度计用于获取所述IMU单元的加速度信息，所述陀螺仪用于获取所述IMU单元在三个轴上的转动角速度变化率，经过积分得到姿态角信息。

10.一种终端电子设备，其特征在于，包括：壳体、屏幕、以及权利要求7-9任一项所述的基于深度图的目标倾斜角检测设备；其中，所述倾斜角检测设备的3D信息采集单元设置于所述终端电子设备的第一平面上，用于获取深度图信息；所述屏幕安装在所述电子设备的第二平面上，用于显示图像信息；所述第一平面与所述第二平面为同一平面或所述第一平面与所述第二平面为相对立的平面。