CN105046688A - 一种三维点云中的多平面自动识别方法 - Google Patents

Abstract

一种三维点云中的多平面自动识别方法，由深度传感器输入三维点云，对其进行下采样以加快计算；从点云中随机采样，计算出初始平面的参数得到多个平面模型；计算平面模型的误差能量、平滑能量和标签能量，根据图割能量优化算法得到能量和的最小值并标注出平面的内点；对平面的内点进行最小二乘拟合改进平面参数估计精度，将平面参数相近的内点融合为一个平面，把内点数较少的点集标注为外点，再对此时的平面进行能量优化；直至能量不再减小，输出各个平面的参数、内点和外点。本发明克服了现有贪婪搜索式算法对距离、角度等阈值的依赖，具有应用范围广、参数估计准确、抗干扰能力强等特点，大大提高了对三维点云的物体识别分析能力。

Description

一种三维点云中的多平面自动识别方法

技术领域

本发明涉及计算机视觉的三维感知和机器人导航等领域、特别涉及三维点云中物体的自动检测与识别。

背景技术

操作便捷经济实用的深度传感器迅速发展和普及，使得人们可以在日常生产生活中方便地获得海量的三维数据。但是一个挑战性问题应运而生：如何利用计算机自动高效地分析蕴含大量信息的三维数据。相比于二维图像，三维数据具有准确的深度信息，能更精确地描述现实世界的几何属性。从杂乱无序的三维点云中识别平面，获取物体准确的位置和范围等几何属性，是计算机感知世界以及与环境互动的首要问题。

经典的平面检测识别方法为贪婪搜索法，如Hough变换(HulikR,SpanelM,SmrzP,etal.Continuousplanedetectioninpoint-clouddatabasedon3DHoughTransform[J].JournalofVisualCommunication&ImageRepresentation,2014,25(1):86–97.)能快速地检测出平面，但检测时需要庞大的参数空间，参数空间中各个轴的单位尺度严重影响了平面参数估计的准确度。改进的RANSAC算法(SchnabelR,WahlR,KleinR.EfficientRANSACforpoint-cloudshapedetection.Computergraphicsforum.BlackwellPublishingLtd,2007,26(2):214-226.)在同时处理多个平面时，会出现误拟合的问题，常把大量的噪声点拟合成模型。这些方法割裂了内点分类和参数估计间既相互依赖又彼此矛盾的关系，造成识别效率和准确度低，不能很好地解决多个模型的识别问题。

发明内容

为克服现有方法的不足，本发明的目的是提供一种较为实用的、高精度的三维点云中的多个平面的自动识别方法。

为了实现上述目的，本发明提供了一种三维点云中的多平面自动识别方法，包括步骤如下：

1)根据平面模型计算误差能量、平滑能量和标签能量，作为判断点是否属于某平面的标准，构造能量函数。误差能量衡量单个点属于某平面的可能性，平滑能量根据点与其邻域点的平滑性来衡量二者是否归属于同一平面，标签能量来约束平面的个数防止因噪声点和外点的影响而过拟合出过多平面。

2)用α-Expansion能量最小化方法将平面的标签标注给点云中的点，使各个平面的能量和最小，即可得到平面的内点。

3)再由得到的平面内点利用最小二乘法分别重新估计对应平面的参数，并把参数接近的平面对应的内点融合，作为下一次能量优化的前提。

通过能量来定义平面识别的标准，某点不符合标准则加大对该点的惩罚认为其不是平面的内点，同时利用基于条件随机场的图割优化算法，找到能量的最小值并标注出内点对应的平面标签，即把平面的标签标注给点云中的点，以此迅速准确地得到多平面的内点，并进而利用平面内点重新估计平面参数改进估计精度。

三维点云中的多平面自动识别方法各步的详细说明如下：

步骤1：通过三维激光扫描仪、体感传感器等深度传感器扫描待检测场景，将得到待检测场景的三维点云作为输入；

步骤2：对点云进行随机采样，计算出多个初始平面模型的参数；

步骤3：计算出多个平面模型的误差能量、平滑能量和标签能量，构造能量函数，用α-Expansion图割能量优化算法得到能量和的最小值，并标注出平面模型对应的内点；

步骤4：对各个平面的内点进行最小二乘拟合重新估计平面参数改进估计精度，将平面参数相近的内点融合为一个平面，把内点数目极少的点集标注为外点；

步骤5：按照步骤3重新计算精确的平面模型的各个能量项并得到模型内点，按照步骤4进行参数改进和内点整合，直至能量不再减小，输出各个平面的参数、内点和不属于任何平面的外点。

所述的方法可以综合利用内点分类和参数估计两者间既相互依赖又相互矛盾的关系，克服了现有贪婪搜索式算法对距离、角度等阈值的依赖，本方法更适合多平面的自动识别，大大提高了对三维点云的物体识别分析能力。

本发明的有益效果是可以对整体点云进行一次处理就可自动识别出多个平面，不需要像改进的RANSAC方法那样识别出一个平面后将对应点从点云中剔除然后再对剩余点云重复上述操作识别新的平面。相比于Hough变换和RANSAC算法，各个平面内点分类准确合理，参数估计更准确，速度更快。

附图说明

图1是自动识别方法的流程图。

图2是能量优化的关键步骤。

具体实施方式

下面结合附图和实施例对本发明进一步说明，应指出的是，所描述的实例仅旨在便于对本发明的理解，而对其不起任何限定作用。

本发明方法中参数符号和输入、输出等标志以如下方式表示：输入为含有n个点的点云其中ρ_i(0＜i≤n)代表点云中第i个三维点。输出为点云中包含的N个平面参数集合Θ＝{θ₁,...,θ_N}，其中θ_j＝(a_j,b_j,c_j,d_j)为平面的参数；以三维点云采集设备坐标系为参考坐标系来描述平面，第j个平面的单位法向量为(a_j,b_j,c_j)，其到坐标系原点的距离d_j；以及各个平面参数对应的N个平面的标签集合L＝{l₁,...,l_N}，其中l_j(0＜j≤N)代表第j个平面参数的标号，用于标注点云中的点；以及各个平面对应的内点集合为Ψ＝{ψ₁,...,ψ_N}，其中为平面j的内点集，外点集合为

按照图1的流程图，各步的具体说明如下：

步骤1：通过微软的Kinect等深度传感器得到待检测场景的彩色图和深度图，将以上两种同时刻图像对齐得到待检测场景的三维点云作为输入。

对三维点云进行下采样得到精简的三维点云，采样方法为：将三维点云占据的三维空间划分为k个微小的立方体集合P＝{v₁,...,v_k}，一个立方体即是一个体素v_i，其中包含i_k个原始点计算出体素v_i内所有点的重心p_i＝{x_i,y_i,z_i}，重心p_i代表该体素内所有的点；最终得到由体素重心组成的抽样点云P＝{p₁,...,p_k}，点数为k。根据点云的实际尺寸设置体素的大小，通常体素边长参考范围为0.005～0.02m。

点云下采样是可逆的，体素v_i中保存了原始点的坐标，由采样点云P可快速恢复为原始点云该方法滤除了点云中大量的无效值，减少了冗余的计算量。同时滤波后的点云既能保证整体点云的几何尺寸，又确保几何基元形状位置的不变。

步骤2：对点云进行随机采样，计算出多个初始平面模型的参数。

以三维点云采集设备坐标系为参考坐标系描述平面，利用点法式方程刻画参数为θ_j＝(a_j,b_j,c_j,d_j)的平面：

a_jx+b_jy+c_jz+d_j＝0(1)其中(x,y,z)为点在采集设备坐标系下的坐标，(a_j,b_j,c_j)为单位向量表示平面的法方向；d_j为平面到坐标系原点的距离；

采用RANSAC式的采样方式从点云中取点，计算出平面方程的系数做为能量优化的初始值。随机采样N组样本点，每组为三个样本点，求出初始平面模型的参数θ_j＝(a_j,b_j,c_j,d_j)。平面方程的参数组成初始平面模型集合Θ₀＝{θ₁,...,θ_N}，各个平面对应的标签为L₀＝{l₁,...,l_N}，作为能量优化算法的初始值。

步骤3：定义描述平面模型的能量，并对能量进行正则化，构造多平面识别对应的能量函数。通过能量正则化和循环迭代的思路，α-Expansion能量优化算法使能量快速最小化，得到多个平面内点分类的最优划分方案，实现多平面自动识别。误差能量D_p(l(p))为一元势能，从几何误差的角度来描述点p属于该点被标注的标签l(p)对应的平面θ_p的可能性。V_pq(l(p),l(q))为二元势能，从点p的标签l(p)与相邻点q的标签l(q)间的平滑性，来描述点p与q被标注为l(p)与l(q)的可能性。平面模型集合的能量和如公式(2)所示：

其中各项对应的能量的定义及式(2)优化方法如下：

a.误差能量

误差能量D_p(l(p))表示点p到标注的标签l(p)对应平面θ_j的几何误差，用点p到标签为l(p)的平面间的距离来描述，如公式(3)所示。若该距离越小优化算法对把点p＝{x_p,y_p,z_p}划分给平面模型θ_j的惩罚力度越小，有利于能量最小化和全局标签标注过程的快速收敛。反之，若距离较大对把点p划分给平面θ_j的惩罚力度较大，趋向于认为点p不属于平面θ_j，即认为p是外点。

D_p(l(p))＝||p-l(p)||＝|a_jx_p+b_jy_p+c_jz_p+d_j|(3)

b.平滑能量

平滑能量V_pq(l(p),l(q))是对相邻点p、q间平滑性的度量。由Potts模型建立点的邻域关系，点与相邻点间的平滑性作为判断相邻点是否属于同一平面的依据，如公式(4)所示。当相邻两点被赋予了不同的标签时，则对这对点进行惩罚，距离越近惩罚越大。

V_pq(l(p),l(q))＝λω_pq·δ(l(p)≠l(q))

其中

公式(4)中λ参考取值范围0.5～2.5，ξ参考取值范围3～5。

c.标签能量

标签能量D(L_s)为平面的模型个数的惩罚，如公式(5)所示，防止出现过多的标签，降低误拟合标签的机率。

D(L_S)＝β|L_S|(5)其中|L_S|为平面模型的个数即标签的个数，β为惩罚系数，通常β取值为：5～25。

d.能量优化

对式(2)中各平面模型计算对应的能量项，得到代价函数E(P)之后需要进行能量的优化，寻找最适合的内点划分方案，即对点云进行平面模型标注。图2说明了内点标注的含义，假设点云中有16个点，产生了2个平面模型。每个节点代表一个三维点，节点上为误差能量，节点间的连线为邻域点间的平滑能量。经过优化得到平面一有6个内点，平面二有6个内点，其余被标注为外点。用α-Expansion能量最小化方法将平面的标签标注给点云中的点，使各个平面的能量和最小，即可得到平面的内点。

步骤4：进行参数重估计、内点整合和外点标注。对于每组平面的内点ψ_i用最小二乘方法重新估计对应平面参数θ_i改进估计精度，再将参数相似的模型的内点融合。把内点数目极少的平面对应的点集标注为外点。

步骤5：重复步骤3－步骤4，如果能量不再降低，则终止循环，输出平面的参数Θ＝{θ₁,...,θ_N}。步骤1中的抽样点云P是可逆的，抽样点云和原到原始点云有对应关系，将P中点的标签映射到体素中的点上，即原始点云上。至此标注出了原始点云对应的平面标签L＝{l₁,...,l_N}，得到了各个平面的内点Ψ＝{ψ₁,...,ψ_N}和不属于任何平面的外点

通过能量来定义平面识别标准，利用基于条件随机场的图割优化算法，找到能量的最小值并标注出内点对应的平面标签，即把平面的标签标注给点云中的点，以此迅速准确地得到多平面的内点，并进而利用平面内点重新估计平面参数改进估计精度。本发明克服了现有贪婪搜索式算法对距离角度等阈值的依赖，综合考虑内点划分和参数估计的关系，具有使用范围广、参数估计准确、抗干扰能力强等特点，大大提高了对三维点云的检测分析能力。

Claims (2)

1.一种三维点云中的多平面自动识别方法，其特征在于：该方法包括以下步骤：

1)根据平面模型计算误差能量、平滑能量和标签能量，作为判断点是否属于某平面的标准，构造能量函数；误差能量衡量单个点属于某平面的可能性，平滑能量根据点与其邻域点的平滑性来衡量二者是否归属于同一平面，标签能量来约束平面的个数防止因噪声点和外点的影响而过拟合出过多平面；

2)用α-Expansion能量最小化方法将平面的标签标注给点云中的点，使各个平面的能量和最小，即得到平面的内点；

3)再由得到的平面内点利用最小二乘法分别重新估计对应平面的参数，并把参数接近的平面对应的内点融合，作为下一次能量优化的前提。

2.根据权利要求1所述的一种三维点云中的多平面自动识别方法，本发明方法中参数符号和输入、输出等标志以如下方式表示：输入为含有n个点的点云其中ρ_i(0＜i≤n)代表点云中第i个三维点；输出为点云中包含的N个平面参数集合Θ＝{θ₁,...,θ_N}，其中θ_j＝(a_j,b_j,c_j,d_j)为平面的参数；以三维点云采集设备坐标系为参考坐标系来描述平面，第j个平面的单位法向量为(a_j,b_j,c_j)，其到坐标系原点的距离d_j；以及各个平面参数对应的N个平面的标签集合L＝{l₁,...,l_N}，其中l_j(0＜j≤N)代表第j个平面参数的标号，用于标注点云中的点；以及各个平面对应的内点集合为Ψ＝{ψ₁,...,ψ_N}，其中为平面j的内点集，外点集合为

其特征在于：各步的具体说明如下：

步骤1：通过三维激光扫描仪、体感传感器等深度传感器扫描待检测场景，将得到待检测场景的三维点云作为输入；

对三维点云进行下采样得到精简的三维点云，采样方法为：将三维点云占据的三维空间划分为k个微小的立方体集合P＝{v₁,...,v_k}，一个立方体即是一个体素v_i，其中包含i_k个原始点v_i＝{ρ_i1,...,ρ_ik}；计算出体素v_i内所有点的重心p_i＝{x_i,y_i,z_i}，重心p_i代表该体素内所有的点；最终得到由体素重心组成的抽样点云P＝{p₁,...,p_k}，点数为k；根据点云的实际尺寸设置体素的大小，通常体素边长参考范围为0.005～0.02m；

点云下采样是可逆的，体素v_i中保存了原始点的坐标，由采样点云P可快速恢复为原始点云该方法滤除了点云中大量的无效值，减少了冗余的计算量；同时滤波后的点云既能保证整体点云的几何尺寸，又确保几何基元形状位置的不变；

步骤2：对点云进行随机采样，计算出多个初始平面模型的参数；

以三维点云采集设备坐标系为参考坐标系描述平面，利用点法式方程刻画参数为θ_j＝(a_j,b_j,c_j,d_j)的平面：

a_jx+b_jy+c_jz+d_j＝0(1)

其中(x,y,z)为点在采集设备坐标系下的坐标，(a_j,b_j,c_j)为单位向量表示平面的法方向；d_j为平面到坐标系原点的距离；

采用RANSAC式的采样方式从点云中取点，计算出平面方程的系数做为能量优化的初始值；随机采样N组样本点，每组为三个样本点，求出初始平面模型的参数θ_j＝(a_j,b_j,c_j,d_j)；平面方程的参数组成初始平面模型集合Θ₀＝{θ₁,...,θ_N}，各个平面对应的标签为L₀＝{l₁,...,l_N}，作为能量优化算法的初始值；

步骤3：定义描述平面模型的能量，并对能量进行正则化，构造多平面识别对应的能量函数；通过能量正则化和循环迭代的思路，采用α-Expansion能量优化算法使能量快速最小化，得到多个平面内点分类的最优划分方案实现多平面自动识别；误差能量D_p(l(p))为一元势能，从几何误差的角度来描述点p属于该点被标注的标签l(p)对应的平面θ_p的可能性；V_pq(l(p),l(q))为二元势能，从点p的标签l(p)与相邻点q的标签l(q)间的平滑性，来描述点p与q被标注为l(p)与l(q)的可能性；平面模型集合的能量和如公式(2)所示：

其中各项对应的能量的定义及式(2)优化方法如下：

a.误差能量

误差能量D_p(l(p))表示点p到标注的标签l(p)对应平面θ_j的几何误差，用点p到标签为l(p)的平面间的距离来描述，如公式(3)所示；若该距离越小优化算法对把点p＝{x_p,y_p,z_p}划分给平面模型θ_j的惩罚力度越小，有利于能量最小化和全局标签标注过程的快速收敛；反之，若距离较大对把点p划分给平面θ_j的惩罚力度较大，趋向于认为点p不属于平面θ_j，即认为p是外点；

D_p(l(p))＝||p-l(p)||＝|a_jx_p+b_jy_p+c_jz_p+d_j|(3)

b.平滑能量

平滑能量V_pq(l(p),l(q))是对相邻点p、q间平滑性的度量；由Potts模型建立点的邻域关系，点与相邻点间的平滑性作为判断相邻点是否属于同一平面的依据，如公式(4)所示；当相邻两点被赋予了不同的标签时，则对这对点进行惩罚，距离越近惩罚越大；

V_pq(l(p),l(q))＝λω_pq·δ(l(p)≠l(q))

其中

公式(4)中λ参考取值范围0.5～2.5，ξ参考取值范围3～5；

c.标签能量

标签能量D(L_s)为平面的模型个数的惩罚，如公式(5)所示，防止出现过多的标签，降低误拟合标签的机率；

D(L_S)＝β|L_S|(5)

其中|L_S|为平面模型的个数即标签的个数，β为惩罚系数，通常β取值为：5～25；

d.能量优化

对式(2)中各平面模型计算对应的能量项，得到代价函数E(P)之后需要进行能量的优化，寻找最适合的内点划分方案，即对点云进行平面模型标注；若点云中有16个点，产生了2个平面模型；每个节点代表一个三维点，节点为误差能量，节点间的连线为邻域点间的平滑能量；经过优化得到平面一有6个内点，平面二有6个内点，其余被标注为外点；用α-Expansion能量最小化方法将平面的标签标注给点云中的点，使各个平面的能量和最小，即可得到平面的内点；

步骤4：进行参数重估计、内点整合和外点标注；对于每组平面的内点ψ_i用最小二乘方法重新估计对应平面参数θ_i改进估计精度，再将参数相似的模型的内点融合；把内点数目极少的平面对应的点集标注为外点；

步骤5：重复步骤3－步骤4，如果能量不再降低，则终止循环，输出平面的参数Θ＝{θ₁,...,θ_N}；步骤1中的抽样点云P是可逆的，抽样点云和原到原始点云有对应关系，将P中点的标签映射到体素中的点上，即原始点云上；至此标注出了原始点云对应的平面标签L＝{l₁,...,l_N}，得到了各个平面的内点Ψ＝{ψ₁,...,ψ_N}和不属于任何平面的外点

通过能量来定义平面识别标准，利用基于条件随机场的图割优化算法，找到能量的最小值并标注出内点对应的平面标签，即把平面的标签标注给点云中的点，以此迅速准确地得到多平面的内点，并进而利用平面内点重新估计平面参数改进估计精度。