CN109636844B - 一种基于3d双边对称的复杂桌面点云分割的方法 - Google Patents

Abstract

一种基于3D双边对称的复杂桌面点云分割的方法，属于计算机图像视觉领域。首先对采集的桌面复杂点云做精简预处理，然后通过提取和匹配点云中的曲面法线的边缘曲线，有效地检测场景中的3D双边对称，建立对称假设并使用对称假设来初始化分割过程，最后，根据双边对称约束属性进行点云分割。实验结果表明，本发明的方法可以将桌面复杂点云分割完全，并使得点云分割更加准确。

Description

一种基于3D双边对称的复杂桌面点云分割的方法

技术领域

本发明属于计算机图像视觉领域，涉及一种采用几何约束对复杂桌面点云进行分割的方法。

背景技术

三维环境下的物体分割识别，是室内移动服务机器人重要研究基础内容之一，对基于视觉的物体抓取和操纵具有极其重要的意义；因此，三维立体环境下的分割识别至关重要，是一个具有挑战性的任务，甚至被一些研究者认为是一个无法定义的问题。

传统的分割方法多基于RGB或灰度图像分析，并结合纹理，颜色和图像轮廓特征进行分组。目前常用的三维分割的方法主要有基于边界的方法，基于区域的方法，基于聚类属性的方法，基于模型以及基于图形的方法等。这些算法适用于某些分割任务，但在复杂物体生活环境中难以可靠分割对象。

传统的桌面复杂点云的分割方法主要有以下几点不足：

(1)基于边的区域分割方法对噪声点很敏感，鲁棒性较差，容易按照错误的延伸方向进行跟踪，而且不能保证得到的边界线形成封闭的环，从而无法完成区域分割，造成分割不完全；

(2)基于面的分割方法存在的问题是难以选择合适的种子点以及光滑边界，方法的有效性依赖于复杂的判断控制；

(3)基于聚类属性的方法对复杂的曲面而言，要直接确定曲面的分类个数和曲面类型十分困难，对容易出现的细碎面片进行二次处理也增加了算法的难度。

发明内容

为了克服上述现有的技术不足，本发明在3D双边对称的基础上提出一种基于3D双边对称的复杂桌面点云分割的方法。

本发明是通过以下技术方案实现的。

本发明所述的一种基于3D双边对称的复杂桌面点云分割的方法，包括以下步骤：

(1)提取点云边界，检测对称的边界曲线来匹配点云对称；

(2)找到点云分布的主要特征，并使用其最大值作为对齐两条曲线的对称平面，该过程将在每对边界曲线上运行，对输入点云S将会产生一系列3D双边对称平面假设集合S；

(3)根据(2)的对称假设集合，利用3D双边对称约束属性对桌面场景复杂点云进行分割，检测点是否满足对称假设集合S；

(4)去除无效对称假设集，利用ICP配准算法，将得到的分割点云H与原始点云S配准，为了确保快速和准确的收敛，使用点对应距离度量来进行对应性估计，并且强制匹配是一一对应的得到分割后的点云。

本发明步骤(2)所述的对称假设集合S，为了检测点云中点是否满足对称假设集合，分为三种情况：1)点云p恰好和点云P上对称对应；2)点云p被对称对应到被遮挡的位置，不支持对称但却满足在点云P内；3)点云p对称对应到一个非密闭空间，则不属于假设集合S，通过上述的三种对称情况，找到相应的对称假设集，即对称边界曲线中的点。

找到对称假设集合S后，在物体分割的时候，首先要将对称一致性的点云保留，不满足对称一致性的点云去除，为了分割场景中所有点云对象，需要建立基于多个图的前景分割问题，为每个对称假设构造一个图，其中节点对应于点云的相邻点之间以及对称相邻点之间建立边，设ξ＝{f_g,b_g}分别是对应于对象和背景的标签。通过找到将标签f_p∈ξ分配给点云中的所有点的标签f来分割对象假设。

该发明的方法有益之处是，该发明属于利用物体的几何属性的分割方法，不仅适用于刚体也使用与非刚体，只要物体有3D双边对称属性，都能取得很好的分割效果。3D双边对称属性与点云分割的结合，使得复杂桌面物体分割变得基本化。室内人造物体基本都具有3D双边对称属性，根据这一点，3D双边对称约束的结合使得该发明的方法不需要任何点、线或者面的先验知识，3D双边对称的几何属性约束就能对桌面复杂点云进行区分，即可完成分割。ICP配准算法的结合，使得点云分割更加准确。

附图说明

图1是本发明流程图。

图2是3D双边对称检测示意图。

图3是点云平面检测示意图。

图4是不同点云文件下本发明的实验结果。其中，左列为输入点云，右列为分割结果。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。

图1是本发明流程图。

在本实施例中，如图1所示，本发明包括四个主要的步骤：点云预处理、提取点云边界、检测物体点云对称、复杂点云分割。整个方法是输入Kinect传感器采集的桌面复杂点云图像，输出为分割后的点云文件。

在步骤1中，输入Kinect传感器采集的桌面复杂点云图像，利用体素滤波器对点云数据进行下采样，在保证点云特征的同时精简点云数量。然后检测点云边界点并连线为边界曲线。根据检测的对称边界曲线构造对称假设集，通过判定点云中点是否在对称假设集中分割点云，最后通过去除无效假设集和ICP点云配准完成最后点云分割输出。

下面对每一个步骤进行详细说明。

1、3D对称点检测。

三维数据的双边对称检测需要通过需要三维数据中具有对称一致性的定向点，通过点的法线n^s和点与点的距离d^s来描述双边对称平面S＝{n^s,d^s}。点p与其表面法线矢量n相关联的对称对应点p^r、对称法线n^r，求解表达如下：

p^r＝p-2n^s(p·n^s-d^s)

n^r＝n-2n^s(n·n^s)  (1)

两个点之间的对称匹配度可通过一个点的法线和另一个点关于对称平面S的对称法线的角度差来衡量：

求解示意图如图2所示。

2、点云曲面法线边界提取与匹配。

使用在具有多个特征的散乱点云上交互提取目标特征边界算法，利用KD树建立散乱点云的空间拓扑关系，计算出每个数据点的k邻域。通过数据点k邻域构成的最小二乘平面的投影点角度差，根据角度差的最大值来判断该点是否为边界点。然后使用最小生成树算法将边界点连接在一起形成一组不相交的边界曲线C＝{C₁、C₂……C_n}。在上述算法提取边界曲线后，通过寻找对称的边界曲线来匹配点云对称。匹配点云对称的算法是：给定一对边界曲线，通过设置阈值M_s(p_c1,p_c2)来过滤无效匹配。

为了恢复全局对称平面，采用与文献[14]提出的类似方法，对待恢复平面视为全局对称平面概率密度函数样本，恢复全局对称平面的问题就等同于对这些待恢复平面进行聚类。通过Mean Shift聚类找到点云分布的主要特征，并使用其最大值作为对齐两条曲线的对称平面。该过程将在每对边界曲线上运行，对输入点云S将会产生一系列3D双边对称平面假设集合。

3、点云对称分割。

该分割算法关键在于找到相应的对称假设集，即对称边界曲线中的点，其能量函数如式3所示，其中D(p)为对称一致检测项、

为平滑项、

为对称边缘限制项。

(1)令D(p)为对称一致项，它确保与当前对称假设一致的点被标记为前景。给定一个对称假设S，一个点p的对称对应点p^r。如果它小于阈值||p^r-p'||＜d_max，则点p属于物体点云中的点，因此其背景权重设置为0。前景权重根据对称对应的法线和对称相邻法线之间的角度设置：

另一方面，如果到最近的领域的距离大于d_max，则点p没有对称的领域，并且其前景权重被设置为0。如果对称对应点占据了被遮挡的空间，则背景权重被设置为0。如果它反映到未被遮挡的空间，则其背景权重将与到最近点的距离成比例地设置:

(2)令

表示为平滑项。它会强制线段边界沿曲面法向边放置，却不会超过限定阈值的曲面。点云中的相邻点N_smooth是通过将每个点连接到其最接近的5个相邻点来估计的。基于凸性标准调整权重准则，给定两点p₁和p₂，如果n₁·(p₁-p₂)＞0，我们将它们定义为凸排列。它们之间的二进制权重设置为：

(3)令

表示为对称边缘限制项，在点云所有点之间建立对称相邻边缘，即：N_sym＝{p,p'||p^r-p'||＜d_max}，其权重:

对于本领域的普通技术人员而言，根据本发明的教导，在不脱离本发明的原理与精神的情况下，对实施方式所进行的改变、修改、替换和变型仍落入本发明的保护范围之内。

实验：本实验采用的实验平台为Inter Core [email protected],8GB内存Ubuntu16.04操作***，开源点云库PCL1.8.0，采用Maryland大学室内桌面点云数据库，实验结果如图4所示。

实验结果所示，在第一行中，扬声器和咖啡盒之间的过渡是非凹的。而本发明算法通过对称约束，能很好的识别过渡之间不是凹凸性的物体。在第二行中，Kinect盒子被牛奶盒阻挡，本发明算法则很好的识别了其不同的物体，被阻挡的盒子也能够正确的识别。后面2行复杂的点云物体时，对称性提供了全局对象级别的分组原则，这使得本发明的方法能够正确地分割这些场景。

结论：本发明的实验数据以微软Kinect 2.0扫描的PCD格式的三维点云数据为研究对象，采用3D双边对称约束对桌面复杂点云进行分割。本发明方法不需要对室内物体有先验认识，只依赖于物体的几何信息，通过3D双边对称约束分割物体。实验结果表明，该方法在复杂点云识别中，有一定的优越性和先进性。

Claims (1)

1.一种基于3D双边对称的复杂桌面点云分割的方法，其特征是包括以下步骤：

(1)提取点云边界，检测对称的边界曲线来匹配点云对称；

(2)找到点云分布的主要特征，并使用其最大值作为对齐两条曲线的对称平面，该过程将在每对边界曲线上运行，对输入点云S将会产生一系列3D双边对称平面假设集合S；

(3)根据(2)的对称假设集合，利用3D双边对称约束属性对桌面场景复杂点云进行分割，检测点是否满足对称假设集合S；

(4)去除无效对称假设集，利用ICP配准算法，将得到的分割点云H与原始点云S配准，为了确保快速和准确的收敛，使用点对应距离度量来进行对应性估计，并且强制匹配是一一对应的得到分割后的点云；

步骤(2)所述的对称假设集合S，为了检测点云中点是否满足对称假设集合，分为三种情况：1)点云p恰好和点云P上对称对应；2)点云p被对称对应到被遮挡的位置，不支持对称但却满足在点云P内；3)点云p对称对应到一个非密闭空间，则不属于假设集合S，通过上述的三种对称情况，找到相应的对称假设集，即对称边界曲线中的点；

找到对称假设集合S后，在物体分割的时候，首先将对称一致性的点云保留，不满足对称一致性的点云去除，为了分割场景中所有点云对象，需要建立基于多个图的前景分割问题，为每个对称假设构造一个图，其中节点对应于点云的相邻点之间以及对称相邻点之间建立边，设ξ＝{f_g,b_g}分别是对应于对象和背景的标签；通过找到将标签f_p∈ξ分配给点云中的所有点的标签f来分割对象假设。

Images