CN108256529A - 基于点云投影轮廓签名和分布矩阵的全局点云描述方法 - Google Patents

基于点云投影轮廓签名和分布矩阵的全局点云描述方法 Download PDF

Info

Publication number
CN108256529A
CN108256529A CN201711226667.3A CN201711226667A CN108256529A CN 108256529 A CN108256529 A CN 108256529A CN 201711226667 A CN201711226667 A CN 201711226667A CN 108256529 A CN108256529 A CN 108256529A
Authority
CN
China
Prior art keywords
point cloud
projection
signature
projected
target point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711226667.3A
Other languages
English (en)
Inventor
付明亮
冷雨泉
韩小宁
任利学
占志鹏
马维斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Shen Shi Science And Technology Co Ltd
Original Assignee
Shenzhen Shen Shi Science And Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Shen Shi Science And Technology Co Ltd filed Critical Shenzhen Shen Shi Science And Technology Co Ltd
Priority to CN201711226667.3A priority Critical patent/CN108256529A/zh
Publication of CN108256529A publication Critical patent/CN108256529A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507Summing image-intensity values; Histogram projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于投影轮廓签名和分布矩阵的点云全局描述方法。首先利用目标点云的空间坐标信息构建具有旋转和平移不变性的本地参考坐标系,然后将目标点云变换至参考坐标系下。构建姿态归一化后目标点云的空间边界盒,将目标点云分别投影到边界盒的三个相邻平面上。为了增强描述子对目标点云可视部分的表示能力,分别计算点云投影在各个投影平面的投影轮廓签名和分布矩阵,并根据点云投影的统计特征确定相关的串联规则。依次将目标点云在三个投影平面的子特征以直方图的形式串联得到最终的CSDM描述子。

Description

基于点云投影轮廓签名和分布矩阵的全局点云描述方法
技术领域
本发明属于模式识别领域,具体涉及一种基于点云投影轮廓签名和分布矩阵的全局点云描述方法。
背景技术
目标识别是机器人领域最具挑战性的任务之一。为了保证机器人和周围环境的物理交互,必须利用相关的物体表示方法实时地给机器人提供周围环境中交互目标的相关信息。
虽然已经有许多基于物体2D信息和3D信息设计的目标识别方法,但是在存在噪声和变化的点云分辨率的情况下识别3D物体仍然是一个极具挑战性的任务。相较2D信息,3D信息如点云包含更多的目标空间信息,这将会有利于实现目标的场景分割。并且,深度数据不像RGB数据那样对光照和阴影那么敏感。因此3D点云数据很适合用来描述目标表面的几何结构。
3D目标的识别***一般包括如下的几个模块:物体检测,物体表示,物体识别和感知内存。物体检测实现机器人交互场景中所有目标的检测。物体表示则将场景中检测出的目标用一些列的对应特征进行唯一表示。物体识别则通过比较场景中物体的特征描述子和感知内存中存储的已知目标的描述子,并根据描述子的匹配程度来实现场景目标的识别。因此,利用物体表示算法得到的描述子的性能的高低直接决定了识别结果的准确率。
现有的3D目标表示方法可以分为全局描述子和局部描述子两大类。全局描述子对整个3D物体进行编码表示,而局部描述子则只对特征点邻域进行特征表示。鉴于全局描述子对物体的整体表示能力,其越来越多地被应用于目标识别,交互操作等领域。但是基于视点特征直方图的全局描述子如VFH[Rusu R B,Bradski G,Thibaux R,et al.Fast 3drecognition and pose using the viewpoint feature histogram[C]//IntelligentRobots and Systems(IROS),2010IEEE/RSJ International Conference on.IEEE,2010:2155-2162.]需要计算点云表面的法向量。但是目前常用的点云获取传感器如kinect和基于时间飞行技术的深度相机会受到各种误差源的影响,利用这些设备得到的深度图像转换为点云数据后不可避免地会夹杂着各种噪声。
发明内容
为了解决上述问题,本发明的目的在于提供一种基于点云投影轮廓签名和分布矩阵的全局点云描述方法。
本发明解决其技术问题所采用的技术方案是:基于点云投影轮廓签名和分布矩阵的全局点云描述方法,包括以下步骤:
1)目标点云预处理:对目标点云进行预处理;
2)目标点云姿态归一化:将目标点云与本地参考坐标系对齐;
3)计算点云投影轮廓签名:求取归一化后点云的中心点c和空间长方体边界盒;将目标点云分别投影到边界盒的三个相邻平面上,以中心点c各个投影平面上的投影作为始点,等间隔地向外辐射射线;这些射线簇和对应投影平面上点云投影的外轮廓的交点构成了该投影平面上目标点云投影对应的轮廓签名;
4)计算点云投影分布矩阵:以步骤3)中获取的长方体边界盒的最大边长l为边长,得到一个新的正方体边界盒;以正方体边界盒的三个相邻表面作为投影平面,并将投影平面均匀分割为一个n×n的栅格,统计落入每个单元格内点云投影点的数量,得到点云投影在该投影平面的投影分布矩阵M;
5)点云投影轮廓签名和分布矩阵的融合:分别对轮廓签名、分布矩阵进行归一化处理,并根据点云投影的统计特征确定串联规则,依次将目标点云在三个投影平面的子特征以直方图的形式串联得到最终的CSDM描述子。
在步骤1)中,所述对目标点云进行预处理具体为使用统计异常值移除滤波器对目标点云进行预处理;统计异常移除滤波器采用点云库PCL中的标准实现。
在步骤2)中,所述本地参考坐标系LRF的建立过程如下:
2-1)LRF原点的确定:
给定一个包含m个3D点的目标点云P={p1,...,pm},本地坐标系的原点定义为目标点云的几何中心:
其中,pi表示目标点云中的一个三维点的坐标;
2-2)LRF坐标轴的确定:
使用主成分分析法PCA确定三个坐标轴:
归一化的协方差矩阵C可以表示为:
通过对协方差矩阵C执行特征值分解,可以得到对应特征向量和特征值:
CV=EV
其中,V=[v1 v2 v3]为三个特征向量构成的矩阵,E=diag(λ1 λ2 λ3)是由特征值构成的对角矩阵,且三个特征值大小满足λ1≥λ2≥λ3
以目标点云的中心点c为原点的LRF表示为:
LP={x(p),y(p),x(p)×y(p)}
x(P)和y(P)分别表示LP的X轴和Y轴,×表示叉乘;X轴和Y轴分别用两个较大的特征向量v1和v2表示,Z轴用v1×v2表示;
2-3)LRF坐标轴方向的消歧。
所述LRF坐标轴方向的消歧具体过程为:
2-3-1)X轴的方向消歧:
其中,pi表示目标点云的第i个点;
2-3-2)Y轴的方向消歧:
在X轴和Y轴唯一确定之后,唯一确定Z轴。
所述步骤3)中,空间立方体边界盒的中心为目标点云的几何中心,且其长宽高分别取点云在三个坐标轴上坐标最大值与最小值的差值。
步骤3)中,点云投影轮廓签名通过以下步骤得到:
3-1)令边界盒上三个相邻的表面作为投影平面,将目标点云分别投影到这三个投影平面上;在三个投影平面上,分别以边界盒中心在投影平面上对应的投影为始点,以角度Δ为间隔将周围辐射射线,求出这些射线簇和每个投影的二维边界框的个交点;
3-2)以这些交点为中心,以r为搜索半径,进行k-d树搜索;若搜到的邻域点数量不少于阈值Nneighbor,则认为该点即为该射线上的轮廓投影点;否则,将交点沿着射线向近LRF原点方向移动dΔ,再以半径r进行k-d树搜索,直至搜索到的邻域点数量不少于Nneighbor时,将对应的搜索点确定为该射线上的轮廓点;如此最终得到个轮廓点;
3-3)将轮廓点到射线始点的距离存到向量Vcs中,得到对应投影平面上的轮廓投影签名。
步骤4)中,空间正方体边界盒的中心为目标点云的几何中心,且边长取点云在三个坐标轴上最大值与最小值的三组差值中的最大值。
步骤5)中,将步骤3)和4)中得到的轮廓签名和分布矩阵分别归一化得到6个子特征直方图,并将这6个子特征直方图采用串联的方式融合;串联规则为:
5-1)首先计算三个投影平面的投影密度熵PDE,将具有最大PDE的投影平面所对应的子特征直方图放在CSDM描述子的第一部分;
5-2)计算剩余两个投影的分布方差;分布方差较大的投影对应的子特征构成CSDM描述子的中段,剩下的第三个投影对应的子特征直方图置于CSDM描述子的尾部,且每个投影平面所对应的子特征均遵循轮廓投影签名对应的直方图在前,分布矩阵对应直方图在后的原则。
步骤5-1)中,目标点云投影所对应的PDE用下式计算:
其中,E表示PDE,n表示点云投影格栅化时横向和纵向划分间隔数,Mab表示对应的分布矩阵,a、b分别表示格栅行、列索引。
步骤5-2)中,点云投影在投影平面上的分布方差计算公式如下:
其中,μm表示期望值,且n表示点云投影格栅化时横向和纵向划分间隔数,mi表示每个栅格对应的概率分布。
本发明具有以下有益效果及优点:
1.本发明提出的描述子以本地参考坐标系为基准,使其具有位姿不变性。
2.本发明提出的点云全局描述子融合了点云投影分布矩阵和轮廓签名两种特征信息,具有更强的表示能力。
3.本发明提出的描述子拥有可与代表当前现状的全局描述子相比较的时间开销,能够应用于一些实时性场合。
附图说明
图1是本发明描述子的生成过程示意图。
图2是本发明描述子在公开数据集下的识别精度对比图。
图3是本发明描述子在不同级别噪声的情况下识别精度对比图。
图4是本发明描述子在不同密度下识别精度对比图。
图5是本发明描述子的平均计算时间对比图。
图6是本发明的方法流程图。
具体实施方式
下面结合实施例对本发明做进一步的详细说明。
如图6所示,本发明公开了一种基于点云投影轮廓签名和分布矩阵的全局点云描述方法。首先利用目标点云的空间坐标信息构建具有旋转和平移不变性的本地参考坐标系,然后将目标点云变换至参考坐标系下。构建姿态归一化后目标点云的空间边界盒,将目标点云分别投影到边界盒的三个相邻平面上。为了增强描述子对目标点云可视部分的表示能力,分别计算点云投影在各个投影平面的投影轮廓签名和分布矩阵,并根据点云投影的统计特征确定相关的串联规则。依次将目标点云在三个投影平面的子特征以直方图的形式串联得到最终的CSDM(contour signature and distribution matrix,CSDM)描述子。
一种基于点云投影轮廓签名和分布矩阵的全局点云描述方法,包括以下步骤:
1)目标点云预处理:
使用统计异常值移除滤波器对目标点云进行预处理,移除点云中的稀疏的离群点;
2)目标点云姿态归一化:
为了使生成的全局目标特征描述子具有对位姿的不变性,首先对目标点云的姿态进行归一化,所谓姿态归一化实质上是与本地参考坐标系对齐的过程;
3)计算点云投影轮廓签名:
在目标点云进行归一化处理后,首先求取归一化点云的中心点c和空间长方体边界盒。将目标点云分别投影到边界盒的三个相邻平面上,以中心点c在各个投影平面上的投影作为始点,等间隔地向外辐射射线。这些射线簇和对应投影平面上点云投影的外轮廓的交点构成了该投影平面上目标点云投影对应的轮廓签名;
4)计算点云投影分布矩阵:
以步骤3)中获取的长方体边界盒的最大边长l为边长,得到一个新的正方体边界盒。以正方体边界盒的三个相邻表面作为投影平面,并将投影平面均匀分割为一个n×n的栅格,统计落入每个单元格内点云投影点的数量,便得到点云投影在该投影平面的投影分布矩阵M;
5)点云投影轮廓签名和分布矩阵的融合:
在得到目标点云在三个投影平面的轮廓签名和分布矩阵后,分别对其进行归一化处理,并根据点云投影的统计特征确定相关的串联规则,依次将目标点云在三个投影平面的子特征以直方图的形式串联得到最终的CSDM描述子。
在步骤1)中,所述的统计异常移除滤波器采用了点云库PCL(Point CloudLibrary)中的标准实现。
在步骤2)中,所述的本地参考坐标系LRF(local reference frame)的建立过程如下:
2-1)LRF原点的确定:
给定一个包含m个3D点的目标点云P={p1,...,pm},本地坐标系的原点定义为目标点云的几何中心:
其中,pi表示目标点云中的一个三维点的坐标;
2-2)LRF坐标轴的确定:
LRF的可重复性直接影响了描述子的对目标的表示能力,这里使用主成分分析法PCA来确定三个坐标轴。归一化的协方差矩阵C可以表示为:
通过对协方差矩阵C执行特征值分解,可以得到对应特征向量和特征值:
CV=EV
其中,V=[v1 v2 v3]为三个特征向量构成的矩阵,E=diag(λ1 λ2 λ3)是由特征值构成的对角矩阵,且三个特征值大小满足λ1≥λ2≥λ3。由于协方差矩阵时对称正定的,因此其特征值是为正值,其特征向量两两正交。
以目标点云的几何中心c为原点的LRF可以表示为:
LP={x(p),y(p),x(p)×y(p)}
这里x(P)和y(P)分别表示LP的X轴和Y轴,×表示叉乘。为了保证LRF的可重复性,X轴和Y轴分别用两个较大的特征向量v1和v2表示,Z轴用v1×v2表示。由于特征向量定义方向的不唯一性,需要利用符号消歧机制来确定唯一的坐标轴方向;
2-3)LRF坐标轴方向的消歧机制:
由特征向量定义的坐标轴方向的消歧具体过程为:
2-3-1)对于步骤2-2)中使用特征向量建立的歧义坐标系,其存在的歧义形式有四种。根据目标点云坐标轴和大部分由几何中心到***点构成的向量的方向一致性的原则来消除歧义方向:
2-3-2)Y轴的方向消歧过程和X轴类似,在X轴和Y轴唯一确定之后,Z轴也同时唯一确定。
所述步骤3)中,空间立方体边界盒的中心为目标点云的几何中心,且其长宽高分别取点云在三个坐标轴上坐标最大值与最小值的差值。
所述步骤3)中,点云投影轮廓签名的计算过程:
3-1)令边界盒上三个相邻的表面作为投影平面,将目标点云分别投影到这三个投影平面上。在三个投影平面上,分别以边界盒中心在投影平面上对应的投影为始点,以角度Δ为间隔将周围辐射射线,求出这些射线簇和每个投影的二维边界框的个交点;
3-2)以这些交点为中心,以r为搜索半径,进行k-d树搜索。若搜到的邻域点数量不少于Nneighbor,则认为该点即为该射线上的轮廓投影点。若搜到的邻域点数量少于Nneighbor,则将交点沿着射线向近原点方向移动dΔ,再次以半径r进行k-d树搜索,直至搜索到的邻域点数量不少于Nneighbor时,将对应的搜索点确定为该射线上的轮廓点,如此最终得到个轮廓点。为了避免搜索陷入死循环,如果某条射线上的搜索次数多余Nsearch,还未搜索到不少于Nneighbor个邻域点时,则将该次搜索的中心点作为该射线上对应的轮廓投影点;
3-3)将轮廓投影点到射线始点的距离存到向量Vcs中,便得到了对应投影平面上的轮廓投影签名。
所述步骤4)中,空间立方体边界盒的中心为目标点云的几何中心,且边长取点云在坐标轴上最大值与最小值的三组差值中的最大值。
所述步骤5)中,将步骤3)和4)中计算得到的轮廓签名和分布矩阵分别归一化得到6个子特征直方图,并将这6个子特征直方图采用串联的方式融合。具体串联规则为:
5-1)每一个点云投影的轮廓签名Vcs和分布矩阵M分别对应2个直方图构成一组。首先计算三个投影平面的投影密度熵PDE(Projection Density Entropy),将具有最大PDE的投影平面所对应的子特征直方图放在CSDM描述子的第一部分;
5-2)计算剩余两个投影的分布方差。分布方差较大的投影对应的子特征构成CSDM描述子的中段,剩下的第三个投影对应的子特征直方图置于CSDM描述子的尾部,且每个投影平面所对应的子特征均遵循轮廓投影签名对应的直方图在前,分布矩阵对应直方图在后的原则。
所述步骤5-2)中,目标点云投影所对应的PDE用下式计算:
点云投影在投影平面上的的分布方差计算公式如下:
其中,μm表示期望值,且n表示点云格栅化对应的行和列数,mi表示每个栅格对应的概率分布。
实施例1发明描述子在公开数据集上的识别精度评估
本发明提供的基于点云投影轮廓签名和分布矩阵的全局点云描述方法包括按顺序进行的以下步骤:
1)预处理阶段
1-1)将深度图像映射成3D点云数据。本实施例中以Washington RGB-D ObjectDataset(http://rgbd-dataset.cs.washington.edu/)为测试数据集,该数据集提供了51类共300个常见家庭日用品对应的不同视角的深度图像集。
如图1所示,以该数据集中的plate_1_4_236_crop.png为例,展示了产生对应的CSDM描述子的示意过程。首先利用该数据集提供的接口函数depthToCloud将深度图像转换为3D点云数据,对于深度图像上的任一点pcloud,对应的传感器坐标系下的3D坐标可以表示为
其中,u和v分别表示对应3D点在裁剪深度图像上的像素坐标,xgrid(u,v)和ygrid(u,v)表示对应3D点在原始深度图像上的像素坐标,constant为常量,取值为570.3。depth(u,v)表示对应的深度值。利用该接口函数得到的对应的可视化点云数据如图1中(a)所示。
1-2)目标点云中离散异常值的移除
目标点云的中的离散异常值对投影轮廓签名会产生较大干扰,需要使用统计离群点移除滤波器来将这部分异常值移除。一个标准的统计离群点移除滤波器(http://pointclouds.org/documentation/tut orials/statistical_outlier.php#statistical-outlier-removal)被应用来完成初始目标点云的滤波,图1(a)展示了滤波前后的点云。
2)目标点云姿态归一化
2-1)LRF原点的确定
为了保证所设计的描述子对于旋转和位移变换的不变性,首先需要为目标点云确定一个可重复且唯一的局部参考坐标系(local reference frame,LRF)。令图1中plate_1_4_236_crop.png对应的目标点云表示为P={p1,...,pm},其中m表示预处理后的点云中3D点的总数,pi(i=1,...,m)表示目标点云中的一个点。那么,LRF的原点c可以定义为:
2-2)LRF坐标轴的确定
本地参考坐标系的可重复性直接影响了描述子的对目标的表示能力,这里使用主成分分析法来确定三个坐标轴的方向。归一化的协方差矩阵C可以表示为:
通过对协方差矩阵c执行特征值分解,可以得到对应特征向量和特征值满足下式:
CV=EV
其中,V=[v1 v2 v3]为三个特征向量构成的矩阵,E=diag(λ1 λ2 λ3)是由特征值构成的对角矩阵,且三个特征值大小满足λ1≥λ2≥λ3。由于协方差矩阵是对称正定的,因此其特征值是为正值,且特征向量两两正交。
在确定了LRF的坐标系原点和特征向量后,对应的参考坐标系可以表示为:
Lc={x(p),y(p),x(p)×y(p)}
这里x(P)和y(P)分别表示LP的X轴和Y轴。为了实现本地参考坐标系的计算可重复性,X轴和Y轴分别用两个较大的特征向量v1和v2表示,Z轴用v1×v2表示。由于特征向量定义的方向的不唯一性,需要利用符号消歧机制来确定唯一的坐标轴方向。
2-3)LRF坐标轴方向的消歧机制
为了完成上述LRF的符号消歧,先定义一个临时坐标系,临时坐标系的X轴和Y轴分别用最大两个特征向量表示,Z轴用两个特征向量的叉乘表示。此时歧义的坐标系可能性剩下四个。根据点云坐标轴和大部分由几何中心到***点构成的向量的方向一致性的原则来确定其最终的方向:
Y轴的方向消歧和X轴类似,在X轴和Y轴唯一确定之后,Z轴也同时唯一确定。这样临时坐标系的确定过程,也是LRF的确定过程。图1(b)展示了示例点云对应的LRF。
3)计算点云投影轮廓签名
在目标点云进行归一化处理后,首先求取归一化点云的中心点c和空间长方体边界盒Boxsign。令边界盒上三个相邻的表面作为投影平面,将目标点云分别投影到这三个投影平面上。在三个投影平面上,分别以边界盒中心在投影平面上对应的投影为始点,以角度30为间隔将周围辐射射线,求出这些射线簇和每个投影平面上的二维边界框的12个交点;令w和h分别表示投影平面上二维边界框的宽和高,以这些交点为中心,以为搜索半径,进行k-d树搜索。若搜到的邻域点数量不少于4,则认为该点即为该条射线上的轮廓投影点。若搜到的邻域点数量少于4,令dis表示当前搜索点到射线始点的距离,则将交点沿着射线向近原点方向移动0.2dis,再次以半径r进行k-d树搜索,直至搜索到的邻域点数量不少于4时,将对应的搜索点确定为该射线上的轮廓点,如此最终得到12个轮廓点。为了避免搜索陷入死循环,如果某条射线上的搜索次数多于6,还未搜索到不少于12个邻域点时,则将该次搜索的中心点作为该射线上对应的轮廓投影点;将轮廓投影点到射线始点的距离存到向量Vcs中,便得到了对应投影平面上的轮廓投影签名。
4)点云投影分布矩阵的计算
以长方体边界盒Boxsign的最大边长为边长,构造一个新的立方体边界盒Boxdistr,边界盒Boxsign和Boxdistr的中心重合。在立体边界盒确定之后,可以得到点云在边界盒表面的投影projectioni∈{XY,YZ,XZ}。将每一个投影平面均匀分割为5×5的栅格,如图1(c)所示。统计落入每个栅格内投影点的数量,从而得到对应投影平面的一个关于投影点云数量统计的分布矩阵Mi,并对其进行归一化处理,Mi的维度为5×5。
5)子特征直方图的融合
将得到轮廓签名和深度分布子特征分别归一化得到6个子特征直方图,并将这6个子特征直方图采用串联的方式融合,得到最终的CSDM描述子。
具体串联规则为,首先计算三个投影平面的投影密度熵,将对应最大投影密度熵的投影平面的子特征直方图放在CSDM描述子的第一部分;接下来,计算剩余两个投影的分布方差。分布方差较大的投影对应的子特征构成CSDM描述子的第二部分,剩下的第三个投影对应的子特征置于CSDM尾部。每个点云投影对应的子特征均采用轮廓签名在前,分布矩阵在后的融合顺序。
为了评估本发明提出的点云全局描述子物体描述性能,采用10折交叉验证方式进行识别精度评估。对比算法识别率较好的VFH和GOOD特征[Kasaei S H,ToméA M,Lopes LS,et al.GOOD:A global orthographic object descriptor for 3D objectrecognition and manipulation[J].Pattern Recognition Letters,2016,83:312-320.]。三种描述子的参数对比见表1。
表1各特征描述子的参数对比
分别计算Washington RGB-D Object Dataset中51个分类下所有实例对应的CSDM,GOOD和VPF特征;分别计算特征描述子在类别数目为51,45,40,35,30,25,20,15,10,5时对应的描述子识别性能;针对每个特定类别数目下的性能评估,将计算得到的对应类别的所有的实例特征随机地分为数量近似相等的10份,依次将其中的1份作为测试样本,其余9份作为训练样本;训练阶段将作为训练样本的9份数据对应的特征通过建立一个k-d树存储表示,测试阶段依次用作为测试样本的那份数据对应的特征在训练的k-d树上进行搜索,如果测试特征的类别和搜索结果的类别相同,则视为识别成功,反之为识别失败。若对应每一折的识别成功实例数目为TPi(i=1,2…,10),对应测试样本的总数目为Ti(i=1,2…,10),则该类别数目下对应的识别精度的计算方法为:
对应的实验结果如图2所示。
实施例2发明描述子对噪声的鲁棒性评估
为了评估本发明提出的全局点云描述子对噪声的鲁棒性,设计了10组噪声测试实验:
分别给数据集中的目标点云中的每个点在其3个坐标方向上添加不同级别的高斯噪声,对应噪声的标准差分别为1,2,3,4,5,6,7,8,9和10,单位为mm。对应的结果如图3所示。
实施例3发明描述子对点云密度变化的鲁棒性评估
为了评估本发明提出的全局描述子对点云密度变化的鲁棒性,设计了5组测试实验:使用点云库PCL中提供的VoxelGrid滤波器(http://pointclouds.org/documentation/tutorials/voxel_grid.php)对目标点云进行不同程度的下采样。VoxelGrid滤波器通过控制Voxel尺寸大小来实现不同程度的下采样,5组设计实验分别采用了Voxel尺寸为1mm,5mm,10mm,15mm和20mm。对应的实验结果如图4所示。
实施例4发明描述子计算效率评估
为了评估本发明提出的全局描述子的计算效率,随机地从不同类别数据集中抽取51个目标,对比计算三类描述子VFH,GOOD和CSDM的平均计算时间,测试计算机为Windows 7***,i3处理器,主频为3.4GHz,运行内存为6GB,对应结果如图5所示。

Claims (10)

1.基于点云投影轮廓签名和分布矩阵的全局点云描述方法,其特征在于包括以下步骤:
1)目标点云预处理:对目标点云进行预处理;
2)目标点云姿态归一化:将目标点云与本地参考坐标系对齐;
3)计算点云投影轮廓签名:求取归一化后点云的中心点c和空间长方体边界盒;将目标点云分别投影到边界盒的三个相邻平面上,以中心点c各个投影平面上的投影作为始点,等间隔地向外辐射射线;这些射线簇和对应投影平面上点云投影的外轮廓的交点构成了该投影平面上目标点云投影对应的轮廓签名;
4)计算点云投影分布矩阵:以步骤3)中获取的长方体边界盒的最大边长l为边长,得到一个新的正方体边界盒;以正方体边界盒的三个相邻表面作为投影平面,并将投影平面均匀分割为一个n×n的栅格,统计落入每个单元格内点云投影点的数量,得到点云投影在该投影平面的投影分布矩阵M;
5)点云投影轮廓签名和分布矩阵的融合:分别对轮廓签名、分布矩阵进行归一化处理,并根据点云投影的统计特征确定串联规则,依次将目标点云在三个投影平面的子特征以直方图的形式串联得到最终的CSDM描述子。
2.根据权利要求1所述的基于点云投影轮廓签名和分布矩阵的全局点云描述方法,其特征在于:在步骤1)中,所述对目标点云进行预处理具体为使用统计异常值移除滤波器对目标点云进行预处理;统计异常移除滤波器采用点云库PCL中的标准实现。
3.根据权利要求1所述的基于点云投影轮廓签名和分布矩阵的全局点云描述方法,其特征在于:在步骤2)中,所述本地参考坐标系LRF的建立过程如下:
2-1)LRF原点的确定:
给定一个包含m个3D点的目标点云P={p1,...,pm},本地坐标系的原点定义为目标点云的几何中心:
其中,pi表示目标点云中的一个三维点的坐标;
2-2)LRF坐标轴的确定:
使用主成分分析法PCA确定三个坐标轴:
归一化的协方差矩阵C可以表示为:
通过对协方差矩阵C执行特征值分解,可以得到对应特征向量和特征值:
CV=EV
其中,V=[v1 v2 v3]为三个特征向量构成的矩阵,E=diag(λ1 λ2 λ3)是由特征值构成的对角矩阵,且三个特征值大小满足λ1≥λ2≥λ3
以目标点云的中心点c为原点的LRF表示为:
LP={x(p),y(p),x(p)×y(p)}
x(P)和y(P)分别表示LP的X轴和Y轴,×表示叉乘;X轴和Y轴分别用两个较大的特征向量v1和v2表示,Z轴用v1×v2表示;
2-3)LRF坐标轴方向的消歧。
4.根据权利要求3中所述的基于点云投影轮廓签名和分布矩阵的全局点云描述方法,其特征在于所述LRF坐标轴方向的消歧具体过程为:
2-3-1)X轴的方向消歧:
其中,pi表示目标点云的第i个点;
2-3-2)Y轴的方向消歧:
在X轴和Y轴唯一确定之后,唯一确定Z轴。
5.根据权利要求1中所述的基于点云投影轮廓签名和分布矩阵的全局点云描述方法,其特征在于:所述步骤3)中,空间立方体边界盒的中心为目标点云的几何中心,且其长宽高分别取点云在三个坐标轴上坐标最大值与最小值的差值。
6.根据权利要求1中所述的基于点云投影轮廓签名和分布矩阵的全局点云描述方法,其特征在于:步骤3)中,点云投影轮廓签名通过以下步骤得到:
3-1)令边界盒上三个相邻的表面作为投影平面,将目标点云分别投影到这三个投影平面上;在三个投影平面上,分别以边界盒中心在投影平面上对应的投影为始点,以角度Δ为间隔将周围辐射射线,求出这些射线簇和每个投影的二维边界框的个交点;
3-2)以这些交点为中心,以r为搜索半径,进行k-d树搜索;若搜到的邻域点数量不少于阈值Nneighbor,则认为该点即为该射线上的轮廓投影点;否则,将交点沿着射线向近LRF原点方向移动dΔ,再以半径r进行k-d树搜索,直至搜索到的邻域点数量不少于Nneighbor时,将对应的搜索点确定为该射线上的轮廓点;如此最终得到个轮廓点;
3-3)将轮廓点到射线始点的距离存到向量Vcs中,得到对应投影平面上的轮廓投影签名。
7.根据权利要求1中所述的基于点云投影轮廓签名和分布矩阵的全局点云描述方法,其特征在于:步骤4)中,空间正方体边界盒的中心为目标点云的几何中心,且边长取点云在三个坐标轴上最大值与最小值的三组差值中的最大值。
8.根据权利要求1中所述的基于点云投影轮廓签名和分布矩阵的全局点云描述方法,其特征在于:步骤5)中,将步骤3)和4)中得到的轮廓签名和分布矩阵分别归一化得到6个子特征直方图,并将这6个子特征直方图采用串联的方式融合;串联规则为:
5-1)首先计算三个投影平面的投影密度熵PDE,将具有最大PDE的投影平面所对应的子特征直方图放在CSDM描述子的第一部分;
5-2)计算剩余两个投影的分布方差;分布方差较大的投影对应的子特征构成CSDM描述子的中段,剩下的第三个投影对应的子特征直方图置于CSDM描述子的尾部,且每个投影平面所对应的子特征均遵循轮廓投影签名对应的直方图在前,分布矩阵对应直方图在后的原则。
9.根据权利要求8中所述的基于点云投影轮廓签名和分布矩阵的全局点云描述方法,其特征在于:步骤5-1)中,目标点云投影所对应的PDE用下式计算:
其中,E表示PDE,n表示点云投影格栅化时横向和纵向划分间隔数,Mab表示对应的分布矩阵,a、b分别表示格栅行、列索引。
10.根据权利要求8中所述的基于点云投影轮廓签名和分布矩阵的全局点云描述方法,其特征在于:步骤5-2)中,点云投影在投影平面上的分布方差计算公式如下:
其中,μm表示期望值,且n表示点云投影格栅化时横向和纵向划分间隔数,mi表示每个栅格对应的概率分布。
CN201711226667.3A 2017-11-29 2017-11-29 基于点云投影轮廓签名和分布矩阵的全局点云描述方法 Pending CN108256529A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711226667.3A CN108256529A (zh) 2017-11-29 2017-11-29 基于点云投影轮廓签名和分布矩阵的全局点云描述方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711226667.3A CN108256529A (zh) 2017-11-29 2017-11-29 基于点云投影轮廓签名和分布矩阵的全局点云描述方法

Publications (1)

Publication Number Publication Date
CN108256529A true CN108256529A (zh) 2018-07-06

Family

ID=62721481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711226667.3A Pending CN108256529A (zh) 2017-11-29 2017-11-29 基于点云投影轮廓签名和分布矩阵的全局点云描述方法

Country Status (1)

Country Link
CN (1) CN108256529A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685069A (zh) * 2018-12-27 2019-04-26 乐山师范学院 图像检测方法、装置及计算机可读存储介质
CN110569926A (zh) * 2019-09-19 2019-12-13 北京工商大学 一种基于局部边缘特征增强的点云分类方法
CN111127622A (zh) * 2019-11-25 2020-05-08 浙江大学 基于图像分割的三维点云离群点剔除方法
CN111899152A (zh) * 2019-05-06 2020-11-06 上海交通大学 基于投影及视频拼接的点云数据压缩方法及***
CN112001261A (zh) * 2020-07-28 2020-11-27 哈尔滨工业大学(深圳) 基于toldi描述符的3d特征提取方法、***及介质
CN112381932A (zh) * 2020-11-24 2021-02-19 光沦科技(深圳)有限公司 基于上下文感知的三维点云模型处理方法及装置
CN113313092A (zh) * 2021-07-29 2021-08-27 太平金融科技服务(上海)有限公司深圳分公司 手写签名识别方法、理赔自动化处理方法、装置和设备
CN114463165A (zh) * 2021-09-28 2022-05-10 西安大医集团股份有限公司 感兴趣体积voi确定方法及装置
CN115830340A (zh) * 2022-11-16 2023-03-21 白城师范学院 一种点云目标识别方法和装置、存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103871044A (zh) * 2012-12-14 2014-06-18 阿里巴巴集团控股有限公司 一种图像签名生成方法和图像验证方法及装置
US20160154999A1 (en) * 2014-12-02 2016-06-02 Nokia Technologies Oy Objection recognition in a 3d scene
CN106778768A (zh) * 2016-11-22 2017-05-31 广西师范大学 基于多特征融合的图像场景分类方法
CN106971199A (zh) * 2017-03-10 2017-07-21 东华大学 一种织物三维悬垂形态的自动分类方法
CN107122780A (zh) * 2017-02-28 2017-09-01 青岛科技大学 基于时空特征点的互信息与时空分布熵的行为识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103871044A (zh) * 2012-12-14 2014-06-18 阿里巴巴集团控股有限公司 一种图像签名生成方法和图像验证方法及装置
US20160154999A1 (en) * 2014-12-02 2016-06-02 Nokia Technologies Oy Objection recognition in a 3d scene
CN106778768A (zh) * 2016-11-22 2017-05-31 广西师范大学 基于多特征融合的图像场景分类方法
CN107122780A (zh) * 2017-02-28 2017-09-01 青岛科技大学 基于时空特征点的互信息与时空分布熵的行为识别方法
CN106971199A (zh) * 2017-03-10 2017-07-21 东华大学 一种织物三维悬垂形态的自动分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SEYOUN PARK.ET AL: ""Shape and appearance repair for incomplete point surfaces"", 《IEEE》 *
王培宁: ""三维点云模型的孔洞修补算法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685069A (zh) * 2018-12-27 2019-04-26 乐山师范学院 图像检测方法、装置及计算机可读存储介质
CN109685069B (zh) * 2018-12-27 2020-03-13 乐山师范学院 图像检测方法、装置及计算机可读存储介质
CN111899152A (zh) * 2019-05-06 2020-11-06 上海交通大学 基于投影及视频拼接的点云数据压缩方法及***
CN110569926A (zh) * 2019-09-19 2019-12-13 北京工商大学 一种基于局部边缘特征增强的点云分类方法
CN111127622A (zh) * 2019-11-25 2020-05-08 浙江大学 基于图像分割的三维点云离群点剔除方法
CN112001261A (zh) * 2020-07-28 2020-11-27 哈尔滨工业大学(深圳) 基于toldi描述符的3d特征提取方法、***及介质
CN112381932A (zh) * 2020-11-24 2021-02-19 光沦科技(深圳)有限公司 基于上下文感知的三维点云模型处理方法及装置
CN113313092A (zh) * 2021-07-29 2021-08-27 太平金融科技服务(上海)有限公司深圳分公司 手写签名识别方法、理赔自动化处理方法、装置和设备
CN113313092B (zh) * 2021-07-29 2021-10-29 太平金融科技服务(上海)有限公司深圳分公司 手写签名识别方法、理赔自动化处理方法、装置和设备
CN114463165A (zh) * 2021-09-28 2022-05-10 西安大医集团股份有限公司 感兴趣体积voi确定方法及装置
CN115830340A (zh) * 2022-11-16 2023-03-21 白城师范学院 一种点云目标识别方法和装置、存储介质
CN115830340B (zh) * 2022-11-16 2023-11-21 白城师范学院 一种点云目标识别方法和装置、存储介质

Similar Documents

Publication Publication Date Title
CN108256529A (zh) 基于点云投影轮廓签名和分布矩阵的全局点云描述方法
Zhu et al. Single image 3d object detection and pose estimation for grasping
Mundy Object recognition in the geometric era: A retrospective
Tombari et al. Object recognition in 3d scenes with occlusions and clutter by hough voting
Park et al. Fast and automatic object pose estimation for range images on the GPU
Costa et al. 3D object recognition and pose with relational indexing
Rodrigues et al. 6D pose estimation of textureless shiny objects using random ferns for bin-picking
Takimoto et al. 3D reconstruction and multiple point cloud registration using a low precision RGB-D sensor
US20140105506A1 (en) Recognition and pose determination of 3d objects in multimodal scenes
Gao et al. A stable and accurate marker-less augmented reality registration method
Rusu et al. Perception for mobile manipulation and grasping using active stereo
Han et al. Line-based initialization method for mobile augmented reality in aircraft assembly
Adán et al. 3D scene retrieval and recognition with depth gradient images
Jiang et al. Multi-class fruit classification using RGB-D data for indoor robots
Cupec et al. Object recognition based on convex hull alignment
US11816857B2 (en) Methods and apparatus for generating point cloud histograms
Han et al. Sq-slam: Monocular semantic slam based on superquadric object representation
Andrade-Cetto et al. Object recognition
Marton et al. Part-Based Geometric Categorization and Object Reconstruction in Cluttered Table-Top Scenes: Paper Type: Categories (7) and (5)
Álvarez et al. Junction assisted 3d pose retrieval of untextured 3d models in monocular images
Wittrowski et al. 3d implicit shape models using ray based hough voting for furniture recognition
Yoruk et al. Efficient object localization and pose estimation with 3D wireframe models
Lugo et al. Semi-supervised learning approach for localization and pose estimation of texture-less objects in cluttered scenes
Liang et al. Decorin: An automatic method for plane-based decorating
Asif et al. Model-free segmentation and grasp selection of unknown stacked objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20220208