CN111553409A - 一种基于体素形状描述符的点云识别方法 - Google Patents
一种基于体素形状描述符的点云识别方法 Download PDFInfo
- Publication number
- CN111553409A CN111553409A CN202010340995.1A CN202010340995A CN111553409A CN 111553409 A CN111553409 A CN 111553409A CN 202010340995 A CN202010340995 A CN 202010340995A CN 111553409 A CN111553409 A CN 111553409A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- point
- normal
- points
- neighborhood
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
Abstract
本发明属于计算机视觉、三维测量技术领域,具体涉及一种基于体素形状描述符的点云识别方法。本发明基于改进PCA的法线估计方法,降低噪声对法线的影响程度,有效提取点的局部邻域信息,对局部法线方差进行非极大值抑制,提取的关键点具有高辨识度、低重叠的特点。本发明将关键点的邻域法线方差作为显著值,通过对源点云与目标点云的关键点的显著值求交集,初步提取出关键点交集,加速特征匹配。本发明提出了体素形状描述符,通过将关键点的邻域点映射到关键点的局部坐标系,统计邻域点的三维空间分布,快速计算特征描述符,适合描述密集点云的大范围邻域。
Description
技术领域
本发明属于计算机视觉、三维测量技术领域,具体涉及一种基于体素形状描述符的点云识别方法。
背景技术
场景中的目标识别是计算机视觉领域中的一项基础研究,其在众多领域中均有着重要的应用价值,如智能监控,自动装配,移动操作,机器人,医学分析等。与传统的二维图像相比,三维点云能提供更多的几何信息,并且不受旋转和光照。因而三维点云在处理目标识别问题时有潜在优势。此外,随着三维扫描技术的迅速发展,使得点云数据的获取变得方便快捷。这使得三维目标识别在计算机视觉领域体现出其不可替代的价值。)目前提出的物体识别方法往往需要从大量的点云数据中提取物体的局部特征。由于点云场景数据具有大范围、大尺度和海量性的特性,使得每个物体包含有大量的局部特征,每个局部特征对应一个高维描述向量,从而导致计算量大、计算效率低下等问题。另一方面,实测三维点云场景数据易受噪声的影响,且存在密度分布不均匀和无法保证法向量、曲率等微分几何特征计算的准确性的缺点。针对以上的问题,本发明提出了一种基于体素形状描述符的点云识别方法,通过多尺度邻域与欧式距离加权的点云法线计算方法,降低噪声对法线的影响程度。此外,通过对关键点的选取,描述符的构建等多方面的改进,有效的提高了识别计算速度及准确率。
发明内容
本发明的目的在于提供降低噪声对法线的影响程度,提高识别计算速度及准确率的一种基于体素形状描述符的点云识别方法。
本发明的目的通过如下技术方案来实现:包括以下步骤:
步骤1:通过欧式距离加权的主成分分析法对点云中的点进行法线估计;
步骤2:使用基于区域生成的法线方向二义性判定算法修正所求得的法线;
步骤2.1:计算待检测点云最小包围盒,确定点云在x、y、z三个维度上的坐标范围;
步骤2.2:将最小包围盒划分为若干等大小的小立方体,小立方体大小根据点云分辨率设定;按照小立方体的空间顺序,即x、y、z从小到大的顺序给小立方体建立索引号,将内部不包含点的小立方体标记为无效;
步骤2.4:根据点云分辨率设定误差阈值e,构建交点集合J;
若小立方体vi中的点(x,y,z)满足下式,则判断小立方体vi中的点(x,y,z)与直线相交,将交点记做pj,所有满足下式的交点构成集合J;
步骤2.5:当交点集合J中所有的点pj与点云质心的距离小于质心与质心的距离时,将小立方体vi标记为“已知法线方向”,以质心作为视点,计算视点到小立方体vi中每点的连线与该点法线的角度,若是钝角则保持法线方向,若是锐角则将法线反向;
当交点集合J中所有的点pj与点云质心的距离大于质心与质心的距离时,将小立方体vi标记为“已知法线方向”,以质心作为视点,计算视点到小立方体vi中每点的连线与该点法线的角度,若是锐角则保持法线方向,若是钝角则将法线反向;
当交点集合J中的点与点云质心的距离既有小于质心与质心的距离,又有大于质心与质心的距离的情况时,将小立方体vi标记为“未知法线方向”;确定其相邻的小正方体是否被标记为“已知法线方向”,若已经被标记为“已知法线方向”,小立方体vi所有点的法线应该与相邻的小正方体的法线保持一致,即二者之间的夹角保持为锐角,若为钝角,需将法线反向;如果相邻的小正方体的被标记为“未知法线方向”,则要继续寻找该相邻小正方体的相邻小正方体,直到找到标记为“已知法线方向”的相邻小正方体,根据它的的法线方向去修正之前的找到的所有标记为“未知法线方向”的小正方体;
步骤3:使用多尺度法线融合算法计算最终法线;
步骤4:通过曲率阈值选出预关键点,将邻域法线方差作为显著值,筛选出模型点云和目标点云的关键点;
步骤4.1:设定曲率阈值,将曲率大于曲率阈值的点作为预关键点pe,将曲率小于曲率阈值的点作为平面点舍弃;
步骤4.2:计算每个预关键点的显著值l;
步骤4.3:判断预关键点的显著值是否为邻域内最大,若不是则将该点变为“非预关键点”;
步骤5:通过将关键点的邻域点映射到关键点的局部坐标系,统计邻域点的三维空间分布,构建体素形状描述符;
步骤6:通过距离加权的霍夫投票寻找模型点云和场景点云的对应关系,完成点云目标识别。
本发明还可以包括:
所述的步骤6中通过距离加权的霍夫投票寻找模型点云和场景点云的对应关系的方法具体为:
步骤6.1:搜索场景点云关键点在模型点云中基于特征描述符欧式距离的最近点设定距离阈值,如果两者的特征描述符欧式距离小于该距离阈值,则将作为一组有效对应关系;否则,该关键点无对应点,计算场景点云下一个关键点;
步骤6.2:继续查找关键点的可能的对应点:如果次近邻特征描述符欧式距离大于距离阈值或是最近邻特征描述符欧式距离的一倍,停止计算;否则,将作为一组初始对应关系,继续计算按特征描述符欧氏距离排序的第三近邻,反复迭代,找到所有满足距离阈值的对应关系作为初始对应关系;
步骤6.8:寻找票数最多的体素,保留与该体素相关的对应关系为最终对应关系,剔除其它对应关系;
步骤6.9:设置比值阈值,当最终对应关系与初始对应关系比值大于比值阈值时,识别出场景点云中存在模型点云,使用随机采样一致性配准算法通过最终对应关系求出转换关系,将模型点云变换到场景点云中,将场景点云中与变换过来的点最近的点标记为识别后的结果。
所述的步骤5中构建体素形状描述符的方法具体为:
步骤5.1:将关键点的特征向量进行单位正交化后,以关键点作为坐标原点,以最大特征值λ1对应的特征向量v1为x轴,次大特征值λ2对应的特征向量v2为y轴,最小特征值λ3对应的特征向量v3为z轴,,建立关键点的局部坐标系;
步骤5.2:在关键点的局部坐标系下,以关键点为中心,建立边长为25*s的正方体;
步骤5.3:将正方体的长宽高平均分成5份,形成125个小正方体子空间;
步骤5.4:统计点云在每个小正方体内的点数,并按照xyz的顺序拉伸成125维列向量;遍历源点云和目标点云的所有关键点得到源点云和目标点云特征描述符集。
所述的步骤1中通过欧式距离加权的主成分分析法对点云中的点进行法线估计具体为:对协方差矩阵进行改进,加上了距离权重系数w,如下式所示:
所述的步骤3中使用多尺度法线融合算法计算最终法线的方法具体为:取3个具有相同间隔的邻域半径r1=3*s、r2=5*s、r3=7*s,s为点云分辨率,按照下式把基于3个邻域半径计算的法线求加权均值,将该均值n作为最终法线;
其中,n1、n2、n3为半径为r1、r2、r3时通过步骤1和步骤2所求得的法线。。
本发明的有益效果在于:
本发明基于改进PCA的法线估计方法,降低噪声对法线的影响程度,有效提取点的局部邻域信息,对局部法线方差进行非极大值抑制,提取的关键点具有高辨识度、低重叠的特点。本发明将关键点的邻域法线方差作为显著值,通过对源点云与目标点云的关键点的显著值求交集,初步提取出关键点交集,加速特征匹配。本发明提出了体素形状描述符,通过将关键点的邻域点映射到关键点的局部坐标系,统计邻域点的三维空间分布,快速计算特征描述符,适合描述密集点云的大范围邻域。使用关键点的特征描述符的最近邻选取初始匹配关系,再通过改进的霍夫投票在场景点云中查找模型点云进行识别,不仅加快了识别的速率,同时提高了识别的准确率。
附图说明
图1为本发明实施例中的点云识别模型图。
图2为本发明实施例中的法线重定向前后对比结果图。
图3为本发明实施例中的高斯噪声下关键点分布图。
图4为本发明实施例中的初始对应关系与最终对应关系图。
图5为本发明实施例中的多目标识别的对应关系图。
图6为本发明实施例中的位姿估计结果图。
图7为本发明实施例中的实验数据表。
具体实施方式
下面结合附图对本发明做进一步描述。
本发明的目的是公开一种基于体素形状描述符的点云识别方法。首先,通过欧式距离加权的主成分分析法(PCA)计算点云法线,使用基于区域生成的法线方向二义性判定算法修正所求得的法线,使用多尺度法线融合算法计算最终法线。然后,通过曲率阈值选出预关键点,将邻域法线方差作为显著值,筛选出模型点云和目标点云的关键点。接着,通过将关键点的邻域点映射到关键点的局部坐标系,统计邻域点的三维空间分布,构建体素形状描述符。最后,通过距离加权的霍夫投票寻找模型点云和场景点云的对应关系,进而完成点云目标识别。本发明提出了的识别方法有效降低噪声对法线的影响程度,提高了识别计算速度及准确率。此外,针对复杂场景仍能保持良好的识别性能。本发明通过多尺度邻域与欧式距离加权的点云法线计算方法,降低噪声对法线的影响程度。此外,通过对关键点的选取,描述符的构建等多方面的改进,有效的提高了识别计算速度及准确率。
该方法包括以下步骤:
步骤1:法线估计。
步骤1.1:首先对协方差矩阵进行改进,加上了距离权重系数w,如式(1)所示:
步骤1.2:为解决法线估计二义性问题(即所求法线可能与真实法线方向相反,无法使整个点云法线方向一致),提出一种基于区域生成的法线方向二义性判定算法,对法线重定向。
首先对待检测点云计算最小包围盒,确定点云在x、y、z三个维度上的坐标范围xmin、xmax、ymin、ymax、zmin、zmax、,将最小包围盒划分为若干等大小的小立方体,小立方体大小根据点云分辨率设定。按照小立方体的空间顺序(x、y、z从小到大的顺序)给小立方体建立索引号,将内部不包含点的小立方体标记为无效。
将小立方体vi中点坐标带入式(2)、式(3)、式(4),求得k1、k2、k3,设定误差阈值e(根据点云分辨率设定),若k1、k2、k3满足式(5),则认为小立方体vi中的这个点(x,y,z)与直线相交,将交点记做pj,所有满足式(5)的交点构成集合J。
最后分三种情况确定法线方向。当交点集合J中所有的点pj与点云质心的距离小于质心与质心的距离时,并将小立方体vi标记为“已知法线方向”,并按如下方法确定法线方向:以质心作为视点,计算视点到小立方体vi中每点的连线与该点法线的角度,若是钝角则保持法线方向,若是锐角则将法线反向。当交点集合J中所有的点pj与点云质心的距离大于质心与质心的距离时,将小立方体vi标记为“已知法线方向”,并按如下方法确定法线方向:以质心作为视点,计算视点到小立方体vi中每点的连线与该点法线的角度,若是锐角则保持法线方向,若是钝角则将法线反向。当交点集合J中的点与点云质心的距离既有小于质心与质心的距离,又有大于质心与质心的距离的情况时,将小立方体vi标记为“未知法线方向”,并按如下方法确定法线方向:确定其相邻的小正方体是否被标记为“已知法线方向”,若已经被标记为“已知法线方向”,小立方体vi所有点的法线应该与相邻的小正方体的法线保持一致,即二者之间的夹角保持为锐角,若为钝角,需将法线反向。如果相邻的小正方体的被标记为“未知法线方向”,则要继续寻找该相邻小正方体的相邻小正方体,直到找到标记为“已知法线方向”的相邻小正方体,根据它的的法线方向去修正之前的找到的所有标记为“未知法线方向”的小正方体。
步骤1.3:取3个具有相同间隔的邻域半径r1=3*s、r2=5*s、r3=7*s,s为点云分辨率,按照式(6)把基于3个邻域半径计算的法线求加权均值,将该均值n作为最终法线。
其中n1、n2、n3为半径为r1、r2、r3时通过步骤1.1和步骤1.2所求得的法线。
步骤2:关键点查找。
步骤2.1:设定阈值,将曲率大于阈值的点作为预关键点pe,将曲率小于阈值的点作为平面点舍弃。
步骤2.2:将点邻域内法线方差作为预关键点的显著值l,如式(7)所示。将非预关键点的显著值置0,计算每个预关键点的显著值。
步骤2.3:判断预关键点的显著值是否为邻域内最大,若不是则将舍弃该点,即将该点变为“非预关键点”。
步骤2.4:将显著值从小到大排序,为模型点云预关键点显著值最小值,为模型点云预关键点显著值最大值。计算场景点云预关键点的显著值,为场景点云预关键点显著值最小值,为场景点云预关键点显著值最大值。取场景点云与模型点云显著值区间交集将显著值在该区间的模型点云与场景点云的预关键点作为关键点,分别用和表示。
步骤3:特征描述符计算。
步骤3.1:以关键点为原点,建立关键点的局部坐标系。将关键点的特征向量进行单位正交化后,其中最大特征值λ1对应的特征向量v1为x轴,次大特征值λ2对应的特征向量v2为y轴,最小特征值λ3对应的特征向量v3为z轴,将关键点作为坐标原点。
步骤3.2:在局部坐标系下,以关键点为中心,建立边长为25*s的正方体,s为分辨率。
步骤3.3:将正方体的长宽高平均分成5份,形成125个小正方体子空间
步骤3.4:统计点云在每个小正方体内的点数,并按照xyz的顺序拉伸成125维列向量。遍历源点云和目标点云的所有关键点得到源点云和目标点云特征描述符集。
步骤4:点云识别。
步骤4.1:搜索场景点云关键点在模型点云中基于特征描述符欧式距离的最近点设定阈值,如果两者的特征描述符欧式距离小于该阈值,则将作为一组有效对应关系;否则,该关键点无对应点,计算场景点云下一个关键点。继续查找关键点的可能的对应点:如果次近邻特征描述符欧式距离大于距离阈值或是最近邻特征描述符欧式距离的一倍,停止计算;否则,将作为一组初始对应关系,继续计算按特征描述符欧氏距离排序的第三近邻,反复迭代,找到所有满足阈值的对应关系作为初始对应关系。
然后根据步骤4.1得到的一对多的对应关系,将点云模型中每个关键点的局部参考向量转换到场景点云中的对应点上,形成多个对应的局部参考向量。由于局部坐标系具有旋转不变性,场景点云、模型点云中关键点的局部向量相等:
步骤4.3:将场景点云分割成大小相等体素,若全局向量的终点落在某一体素中,则该体素票数值加1。由于离重心越远的关键点受到到噪声影响越大,该关键点到重心的向量越长,则重心位置误差越大,在传统霍夫投票的基础上,提出基于距离加权的霍夫投票:根据距离的远近,增加的投票值core按式(14)计算:
统计落入每个体素的票数。
步骤4.4:寻找票数最多的体素,保留与该体素相关的对应关系为最终对应关系,剔除其它对应关系。设置阈值,当最终对应关系与初始对应关系比值大于阈值时,则识别出场景点云中存在模型点云。然后使用随机采样一致性(RANSAC)配准算法通过最终对应关系求出转换关系,将模型点云变换到场景点云中,将场景点云中与变换过来的点最近的点标记为识别后的结果。
本发明的优点是,基于改进PCA的法线估计方法,降低噪声对法线的影响程度。提出了一种基于邻域法线方差的关键点查找算法,有效提取点的局部邻域信息,对局部法线方差进行非极大值抑制,提取的关键点具有高辨识度、低重叠的特点。将关键点的邻域法线方差作为显著值,通过对源点云与目标点云的关键点的显著值求交集,初步提取出关键点交集,加速特征匹配。提出了体素形状描述符,通过将关键点的邻域点映射到关键点的局部坐标系,统计邻域点的三维空间分布,快速计算特征描述符,适合描述密集点云的大范围邻域。使用关键点的特征描述符的最近邻选取初始匹配关系,再通过改进的霍夫投票在场景点云中查找模型点云进行识别,不仅加快了识别的速率,同时提高了识别的准确率。
实施例1:
本发明使用的点云模型数据如图1所示,分别是armadillo、bunny、cat、centaur、cheff、chicken、david、dog、dragon、face、ganesha、gorilla、horse、para、trex、wolf等16种类别,同时包含各个模型的场景点云、以及场景点云组合。
图2为法线重定向前后对比结果,其中(a)和(c)为未定向法线,(b)和(d)为定向后法线。
图3为高斯噪声下关键点分布,其中(a)为无噪声情况下;(b)为0.1倍分辨率情况下;(c)为0.2倍分辨率情况下;(d)为0.3倍分辨率情况下;(e)为0.4倍分辨率情况下。
图4为初始对应关系与最终对应关系,其中(a)为cheff初始对应关系;(b)为cheff对应关系;(c)为ganesha初始对应关系;(d)为ganesha对应关系。
图5为多目标识别的对应关系,其中(a)为bunny对应关系;(b)为armadillo对应关系;(c)为ganesha对应关系。
具体按照以下步骤实施:
步骤1:法向量估计:
步骤1.1:用主成分分析法(PCA)对模型点云和场景点云中的点进行法线估计。
步骤1.2:将点云表示为若干等大小的小立方体vi,小立方体大小根据点云分辨率设定。对小正方体内部的点云排序,使得索引相邻的点在空间中也相邻。为该小正方体内部的点云建立kd-tree,随机选取一个点作为起始点,在kd-tree中查找起始点的最近点作为第2个点,再以第2个点作为当前点从剩余点中查找当前点的最近点作为第3个点,以此类推,直到小正方体内部点云排序完成。计算内部包含点的小立方体vi内点云的质心和整体点云的质心并求出与构成直线方程。判断小立方体vi中的这个点(x,y,z)与直线相交情况,交点交点记做pj,交点集合为J。
当交点集合J中所有的点pj与点云质心的距离小于质心与质心的距离时,并将小立方体vi标记为“已知法线方向”,并按如下方法确定法线方向:以质心作为视点,计算视点到小立方体vi中每点的连线与该点法线的角度,若是钝角则保持法线方向,若是锐角则将法线反向。当交点集合J中所有的点pj与点云质心的距离大于质心与质心的距离时,将小立方体vi标记为“已知法线方向”,并按如下方法确定法线方向:以质心作为视点,计算视点到小立方体vi中每点的连线与该点法线的角度,若是锐角则保持法线方向,若是钝角则将法线反向。当交点集合J中的点与点云质心的距离既有小于质心与质心的距离,又有大于质心与质心的距离的情况时,将小立方体vi标记为“未知法线方向”,并按如下方法确定法线方向:确定其相邻的小正方体是否被标记为“已知法线方向”,若已经被标记为“已知法线方向”,小立方体vi所有点的法线应该与相邻的小正方体的法线保持一致,即二者之间的夹角保持为锐角,若为钝角,需将法线反向。如果相邻的小正方体的被标记为“未知法线方向”,则要继续寻找该相邻小正方体的相邻小正方体,直到找到标记为“已知法线方向”的相邻小正方体,根据它的的法线方向去修正之前的找到的所有标记为“未知法线方向”的小正方体。
步骤1.3:取3个具有相同间隔的邻域半径r1=3*s、r2=5*s、r3=7*s,s为点云分辨率,把基于3个邻域半径计算的法线求加权均值,将该均值n作为最终法线。
图2为法线重定向前后对比结果,邻域半径、距离阈值为5倍分辨率,体素大小为10倍分辨率。灰色为点,黑色为法线方向,相同曲面的法线接***行。未定向的法线估计在拐点处法线估计产生歧义,经过定向后的法线更符合整体点云的法线方向。
:步骤2:关键点查找
首先设定阈值,将曲率大于阈值的点作为预关键点pe。然后将点邻域内法线方差作为预关键点的显著值l,如式(8)所示。将非预关键点的显著值置0,计算每个预关键点的显著值。接着判断预关键点的显著值是否为邻域内最大,若不是则将舍弃该点,即将该点变为“非预关键点”。最后将显著值从小到大排序,为模型点云预关键点显著值最小值,为模型点云预关键点显著值最大值。计算场景点云预关键点的显著值,为场景点云预关键点显著值最小值,为场景点云预关键点显著值最大值。取场景点云与模型点云显著值区间交集将显著值在该区间的模型点云与场景点云的预关键点作为关键点,分别用和表示。
图3为添加不同倍率的高斯噪声后的关键点分布情况,在噪声影响下,仍有大部分关键点位于相似位置,加强了识别算法抗噪声能力。
步骤3:特征描述符计算。
首先以关键点为原点,将关键点的特征向量进行单位正交化后,其中最大特征值λ1对应的特征向量v1为x轴,次大特征值λ2对应的特征向量v2为y轴,最小特征值λ3对应的特征向量v3为z轴,将关键点作为坐标原点,建立关键点的局部坐标系。然后在局部坐标系下,以关键点为中心,建立边长为25*s的正方体,s为分辨率。接着将正方体的长宽高平均分成5份,形成125个小正方体子空间。最后统计点云在每个小正方体内的点数,并按照xyz的顺序拉伸成125维列向量。遍历源点云和目标点云的所有关键点得到源点云和目标点云特征描述符集。
步骤4:点云识别
步骤4.1:首先,搜索场景点云关键点在模型点云中基于特征描述符欧式距离的最近点设定阈值,如果两者的特征描述符欧式距离小于该阈值,则将作为一组有效对应关系;否则,该关键点无对应点,计算场景点云下一个关键点。继续查找关键点的可能的对应点:如果次近邻特征描述符欧式距离大于距离阈值或是最近邻特征描述符欧式距离的一倍,停止计算;否则,将作为一组初始对应关系,继续计算按特征描述符欧氏距离排序的第三近邻,反复迭代,找到所有满足阈值的对应关系作为初始对应关系。
然后,对模型中每一个关键点计算其与模型重心的全局向量并将全局向量转换到关键点的局部坐标系下。由于局部坐标系具有旋转不变性,场景点云、模型点云中关键点的局部向量相等。根据初始对应关系,将模型点云中每个关键点的局部向量转换到场景点云中的对应点上。将场景中得到的局部向量转换到场景点云的全局坐标系下,得到全局向量
最后,将场景点云分割成大小相等体素,若全局向量的终点落在某一体素中,则该体素票数值加1。由于离重心越远的关键点受到到噪声影响越大,该关键点到重心的向量越长,则重心位置误差越大,在传统霍夫投票的基础上,提出基于距离加权的霍夫投票:根据距离的远近,增加的投票值core为:
统计落入每个体素的票数。
步骤4.2:找票数最多的体素,保留与该体素相关的对应关系为最终对应关系,剔除其它对应关系。设置阈值,当最终对应关系与初始对应关系比值大于阈值时,则识别出场景点云中存在模型点云。然后使用随机采样一致性(RANSAC)配准算法通过最终对应关系,求出模型点云和场景点云之间的变化关系,将模型点云变换到场景点云中,将场景点云中与变换过来的点最近的点标记为识别后的结果。
图4中,(a)、(c)为初始对应关系,(b)、(d)为去除错误对应关系后的正确对应关系,通过体素形状描述符、改进霍夫投票匹配算法可以寻找到大量有效的对应关系,提高识别算法的稳健性。其中初始对应关系的距离阈值为0.01,投票体素为10倍分辨率。图5为复杂场景点云中识别模型的匹配关系,改进后的霍夫投票计算出的对应关系准确度较高,可以同时识别场景中所有对象。图6为基于体素形状描述符配合改进后霍夫投票的位姿估计结果,精度较高,能够准确估计场景中多个目标的位姿。图7为基于体素形状描述符的点云识别算法实验数据,详细记录了识别过程中各阶段耗时、主要参数。单目标识别时间约为1s左右,三个目标的识别时间约1.7s左右。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于体素形状描述符的点云识别方法,其特征在于,包括以下步骤:
步骤1:通过欧式距离加权的主成分分析法对点云中的点进行法线估计;
步骤2:使用基于区域生成的法线方向二义性判定算法修正所求得的法线;
步骤2.1:计算待检测点云最小包围盒,确定点云在x、y、z三个维度上的坐标范围;
步骤2.2:将最小包围盒划分为若干等大小的小立方体,小立方体大小根据点云分辨率设定;按照小立方体的空间顺序,即x、y、z从小到大的顺序给小立方体建立索引号,将内部不包含点的小立方体标记为无效;
步骤2.4:根据点云分辨率设定误差阈值e,构建交点集合J;
若小立方体vi中的点(x,y,z)满足下式,则判断小立方体vi中的点(x,y,z)与直线相交,将交点记做pj,所有满足下式的交点构成集合J;
步骤2.5:当交点集合J中所有的点pj与点云质心的距离小于质心与质心的距离时,将小立方体vi标记为“已知法线方向”,以质心作为视点,计算视点到小立方体vi中每点的连线与该点法线的角度,若是钝角则保持法线方向,若是锐角则将法线反向;
当交点集合J中所有的点pj与点云质心的距离大于质心与质心的距离时,将小立方体vi标记为“已知法线方向”,以质心作为视点,计算视点到小立方体vi中每点的连线与该点法线的角度,若是锐角则保持法线方向,若是钝角则将法线反向;
当交点集合J中的点与点云质心的距离既有小于质心与质心的距离,又有大于质心与质心的距离的情况时,将小立方体vi标记为“未知法线方向”;确定其相邻的小正方体是否被标记为“已知法线方向”,若已经被标记为“已知法线方向”,小立方体vi所有点的法线应该与相邻的小正方体的法线保持一致,即二者之间的夹角保持为锐角,若为钝角,需将法线反向;如果相邻的小正方体的被标记为“未知法线方向”,则要继续寻找该相邻小正方体的相邻小正方体,直到找到标记为“已知法线方向”的相邻小正方体,根据它的的法线方向去修正之前的找到的所有标记为“未知法线方向”的小正方体;
步骤3:使用多尺度法线融合算法计算最终法线;
步骤4:通过曲率阈值选出预关键点,将邻域法线方差作为显著值,筛选出模型点云和目标点云的关键点;
步骤4.1:设定曲率阈值,将曲率大于曲率阈值的点作为预关键点pe,将曲率小于曲率阈值的点作为平面点舍弃;
步骤4.2:计算每个预关键点的显著值l;
步骤4.3:判断预关键点的显著值是否为邻域内最大,若不是则将该点变为“非预关键点”;
步骤5:通过将关键点的邻域点映射到关键点的局部坐标系,统计邻域点的三维空间分布,构建体素形状描述符;
步骤6:通过距离加权的霍夫投票寻找模型点云和场景点云的对应关系,完成点云目标识别。
2.根据权利要求1所述的一种基于体素形状描述符的点云识别方法,其特征在于:所述的步骤6中通过距离加权的霍夫投票寻找模型点云和场景点云的对应关系的方法具体为:
步骤6.1:搜索场景点云关键点在模型点云中基于特征描述符欧式距离的最近点设定距离阈值,如果两者的特征描述符欧式距离小于该距离阈值,则将作为一组有效对应关系;否则,该关键点无对应点,计算场景点云下一个关键点;
步骤6.2:继续查找关键点的可能的对应点:如果次近邻特征描述符欧式距离大于距离阈值或是最近邻特征描述符欧式距离的一倍,停止计算;否则,将作为一组初始对应关系,继续计算按特征描述符欧氏距离排序的第三近邻,反复迭代,找到所有满足距离阈值的对应关系作为初始对应关系;
步骤6.8:寻找票数最多的体素,保留与该体素相关的对应关系为最终对应关系,剔除其它对应关系;
步骤6.9:设置比值阈值,当最终对应关系与初始对应关系比值大于比值阈值时,识别出场景点云中存在模型点云,使用随机采样一致性配准算法通过最终对应关系求出转换关系,将模型点云变换到场景点云中,将场景点云中与变换过来的点最近的点标记为识别后的结果。
3.根据权利要求1或2所述的一种基于体素形状描述符的点云识别方法,其特征在于:所述的步骤5中构建体素形状描述符的方法具体为:
步骤5.1:将关键点的特征向量进行单位正交化后,以关键点作为坐标原点,以最大特征值λ1对应的特征向量v1为x轴,次大特征值λ2对应的特征向量v2为y轴,最小特征值λ3对应的特征向量v3为z轴,,建立关键点的局部坐标系;
步骤5.2:在关键点的局部坐标系下,以关键点为中心,建立边长为25*s的正方体;
步骤5.3:将正方体的长宽高平均分成5份,形成125个小正方体子空间;
步骤5.4:统计点云在每个小正方体内的点数,并按照xyz的顺序拉伸成125维列向量;遍历源点云和目标点云的所有关键点得到源点云和目标点云特征描述符集。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010340995.1A CN111553409B (zh) | 2020-04-27 | 2020-04-27 | 一种基于体素形状描述符的点云识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010340995.1A CN111553409B (zh) | 2020-04-27 | 2020-04-27 | 一种基于体素形状描述符的点云识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111553409A true CN111553409A (zh) | 2020-08-18 |
CN111553409B CN111553409B (zh) | 2022-11-01 |
Family
ID=72004431
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010340995.1A Active CN111553409B (zh) | 2020-04-27 | 2020-04-27 | 一种基于体素形状描述符的点云识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111553409B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112365592A (zh) * | 2020-11-10 | 2021-02-12 | 大连理工大学 | 一种基于双向高程模型的局部环境特征描述方法 |
CN112446952A (zh) * | 2020-11-06 | 2021-03-05 | 杭州易现先进科技有限公司 | 三维点云法向量的生成方法、装置、电子设备及存储介质 |
CN112669385A (zh) * | 2020-12-31 | 2021-04-16 | 华南理工大学 | 基于三维点云特征的工业机器人工件识别与位姿估计方法 |
CN112766037A (zh) * | 2020-12-14 | 2021-05-07 | 南京工程学院 | 基于最大似然估计法的3d点云目标识别和定位方法 |
CN113111741A (zh) * | 2021-03-27 | 2021-07-13 | 西北工业大学 | 一种基于三维特征点的装配状态识别方法 |
CN113435256A (zh) * | 2021-06-04 | 2021-09-24 | 华中科技大学 | 一种基于几何一致性约束的三维目标识别方法及*** |
CN113469195A (zh) * | 2021-06-25 | 2021-10-01 | 浙江工业大学 | 一种基于自适应颜色快速点特征直方图的目标识别方法 |
CN113807366A (zh) * | 2021-09-16 | 2021-12-17 | 电子科技大学 | 一种基于深度学习的点云关键点提取方法 |
CN114118181A (zh) * | 2021-08-26 | 2022-03-01 | 西北大学 | 一种高维回归点云配准方法、***、计算机设备及应用 |
CN116416305A (zh) * | 2022-09-17 | 2023-07-11 | 上海交通大学 | 一种基于优化采样五维点对特征的多实例位姿估计方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103810751A (zh) * | 2014-01-29 | 2014-05-21 | 辽宁师范大学 | 基于IsoRank算法的三维耳廓点云形状特征匹配方法 |
CN105243374A (zh) * | 2015-11-02 | 2016-01-13 | 湖南拓视觉信息技术有限公司 | 三维人脸识别方法、***及应用其的数据处理装置 |
CN105910556A (zh) * | 2016-04-13 | 2016-08-31 | 中国农业大学 | 一种叶面积垂直分布信息提取方法 |
US20170046868A1 (en) * | 2015-08-14 | 2017-02-16 | Samsung Electronics Co., Ltd. | Method and apparatus for constructing three dimensional model of object |
CN106846387A (zh) * | 2017-02-09 | 2017-06-13 | 中北大学 | 基于邻域旋转体积的点云配准方法 |
CN108830888A (zh) * | 2018-05-24 | 2018-11-16 | 中北大学 | 基于改进的多尺度协方差矩阵特征描述子的粗匹配方法 |
CN108898128A (zh) * | 2018-07-11 | 2018-11-27 | 宁波艾腾湃智能科技有限公司 | 一种通过照片匹配数字化三维模型的防伪方法及设备 |
CN109887015A (zh) * | 2019-03-08 | 2019-06-14 | 哈尔滨工程大学 | 一种基于局部曲面特征直方图的点云自动配准方法 |
CN110222642A (zh) * | 2019-06-06 | 2019-09-10 | 上海黑塞智能科技有限公司 | 一种基于全局图聚类的平面建筑构件点云轮廓提取方法 |
-
2020
- 2020-04-27 CN CN202010340995.1A patent/CN111553409B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103810751A (zh) * | 2014-01-29 | 2014-05-21 | 辽宁师范大学 | 基于IsoRank算法的三维耳廓点云形状特征匹配方法 |
US20170046868A1 (en) * | 2015-08-14 | 2017-02-16 | Samsung Electronics Co., Ltd. | Method and apparatus for constructing three dimensional model of object |
CN105243374A (zh) * | 2015-11-02 | 2016-01-13 | 湖南拓视觉信息技术有限公司 | 三维人脸识别方法、***及应用其的数据处理装置 |
CN105910556A (zh) * | 2016-04-13 | 2016-08-31 | 中国农业大学 | 一种叶面积垂直分布信息提取方法 |
CN106846387A (zh) * | 2017-02-09 | 2017-06-13 | 中北大学 | 基于邻域旋转体积的点云配准方法 |
CN108830888A (zh) * | 2018-05-24 | 2018-11-16 | 中北大学 | 基于改进的多尺度协方差矩阵特征描述子的粗匹配方法 |
CN108898128A (zh) * | 2018-07-11 | 2018-11-27 | 宁波艾腾湃智能科技有限公司 | 一种通过照片匹配数字化三维模型的防伪方法及设备 |
CN109887015A (zh) * | 2019-03-08 | 2019-06-14 | 哈尔滨工程大学 | 一种基于局部曲面特征直方图的点云自动配准方法 |
CN110222642A (zh) * | 2019-06-06 | 2019-09-10 | 上海黑塞智能科技有限公司 | 一种基于全局图聚类的平面建筑构件点云轮廓提取方法 |
Non-Patent Citations (4)
Title |
---|
WEI GUAN, WENTAO LI,YAN REN: "Wei Guan; WenTao Li; Yan Ren", 《 2018 CHINESE CONTROL AND DECISION CONFERENCE(CCDC)》 * |
刘丹丹,冯冬青: "基于表面特征的变电站设备三维点云识别", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 * |
李自胜,丁国富: "点云数据处理与特征识别关键技术研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
陆军,邵红旭,王伟,范哲君,夏桂华: "基于关键点特征匹配的点云配准方法", 《北京理工大学学报》 * |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112446952B (zh) * | 2020-11-06 | 2024-01-26 | 杭州易现先进科技有限公司 | 三维点云法向量的生成方法、装置、电子设备及存储介质 |
CN112446952A (zh) * | 2020-11-06 | 2021-03-05 | 杭州易现先进科技有限公司 | 三维点云法向量的生成方法、装置、电子设备及存储介质 |
CN112365592A (zh) * | 2020-11-10 | 2021-02-12 | 大连理工大学 | 一种基于双向高程模型的局部环境特征描述方法 |
CN112766037A (zh) * | 2020-12-14 | 2021-05-07 | 南京工程学院 | 基于最大似然估计法的3d点云目标识别和定位方法 |
CN112766037B (zh) * | 2020-12-14 | 2024-04-19 | 南京工程学院 | 基于最大似然估计法的3d点云目标识别和定位方法 |
CN112669385A (zh) * | 2020-12-31 | 2021-04-16 | 华南理工大学 | 基于三维点云特征的工业机器人工件识别与位姿估计方法 |
CN112669385B (zh) * | 2020-12-31 | 2023-06-13 | 华南理工大学 | 基于三维点云特征的工业机器人工件识别与位姿估计方法 |
CN113111741A (zh) * | 2021-03-27 | 2021-07-13 | 西北工业大学 | 一种基于三维特征点的装配状态识别方法 |
CN113111741B (zh) * | 2021-03-27 | 2024-05-07 | 西北工业大学 | 一种基于三维特征点的装配状态识别方法 |
CN113435256B (zh) * | 2021-06-04 | 2022-04-26 | 华中科技大学 | 一种基于几何一致性约束的三维目标识别方法及*** |
CN113435256A (zh) * | 2021-06-04 | 2021-09-24 | 华中科技大学 | 一种基于几何一致性约束的三维目标识别方法及*** |
CN113469195A (zh) * | 2021-06-25 | 2021-10-01 | 浙江工业大学 | 一种基于自适应颜色快速点特征直方图的目标识别方法 |
CN113469195B (zh) * | 2021-06-25 | 2024-02-06 | 浙江工业大学 | 一种基于自适应颜色快速点特征直方图的目标识别方法 |
CN114118181A (zh) * | 2021-08-26 | 2022-03-01 | 西北大学 | 一种高维回归点云配准方法、***、计算机设备及应用 |
CN114118181B (zh) * | 2021-08-26 | 2022-06-21 | 西北大学 | 一种高维回归点云配准方法、***、计算机设备及应用 |
CN113807366B (zh) * | 2021-09-16 | 2023-08-08 | 电子科技大学 | 一种基于深度学习的点云关键点提取方法 |
CN113807366A (zh) * | 2021-09-16 | 2021-12-17 | 电子科技大学 | 一种基于深度学习的点云关键点提取方法 |
CN116416305A (zh) * | 2022-09-17 | 2023-07-11 | 上海交通大学 | 一种基于优化采样五维点对特征的多实例位姿估计方法 |
CN116416305B (zh) * | 2022-09-17 | 2024-02-13 | 上海交通大学 | 一种基于优化采样五维点对特征的多实例位姿估计方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111553409B (zh) | 2022-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111553409B (zh) | 一种基于体素形状描述符的点云识别方法 | |
CN109887015B (zh) | 一种基于局部曲面特征直方图的点云自动配准方法 | |
Zhong | Intrinsic shape signatures: A shape descriptor for 3D object recognition | |
CN102236794B (zh) | 3d场景中3d对象的识别和姿态确定 | |
CN104715254B (zh) | 一种基于2d和3d sift特征融合的一般物体识别方法 | |
US8994723B2 (en) | Recognition and pose determination of 3D objects in multimodal scenes | |
CN111444767B (zh) | 一种基于激光雷达的行人检测和追踪方法 | |
CN114972459B (zh) | 一种基于低维点云局部特征描述符的点云配准方法 | |
CN110930456A (zh) | 基于pcl点云库的钣金零件的三维立体识别及定位方法 | |
CN103927511A (zh) | 基于差异特征描述的图像识别方法 | |
CN114200477A (zh) | 一种激光三维成像雷达地面目标点云数据处理方法 | |
CN111783722B (zh) | 一种激光点云的车道线提取方法和电子设备 | |
CN112116553B (zh) | 一种基于k-d树的无源三维点云模型缺陷识别方法 | |
CN108537805A (zh) | 一种基于特征几何收益的目标识别方法 | |
CN114358166B (zh) | 一种基于自适应k均值聚类的多目标定位方法 | |
CN114463396B (zh) | 一种利用平面形状和拓扑图投票的点云配准方法 | |
CN106951873B (zh) | 一种遥感图像目标识别方法 | |
Himstedt et al. | Geometry matters: Place recognition in 2D range scans using Geometrical Surface Relations | |
Liu et al. | Robust 3-d object recognition via view-specific constraint | |
Lu et al. | Matching algorithm of 3D point clouds based on multiscale features and covariance matrix descriptors | |
Boyer et al. | Saliency sequential surface organization for free-form object recognition | |
Seo et al. | Learning 3D local surface descriptor for point cloud images of objects in the real-world | |
Pham et al. | Feature descriptors: A review of multiple cues approaches | |
CN111626096B (zh) | 一种三维点云数据兴趣点提取方法 | |
Zelener et al. | Classification of vehicle parts in unstructured 3d point clouds |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |