CN109344750A - 一种基于结构描述子的复杂结构三维对象识别方法 - Google Patents

一种基于结构描述子的复杂结构三维对象识别方法 Download PDF

Info

Publication number
CN109344750A
CN109344750A CN201811101377.0A CN201811101377A CN109344750A CN 109344750 A CN109344750 A CN 109344750A CN 201811101377 A CN201811101377 A CN 201811101377A CN 109344750 A CN109344750 A CN 109344750A
Authority
CN
China
Prior art keywords
cloud unit
point cloud
center
unit
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811101377.0A
Other languages
English (en)
Other versions
CN109344750B (zh
Inventor
刘盛
沈康
冯缘
王杨庆
柯程远
陈胜勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201811101377.0A priority Critical patent/CN109344750B/zh
Publication of CN109344750A publication Critical patent/CN109344750A/zh
Application granted granted Critical
Publication of CN109344750B publication Critical patent/CN109344750B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于结构描述子的复杂结构三维对象识别方法，提取目标真实三维点云中各个部件对应的点云单元，采用各个部件对应的点云单元的包围盒大小、核心点云单元的中心到其他点云单元的中心的距离、每对点云单元中心与核心点云单元中心连线所成的夹角，构建标准的三维结构描述子，对待识别的三维场景进行分割，得到三维场景中的所有点云单元，构建候选三维结构描述子，计算候选三维结构描述子与标准结构描述子的曼哈顿距离，如果距离小于设定的第二阈值，则所述候选三维结构描述子对应的点云单元就是需要识别的对象。本发明计算消耗小，且能在三维点云场景中实现快速准确的复杂结构三维对象识别。

Description

一种基于结构描述子的复杂结构三维对象识别方法
技术领域
本发明属于计算机视觉技术领域，尤其涉及一种基于结构描述子的复杂结构三维对象识别方法。
背景技术
在复杂的场景中进行物体识别是计算机视觉一个很重要的研究领域。在过去的几十年里，二维物体识别已经被广泛研究，成为一个相对成熟的领域。相比较于二维图像，三维点云可以提供更多几何信息，因此在三维点云中估计物体的姿态比二维图像中估计的姿态更加准确。
基于点云的三维对象描述子是一项热门的研究，它的目标是通过对点云的局部或者整体进行描述，来达到对点云进行识别的目的。现有的三维点云描述子，能对单个目标进行有效识别，但无法运用于三维点云场景中复杂结构三维对象的识别。因为在对三维场景进行分割识别的过程中，复杂结构的三维对象，往往会被分割为多块点云，这时候只能应用于单个点云的点云描述子就会失效。
如何对复杂结构三维对象进行识别，仍然是业内急需解决的一个问题。
发明内容
本发明提出了一种基于结构描述子的复杂结构三维对象识别方法，克服了现有三维描述子无法识别复杂结构三维对象的问题，能够有效的对三维点云场景中的复杂结构三维对象进行识别。
一种基于结构描述子的复杂结构三维对象识别方法，所述基于结构描述子的复杂结构三维对象识别方法，包括：
提取目标真实三维点云中各个部件对应的点云单元，计算得到各个部件对应的点云单元的包围盒大小和中心；
从各个部件对应的点云单元中任选一个点云单元作为核心点云单元，计算核心点云单元的中心到其他点云单元的中心的距离；
除核心点云单元之外，将其他的点云单元两两配对，计算每对点云单元中心与核心点云单元中心连线所成的夹角；
采用各个部件对应的点云单元的包围盒大小、核心点云单元的中心到其他点云单元的中心的距离、每对点云单元中心与核心点云单元中心连线所成的夹角，构建标准的三维结构描述子；
对待识别的三维场景进行分割，得到三维场景中的所有点云单元，筛选出所有包含点的数量大于第一阈值的点云单元；
遍历筛选出的点云单元，以任一点云单元为核心点云单元，在其三维邻域内任选n个点云单元，构建候选三维结构描述子，n等于目标真实三维点云中各个部件对应的点云单元数量减一；
计算候选三维结构描述子与标准结构描述子的曼哈顿距离，如果距离小于设定的第二阈值，则所述候选三维结构描述子对应的点云单元就是需要识别的对象。
进一步地，所述构建候选三维结构描述子，包括：
计算核心点云单元及在其三维邻域内选择的n个点云单元的包围盒大小和中心；
计算核心点云单元的中心到其他点云单元的中心的距离；
除核心点云单元之外，将其他的点云单元两两配对，计算每对点云单元中心与核心点云单元中心连线所成的夹角；
采用各个点云单元的包围盒大小、核心点云单元的中心到其他点云单元的中心的距离、每对点云单元中心与核心点云单元中心连线所成的夹角，构建候选的三维结构描述子。
本发明提出的一种基于结构描述子的复杂结构三维对象识别方法，提出了一种三维结构描述子，能通过对复杂结构三维物体的各个部件的关系进行描述，在三维重建场景中起到对复杂结构三维对象识别的目的。使用物体部件的包围盒信息、部件之间的距离与所成的夹角组合作为识别信息，计算消耗小，且能在三维点云场景中实现快速准确的复杂结构三维对象识别。
附图说明
图1为本发明一种基于结构描述子的复杂结构三维对象识别方法流程图；
图2为本发明标准三维结构描述子构建示例；
图3为本发明复杂结构三维对象识别示例。
具体实施方式
下面结合附图和实施例对本发明技术方案做进一步详细说明，以下实施例不构成对本发明的限定。
如图1所示，本实施例一种基于结构描述子的复杂结构三维对象识别方法，包括：
步骤S1、提取目标真实三维点云中各个部件对应的点云单元，计算得到各个部件对应的点云单元的包围盒大小和中心。
本技术方案应用于对复杂结构三维对象进行识别，例如对一个加工零件进行识别。在工厂的生产中，可能多种零件混合在一起，要想挑选出所需要的种类，就需要用到三维对象识别。
本实施例将需要进行识别的三维对象称为目标，以目标真实三维点云来构建标准的三维结构描述子。
如图2所示示例中，该复杂结构三维对象(目标)由四个部件组成，分别为部件1、2、3、4。图2中示出部件1、2、3、4对应的点云单元，以下对于对应的点云单元，也以部件1、2、3、4来描述。
本步骤，计算各个部件对应的点云单元的包围盒，得到每个部件的长宽高信息以及中心点坐标，四个部件的中心点分别为B、A、C、O。
步骤S2、从各个部件对应的点云单元中任选一个点云单元作为核心点云单元，计算核心点云单元的中心到其他点云单元的中心的距离。
本步骤从各个部件对应的点云单元中任选一个点云单元作为核心点云单元，假设部件4为核心点云，分别计算部件1、2、3到它的距离，即计算OB、OA、OC的距离。
步骤S3、除核心点云单元之外，将其他的点云单元两两配对，计算每对点云单元中心与核心点云单元中心连线所成的夹角。
本步骤除部件4外，将剩下的点云单元两两配对，计算每对点云单元中心与部件4点云单元中心所成的夹角，夹角有∠AOC，∠BOC和∠AOB。
步骤S4、采用各个部件对应的点云单元的包围盒大小、核心点云单元的中心到其他点云单元的中心的距离、每对点云单元中心与核心点云单元中心连线所成的夹角，构建标准的三维结构描述子。
将包围盒大小信息、点云单元中心的距离以及点云单元中心之间连线所成角度进行线性的组合，即可得到标准三维结构描述子。
具体地，将包围盒的大小数据乘以权值a1，按长度从大到小排序，得到3n(每个包围盒，包含长宽高3维数据，n为除核心点云单元外的点云单元数量)维数据。
将每个点云单元中心到核心点云单元中心之间的距离乘以a1，从大到小排序，得到n维数据。
将每对点云单元中心与核心点云单元中心连线从大到小排序，得到维数据。
组合以上三种数据，即得到一个维的标准三维结构描述子。在本实施例中，目标由四个部件组成，n等于3。
步骤S5、对待识别的三维场景进行分割，得到三维场景中的所有点云单元，筛选出所有包含点的数量大于第一阈值的点云单元。
本实施例对待识别的三维场景进行分割，三维点云分割已经是比较成熟的技术，这里不再赘述。
在分割后，得到三维场景中的所有点云单元，筛选出所有包含点的数量大于第一阈值的点云单元。在本实施例中，第一阈值用于去除噪声、干扰的影响，将点数少于等于第一阈值的点云单元去掉。
例如第一阈值为500，则筛选出的点云单元中的点数都大于500，从而去除了点数在500及以下的噪声点云。
步骤S6、遍历筛选出的点云单元，以任一点云单元为核心点云单元，在其三维邻域内任选n个点云单元，构建候选三维结构描述子，n等于目标真实三维点云中各个部件对应的点云单元数量减一。
本实施例构建候选三维结构描述子，即任一点云单元为核心点云单元，在其三维邻域内任选n个点云单元，然后按照步骤S1-S3的方法，计算出各个点云单元的包围盒大小、核心点云单元的中心到其他点云单元的中心的距离、每对点云单元中心与核心点云单元中心连线所成的夹角，并按照步骤S4的方法构建三维结构描述子。
即：
计算核心点云单元及在其三维邻域内选择的n个点云单元的包围盒大小和中心；
计算核心点云单元的中心到其他点云单元的中心的距离；
除核心点云单元之外，将其他的点云单元两两配对，计算每对点云单元中心与核心点云单元中心连线所成的夹角；
采用各个点云单元的包围盒大小、核心点云单元的中心到其他点云单元的中心的距离、每对点云单元中心与核心点云单元中心连线所成的夹角，构建候选的三维结构描述子。
本步骤构建的三维结构描述子为候选三维结构描述子，以图3所示为例，假设筛选后的点云单元有6个，则以点云单元1为核心点云单元，从2-6中任选3个点云单元，来进行构建；然后以点云单元2为核心点云单元，从1，3-6中任选3个点云单元来构建；直至遍历所有点云单元，这里不再赘述。
步骤S7、计算候选三维结构描述子与标准结构描述子的曼哈顿距离，如果距离小于设定的第二阈值，则所述候选三维结构描述子对应的点云单元就是需要识别的对象。
本实施例计算三维结构描述子与标准结构描述子的曼哈顿距离，如果曼哈顿距离小于第二阈值，例如为30，那么当前核心点云与n点云单元组成的对象就是需要识别的对象。
在本实施例中，假设以部件4对应的点云单元为核心点云单元，从部件2-6中选择了部件1、2、3来构建了候选三维结构描述子，经过计算发现其与标准结构描述子的曼哈顿距离小于30，则部件4和部件1、2、3组成的三维点云，就是需要识别的对象。
需要说明的是，本实施例中权值a1、第一阈值、第二阈值根据目标真实三维点云中各个部件对应的点云单元、以及实验结构来进行设计，可以达到较好的识别效果。同时，应当说明的是，本技术方案不限于4个部件的目标识别，对于复杂结构三维对象具有较好的识别能力。
以上实施例仅用以说明本发明的技术方案而非对其进行限制，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (2)

1.一种基于结构描述子的复杂结构三维对象识别方法，其特征在于，所述基于结构描述子的复杂结构三维对象识别方法，包括：
提取目标真实三维点云中各个部件对应的点云单元，计算得到各个部件对应的点云单元的包围盒大小和中心；
从各个部件对应的点云单元中任选一个点云单元作为核心点云单元，计算核心点云单元的中心到其他点云单元的中心的距离；
除核心点云单元之外，将其他的点云单元两两配对，计算每对点云单元中心与核心点云单元中心连线所成的夹角；
采用各个部件对应的点云单元的包围盒大小、核心点云单元的中心到其他点云单元的中心的距离、每对点云单元中心与核心点云单元中心连线所成的夹角，构建标准的三维结构描述子；
对待识别的三维场景进行分割，得到三维场景中的所有点云单元，筛选出所有包含点的数量大于第一阈值的点云单元；
遍历筛选出的点云单元，以任一点云单元为核心点云单元，在其三维邻域内任选n个点云单元，构建候选三维结构描述子，n等于目标真实三维点云中各个部件对应的点云单元数量减一；
计算候选三维结构描述子与标准结构描述子的曼哈顿距离，如果距离小于设定的第二阈值，则所述候选三维结构描述子对应的点云单元就是需要识别的对象。
2.如权利要求1所述的基于结构描述子的复杂结构三维对象识别方法，其特征在于，所述构建候选三维结构描述子，包括：
计算核心点云单元及在其三维邻域内选择的n个点云单元的包围盒大小和中心；
计算核心点云单元的中心到其他点云单元的中心的距离；
除核心点云单元之外，将其他的点云单元两两配对，计算每对点云单元中心与核心点云单元中心连线所成的夹角；
采用各个点云单元的包围盒大小、核心点云单元的中心到其他点云单元的中心的距离、每对点云单元中心与核心点云单元中心连线所成的夹角，构建候选的三维结构描述子。
CN201811101377.0A 2018-09-20 2018-09-20 一种基于结构描述子的复杂结构三维对象识别方法 Active CN109344750B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811101377.0A CN109344750B (zh) 2018-09-20 2018-09-20 一种基于结构描述子的复杂结构三维对象识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811101377.0A CN109344750B (zh) 2018-09-20 2018-09-20 一种基于结构描述子的复杂结构三维对象识别方法

Publications (2)

Publication Number Publication Date
CN109344750A true CN109344750A (zh) 2019-02-15
CN109344750B CN109344750B (zh) 2021-10-22

Family

ID=65305859

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811101377.0A Active CN109344750B (zh) 2018-09-20 2018-09-20 一种基于结构描述子的复杂结构三维对象识别方法

Country Status (1)

Country Link
CN (1) CN109344750B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136181A (zh) * 2019-05-17 2019-08-16 百度在线网络技术（北京）有限公司 用于生成信息的方法和装置
CN110223297A (zh) * 2019-04-16 2019-09-10 广东康云科技有限公司 基于扫描点云数据的分割与识别方法、***及存储介质
CN111174761A (zh) * 2019-12-31 2020-05-19 中国电建集团河北省电力勘测设计研究院有限公司 一种基于激光点云的圆形杆塔倾斜变形快速计算方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2375212A (en) * 1999-04-29 2002-11-06 Mitsubishi Electric Inf Tech Representing and searching for an object using shape
CN102236794A (zh) * 2010-05-07 2011-11-09 Mv科技软件有限责任公司 3d场景中3d对象的识别和姿态确定
CN103150544A (zh) * 2011-08-30 2013-06-12 精工爱普生株式会社 用于对象姿态估计的方法和设备
EP2610783A2 (en) * 2012-01-02 2013-07-03 Samsung Electronics Co., Ltd Object recognition method and descriptor for object recognition
US20140211989A1 (en) * 2013-01-31 2014-07-31 Seiko Epson Corporation Component Based Correspondence Matching for Reconstructing Cables
CN106250881A (zh) * 2016-08-25 2016-12-21 深圳大学 一种基于三维点云数据的目标识别方法及***
CN107077735A (zh) * 2014-10-28 2017-08-18 惠普发展公司，有限责任合伙企业 三维对象识别
CN107273831A (zh) * 2017-06-05 2017-10-20 苏州大学 一种基于球空间的三维目标识别方法
CN107577984A (zh) * 2017-07-17 2018-01-12 华南理工大学 一种基于显著性分析的3d对象识别分层方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2375212A (en) * 1999-04-29 2002-11-06 Mitsubishi Electric Inf Tech Representing and searching for an object using shape
CN102236794A (zh) * 2010-05-07 2011-11-09 Mv科技软件有限责任公司 3d场景中3d对象的识别和姿态确定
CN103150544A (zh) * 2011-08-30 2013-06-12 精工爱普生株式会社 用于对象姿态估计的方法和设备
EP2610783A2 (en) * 2012-01-02 2013-07-03 Samsung Electronics Co., Ltd Object recognition method and descriptor for object recognition
US20140211989A1 (en) * 2013-01-31 2014-07-31 Seiko Epson Corporation Component Based Correspondence Matching for Reconstructing Cables
CN107077735A (zh) * 2014-10-28 2017-08-18 惠普发展公司，有限责任合伙企业 三维对象识别
CN106250881A (zh) * 2016-08-25 2016-12-21 深圳大学 一种基于三维点云数据的目标识别方法及***
CN107273831A (zh) * 2017-06-05 2017-10-20 苏州大学 一种基于球空间的三维目标识别方法
CN107577984A (zh) * 2017-07-17 2018-01-12 华南理工大学 一种基于显著性分析的3d对象识别分层方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JERZY BIELICKI ET AL: "A method of 3D object recognition and localization in a cloud of points", 《 JOURNAL ON ADVANCES IN SIGNAL PROCESSING》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110223297A (zh) * 2019-04-16 2019-09-10 广东康云科技有限公司 基于扫描点云数据的分割与识别方法、***及存储介质
CN110136181A (zh) * 2019-05-17 2019-08-16 百度在线网络技术（北京）有限公司 用于生成信息的方法和装置
CN110136181B (zh) * 2019-05-17 2021-08-20 百度在线网络技术（北京）有限公司 用于生成信息的方法和装置
CN111174761A (zh) * 2019-12-31 2020-05-19 中国电建集团河北省电力勘测设计研究院有限公司 一种基于激光点云的圆形杆塔倾斜变形快速计算方法
WO2021135422A1 (zh) * 2019-12-31 2021-07-08 中国电建集团河北省电力勘测设计研究院有限公司 一种基于激光点云的圆形杆塔倾斜变形快速计算方法

Also Published As

Publication number Publication date
CN109344750B (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
KR101854554B1 (ko) 건축물 높이 산출 방법, 장치 및 저장 매체
CN109344750A (zh) 一种基于结构描述子的复杂结构三维对象识别方法
CN105913051B (zh) 一种识别人脸图像的模版库的更新装置及方法
CN105243395B (zh) 一种人体图像比对方法和装置
CN113362247B (zh) 一种激光融合多目相机的语义实景三维重建方法及***
EP3379509A1 (en) Apparatus, method, and image processing device for smoke detection
CN103913128B (zh) 一种基于质量图区域分割的快速相位展开方法
CN104615986B (zh) 利用多检测器对场景变化的视频图像进行行人检测的方法
CN104754211B (zh) 图像处理装置以及图像处理方法
CN107369176B (zh) 一种柔性ic基板氧化面积检测***及方法
CN103617260B (zh) 重复数据删除的索引生成方法及装置
CN106599776B (zh) 一种基于轨迹分析的人数统计方法
CN109086734A (zh) 一种对人眼图像中瞳孔图像进行定位的方法及装置
CN107247926B (zh) 一种人体检测方法及装置
CN108460333B (zh) 基于深度图的地面检测方法及装置
CN108829116A (zh) 基于单目摄像头的避障方法及设备
US20180189978A1 (en) Machine vision processing system
CN110197149A (zh) 耳部关键点检测方法、装置、存储介质及电子设备
CN109697725A (zh) 一种背景过滤方法、装置及计算机可读存储介质
CN112287906A (zh) 一种基于深度特征融合的模板匹配跟踪方法及***
CN110544268A (zh) 一种基于结构光及SiamMask网络的多目标跟踪方法
CN103177099B (zh) 视频比对方法及***
CN106802149B (zh) 基于高维组合特征的快速序列图像匹配导航方法
CN108664916A (zh) 一种基于锚点设计的小面孔检测方法
CN109215074A (zh) 基于分层码标的无人机降落方法、装置、设备以及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant