CN112307809B - 一种基于稀疏特征点云的主动目标识别方法 - Google Patents
一种基于稀疏特征点云的主动目标识别方法 Download PDFInfo
- Publication number
- CN112307809B CN112307809B CN201910681446.8A CN201910681446A CN112307809B CN 112307809 B CN112307809 B CN 112307809B CN 201910681446 A CN201910681446 A CN 201910681446A CN 112307809 B CN112307809 B CN 112307809B
- Authority
- CN
- China
- Prior art keywords
- target
- feature point
- point cloud
- feature
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
- G06F18/24155—Bayesian classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及模式识别领域,具体地说是涉及一种基于稀疏特征点云的主动目标识别方法。主动目标识别的目的,是通过规划改变视觉传感器位姿(视点),获取充分信息,从而提高识别的效率和正确率。基于稀疏特征点云的主动目标识别方法包括:基于稀疏特征点云的目标表征方法以及视觉词典与贝叶斯相结合的特征点区分性度量方法。前者针对目标稠密点云模型进行特征点检测与描述,结合特征点模型坐标,构建了目标的稀疏特征点云模型;后者,针对候选目标中可观测特征点,采用视觉词典与贝叶斯相结合的方法度量每个特征点的区分性,用于确定下一最佳视点。本发明对复杂有遮挡的场景仍旧具有较高的识别效率与正确率,视点规划范围覆盖整个三维空间,应用性更强。
Description
技术领域
本发明涉及模式识别领域,具体地说是涉及一种基于稀疏特征点云的主动目标识别方法。
背景技术
主动目标识别的目的,是通过规划改变视觉传感器位姿(视点),获取充分信息,从而提高识别的效率和正确率。在众多复杂场景中,目标存在遮挡或者不同的目标存在相似的视角,这些情况下,仅根据单一视点的观测信息,无法唯一地辨别目标身份,使得识别存在不确定性。通过改变视觉传感器的视点,获取新的观测信息,可以降低当前识别的歧义性。
视点的改变同样会引入新的问题:一,如何构建面向主动识别的目标模型。单一视点识别中的目标模型,通常是针对一个目标不同视角下的二维视图提取孤立的特征,而没有明确特征间的空间依赖关系。在主动识别中,视点改变的目的是为了寻找新的特征,只有建立了当前视点下特征与下一视点对应特征的相对位置关系,才能求得下一视点与当前视点的位姿变换。二,如何根据历史观测信息并结合前面的目标模型,确定下一最佳视点,其本质是寻求最有区分性的特征,以排除其它候选目标,这一过程涉及到不同特征区分性或者唯一性的度量问题。
针对以上两个问题,主流的方法采用形态图表征目标,以不同视角下二维视图中提取的目标形态作为目标特征,结合图的方式描述特征间的位置依赖关系;采用贝叶斯的思想度量不同特征的区分性,进而构建形态预测图,用以确定下一最佳视点。该方法存在的不足有:
(1)复杂场景中,目标容易发生遮挡,形态提取不完整,导致识别正确率降低;
(2)形态图模型只适用于表征人工目标;
(3)为了提取目标所有的可观测形态,需要手工划分目标的视点空间,以确定每个形态的所属范围,工作量大且繁琐;
(4)无法直接确定下一最佳视点的位姿,需要在视觉传感器移动过程中实时检测目标形态,以确定是否观测到预期形态,导致识别效率降低;
(5)为了降低形态划分复杂度,(3)中的视点空间通常局限于一维空间,即以目标为中心的固定半径圆周上,这导致在实际问题中,应用性较差。
发明内容
为了克服主流方法中的不足,本发明提出了一种适用于复杂场景且特征提取简单的主动目标识别方法。
为解决上述技术问题,本发明采用的方案包括:一种基于稀疏特征点云的主动目标识别方法,包括以下步骤:
1)根据视觉传感器采集的目标三维点云模型,获取特征点、特征描述子以及特征点模型坐标,构成特征点云模型存入模型库;
2)根据视觉传感器实时采集的目标三维点云,获取特征点、特征描述子,并与模型库中每个目标的特征点云模型进行特征匹配,生成候选目标及对应位姿;当候选目标个数大于1时,规划视觉传感器下一视点用于获取新的目标三维点云,并返回步骤2),以排除部分候选目标,确认目标身份。
所述获取特征点和特征描述子包括以下步骤:
针对目标三维点云模型或者实时采集的目标三维点云进行特征点检测;
利用特征点的邻域信息进行描述,作为特征描述子。
获取特征点模型坐标具体为自定义目标模型坐标系,并计算特征点在目标模型坐标系下的坐标。
所述特征点通过ISS算法获取,特征点应满足的条件为:
式中,λt表示由特征点邻域内所有点构造的协方差矩阵的特征值,且满足λ1>λ2>λ3,t=1、2、3;Thpq代表阈值,p=1,q=2或p=2,q=3。
所述特征描述子通过LLSI算法获取,统计特征点邻域内所有点的位置以及朝向信息,邻域半径为30网格分辨率,特征向量的维度是216。
所述规划视觉传感器下一视点包括以下步骤:
第一步,采用聚类算法将所有候选目标的可观测特征点聚合成若干个中心,作为视觉词;
第二步,根据贝叶斯法则,统计每一候选目标中各视觉词的频数,进而计算每个视觉词判定各候选目标的条件概率;
第三步,根据视觉词的区分性度量公式得到区分性度量值;
最后,求取各候选目标中所有可观测特征点的区分性度量值,它等于与之欧式距离最近的视觉词的区分性度量值;设定区分性度量值阈值,当某一可观测特征点的区分性度量值大于该阈值时,则该可观测特征点称之为优选可观测特征点;获取每个候选目标的优选可观测特征点集,计算每个候选目标点集中所有优选可观测特征点的区分性度量值之和,选取和最大的候选目标作为优先探测候选目标;根据优先探测候选目标点集中各优选可观测特征点的模型坐标以及当前的视觉传感器视点,计算下一视点。
所述每个视觉词判定各候选目标条件概率的计算方法为:
式中,fi代表第i个视觉词;Oj代表第j个候选目标;m代表候选目标的数量;P(Oj)表示候选目标Oj的先验概率。P(fi|Oj)代表候选目标Oj中视觉词fi出现的概率,其计算公式为:
式中,n为视觉词的类别数;为候选目标Oj中视觉词fi出现的频数。
所述视觉词的区分性度量公式为:
式中,视觉词fi的区分性度量值ui∈[0,1],ui越大表明视觉词fi的区分性越强。
本发明具有以下优点及有益效果:
(1)对复杂有遮挡的场景不敏感;
(2)适用的目标范围广;
(3)自动提取目标特征,无需人工参与;
(4)可以直接得到下一最佳视点的位姿,无需在视觉传感器移动过程中实时检测,提高了识别效率;
(5)视点规划范围覆盖整个三维空间,应用性更高。
附图说明
图1是本发明的主动目标识别算法框图;
图2是本发明的目标稠密三维点云模型图;
图3是本发明的目标稀疏特征点云模型图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述:
本发明包括基于稀疏特征点云的目标表征方法以及视觉词典与贝叶斯相结合的特征区分性度量方法。
基于稀疏特征点云的目标表征方法,针对目标的稠密三维点云模型进行特征点检测,并利用特征点的邻域信息对其进行描述,结果表示为一个高维的特征向量,称作特征描述子。此外,以目标的模型坐标系作为参考,每个特征点都包含一个模型坐标,它反映了不同特征点间的位置依赖关系。因此,这些附带特征描述子与模型坐标的特征点就表征了一个目标。
所述特征点检测,涉及的检测方法为ISS(Intrinsic Shape Signatures)算法,特征点应满足的条件为:
式中,λt表示由特征点邻域内相关点构造的协方差矩阵的特征值,且满足λ1>λ2>λ3;Thpq代表阈值,p=1,q=2或p=2,q=3。
所述特征描述子,涉及的描述方法为LLSI(Longitude and Latitude SpinImage)算法,统计了特征点邻域内所有相关点的位置以及朝向信息,邻域半径为30网格分辨率,特征向量的维度是216。
视觉词典与贝叶斯相结合的特征区分性度量方法用于刻画特征点的区分性,具体地说是度量每个候选目标(根据历史观测信息生成的假设目标)中尚未观测特征点(可观测特征点)的区分性,区分性的大小将引导下一视点的规划方向。此方法分为三步:首先,引入视觉词典思想,采用聚类算法将所有候选目标的可观测特征点聚合成若干个中心,称作视觉词,每个可观测特征点的区分性等价于距离它最近视觉词的区分性;其次,根据贝叶斯方法,统计每一候选目标中各视觉词的频数,进而求得每个视觉词判定各候选目标的条件概率分布;最后,结合香农熵原理,给出视觉词fi的区分性ui度量公式:
式中,ui∈[0,1],ui越大表明视觉词fi的区分性越强;m代表候选目标的数量;Oj代表第j个候选目标;P(Oj|fi)表示视觉词fi判定候选目标Oj的条件概率,依据贝叶斯法则,计算公式如下:
式中,P(Oj)表示目标Oj的先验概率;P(fi|Oj)代表候选目标Oj中视觉词fi出现的概率,计算公式为:
式中,n为视觉词的类别数;为候选目标Oj中视觉词fi出现的频数。
根据图1所示,主动目标识别算法分为两个阶段:离线目标建模阶段与在线目标识别阶段。
离线目标建模阶段,依据本发明提出的基于稀疏特征点云的目标表征方法,针对模型库中的每一个稠密三维点云模型,例如图2所示的目标模型,采用ISS算法,提取目标特征点,并利用LLSI进行特征描述,所得的稀疏特征点云模型如图3所示。图3中,特征点的空间分布关系由它们的模型坐标决定,同时每个特征点包含了一个216维的特征描述子。
在线目标识别阶段,采用与离线建模阶段相同的特征点检测与描述方法,提取场景特征点,并与模型库中每个目标的稀疏特征点云模型进行特征匹配,生成候选目标及对应位姿。当候选目标不唯一,即识别产生歧义时,则需要通过视点规划,移动视觉传感器(例如TOF相机)到下一最佳视点,获取新的观测信息,以排除部分候选目标,确认目标身份。这一过程中,下一最佳视点确定的依据,源于本发明的视觉词典与贝叶斯相结合的特征区分性度量方法,赋予每个可观测特征点一个区分性(唯一性)属性,下一最佳视点则对应着区分性最高的区域。
Claims (6)
1.一种基于稀疏特征点云的主动目标识别方法,其特征在于,包括以下步骤:
1)根据视觉传感器采集的目标三维点云模型,获取特征点、特征描述子以及特征点模型坐标,构成特征点云模型存入模型库;
2)根据视觉传感器实时采集的目标三维点云,获取特征点、特征描述子,并与模型库中每个目标的特征点云模型进行特征匹配,生成候选目标及对应位姿;当候选目标个数大于1时,规划视觉传感器下一视点用于获取新的目标三维点云,并返回步骤2),以排除部分候选目标,确认目标身份;
所述获取特征点和特征描述子包括以下步骤:
针对目标三维点云模型或者实时采集的目标三维点云进行特征点检测;
利用特征点的邻域信息进行描述,作为特征描述子;
所述规划视觉传感器下一视点包括以下步骤:
第一步,采用聚类算法将所有候选目标的可观测特征点聚合成若干个中心,作为视觉词;
第二步,根据贝叶斯法则,统计每一候选目标中各视觉词的频数,进而计算每个视觉词判定各候选目标的条件概率;
第三步,根据视觉词的区分性度量公式得到区分性度量值;
最后,求取各候选目标中所有可观测特征点的区分性度量值,它等于与之欧式距离最近的视觉词的区分性度量值;设定区分性度量值阈值,当某一可观测特征点的区分性度量值大于该阈值时,则该可观测特征点称之为优选可观测特征点;获取每个候选目标的优选可观测特征点集,计算每个候选目标点集中所有优选可观测特征点的区分性度量值之和,选取和最大的候选目标作为优先探测候选目标;根据优先探测候选目标点集中各优选可观测特征点的模型坐标以及当前的视觉传感器视点,计算下一视点。
2.根据权利要求1所述的一种基于稀疏特征点云的主动目标识别方法,其特征在于,获取特征点模型坐标具体为自定义目标模型坐标系,并计算特征点在目标模型坐标系下的坐标。
3.根据权利要求1所述的一种基于稀疏特征点云的主动目标识别方法,其特征在于,所述特征点通过ISS算法获取,特征点应满足的条件为:
式中,λt表示由特征点邻域内所有点构造的协方差矩阵的特征值,且满足λ1>λ2>λ3,t=1、2、3;Thpq代表阈值,p=1,q=2或p=2,q=3。
4.根据权利要求1所述的一种基于稀疏特征点云的主动目标识别方法,其特征在于,所述特征描述子通过LLSI算法获取,统计特征点邻域内所有点的位置以及朝向信息,邻域半径为30网格分辨率,特征向量的维度是216。
5.根据权利要求1所述的一种基于稀疏特征点云的主动目标识别方法,其特征在于,所述每个视觉词判定各候选目标条件概率的计算方法为:
式中,fi代表第i个视觉词;Oj代表第j个候选目标;m代表候选目标的数量;P(Oj)表示候选目标Oj的先验概率,P(fi|Oj)代表候选目标Oj中视觉词fi出现的概率,其计算公式为:
式中,n为视觉词的类别数;为候选目标Oj中视觉词fi出现的频数。
6.根据权利要求1所述的一种基于稀疏特征点云的主动目标识别方法,其特征在于,所述视觉词的区分性度量公式为:
式中,视觉词fi的区分性度量值ui∈[0,1],ui越大表明视觉词fi的区分性越强。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910681446.8A CN112307809B (zh) | 2019-07-26 | 2019-07-26 | 一种基于稀疏特征点云的主动目标识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910681446.8A CN112307809B (zh) | 2019-07-26 | 2019-07-26 | 一种基于稀疏特征点云的主动目标识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112307809A CN112307809A (zh) | 2021-02-02 |
CN112307809B true CN112307809B (zh) | 2023-07-25 |
Family
ID=74328757
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910681446.8A Active CN112307809B (zh) | 2019-07-26 | 2019-07-26 | 一种基于稀疏特征点云的主动目标识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112307809B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016062610A (ja) * | 2014-09-16 | 2016-04-25 | 株式会社リコー | 特徴モデル生成方法及び特徴モデル生成装置 |
WO2019080488A1 (zh) * | 2017-10-27 | 2019-05-02 | 东南大学 | 一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法 |
WO2019121056A1 (fr) * | 2017-12-21 | 2019-06-27 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Methode de reconnaissance d'objets dans une scene observee en trois dimensions |
WO2019136612A1 (zh) * | 2018-01-09 | 2019-07-18 | 深圳市沃特沃德股份有限公司 | 基于距离度量的视觉词典闭环检测方法与装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9529087B2 (en) * | 2014-07-24 | 2016-12-27 | GM Global Technology Operations LLC | Curb detection using lidar with sparse measurements |
US10229533B2 (en) * | 2016-11-03 | 2019-03-12 | Mitsubishi Electric Research Laboratories, Inc. | Methods and systems for fast resampling method and apparatus for point cloud data |
-
2019
- 2019-07-26 CN CN201910681446.8A patent/CN112307809B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016062610A (ja) * | 2014-09-16 | 2016-04-25 | 株式会社リコー | 特徴モデル生成方法及び特徴モデル生成装置 |
WO2019080488A1 (zh) * | 2017-10-27 | 2019-05-02 | 东南大学 | 一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法 |
WO2019121056A1 (fr) * | 2017-12-21 | 2019-06-27 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Methode de reconnaissance d'objets dans une scene observee en trois dimensions |
WO2019136612A1 (zh) * | 2018-01-09 | 2019-07-18 | 深圳市沃特沃德股份有限公司 | 基于距离度量的视觉词典闭环检测方法与装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112307809A (zh) | 2021-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5705147B2 (ja) | 記述子を用いて3dオブジェクトまたはオブジェクトを表す方法 | |
Deori et al. | A survey on moving object tracking in video | |
Tombari et al. | Object recognition in 3d scenes with occlusions and clutter by hough voting | |
US8994723B2 (en) | Recognition and pose determination of 3D objects in multimodal scenes | |
CN111553409B (zh) | 一种基于体素形状描述符的点云识别方法 | |
CN107038717A (zh) | 一种基于立体栅格自动分析3d点云配准误差的方法 | |
CN110766719B (zh) | 一种目标跟踪方法、设备及存储介质 | |
Yu et al. | Robust robot pose estimation for challenging scenes with an RGB-D camera | |
JP2011238204A (ja) | 3次元シーンにおける3次元物体の認識及び位置姿勢決定方法 | |
CN111781608A (zh) | 一种基于fmcw激光雷达的运动目标检测方法及*** | |
US20130080111A1 (en) | Systems and methods for evaluating plane similarity | |
Takahashi et al. | Expandable YOLO: 3D object detection from RGB-D images | |
US11501462B2 (en) | Multi-view three-dimensional positioning | |
Qu et al. | Evaluation of SIFT and SURF for vision based localization | |
CN114200477A (zh) | 一种激光三维成像雷达地面目标点云数据处理方法 | |
CN105279769A (zh) | 一种联合多特征的层次粒子滤波跟踪方法 | |
CN112946625B (zh) | 基于b样条形状驱动多扩展目标航迹跟踪及分类方法 | |
CN112529945B (zh) | 一种多视角三维isar散射点集配准方法 | |
CN105809678B (zh) | 一种短基线条件下两视图间线段特征全局匹配方法 | |
CN112183434A (zh) | 建筑物变化检测方法和装置 | |
JP6673504B2 (ja) | 情報処理装置、データベース生成装置、方法、プログラム、及び記憶媒体 | |
CN112307809B (zh) | 一种基于稀疏特征点云的主动目标识别方法 | |
CN105719272B (zh) | 保持空间结构的图像特征点匹配方法 | |
Ren et al. | SAR image matching method based on improved SIFT for navigation system | |
Ganesan et al. | Histogram based hill climbing optimization for the segmentation of region of interest in satellite images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |