CN110287873A - 基于深度神经网络的非合作目标位姿测量方法、***及终端设备 - Google Patents
基于深度神经网络的非合作目标位姿测量方法、***及终端设备 Download PDFInfo
- Publication number
- CN110287873A CN110287873A CN201910555500.4A CN201910555500A CN110287873A CN 110287873 A CN110287873 A CN 110287873A CN 201910555500 A CN201910555500 A CN 201910555500A CN 110287873 A CN110287873 A CN 110287873A
- Authority
- CN
- China
- Prior art keywords
- point
- cloud
- feature
- point cloud
- carried out
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于深度神经网络的非合作目标位姿测量方法、***及终端设备,方法包括:对非合作目标的不同角度的数据点云和模型点云进行下采样得到点云;用训练好的PointNet网络模型提取得到包含每个点的特征向量的特征矩阵和全局特征向量;根据预先设置的特征点检测筛选阈值对下采样后的点云的特征点进行筛选,并进行特征点匹配得到特征点集;对特征点集进行点云配准,得到位姿转换矩阵;将位姿转换矩阵作用到下采样后的数据点云得到新的点云,并将新的点云和下采样后的模型点云进行点云配准得到新的位姿转换矩阵。本发明的方法在保证相对高的精度的基础上,满足基于空间非合作目标位姿测量的实时性要求。
Description
技术领域
本发明涉及近距离非合作目标位姿测量技术领域,尤其涉及一种基于深度神经网络的近距离非合作目标位姿测量方法、***及终端设备。
背景技术
深度学习是基于大数据量训练样本的前提下训练复杂的深度神经网络,因此有很强的特征提取功能,在许多领域特别是计算机视觉领域超越了传统的计算机视觉算法,比如ImageNet视觉识别挑战赛对物体分类识别检测等任务。深度学习在处理二维图片上获得成功的原因之一是能在呈阵列式规则排列的二维图片矩阵中使用规则的卷积核共享机制,大大减少了神经网络的参数量。而由于三维点云特有的属性:首先,点云数据点维度高且非结构化,规模很大并且散乱无序,这种特有的几何属性难以直接利用现有成熟的卷积神经网络模型,无法迁移。其次,点云数据有着随环境光照变化而导致分布不均衡,因遮挡或者扫描角度导致的结构不完整,也增加了点云处理的难度;最后,虽然三维传感器发展迅速,但是仍然存在着误差产生以及环境中其他因素导致的噪点,点云数据的海量性对处理效率有着很大的挑战。
目前将二维图片中的神经网络推广到三维点云上的方法首先要解决的就是对点云序列的规范化,例如VoxNet和Voxception-ResNet将三维卷积应用于体素化的点云。还有一种解决思路是利用已经成熟的处理二维图片的深度神经网络,首先要将三维的无序点云转化成二维图片,例如Multi-view CNN通过渲染三维点云或者将三维点云投影到二维图片上,然后在得到的二维图片上应用成熟的2D卷积网络来进行处理。但是这两种方法都有一定的局限性,基于体素化的方法只能处理小数据量小分辨率的点云数据,而基于多视图的方法丢失了一定量的空间信息,对一些部分缺失的点云数据鲁棒性差。从2017年斯坦福大学提出的PointNet网络开始,直接处理无序点云数据的深度神经网络登上了历史的舞台,利用了max pooling为对称函数,能够有效的提取点云的特征。
现有的点云特征大多数都是针对特定任务的人工制定的特征。这些特征基本都是编码一些特定的几何特征或者统计属性,并且被设计来提升对特定变换的鲁棒性和不变性。但是这些特征对于未知的任务来说,找到一个最优的特征组合并非易事。虽然手工特征比较成熟,比如SHOT,FPFH等,但是这种基于特征的方法不可能穷举点云数据的向量空间中所有的基本特征向量,只能在有限的特征向量空间找到合适的特征描述。因此,此类方法在收敛性和精度上一定存在着瓶颈。
发明内容
本发明为了解决现有技术中点云数据处理方法的问题,提供一种基于深度神经网络的近距离非合作目标位姿测量方法、***及终端设备。
为了解决上述问题,本发明采用的技术方案如下所述:
本发明提供一种基于深度神经网络的非合作目标位姿测量方法,包括如下步骤:S1:对非合作目标的不同角度的数据点云P和模型点云Q进行下采样得到点云P',Q',S2:用训练好的PointNet网络模型对所述点云P',Q'进行特征提取得到包含每个点的特征向量的特征矩阵Αn×1024和全局特征向量Β1×1024;S3:根据预先设置的特征点检测筛选阈值对所述点云P',Q'的特征点进行筛选,并按照所述全局特征向量Β1×1024与所述点云P',Q'的所述每个点的特征向量的特征矩阵Αn×1024进行特征点匹配得到特征点集P”,Q”;S4:对所述特征点集P”,Q”进行点云配准,得到位姿转换矩阵T1=[R1,t1];S5:将所述位姿转换矩阵T1作用到点云P'得到点云并将所述点云和所述点云Q'进行点云配准得到位姿转换矩阵T2=[R2,t2]。
优选地,步骤S1中按照曲率特征、点云的密度或法线进行所述下采样。
优选地,步骤S1中进行所述下采样的采样点数为1024个。
优选地,步骤S3中通过TrICP算法进行所述特征点匹配。
优选地,步骤S4中通过TrICP算法进行所述特征点匹配。
本发明还提供一种基于深度神经网络的非合作目标位姿测量***,包括:第一单元:对非合作目标的不同角度的数据点云P和模型点云Q进行下采样得到点云P',Q',第二单元:用训练好的PointNet网络模型对所述点云P',Q'进行特征提取得到包含每个点的特征向量的特征矩阵Αn×1024和全局特征向量Β1×1024;第三单元:根据预先设置的特征点检测筛选阈值对所述点云P',Q'的特征点进行筛选,并按照所述全局特征向量Β1×1024与所述点云P',Q'的所述包含每个点特征向量的特征矩阵Αn×1024进行特征点匹配得到特征点集P”,Q”;第四单元:对所述特征点集P”,Q”进行点云配准,得到位姿转换矩阵T1=[R1,t1];第五单元:将所述位姿转换矩阵T1作用到点云P'得到点云并将所述点云和所述点云Q'进行点云配准得到位姿转换矩阵T2=[R2,t2]。
优选地,按照曲率特征、点云的密度或法线进行所述下采样。
优选地,进行所述下采样的采样点数为1024个;通过TrICP算法进行所述特征点匹配。
本发明又提供一种基于深度神经网络的非合作目标位姿测量终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上任一所述方法的步骤。
本发明再提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上任一所述方法的步骤。
本发明的有益效果为:提供一种基于深度神经网络的近距离非合作目标位姿测量方法、***及终端设备,通过对深度神经网络进行原理性分析,然后针对空间非合作目标的位姿测量进行数据集的制作,简化数据去除冗余的基础上,能够尽可能保证点云的完整性,并训练深度神经网络模型,有效的提取每点的特征向量和全局特征向量,提高了算法速度和匹配精度。在保证相对高的精度的基础上,满足基于空间非合作目标位姿测量的实时性要求。
附图说明
图1是本发明实施例中基于深度神经网络的非合作目标位姿测量方法的示意图。
图2是本发明实施例中基于深度神经网络的非合作目标位姿测量***的示意图。
图3是本发明实施例中非合作目标的位姿估计前的原始数据示意图。
图4是本发明实施例中非合作目标的特征点检测的结果示意图。
图5是本发明实施例中非合作目标的粗匹配和精匹配的结果示意图。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
需要说明的是,当元件被称为“固定于”或“设置于”另一个元件,它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件,它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外,连接即可以是用于固定作用也可以是用于电路连通作用。
需要理解的是,术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明实施例和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
实施例1
PointNet网络是针对立体视觉领域的点云分类和分割任务的,并在各个主流数据库中取得不错的成绩。该算法设计的出发点是解决点云数据无序性问题。在初始阶段,每个点的处理都是相同且独立的,并且在基本设置中,每个点都由它的三个坐标组成。该方法的关键是使用了max pooling作为对称函数,使得提取的特征向量可以忽略点云数据的无序性。
由于点云数据无序问题的存在,网络很难学会从输入到输出的一致映射。为了使神经网络模型不受输入数据排序的影响,可以有三种解决策略:第一种是将输入的数据按规范顺序排序,听起来虽然简单,但在高维空间中,实际上并不存在一个稳定的点扰动的排序;第二种是将输入序列作为训练RNN的序列,通过各种排列方式增加训练数据,然而RNN对小长度序列(几十个)的输入排序具有较好的鲁棒性,但难以扩展到数千个及以上输入数据,显然不适合海量的点云数据;第三种是使用一个简单的对称函数来聚合每个点的信息,即输入n个向量,通过一个对称函数并输出一个不受输入顺序影响的新向量,满足:
f({x1,x2,...,xn})=Γ(MAX(h(x1),...,h(xn))) (1)
其中,给定一个无序点集{x1,x2,...,xn},xi∈R3,定义集合函数Γ为将一组点云点集映射到一个特征向量。PointNet网络中选择max pooling作为对称函数,函数h和Γ选择了简单的多层感知机(MLP),并逐点进行处理,得到每个点的高维向量,经过max pooling对称函数最终得到一个全局特征向量,这个处理策略近似的等价于寻找一系列的函数f对点云进行处理,并且每种函数都能够获取点云数据的某一特征。由于输入点云数据很容易应用刚性或仿射转换,并且每个点都是独立转换的。因此,网络中还提出了添加一个依赖于多维数据输入的空间变换网络T-Net,T-Net网络是一个特征向量空间里的变换矩阵,是一个mini-PointNet,以原始点云为输入,输出回归到3×3矩阵或者64×64矩阵。它的作用是在对输入的点处理之前对数据进行一次规范化,从而可以对空间变换具有不变性,进一步改善结果。
在这里重点介绍点云分类网络:开始阶段,要首先将初始的n×3维点云数据经过维度为3×3空间变换网络T-Net的规范化操作,然后由一个共享MLP(64,64)网络将点云初始数据的每个点上升到n×64维,再经过维度为64×64空间变换网络T-Net的规范化操作,由一个共享MLP(64,128,1024)网络将点云初始数据的每个点上升到n×1024维,经过maxpooling对称函数最终得到一个全局特征向量。利用这个全局特征向量经过两层MLP(512,256)全连接网络最终可以得到k分类的得分值来判断分类结果。可以看出这个分类网络是基于最终得到的全局特征向量,而这个全局特征向量是由每个点对应的1024维向量组成的n×1024矩阵经由max pooling对称函数得到的。除最后一层外的所有层都包括选择了用ReLU激活函数,并且都应用了批处理规范化(batch normalization)。PointNet网络在公开数据集ModelNet40最终的分类准确率达到了89.2%,远远高于VoxNet的85.9%。
为了实现空间非合作目标超近距离位姿测量注重精确性和实时性,本发明基于深度神经网络对点云进行特征提取。本发明首先针对空间非合作目标的位姿测量进行数据集的制作,并训练深度神经网络模型,然后将训练好的深度神经网络模型应用到近距离非合作目标位姿测量中,旨在为空间在轨任务提供非合作目标实时性的位姿数据。
如图1所示,本发明提供一种基于深度神经网络的非合作目标位姿测量方法,包括如下步骤:
S1:对非合作目标的不同角度的数据点云P和模型点云Q进行下采样得到点云P',Q';
在海量的点云数据中,对其中任意一个点x,描述点的几何特征一般有两类,即特征值和对应的特征向量。曲率特征对特征识别是一个很重要的基础,点的曲率值反映了该点在点云表面的凹凸程度,可以有效地对两片散乱点云寻找匹配点。本发明提出的算法是基于三维点云数据的曲率信息,所以我们选择按照曲率特征进行下采样。对两片散乱点云P和Q进行二次采样,能够保证采样后曲率特性的准确性和完整性。
可以理解的是,除了根据曲率特征,还可以根据点云的密度,法线等几何特征进行下采样。
在本发明的一种实施例中,用到的PointNet网络模型都是基于1024个点的点云数据训练出来的,所以下采样后的点数位1024个。
S2:用训练好的PointNet网络模型对所述点云P',Q'进行特征提取得到包含每个点的特征向量的特征矩阵Αn×1024和全局特征向量Β1×1024;
PointNet网络模型具有更强大的特征提取能力,点云P',Q'中的每个点经过两层T-Net网络转换和五层MLP特征提取层,最终将每个点的特征由三维坐标提升到1024维。PointNet网络最终提取的特征包括每个点的特征向量的特征矩阵Αn×1024和一个描述点云整体的全局特征向量Β1×1024。
全局特征向量可以有效的观测出点云中特征明显的点,即可以作为特征点检测算法使得用更少量的特征点代表点云整体,这会大大降低算法的计算复杂度;同时,还可以与每个点的点特征向量的特征矩阵用来特征点匹配。关于特征点匹配最直接的方法是基于全局特征向量来展开的,这样配准的效率是很高的。
S3:根据预先设置的特征点检测筛选阈值对所述点云P',Q'的特征点进行筛选,并按照所述全局特征向量Β1×1024与所述点云P',Q'的所述每个点的特征向量的特征矩阵Αn×1024进行特征点匹配得到特征点集P”,Q”;
由影响点云位姿估计算法效率的主要原因有特征点检测后的点云数量、特征描述子的计算、特征点配对和点云匹配。其中特征点检测是很主要的一步,能否准确的检测出最具有代表性的最少量特征点,剔除冗余点,是提升算法效率的基础。基于步骤S2获取的描述点云整体的全局特征向量Β1×1024,设定特征点检测筛选阈值τ对P',Q'进行特征点筛选,并按照全局特征描述子向量Β1×1024对特征点集P',Q'的每个点的特征向量的特征矩阵Αn×1024进行特征点匹配得到特征点集P”,Q”。
S4:对所述特征点集P”,Q”进行点云配准,得到位姿转换矩阵T1=[R1,t1];
两片散乱点云配准本质上是找到包含一个旋转矩阵R和一个平移向量t的刚体变换,该变换能将两片处于不同坐标系下的海量散乱点云数据变换到同一个坐标系中,并实现精确地配准重合。TrICP(Trimmed ICP)是传统ICP算法的一个新的鲁棒的改良版,该方法将各匹配点对的平方误差进行排序,只对一定数目的较小的值进行优化,这个数目是根据两片点云初始的重叠率获得的,相对于LMedS算法只取比平方误差排序的中值小的数据参与优化,TrICP具有更好的收敛速率和鲁棒性。
S5:将所述位姿转换矩阵T1作用到点云P'得到点云并将所述点云和所述点云Q'进行点云配准得到位姿转换矩阵T2=[R2,t2]。
将粗配准获取的位姿数据作用于原始数据中,然后进一步使用TrICP进行精确配准,就可以获取到精确配准的位姿数据。经过这两步就可以得到整个测量过程的6自由度位姿。本发明把按照距离加权的方法加入到TrICP(Trimmed ICP)算法中,这样不仅得到了一个比较精确的匹配点对数目,还能够进一步加强正确匹配点对的作用,减弱错误匹配点对的影响,简化了海量数据的计算量,提高了结果的精度。
与现有技术相比,本发明的创新性在于:
a.对海量数据应用按照几何特征采样的方法,在简化数据去除冗余的基础上,能够尽可能保证点云的完整性;
b.在点云数据特征提取的过程中,利用了训练好的PointNet深度神经网络,可以有效的提取每点的特征向量,提高了算法速度和鲁棒性;
c.在配对点的查找策略中,使用基于训练好的PointNet深度神经网络所提取的全局特征向量,进一步加速了算法过程;
d.把按照距离加权的方法加入到TrICP(Trimmed ICP)算法中进行精匹配,不仅能得到一个比较精确的匹配点对数目,还能够进一步加强正确匹配点对的作用,减弱错误匹配点对的影响,大大提高了结果的精度和鲁棒性。
实施例2
如图2所示,本发明还提供一种基于深度神经网络的非合作目标位姿测量***,包括:
第一单元:对非合作目标的不同角度的数据点云P和模型点云Q进行下采样得到点云P',Q';
第二单元:用训练好的PointNet网络模型对所述点云P',Q'进行特征提取得到包含每个点的特征向量的特征矩阵Αn×1024和全局特征向量Β1×1024;
第三单元:根据预先设置的特征点检测筛选阈值对所述点云P',Q'的特征点进行筛选,并按照所述全局特征向量Β1×1024与所述点云P',Q'的所述包含每个点特征向量的特征矩阵Αn×1024进行特征点匹配得到特征点集P”,Q”;
第四单元:对所述特征点集P”,Q”进行点云配准,得到位姿转换矩阵T1=[R1,t1];
第五单元:将所述位姿转换矩阵T1作用到点云P'得到点云并将所述点云和所述点云Q'进行点云配准得到位姿转换矩阵T2=[R2,t2]。
在本发明的一种实施例中,第一单元按照曲率特征、点云的密度或法线进行所述下采样。进行所述下采样的采样点数为1024个;第四单元和第五单元通过TrICP算法进行所述特征点匹配。
该实施例的基于深度神经网络的非合作目标位姿测量***还包括:处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,例如对非合作目标的不同角度的数据点云P和模型点云Q进行下采样得到点云P',Q'的程序。所述处理器执行所述计算机程序时实现上述各个基于深度神经网络的非合作目标位姿测量方法实施例中的步骤,例如图1所示的步骤S1-S5。或者,所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能,例如第一单元:对非合作目标的不同角度的数据点云P和模型点云Q进行下采样得到点云P',Q'。
示例性的,所述计算机程序可以被分割成一个或多个单元,上述五个单元仅仅是示例性的。所述一个或者多个模块/单元被存储在所述存储器中,并由所述处理器执行,以完成本发明。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序在所述基于深度神经网络的非合作目标位姿测量***中的执行过程。
所述基于深度神经网络的非合作目标位姿测量***还可包括,但不仅限于,处理器、存储器。本领域技术人员可以理解,所述示意图仅仅是基于深度神经网络的非合作目标位姿测量***的示例,并不构成对基于深度神经网络的非合作目标位姿测量***的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述基于深度神经网络的非合作目标位姿测量***还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器是所述基于深度神经网络的非合作目标位姿测量***的控制中心,利用各种接口和线路连接整个基于深度神经网络的非合作目标位姿测量***的各个部分。
所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现所述基于深度神经网络的非合作目标位姿测量***的各种功能。所述存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述基于深度神经网络的非合作目标位姿测量***集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
实施例3
本实施例是对基于深度神经网络的非合作目标位姿测量方法进行仿真验证。采用了Stanford University Graphic Laboratory数据集中的Bunny三维点云数据对上述算法的性能进行评估。在实验中,首先可视化特征点检测的结果,然后与传统的几何特征描述子FPFH进行算法的对比,来验证算法的实时性、准确性。
如图3所示,是本实施例中位姿估计前的原始数据示意图。通过对图3中的原始数据进行下采样得到新的点云。
如图4所示,是发明优选实施例的特征点检测的结果示意图。通过PointNet网络模型得到的全局特征向量对下采样得到的点云进行特征点检测,得到了特征点大致是原点云数据的轮廓,可以很好的提取点云的特征点,降低点的数量,图中点云的数量分别由1024个下降到103个和109个,减少十倍左右。
如图5所示,经过粗配准和精配准以后得到非合作目标的位姿估计。仅能得到一个比较精确的匹配点对数目,还能够进一步加强正确匹配点对的作用,减弱错误匹配点对的影响,大大提高了结果的精度和鲁棒性。
由表1两个算法的性能比较来看,传统手工特征FPFH描述子无法应对只含有特征点的少量点云数据,因为局部信息缺失导致FPFH描述子的抽象能力降低,粗配准的时间效率降低。而本发明提出的算法是基于PointNet神经网络,有着很强大的特征提取能力,并且在将已训练好的模型直接应用到点云的特征提取中,效率比传统手工特征高很多。从表1可以看出,一次位姿估计总的消耗时间为0.216s,因此在实际的测量中每秒钟大约可以返回4次位姿结果,满足实时性要求。
表1三个算法的性能比较
随着技术飞速发展,获取的三维点云点的数量越来越庞大,如何处理海量三维数据并达到快速且高精度的配准成为了研究的难点。传统的基于几何特征描述子的点云处理方法因为其是针对特定的任务而手工制定的,所以在普适性上存在着很大的局限性。然而基于深度神经网络的方法没有这种局限性,随着数据集的增大,基于深度神经网络的方法的特征提取能力会越来越强。所以在点云数据处理的这一领域,基于深度神经网络的方法在未来会成为主流。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说,在不脱离本发明构思的前提下,还可以做出若干等同替代或明显变型,而且性能或用途相同,都应当视为属于本发明的保护范围。
Claims (10)
1.基于深度神经网络的非合作目标位姿测量方法,其特征在于,包括如下步骤:
S1:对非合作目标的不同角度的数据点云P和模型点云Q进行下采样得到点云P',Q';
S2:用训练好的PointNet网络模型对所述点云P',Q'进行特征提取得到包含每个点的特征向量的特征矩阵Αn×1024和全局特征向量Β1×1024;
S3:根据预先设置的特征点检测筛选阈值对所述点云P',Q'的特征点进行筛选,并按照所述全局特征向量Β1×1024与所述点云P',Q'的所述每个点的特征向量的特征矩阵Αn×1024进行特征点匹配得到特征点集P”,Q”;
S4:对所述特征点集P”,Q”进行点云配准,得到位姿转换矩阵T1=[R1,t1];
S5:将所述位姿转换矩阵T1作用到点云P'得到点云并将所述点云和所述点云Q'进行点云配准得到位姿转换矩阵T2=[R2,t2]。
2.如权利要求1所述的基于深度神经网络的非合作目标位姿测量方法,其特征在于,步骤S1中按照曲率特征、点云的密度或法线进行所述下采样。
3.如权利要求1所述的基于深度神经网络的非合作目标位姿测量方法,其特征在于,步骤S1中进行所述下采样的采样点数为1024个。
4.如权利要求1所述的基于深度神经网络的非合作目标位姿测量方法,其特征在于,步骤S3中通过TrICP算法进行所述特征点匹配。
5.如权利要求1所述的基于深度神经网络的非合作目标位姿测量方法,其特征在于,步骤S4中通过TrICP算法进行所述特征点匹配。
6.一种基于深度神经网络的非合作目标位姿测量***,其特征在于,包括:
第一单元:对非合作目标的不同角度的数据点云P和模型点云Q进行下采样得到点云P',Q',
第二单元:用训练好的PointNet网络模型对所述点云P',Q'进行特征提取得到包含每个点的特征向量的特征矩阵Αn×1024和全局特征向量Β1×1024;
第三单元:根据预先设置的特征点检测筛选阈值对所述点云P',Q'的特征点进行筛选,并按照所述全局特征向量Β1×1024与所述点云P',Q'的所述包含每个点特征向量的特征矩阵Αn×1024进行特征点匹配得到特征点集P”,Q”;
第四单元:对所述特征点集P”,Q”进行点云配准,得到位姿转换矩阵T1=[R1,t1];
第五单元:将所述位姿转换矩阵T1作用到点云P'得到点云并将所述点云和所述点云Q'进行点云配准得到位姿转换矩阵T2=[R2,t2]。
7.如权利要求6所述的基于深度神经网络的非合作目标位姿测量***,其特征在于,按照曲率特征、点云的密度或法线进行所述下采样。
8.如权利要求6所述的基于深度神经网络的非合作目标位姿测量***,其特征在于,进行所述下采样的采样点数为1024个;通过TrICP算法进行所述特征点匹配。
9.一种基于深度神经网络的非合作目标位姿测量终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-5任一所述方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-5任一所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910555500.4A CN110287873B (zh) | 2019-06-25 | 2019-06-25 | 基于深度神经网络的非合作目标位姿测量方法、***及终端设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910555500.4A CN110287873B (zh) | 2019-06-25 | 2019-06-25 | 基于深度神经网络的非合作目标位姿测量方法、***及终端设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110287873A true CN110287873A (zh) | 2019-09-27 |
CN110287873B CN110287873B (zh) | 2021-06-29 |
Family
ID=68005745
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910555500.4A Active CN110287873B (zh) | 2019-06-25 | 2019-06-25 | 基于深度神经网络的非合作目标位姿测量方法、***及终端设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110287873B (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111047631A (zh) * | 2019-12-04 | 2020-04-21 | 广西大学 | 一种基于单Kinect加圆盒的多视角三维点云配准方法 |
CN111223136A (zh) * | 2020-01-03 | 2020-06-02 | 三星(中国)半导体有限公司 | 稀疏2d点集的深度特征提取方法及装置 |
CN111402328A (zh) * | 2020-03-17 | 2020-07-10 | 北京图森智途科技有限公司 | 一种基于激光里程计的位姿计算方法及装置 |
CN111832473A (zh) * | 2020-07-10 | 2020-10-27 | 星际空间(天津)科技发展有限公司 | 点云特征识别处理方法、装置、存储介质及电子设备 |
CN112017225A (zh) * | 2020-08-04 | 2020-12-01 | 华东师范大学 | 一种基于点云配准的深度图像匹配方法 |
CN112559959A (zh) * | 2020-12-07 | 2021-03-26 | 中国西安卫星测控中心 | 基于特征向量的天基成像非合作目标旋转状态解算方法 |
CN112700455A (zh) * | 2020-12-28 | 2021-04-23 | 北京超星未来科技有限公司 | 一种激光点云数据生成方法、装置、设备及介质 |
CN113034439A (zh) * | 2021-03-03 | 2021-06-25 | 北京交通大学 | 一种高速铁路声屏障缺损检测方法及装置 |
WO2021129145A1 (zh) * | 2019-12-26 | 2021-07-01 | 歌尔股份有限公司 | 一种图像特征点过滤方法以及终端 |
CN114310873A (zh) * | 2021-12-17 | 2022-04-12 | 上海术航机器人有限公司 | 位姿转换模型的生成方法、控制方法、***、设备和介质 |
CN116363217A (zh) * | 2023-06-01 | 2023-06-30 | 中国人民解放军国防科技大学 | 空间非合作目标位姿测量方法、装置、计算机设备及介质 |
CN117152245A (zh) * | 2023-01-31 | 2023-12-01 | 荣耀终端有限公司 | 位姿计算方法和装置 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104048648A (zh) * | 2014-05-27 | 2014-09-17 | 清华大学深圳研究生院 | 大尺寸非合作目标的相对位姿测量方法 |
CN105976353A (zh) * | 2016-04-14 | 2016-09-28 | 南京理工大学 | 基于模型和点云全局匹配的空间非合作目标位姿估计方法 |
CN106780459A (zh) * | 2016-12-12 | 2017-05-31 | 华中科技大学 | 一种三维点云数据自动配准方法 |
CN107449402A (zh) * | 2017-07-31 | 2017-12-08 | 清华大学深圳研究生院 | 一种非合作目标的相对位姿的测量方法 |
CN108133458A (zh) * | 2018-01-17 | 2018-06-08 | 视缘(上海)智能科技有限公司 | 一种基于目标物体空间点云特征的自动拼接方法 |
CN108376408A (zh) * | 2018-01-30 | 2018-08-07 | 清华大学深圳研究生院 | 一种基于曲率特征的三维点云数据快速加权配准方法 |
CN109102547A (zh) * | 2018-07-20 | 2018-12-28 | 上海节卡机器人科技有限公司 | 基于物体识别深度学习模型的机器人抓取位姿估计方法 |
CN109308737A (zh) * | 2018-07-11 | 2019-02-05 | 重庆邮电大学 | 一种三阶段式点云配准方法的移动机器人v-slam方法 |
CN109458994A (zh) * | 2018-10-24 | 2019-03-12 | 北京控制工程研究所 | 一种空间非合作目标激光点云icp位姿匹配正确性判别方法及*** |
CN109523552A (zh) * | 2018-10-24 | 2019-03-26 | 青岛智能产业技术研究院 | 基于视锥点云的三维物体检测方法 |
CN109523501A (zh) * | 2018-04-28 | 2019-03-26 | 江苏理工学院 | 一种基于降维和点云数据匹配的电池外观缺陷检测方法 |
CN109801337A (zh) * | 2019-01-21 | 2019-05-24 | 同济大学 | 一种基于实例分割网络和迭代优化的6d位姿估计方法 |
CN109887028A (zh) * | 2019-01-09 | 2019-06-14 | 天津大学 | 一种基于点云数据配准的无人车辅助定位方法 |
CN109919984A (zh) * | 2019-04-15 | 2019-06-21 | 武汉惟景三维科技有限公司 | 一种基于局部特征描述子的点云自动配准方法 |
-
2019
- 2019-06-25 CN CN201910555500.4A patent/CN110287873B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104048648A (zh) * | 2014-05-27 | 2014-09-17 | 清华大学深圳研究生院 | 大尺寸非合作目标的相对位姿测量方法 |
CN105976353A (zh) * | 2016-04-14 | 2016-09-28 | 南京理工大学 | 基于模型和点云全局匹配的空间非合作目标位姿估计方法 |
CN106780459A (zh) * | 2016-12-12 | 2017-05-31 | 华中科技大学 | 一种三维点云数据自动配准方法 |
CN107449402A (zh) * | 2017-07-31 | 2017-12-08 | 清华大学深圳研究生院 | 一种非合作目标的相对位姿的测量方法 |
CN108133458A (zh) * | 2018-01-17 | 2018-06-08 | 视缘(上海)智能科技有限公司 | 一种基于目标物体空间点云特征的自动拼接方法 |
CN108376408A (zh) * | 2018-01-30 | 2018-08-07 | 清华大学深圳研究生院 | 一种基于曲率特征的三维点云数据快速加权配准方法 |
CN109523501A (zh) * | 2018-04-28 | 2019-03-26 | 江苏理工学院 | 一种基于降维和点云数据匹配的电池外观缺陷检测方法 |
CN109308737A (zh) * | 2018-07-11 | 2019-02-05 | 重庆邮电大学 | 一种三阶段式点云配准方法的移动机器人v-slam方法 |
CN109102547A (zh) * | 2018-07-20 | 2018-12-28 | 上海节卡机器人科技有限公司 | 基于物体识别深度学习模型的机器人抓取位姿估计方法 |
CN109523552A (zh) * | 2018-10-24 | 2019-03-26 | 青岛智能产业技术研究院 | 基于视锥点云的三维物体检测方法 |
CN109458994A (zh) * | 2018-10-24 | 2019-03-12 | 北京控制工程研究所 | 一种空间非合作目标激光点云icp位姿匹配正确性判别方法及*** |
CN109887028A (zh) * | 2019-01-09 | 2019-06-14 | 天津大学 | 一种基于点云数据配准的无人车辅助定位方法 |
CN109801337A (zh) * | 2019-01-21 | 2019-05-24 | 同济大学 | 一种基于实例分割网络和迭代优化的6d位姿估计方法 |
CN109919984A (zh) * | 2019-04-15 | 2019-06-21 | 武汉惟景三维科技有限公司 | 一种基于局部特征描述子的点云自动配准方法 |
Non-Patent Citations (2)
Title |
---|
CHARLES R. QI ET AL.: "PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation", 《ARXIV》 * |
CHARLES R. QI ET AL.: "PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space", 《31ST CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEMS》 * |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111047631A (zh) * | 2019-12-04 | 2020-04-21 | 广西大学 | 一种基于单Kinect加圆盒的多视角三维点云配准方法 |
CN111047631B (zh) * | 2019-12-04 | 2023-04-07 | 广西大学 | 一种基于单Kinect加圆盒的多视角三维点云配准方法 |
WO2021129145A1 (zh) * | 2019-12-26 | 2021-07-01 | 歌尔股份有限公司 | 一种图像特征点过滤方法以及终端 |
CN111223136A (zh) * | 2020-01-03 | 2020-06-02 | 三星(中国)半导体有限公司 | 稀疏2d点集的深度特征提取方法及装置 |
CN111223136B (zh) * | 2020-01-03 | 2024-04-23 | 三星(中国)半导体有限公司 | 稀疏2d点集的深度特征提取方法及装置 |
CN111402328A (zh) * | 2020-03-17 | 2020-07-10 | 北京图森智途科技有限公司 | 一种基于激光里程计的位姿计算方法及装置 |
CN111402328B (zh) * | 2020-03-17 | 2023-11-10 | 北京图森智途科技有限公司 | 一种基于激光里程计的位姿计算方法及装置 |
CN111832473A (zh) * | 2020-07-10 | 2020-10-27 | 星际空间(天津)科技发展有限公司 | 点云特征识别处理方法、装置、存储介质及电子设备 |
CN112017225A (zh) * | 2020-08-04 | 2020-12-01 | 华东师范大学 | 一种基于点云配准的深度图像匹配方法 |
CN112017225B (zh) * | 2020-08-04 | 2023-06-09 | 华东师范大学 | 一种基于点云配准的深度图像匹配方法 |
CN112559959B (zh) * | 2020-12-07 | 2023-11-07 | 中国西安卫星测控中心 | 基于特征向量的天基成像非合作目标旋转状态解算方法 |
CN112559959A (zh) * | 2020-12-07 | 2021-03-26 | 中国西安卫星测控中心 | 基于特征向量的天基成像非合作目标旋转状态解算方法 |
CN112700455A (zh) * | 2020-12-28 | 2021-04-23 | 北京超星未来科技有限公司 | 一种激光点云数据生成方法、装置、设备及介质 |
CN113034439A (zh) * | 2021-03-03 | 2021-06-25 | 北京交通大学 | 一种高速铁路声屏障缺损检测方法及装置 |
CN114310873A (zh) * | 2021-12-17 | 2022-04-12 | 上海术航机器人有限公司 | 位姿转换模型的生成方法、控制方法、***、设备和介质 |
CN114310873B (zh) * | 2021-12-17 | 2024-05-24 | 上海术航机器人有限公司 | 位姿转换模型的生成方法、控制方法、***、设备和介质 |
CN117152245A (zh) * | 2023-01-31 | 2023-12-01 | 荣耀终端有限公司 | 位姿计算方法和装置 |
CN116363217A (zh) * | 2023-06-01 | 2023-06-30 | 中国人民解放军国防科技大学 | 空间非合作目标位姿测量方法、装置、计算机设备及介质 |
CN116363217B (zh) * | 2023-06-01 | 2023-08-11 | 中国人民解放军国防科技大学 | 空间非合作目标位姿测量方法、装置、计算机设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110287873B (zh) | 2021-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110287873A (zh) | 基于深度神经网络的非合作目标位姿测量方法、***及终端设备 | |
CN110084173B (zh) | 人头检测方法及装置 | |
Wu et al. | 3d shapenets for 2.5 d object recognition and next-best-view prediction | |
CN104715254B (zh) | 一种基于2d和3d sift特征融合的一般物体识别方法 | |
Mian et al. | Three-dimensional model-based object recognition and segmentation in cluttered scenes | |
CN109902548B (zh) | 一种对象属性识别方法、装置、计算设备及*** | |
CN109522966A (zh) | 一种基于密集连接卷积神经网络的目标检测方法 | |
CN112801169B (zh) | 一种基于改进yolo算法的伪装目标检测方法、***、装置及存储介质 | |
CN110298387A (zh) | 融入像素级attention机制的深度神经网络目标检测方法 | |
CN109165540B (zh) | 一种基于先验候选框选择策略的行人搜索方法和装置 | |
CN109190643A (zh) | 基于卷积神经网络中药识别方法及电子设备 | |
CN113223068B (zh) | 一种基于深度全局特征的多模态图像配准方法及*** | |
CN109658419A (zh) | 一种医学图像中小器官的分割方法 | |
CN109359534B (zh) | 一种三维物体几何特征提取方法及*** | |
CN110716792B (zh) | 一种目标检测器及其构建方法和应用 | |
CN111311702B (zh) | 一种基于BlockGAN的图像生成和识别模块及方法 | |
CN113095333B (zh) | 无监督特征点检测方法及装置 | |
CN111967527B (zh) | 一种基于人工智能牡丹品种识别方法及识别*** | |
CN112364974B (zh) | 一种基于激活函数改进的YOLOv3算法 | |
CN115953665A (zh) | 一种目标检测方法、装置、设备及存储介质 | |
CN113011253B (zh) | 基于ResNeXt网络的人脸表情识别方法、装置、设备及存储介质 | |
CN110135505A (zh) | 图像分类方法、装置、计算机设备及计算机可读存储介质 | |
CN112560710B (zh) | 一种用于构建指静脉识别***的方法及指静脉识别*** | |
CN111680755A (zh) | 医学图像识别模型构建及医学图像识别方法、装置、介质及终端 | |
CN111582337A (zh) | 基于小样本细粒度图像分析的草莓畸形状态检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |