CN107610177A - 一种同步定位与地图构建中确定特征点的方法和设备 - Google Patents

一种同步定位与地图构建中确定特征点的方法和设备 Download PDF

Info

Publication number
CN107610177A
CN107610177A CN201710909238.XA CN201710909238A CN107610177A CN 107610177 A CN107610177 A CN 107610177A CN 201710909238 A CN201710909238 A CN 201710909238A CN 107610177 A CN107610177 A CN 107610177A
Authority
CN
China
Prior art keywords
point
information
spatial position
characteristic features
position change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710909238.XA
Other languages
English (en)
Other versions
CN107610177B (zh
Inventor
邹李兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201710909238.XA priority Critical patent/CN107610177B/zh
Publication of CN107610177A publication Critical patent/CN107610177A/zh
Application granted granted Critical
Publication of CN107610177B publication Critical patent/CN107610177B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种同步定位与地图构建中确定特征点的方法和设备,其中所述方法包括:利用图像获取设备采集图像信息;基于采集的图像信息,获取所述图像信息中的第一特征点集合;分析所述第一特征点集合中的非静态特征点,其中,所述非静态特征点为移动物体对应的特征点;在所述第一特征点集合中过滤所述非静态特征点,以生成第二特征点集合。本发明能够简单且方便的去除非静态特征点,提高地图构建的精度和速度。

Description

一种同步定位与地图构建中确定特征点的方法和设备
技术领域
本发明实施例涉及云地图构建的领域,特别涉及一种同步定位与地图构建中确定特征点的方法和设备。
背景技术
同步定位于地图构建的核心是通过摄像头采集图像,并通过特征点提取算法提取图像中的特征点,再以特征点和关键帧构建点云地图,随后通过点云完成后续的定位和导航。因而特征点是V-SLAM地图的基本元素,一个好的特征点应该具是静态的、可再检测的。而在实际场景中,存在的大量非静态的特征点,如果不剔除这些非静态的特征点,将影响点云的精度。V-SLAM为了剔除这些特征点,采用各种优化等策略,耗费了大量的计算资源。因此,如果能够提出一种能够方便的提取静态特征点的方法,可以优化云地图的构建速度。
发明内容
本发明实施例提供了一种能够简单方便且能优化资源的一种同步定位与地图构建中确定特征点的方法和设备。
为了解决上述技术问题,本发明实施例提供了如下技术方案:
一种同步定位与地图构建中确定特征点的方法,其包括:
利用图像获取设备采集图像信息;
基于采集的图像信息,获取所述图像信息中的第一特征点集合;
分析所述第一特征点集合中的非静态特征点,其中,所述非静态特征点为移动物体对应的特征点;
在所述第一特征点集合中过滤所述非静态特征点,以生成第二特征点集合。
在一优选实施例中,所述分析所述第一特征点集合中的非静态特征点包括:
分别获取不同时刻的所述图像信息中的第一特征点集合;
确定各时刻的所述第一特征点集合中的相同特征点;
基于确定的所述相同特征点,以及所述图像获取设备在各时刻的运动状态信息分析所述非静态特征点。
在一优选实施例中,所述基于确定的所述相同特征点,以及所述图像获取设备在各时刻的运动状态信息分析所述非静态特征点包括:
基于确定的所述相同特征点的深度信息,计算所述相同特征点的空间位置变化信息;
获取所述图像获取设备的空间位置变化信息;
基于所述相同特征点的空间位置变化信息,以及所述图像获取设备的空间位置变化信息,分析确定所述非静态特征点。
在一优选实施例中,所述基于所述相同特征点的空间位置变化信息,以及所述图像获取设备的空间位置变化信息,分析确定所述非静态特征点包括:
基于所述图像获取设备的空间位置变化信息,对所述相同特征点的空间位置变化信息进行归一化操作,以获得标准空间位置变化信息;
基于所述标准空间位置变化信息,对所述相同特征点进行聚类操作,以获取所述非静态特征点。
在一优选实施例中,所述基于确定的所述相同特征点的深度信息,计算所述相同特征点的空间位置变化信息包括:
基于各时刻的所述相同特征点的深度信息,确定所述相同特征点的位置信息;
基于各时刻的各相同特征点的位置信息之间的差值确定所述空间位置变化信息。
在一优选实施例中,所述基于所述图像获取设备的空间位置变化信息,对所述相同特征点的空间位置变化信息进行归一化操作,以获得标准空间位置变化信息包括:
将所述图像获取设备的空间位置变化信息和所述相同特征点的空间位置变化信息进行差值运算,获得所述标准空间位置变化信息。
在一优选实施例中,所述基于所述标准空间位置变化信息,对所述相同特征点进行聚类操作,以获取所述非静态特征点包括:
以所述标准空间位置变化信息为核,对所述相同特征点进行聚类操作;
计算各类的所述相同特征点的类间距之和;
将所述类间距之和较大的一类特征点判断为非静态特征点。
本发明实施例还提供了一种同步定位与地图构建中确定特征点的设备,其包括:
图像获取模块,其配置为分别采集不同时刻的图像信息;
处理器,其配置为基于采集的图像信息,获取所述图像信息中的第一特征点集合;分析所述第一特征点集合中的非静态特征点,其中,所述非静态特征点为移动物体对应的特征点;在所述第一特征点集合中过滤所述非静态特征点,以生成第二特征点集合。
在一优选实施例中,所述处理器进一步配置为分别获取不同时刻的所述图像信息中的第一特征点集合;确定各时刻的所述第一特征点集合中的相同特征点;基于确定的所述相同特征点,以及所述图像获取设备在各时刻的运动状态信息分析所述非静态特征点。
在一优选实施例中,所述处理器进一步配置为基于确定的所述相同特征点的深度信息,计算所述相同特征点的空间位置变化信息;
获取所述图像获取设备的空间位置变化信息;
基于所述相同特征点的空间位置变化信息,以及所述图像获取设备的空间位置变化信息,分析确定所述非静态特征点。
基于上述公开,可以获知本发明实施例具有如下的有益效果:
1、由于本发明实施例提供的方法直接可以去除非静态特征点,则可以有效的减少SLAM后端处理时对计算资源的消耗,提高点云构建速度;
2、在定位过程中,云地图构建设备可以通过多点定位来确定自身的当前位置,非静态特征点的存在会增大错误匹配的概率,导致定位精度的降低,本发明实施例可以在构建点云之前对特征点进行过滤,去除其中的动态特征点,显著提高定位精度;
3、对动态特征点的过滤,可以能提高点云的稀疏性,且不影响点云的定位精度,同时在定位阶段,能显著的减少定位的计算量,提升定位速度。
附图说明
图1为本发明实施例中的一种同步定位与地图构建中确定特征点的方法的原理流程图;
图2为本发明实施例中分析所述第一特征点集合中的非静态特征点的方法的流程图;
图3为本发明实施例中基于确定的所述相同特征点,以及所述图像获取设备在各时刻的运动状态信息分析所述非静态特征点的方法流程图;
图4为本发明实施例中进一步确定非静态特征点的方法流程图;
图5为本发明实施例中通过聚类处理分析确定非静态特征点的方法原理流程图;
图6为本发明实施例中的同步定位与地图构建中确定特征点的设备的原理结构图;
图7为本发明实施例中的处理器的原理结构示意图。
具体实施方式
下面,结合附图对本发明的具体实施例进行详细的描述,但不作为本发明的限定。
应理解的是,可以对此处公开的实施例做出各种修改。因此,上述说明书不应该视为限制,而仅是作为实施例的范例。本领域的技术人员将想到在本公开的范围和精神内的其他修改。
包含在说明书中并构成说明书的一部分的附图示出了本公开的实施例,并且与上面给出的对本公开的大致描述以及下面给出的对实施例的详细描述一起用于解释本公开的原理。
通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述,本发明的这些和其它特性将会变得显而易见。
还应当理解,尽管已经参照一些具体实例对本发明进行了描述,但本领域技术人员能够确定地实现本发明的很多其它等效形式,它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。
当结合附图时,鉴于以下详细说明,本公开的上述和其他方面、特征和优势将变得更为显而易见。
此后参照附图描述本公开的具体实施例;然而,应当理解,所公开的实施例仅仅是本公开的实例,其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本公开模糊不清。因此,本文所公开的具体的结构性和功能性细节并非意在限定,而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本公开。
本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”,其均可指代根据本公开的相同或不同实施例中的一个或多个。
下面,结合附图详细的说明本发明实施例,本发明实施例提供了一种同步定位与地图构建中确定特征点的方法,该方法可以应用在V-SLAM地图时对于静态特征点的提取过程中,通过去除图像特征点中的非静态特征点可以大大提升构件云地图的速度和精度。其中,同步定位与地图构建即为(SLAM或Simultaneous localization and mapping)。
如图1所示,为本发明实施例中的一种同步定位与地图构建中确定特征点的方法的原理流程图,本发明实施例中的同步定位于地图构建中确定特征点的方法可以包括:
利用图像获取设备采集图像信息;
基于采集的图像信息,获取所述图像信息中的第一特征点集合;
分析所述第一特征点集合中的非静态特征点,其中,所述非静态特征点为移动物体对应的特征点;
在所述第一特征点集合中过滤所述非静态特征点,以生成第二特征点集合。
本发明实施例中,可以应用在地图构建的技术领域,其中可以首先利用图像获取设备采集图像信息,该图像获取设备可以包括深度摄像头,或者摄像机器人等,通过图像获取设备可以采集图像信息,该图像信息可以为具有深度信息的图像信息。同时,在图像获取设备所获取的图像信息中还具有对应的时间信息,即每个图像都关联有对应的时间信息。另外,本发明实施例中,在获取各时刻的图像信息后,可以基于获取的图像信息,获取图像信息中的第一特征点集合,即可以按照预设算法对图像信息进行特征点提取,获取包括多个特征点的第一特征点集合。其中,本发明实施例的预设算法可以包括FAST特征点检测算法或者SIFT(尺度不变特征转换)算法,通过上述算法可以执行上述特征点提取的操作。例如,采集Tm时刻,带深度信息的图像信息f(t),该图像信息可以用RGB数据表示,通过上述预设算法(FAST/SIFT)提取图像信息中的第一特征点集合P∈{pm0,pm1,pm2……pmn},其中集合P中的各特征点可以用位置信息进行表示,如像素坐标信息。优选的,在提取特征点时还可以生成关于第一特征点集合中各特征点的特征描述信息,该特征描述可以表示为D∈{dm0,dm1,dm2……dmn},该特征描述信息可以包括特征点的特征信息,以用于识别和区分各个特征点。在获取上述第一特征点集合以及对应的特征描述后,可以对应的与时间Tm进行存储。基于上述过程可以获取各个时刻采集的图像信息的第一特征点集合以及对应的特征点的特征描述信息。
在获取各时刻的图像信息的第一特征点集合后,可以对各第一特征点集合进行分析,来识别第一特征点集合中的非静态特征点。其中,所述非静态特征点为移动物体对应的特征点。并且,在识别出非静态特征点后可以所述第一特征点集合中过滤所述非静态特征点,以生成第二特征点集合。该第二特征点集合中的各特征点即为静态特征点。利用各时刻的第二特征点集合作为地图构建使用,可以提高该过程的精确度和速度。
由于本发明实施例提供的方法直接可以去除各时刻获取的图像信息中的非静态特征点,则可以有效的减少SLAM后端处理时对计算资源的消耗,提高点云构建速度;另外在定位过程中,云地图构建设备可以通过多点定位来确定自身的当前位置,非静态特征点的存在会增大错误匹配的概率,导致定位精度的降低,本发明实施例可以在构建点云之前对特征点进行过滤,去除其中的动态特征点,显著提高定位精度;同时对动态特征点的过滤,可以能提高点云的稀疏性,且不影响点云的定位精度,同时在定位阶段,能显著的减少定位的计算量,提升定位速度。
进一步地,如图2所示,为本发明实施例中分析所述第一特征点集合中的非静态特征点的方法的流程图,该过程可以包括:
分别获取不同时刻的所述图像信息中的第一特征点集合;
确定各时刻的所述第一特征点集合中的相同特征点;
基于确定的所述相同特征点,以及所述图像获取设备在各时刻的运动状态信息分析所述非静态特征点。
如上述实施例所述,通过图像获取设备可以获取不同时刻的图像信息,并基于该图像信息可以进一步提取其中的第一特征点集合,因此,可以获取各个时刻的图像信息所对应的第一特征点集合,如Tm时刻的第一特征点集合和Tm+1时刻的第一特征点集合。在获取各时刻的第一特征点集合后P后还可以获取各个第一特征点集合中的相同特征点,如可以将Tm+1时刻的第一特征点集合中的各特征点与Tm时刻的第一特征点集合中的特征点进行特征点相似性计算,找出Tm与Tm+1时刻中匹配的特征点,即相同特征点。这里,本发明实施例可以根据针对第一特征点集合中各特征点所对应的特征描述信息来确定各第一特征点集合中的相同特征点,由于针对特征点的特征描述信息为能够表示特征点固定状态的信息(一般不会发生改变的信息),因此特征描述信息匹配的特征点即可以判断为相同的特征点。
进一步地,在判断出各时刻的第一特征点集合中的相同特征点后,还可以基于确定的所述相同特征点,以及所述图像获取设备在各时刻的运动状态信息分析所述非静态特征点。
如图3所示为本发明实施例中基于确定的所述相同特征点,以及所述图像获取设备在各时刻的运动状态信息分析所述非静态特征点的方法流程图,其中本发明实施例中所述基于确定的所述相同特征点,以及所述图像获取设备在各时刻的运动状态信息分析所述非静态特征点可以包括:
基于确定的所述相同特征点的深度信息,计算所述相同特征点的空间位置变化信息;
获取所述图像获取设备的空间位置变化信息;
基于所述相同特征点的空间位置变化信息,以及所述图像获取设备的空间位置变化信息,分析确定所述非静态特征点。
在本发明实施例中,在确定各第一特征点集合中的相同特征点后,可以基于确定的相同特征点的深度信息,计算相同特征点的空间位置变化信息。
如上所述,本发明实施例中的图像获取设备可以能够获取具有深度信息的图像信息,提取的第一特征点集合中的各特征点也可以具有深度信息,则此处可以基于带有深度信息的各特征点的位置信息(如坐标信息),确定各特征点的空间位置变化信息。
具体的,本发明实施例中所述基于确定的所述相同特征点的深度信息,计算所述相同特征点的空间位置变化信息可以包括:
基于各时刻的所述相同特征点的深度信息,确定所述相同特征点的位置信息;
基于各时刻的各相同特征点的位置信息之间的差值确定所述空间位置变化信息。
也就是说,可以基于各相同特征点的深度信息,确定各相同特征点的位置信息,该位置信息以空间坐标进行表示,之后可以将Tm+1时刻的各相同特征点的坐标值与Tm时刻的各相同特征点的坐标值进行空间向量的差值运算,从而获取各相同特征点的空间位置变化信息。例如,可以基于图像获取设备的摄像头的内参数,如深度信息,计算出Tm和Tm+1时刻各相同特征点的在坐标系下的坐标值(Xm,Ym,Zm)和(Xm+1,Ym+1,Zm+1),则Tm+1时刻相对于Tm时刻的相同特征点的空间变化信息可以表示为空间向量(Xm+1-Xm,Ym+1-Ym,Zm+1-Zm)。
另外,由于图像获取设备在执行图像获取的过程中,其摄像头的位置、方位、角度都会发生变化,本发明实施例中的图像获取设备还可以实时的获取其在不同时刻的移动速度、方向、角度、位置信息等参数信息,并对应的确定图像获取设备的空间位置变化信息。例如可以获取Tm到Tm+1时刻码盘(Odometry)数据(v,θ),该数据表示在1个时间间隔内图像获取设备的摄像头移动的速度和偏角。也就是说,本发明实施例中也可以获取在各个时刻的图像获取设备的位置信息(利用空间坐标表示),并也可以对应获取各时刻之间的相对位置变化,即空间位置变化信息。例如,计算出Tm和Tm+1时刻图像获取设备的位置信息,如在坐标系下的坐标值分别为(Xc,Yc,Zc)和(Xc+1,Yc+1,Zc+1),则Tm+1时刻相对于Tm时刻的相同特征点的空间变化信息可以表示为空间向量(Xc+1-Xc,Yc+1-Yc,Zc+1-Zc)。
在获取不同时刻之间的图像获取设备的空间位置变化信息和各相同特征点的空间位置变化信息时,基于上述信息可以确定非静态特征点。
如图4所示为本发明实施例中进一步确定非静态特征点的方法流程图,其中本发明实施例中,所述基于所述相同特征点的空间位置变化信息,以及所述图像获取设备的空间位置变化信息,分析确定所述非静态特征点包括:
基于所述图像获取设备的空间位置变化信息,对所述相同特征点的空间位置变化信息进行归一化操作,以获得标准空间位置变化信息;
基于所述标准空间位置变化信息,对所述相同特征点进行聚类操作,以获取所述非静态特征点。
在获取不同时刻之间的图像获取设备的空间位置变化信息和各相同特征点的空间位置变化信息时,可以基于所述图像获取设备的空间位置变化信息,对所述相同特征点的空间位置变化信息进行归一化操作,该归一化操作可以包括:将所述图像获取设备的空间位置变化信息和所述相同特征点的空间位置变化信息进行差值运算,获得所述标准空间位置变化信息。
即可以将同一时刻所计算出的图像获取设备的空间位置变化信息和该时刻的相同特征点的空间位置变化信息进行差值运算,例如可以计算Tm+1时刻相对于Tm时刻的图像获取设备的空间位置变化信息为(Xc+1-Xc,Yc+1-Yc,Zc+1-Zc),以及相同特征点的空间位置变化信息为(Xm+1-Xm,Ym+1-Ym,Zm+1-Zm),则上述对于Tm+1时刻,各相同特点的归一化操作的结果即为(Xc+1-Xc,Yc+1-Yc,Zc+1-Zc)与(Xm+1-Xm,Ym+1-Ym,Zm+1-Zm)之间的差值,该差值即可以表示为标准空间位置变化信息。
以下述公式进行说明,(Lx,Ly,Lz)可以表示为标准控件位置变化信息,(Xc,Yc,Zc)表示图像获取设备的空间位置变化信息,以及(Xm+1,Ym+1,Zm+1)可以表示为相同特征点的空间位置变化信息,则三者之间的关系可以为:
进一步地,可以基于所述标准空间位置变化信息对所述相同特征点进行聚类操作,以获取所述非静态特征点。如图5所示,为本发明实施例中通过聚类处理分析确定非静态特征点的方法原理流程图,其中,所述基于所述标准空间位置变化信息,对所述相同特征点进行聚类操作,以获取所述非静态特征点可以包括:
以所述标准空间位置变化信息为核,对所述相同特征点进行聚类操作
计算各类的所述相同特征点的类间距之和;
将所述类间距之和大的一类相同特征点判断为非静态特征点。
本发明实施例中,采用k=2的k-means聚类方法,循环重复K时间间隔,对同一相同特征点P的标准控件位置变化信息进行聚类分析,其中可以分别将某一时刻的相同特征点的标准空间位置变化信息作为特征向量,对所有相同特征点P的标准空间位置变化信息进行聚类处理,并计算类间距离之和,取类间距离之和小的特征点集合为静态特征点,类间距之和大的特征点位非静态特征点。通过该过程即可以实现非静态特征点的分析和确定,从第一特征点集合中除去上述非静态特征点即可以得到第二特征点集合。本发明实施例中采用上述聚类分析的方式确定非静态特征点,对于聚类算法并未做出改进,只是将标准空间位置变化信息进行聚类分析,并得到聚类结果,根据该聚类结果来实现非静态特征点的确定,在此不再对聚类算法进行赘述。
基于上述公开,可以获知本发明实施例具有如下的有益效果:由于本发明实施例提供的方法直接可以去除非静态特征点,则可以有效的减少SLAM后端处理时对计算资源的消耗,提高点云构建速度;在定位过程中,云地图构建设备可以通过多点定位来确定自身的当前位置,非静态特征点的存在会增大错误匹配的概率,导致定位精度的降低,本发明实施例可以在构建点云之前对特征点进行过滤,去除其中的动态特征点,显著提高定位精度;对动态特征点的过滤,可以能提高点云的稀疏性,且不影响点云的定位精度,同时在定位阶段,能显著的减少定位的计算量,提升定位速度。
另外,本发明实施例还提供了一种同步定位与地图构建中确定特征点的设备,该设备可以应用如上述实施例所述的同步定位与地图构建中确定特征点的方法。并通过去除图像特征点中的非静态特征点可以大大提升构件云地图的速度和精度。其中,同步定位与地图构建即为(SLAM或Simultaneous localization and mapping)。
如图6所示,为本发明实施例中的同步定位与地图构建中确定特征点的设备的原理结构图,其中,可以包括:
图像获取模块1,其配置为分别采集不同时刻的图像信息;
处理器2,其配置为基于采集的图像信息,获取所述图像信息中的第一特征点集合;分析所述第一特征点集合中的非静态特征点,其中,所述非静态特征点为移动物体对应的特征点;在所述第一特征点集合中过滤所述非静态特征点,以生成第二特征点集合。
本发明实施例中,同步定位与地图构建中确定特征点的设备可以应用在地图构建的技术领域,该设备可以利用图像获取模块1采集图像信息,该图像获取模块1可以包括深度摄像头,或者摄像机器人等,通过图像获取模块1可以采集图像信息,该图像信息可以为具有深度信息的图像信息。同时,在图像获取模块所获取的图像信息中还具有对应的时间信息,即每个图像都关联有对应的时间信息。
另外,本发明实施例中,如图7所示为本发明实施例中处理器的原理结构示意图,其中本发明实施例中的处理器2可以构造为一个数据处理器件,同时也可以包括多个子数据处理模块,从而实现不同的功能。
如图2所示,本发明实施例中的处理器2可以包括:提取模块21和分析模块22,其中提取模块21可以从图像获取模块1读取起获取的各时刻的图像信息,并可以基于该获取的图像信息,提取图像信息中的第一特征点集合,即可以按照预设算法对图像信息进行特征点提取,获取包括多个特征点的第一特征点集合。其中,本发明实施例的预设算法可以包括FAST特征点检测算法或者SIFT(尺度不变特征转换)算法,通过上述算法提取模块21可以执行上述特征点提取的操作。例如,采集Tm时刻,带深度信息的图像信息f(t),该图像信息可以用RGB数据表示,通过上述预设算法(FAST/SIFT)提取图像信息中的第一特征点集合P∈{pm0,pm1,pm2……pmn},其中集合P中的各特征点可以用位置信息进行表示,如像素坐标信息。优选的,提取模块21在提取各特征点时,还可以对应的生成关于第一特征点集合中各特征点的特征描述信息,该特征描述可以表示为D∈{dm0,dm1,dm2……dmn},该特征描述信息可以包括特征点的特征信息,以用于识别和区分各个特征点。在获取上述第一特征点集合以及对应的特征描述后,可以对应的与时间Tm进行存储。基于上述即可以获取各个时刻采集的图像信息的第一特征点集合以及对应的特征点的特征描述信息。
在提取模块21从图像信息中提取各时刻的图像信息的第一特征点集合后,分析模块22可以对各第一特征点集合进行分析,来识别第一特征点集合中的非静态特征点。其中,所述非静态特征点为移动物体对应的特征点。并且,分析模块22在识别出非静态特征点后可以进一步从所述第一特征点集合中过滤所述非静态特征点,以生成第二特征点集合。该第二特征点集合中的各特征点即为静态特征点。利用各时刻的第二特征点集合作为地图构建使用,可以提高该过程的精确度和速度。
由于本发明实施例提供的设备直接可以去除各时刻获取的图像信息中的非静态特征点,则可以有效的减少SLAM后端处理时对计算资源的消耗,提高点云构建速度;另外在定位过程中,云地图构建设备可以通过多点定位来确定自身的当前位置,非静态特征点的存在会增大错误匹配的概率,导致定位精度的降低,本发明实施例可以在构建点云之前对特征点进行过滤,去除其中的动态特征点,显著提高定位精度;同时对动态特征点的过滤,可以能提高点云的稀疏性,且不影响点云的定位精度,同时在定位阶段,能显著的减少定位的计算量,提升定位速度。
进一步地,本发明实施例中分析模块22执行上述非静态特征点的分析过程可以包括:分别从提取模块21获取不同时刻的所述图像信息中的第一特征点集合;确定各时刻的所述第一特征点集合中的相同特征点;基于确定的所述相同特征点,以及所述图像获取模块在各时刻的运动状态信息分析所述非静态特征点。
如上述实施例所述,通过图像获取模块1可以获取不同时刻的图像信息,并且提取模块21基于该图像信息可以进一步提取其中的第一特征点集合并对应的生成特征描述信息。优选的本发明实施例中的设备还可以进一步包括存储器3,该存储器3可以与图像获取模块1和处理器2连接,用于存储图像获取模块1所获取的图像信息,以及处理器2所生成的第一特征点集合以及相关的特征点描述信息等。
本发明实施例中的分析模块22从提取模块21或者存储器3获取可以获取各个时刻的图像信息所对应的第一特征点集合,如Tm时刻的第一特征点集合和Tm+1时刻的第一特征点集合。分析模块22在获取各时刻的第一特征点集合后P后还可以获取各个第一特征点集合中的相同特征点,如可以将Tm+1时刻的第一特征点集合中的各特征点与Tm时刻的第一特征点集合中的特征点进行特征点相似性计算,找出Tm与Tm+1时刻中匹配的特征点,即相同特征点。这里,本发明实施例可以根据针对第一特征点集合中各特征点所对应的特征描述信息来确定各第一特征点集合中的相同特征点,由于针对特征点的特征描述信息为能够表示特征点固定状态的信息(一般不会发生改变的信息),因此特征描述信息匹配的特征点即可以判断为相同的特征点。
进一步地,分析模块22在判断出各时刻的第一特征点集合中的相同特征点后,还可以基于确定的所述相同特征点,以及所述图像获取模块在各时刻的运动状态信息分析所述非静态特征点。
具体的,其中本发明实施例中分析模块22基于确定的所述相同特征点,以及所述图像获取模块在各时刻的运动状态信息分析所述非静态特征点可以包括:
基于确定的所述相同特征点的深度信息,计算所述相同特征点的空间位置变化信息;获取所述图像获取模块的空间位置变化信息;基于所述相同特征点的空间位置变化信息,以及所述图像获取模块的空间位置变化信息,分析确定所述非静态特征点。
在本发明实施例中,在分析模块22确定各第一特征点集合中的相同特征点后,可以基于确定的相同特征点的深度信息,计算相同特征点的空间位置变化信息。
如上所述,本发明实施例中的图像获取模块可以能够获取具有深度信息的图像信息,提取的第一特征点集合中的各特征点也可以具有深度信息,则此处可以基于带有深度信息的各特征点的位置信息(如坐标信息),确定各特征点的空间位置变化信息。
具体的,本发明实施例中分析模块22基于确定的所述相同特征点的深度信息,计算所述相同特征点的空间位置变化信息可以包括:
基于各时刻的所述相同特征点的深度信息,确定所述相同特征点的位置信息;基于各时刻的各相同特征点的位置信息之间的差值确定所述空间位置变化信息。
也就是说,分析模块22获取图像模块1的深度信息,即特征点的深度信息,并可以基于各相同特征点的深度信息,确定各相同特征点的位置信息,该位置信息以空间坐标进行表示,之后可以将Tm+1时刻的各相同特征点的坐标值与Tm时刻的各相同特征点的坐标值进行空间向量的差值运算,从而获取各相同特征点的空间位置变化信息。例如,可以基于图像获取模块的摄像头的内参数,如深度信息,计算出Tm和Tm+1时刻各相同特征点的在坐标系下的坐标值(Xm,Ym,Zm)和(Xm+1,Ym+1,Zm+1),则Tm+1时刻相对于Tm时刻的相同特征点的空间变化信息可以表示为空间向量(Xm+1-Xm,Ym+1-Ym,Zm+1-Zm)。
另外,由于图像获取模块1在执行图像获取的过程中,其位置、方位、角度都会发生变化,本发明实施例中的图像获取模块还可以实时的获取其在不同时刻的移动速度、方向、角度、位置信息等参数信息,并对应的确定图像获取模块的空间位置变化信息。例如分析模块22可以获取Tm到Tm+1时刻码盘(Odometry)数据(v,θ),该数据表示在1个时间间隔内图像获取模块的摄像头移动的速度和偏角。也就是说,本发明实施例中也可以获取在各个时刻的图像获取模块的位置信息(利用空间坐标表示),并也可以对应获取各时刻之间的相对位置变化,即空间位置变化信息。例如,计算出Tm和Tm+1时刻图像获取模块的位置信息,如在坐标系下的坐标值分别为(Xc,Yc,Zc)和(Xc+1,Yc+1,Zc+1),则Tm+1时刻相对于Tm时刻的相同特征点的空间变化信息可以表示为空间向量(Xc+1-Xc,Yc+1-Yc,Zc+1-Zc)。
在获取不同时刻之间的图像获取模块的空间位置变化信息和各相同特征点的空间位置变化信息时,基于上述信息可以确定非静态特征点。
本发明实施例中分析模块22基于所述相同特征点的空间位置变化信息,以及所述图像获取模块的空间位置变化信息,分析确定所述非静态特征点可以包括:
基于所述图像获取模块的空间位置变化信息,对所述相同特征点的空间位置变化信息进行归一化操作,以获得标准空间位置变化信息;
基于所述标准空间位置变化信息,对所述相同特征点进行聚类操作,以获取所述非静态特征点。
在分析模块22获取不同时刻之间的图像获取模块的空间位置变化信息和各相同特征点的空间位置变化信息时,可以基于所述图像获取模块的空间位置变化信息,对所述相同特征点的空间位置变化信息进行归一化操作,该归一化操作可以包括:将所述图像获取模块的空间位置变化信息和所述相同特征点的空间位置变化信息进行差值运算,获得所述标准空间位置变化信息。
即可以将同一时刻所计算出的图像获取模块的空间位置变化信息和该时刻的相同特征点的空间位置变化信息进行差值运算,例如可以计算Tm+1时刻相对于Tm时刻的图像获取模块的空间位置变化信息为(Xc+1-Xc,Yc+1-Yc,Zc+1-Zc),以及相同特征点的空间位置变化信息为(Xm+1-Xm,Ym+1-Ym,Zm+1-Zm),则上述对于Tm+1时刻,各相同特点的归一化操作的结果即为(Xc+1-Xc,Yc+1-Yc,Zc+1-Zc)与(Xm+1-Xm,Ym+1-Ym,Zm+1-Zm)之间的差值,该差值即可以表示为标准空间位置变化信息。
以下述公式进行说明,(Lx,Ly,Lz)可以表示为标准控件位置变化信息,(Xc,Yc,Zc)表示图像获取模块的空间位置变化信息,以及(Xm+1,Ym+1,Zm+1)可以表示为相同特征点的空间位置变化信息,则三者之间的关系可以为:
进一步地,可以基于所述标准空间位置变化信息对所述相同特征点进行聚类操作,以获取所述非静态特征点。本发明实施例中,分析模块22基于所述标准空间位置变化信息,对所述相同特征点进行聚类操作,以获取所述非静态特征点可以包括:
以所述标准空间位置变化信息为核,对所述相同特征点进行聚类操作
计算各类的所述相同特征点的类间距之和;
将所述类间距之和大的一类相同特征点判断为非静态特征点。
本发明实施例中,分析模块22可以采用k=2的k-means聚类方法,循环重复K时间间隔,对同一相同特征点P的标准控件位置变化信息进行聚类分析,其中可以分别将某一时刻的相同特征点的标准空间位置变化信息作为特征向量,对所有相同特征点P的标准空间位置变化信息进行聚类处理,并计算类间距离之和,取类间距离之和小的特征点集合为静态特征点,类间距之和大的特征点位非静态特征点。通过该过程即可以实现非静态特征点的分析和确定,从第一特征点集合中除去上述非静态特征点即可以得到第二特征点集合。本发明实施例中采用上述聚类分析的方式确定非静态特征点,对于聚类算法并未做出改进,只是将标准空间位置变化信息进行聚类分析,并得到聚类结果,根据该聚类结果来实现非静态特征点的确定,在此不再对聚类算法进行赘述。
基于上述公开,可以获知本发明实施例具有如下的有益效果:由于本发明实施例提供的设备直接可以去除非静态特征点,则可以有效的减少SLAM后端处理时对计算资源的消耗,提高点云构建速度;在定位过程中,云地图构建设备可以通过多点定位来确定自身的当前位置,非静态特征点的存在会增大错误匹配的概率,导致定位精度的降低,本发明实施例可以在构建点云之前对特征点进行过滤,去除其中的动态特征点,显著提高定位精度;对动态特征点的过滤,可以能提高点云的稀疏性,且不影响点云的定位精度,同时在定位阶段,能显著的减少定位的计算量,提升定位速度。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的数据处理方法所应用于的电子设备,可以参考前述产品实施例中的对应描述,在此不再赘述。
以上实施例仅为本发明的示例性实施例,不用于限制本发明,本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内,对本发明做出各种修改或等同替换,这种修改或等同替换也应视为落在本发明的保护范围内。

Claims (10)

1.一种同步定位与地图构建中确定特征点的方法,其包括:
利用图像获取设备采集图像信息;
基于采集的图像信息,获取所述图像信息中的第一特征点集合;
分析所述第一特征点集合中的非静态特征点,其中,所述非静态特征点为移动物体对应的特征点;
在所述第一特征点集合中过滤所述非静态特征点,以生成第二特征点集合。
2.根据权利要求1所述的方法,其中,所述分析所述第一特征点集合中的非静态特征点包括:
分别获取不同时刻的所述图像信息中的第一特征点集合;
确定各时刻的所述第一特征点集合中的相同特征点;
基于确定的所述相同特征点,以及所述图像获取设备在各时刻的运动状态信息分析所述非静态特征点。
3.根据权利要求2所述的方法,其中,所述基于确定的所述相同特征点,以及所述图像获取设备在各时刻的运动状态信息分析所述非静态特征点包括:
基于确定的所述相同特征点的深度信息,计算所述相同特征点的空间位置变化信息;
获取所述图像获取设备的空间位置变化信息;
基于所述相同特征点的空间位置变化信息,以及所述图像获取设备的空间位置变化信息,分析确定所述非静态特征点。
4.根据权利要求3所述的方法,所述基于所述相同特征点的空间位置变化信息,以及所述图像获取设备的空间位置变化信息,分析确定所述非静态特征点包括:
基于所述图像获取设备的空间位置变化信息,对所述相同特征点的空间位置变化信息进行归一化操作,以获得标准空间位置变化信息;
基于所述标准空间位置变化信息,对所述相同特征点进行聚类操作,以获取所述非静态特征点。
5.根据权利要求3所述的方法,其中,所述基于确定的所述相同特征点的深度信息,计算所述相同特征点的空间位置变化信息包括:
基于各时刻的所述相同特征点的深度信息,确定所述相同特征点的位置信息;
基于各时刻的各相同特征点的位置信息之间的差值确定所述空间位置变化信息。
6.根据权利要求5所述的方法,其中,所述基于所述图像获取设备的空间位置变化信息,对所述相同特征点的空间位置变化信息进行归一化操作,以获得标准空间位置变化信息包括:
将所述图像获取设备的空间位置变化信息和所述相同特征点的空间位置变化信息进行差值运算,获得所述标准空间位置变化信息。
7.根据权利要求4所述的方法,其中,所述基于所述标准空间位置变化信息,对所述相同特征点进行聚类操作,以获取所述非静态特征点包括:
以所述标准空间位置变化信息为核,对所述相同特征点进行聚类操作;
计算各类的所述相同特征点的类间距之和;
将所述类间距之和较大的一类特征点判断为非静态特征点。
8.一种同步定位与地图构建中确定特征点的设备,其包括:
图像获取模块,其配置为分别采集不同时刻的图像信息;
处理器,其配置为基于采集的图像信息,获取所述图像信息中的第一特征点集合;分析所述第一特征点集合中的非静态特征点,其中,所述非静态特征点为移动物体对应的特征点;在所述第一特征点集合中过滤所述非静态特征点,以生成第二特征点集合。
9.根据权利要求8所述的设备,其中,所述处理器进一步配置为分别获取不同时刻的所述图像信息中的第一特征点集合;确定各时刻的所述第一特征点集合中的相同特征点;基于确定的所述相同特征点,以及所述图像获取设备在各时刻的运动状态信息分析所述非静态特征点。
10.根据权利要求9所述的设备,其中,所述处理器进一步配置为基于确定的所述相同特征点的深度信息,计算所述相同特征点的空间位置变化信息;
获取所述图像获取设备的空间位置变化信息;
基于所述相同特征点的空间位置变化信息,以及所述图像获取设备的空间位置变化信息,分析确定所述非静态特征点。
CN201710909238.XA 2017-09-29 2017-09-29 一种同步定位与地图构建中确定特征点的方法和设备 Active CN107610177B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710909238.XA CN107610177B (zh) 2017-09-29 2017-09-29 一种同步定位与地图构建中确定特征点的方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710909238.XA CN107610177B (zh) 2017-09-29 2017-09-29 一种同步定位与地图构建中确定特征点的方法和设备

Publications (2)

Publication Number Publication Date
CN107610177A true CN107610177A (zh) 2018-01-19
CN107610177B CN107610177B (zh) 2019-10-29

Family

ID=61067238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710909238.XA Active CN107610177B (zh) 2017-09-29 2017-09-29 一种同步定位与地图构建中确定特征点的方法和设备

Country Status (1)

Country Link
CN (1) CN107610177B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460779A (zh) * 2018-02-12 2018-08-28 浙江大学 一种动态环境下的移动机器人图像视觉定位方法
CN110309240A (zh) * 2018-03-14 2019-10-08 北京京东尚科信息技术有限公司 去除动态目标的方法和装置
CN110533055A (zh) * 2018-05-25 2019-12-03 北京京东尚科信息技术有限公司 一种点云数据的处理方法和装置
CN111860057A (zh) * 2019-04-29 2020-10-30 北京眼神智能科技有限公司 人脸图像模糊和活体检测方法、装置、存储介质及设备
CN112435278A (zh) * 2021-01-26 2021-03-02 华东交通大学 一种基于动态目标检测的视觉slam方法及装置
CN112767409A (zh) * 2019-11-05 2021-05-07 珠海格力电器股份有限公司 定位前图像处理方法、装置、存储介质、计算机设备
WO2022110473A1 (zh) * 2020-11-24 2022-06-02 深圳市优必选科技股份有限公司 机器人建图方法、装置、计算机可读存储介质及机器人

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7200282B2 (en) * 2001-12-12 2007-04-03 Sony Corporation Implementation of Hough transform and its application in line detection and video motion analysis
CN103154666A (zh) * 2011-06-14 2013-06-12 日产自动车株式会社 距离测量装置以及环境地图生成装置
CN103456022A (zh) * 2013-09-24 2013-12-18 中国科学院自动化研究所 一种高分辨率遥感图像特征匹配方法
CN103955948A (zh) * 2014-04-03 2014-07-30 西北工业大学 一种动态环境下的空间运动目标检测方法
CN104424481A (zh) * 2013-09-02 2015-03-18 联想(北京)有限公司 信息处理的方法及智能设备
CN104424635A (zh) * 2013-08-30 2015-03-18 联想(北京)有限公司 一种信息处理方法、***和设备
CN105303554A (zh) * 2015-09-16 2016-02-03 东软集团股份有限公司 一种图像特征点的3d重建方法和装置
CN107146238A (zh) * 2017-04-24 2017-09-08 西安电子科技大学 基于特征块优选的运动目标跟踪方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7200282B2 (en) * 2001-12-12 2007-04-03 Sony Corporation Implementation of Hough transform and its application in line detection and video motion analysis
CN103154666A (zh) * 2011-06-14 2013-06-12 日产自动车株式会社 距离测量装置以及环境地图生成装置
CN104424635A (zh) * 2013-08-30 2015-03-18 联想(北京)有限公司 一种信息处理方法、***和设备
CN104424481A (zh) * 2013-09-02 2015-03-18 联想(北京)有限公司 信息处理的方法及智能设备
CN103456022A (zh) * 2013-09-24 2013-12-18 中国科学院自动化研究所 一种高分辨率遥感图像特征匹配方法
CN103955948A (zh) * 2014-04-03 2014-07-30 西北工业大学 一种动态环境下的空间运动目标检测方法
CN105303554A (zh) * 2015-09-16 2016-02-03 东软集团股份有限公司 一种图像特征点的3d重建方法和装置
CN107146238A (zh) * 2017-04-24 2017-09-08 西安电子科技大学 基于特征块优选的运动目标跟踪方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460779A (zh) * 2018-02-12 2018-08-28 浙江大学 一种动态环境下的移动机器人图像视觉定位方法
CN108460779B (zh) * 2018-02-12 2021-09-24 浙江大学 一种动态环境下的移动机器人图像视觉定位方法
CN110309240A (zh) * 2018-03-14 2019-10-08 北京京东尚科信息技术有限公司 去除动态目标的方法和装置
CN110533055A (zh) * 2018-05-25 2019-12-03 北京京东尚科信息技术有限公司 一种点云数据的处理方法和装置
CN110533055B (zh) * 2018-05-25 2022-04-26 北京京东尚科信息技术有限公司 一种点云数据的处理方法和装置
CN111860057A (zh) * 2019-04-29 2020-10-30 北京眼神智能科技有限公司 人脸图像模糊和活体检测方法、装置、存储介质及设备
CN112767409A (zh) * 2019-11-05 2021-05-07 珠海格力电器股份有限公司 定位前图像处理方法、装置、存储介质、计算机设备
WO2022110473A1 (zh) * 2020-11-24 2022-06-02 深圳市优必选科技股份有限公司 机器人建图方法、装置、计算机可读存储介质及机器人
CN112435278A (zh) * 2021-01-26 2021-03-02 华东交通大学 一种基于动态目标检测的视觉slam方法及装置
CN112435278B (zh) * 2021-01-26 2021-05-04 华东交通大学 一种基于动态目标检测的视觉slam方法及装置

Also Published As

Publication number Publication date
CN107610177B (zh) 2019-10-29

Similar Documents

Publication Publication Date Title
CN107610177B (zh) 一种同步定位与地图构建中确定特征点的方法和设备
CN105046197B (zh) 基于聚类的多模板行人检测方法
Zhang et al. Pedestrian detection method based on Faster R-CNN
US8855363B2 (en) Efficient method for tracking people
CN104933414B (zh) 一种基于wld-top的活体人脸检测方法
CN105740780B (zh) 人脸活体检测的方法和装置
CN106327507B (zh) 一种基于背景和前景信息的彩色图像显著性检测方法
CN103310194A (zh) 视频中基于头顶像素点梯度方向的行人头肩部检测方法
CN107067410B (zh) 一种基于增广样本的流形正则化相关滤波目标跟踪方法
CN102708380B (zh) 一种基于机器视觉的室内一般物体识别方法
Ji et al. Integrating visual selective attention model with HOG features for traffic light detection and recognition
Kheirkhah et al. A hybrid face detection approach in color images with complex background
CN111508006A (zh) 一种基于深度学习的运动目标同步检测、识别与跟踪方法
Zhang et al. Fast moving pedestrian detection based on motion segmentation and new motion features
JP2019536164A (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN106529441A (zh) 基于模糊边界分片的深度动作图人体行为识别方法
CN110007764B (zh) 一种手势骨架识别方法、装置、***及存储介质
CN101908150B (zh) 一种人体检测方法
CN113642385B (zh) 基于深度学习的脸部痣识别方法及***
Juang et al. Stereo-camera-based object detection using fuzzy color histograms and a fuzzy classifier with depth and shape estimations
CN102509308A (zh) 基于混合动态纹理空时显著性检测的运动分割方法
Zhu et al. Scene text relocation with guidance
CN111444875A (zh) 一种人脸跟踪方法、装置、设备和计算机可读存储介质
US10140509B2 (en) Information processing for detection and distance calculation of a specific object in captured images
KR20160148806A (ko) 방향정보를 이용한 객체 검출기 생성 방법, 이를 이용한 객체 검출 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant