CN112162561A - 一种地图构建优化方法、装置、介质及设备 - Google Patents
一种地图构建优化方法、装置、介质及设备 Download PDFInfo
- Publication number
- CN112162561A CN112162561A CN202011091480.9A CN202011091480A CN112162561A CN 112162561 A CN112162561 A CN 112162561A CN 202011091480 A CN202011091480 A CN 202011091480A CN 112162561 A CN112162561 A CN 112162561A
- Authority
- CN
- China
- Prior art keywords
- attitude
- current image
- equation
- point
- dimensional structure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005457 optimization Methods 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000010276 construction Methods 0.000 title claims abstract description 25
- 238000004364 calculation method Methods 0.000 claims abstract description 22
- 238000004422 calculation algorithm Methods 0.000 claims description 42
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 7
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 238000011084 recovery Methods 0.000 claims description 6
- 239000002609 medium Substances 0.000 description 12
- 230000000007 visual effect Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000012120 mounting media Substances 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
- G05D1/0236—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明实施例公开了一种地图构建优化方法。本发明实施例通过初始化当前环境中目标物体的三维结构，并作为参考匹配点；根据所述参考匹配点，确定当前图像内的特征点姿态方程的姿态解算；将所述姿态解算带入局部地图优化问题方程进行求解，以得到优化局部地图，能够有效提高机器人的建图效率。
Description
技术领域
本发明实施例涉及移动机器人领域，尤其涉及一种提高视觉里程计效率的方法、装置、介质及设备。
背景技术
机器人是自动控制机器(Robot)的俗称，自动控制机器包括一切模拟人类行为或思想与模拟其他生物的机械(如机器狗，机器猫等)。在当代工业中，机器人指能自动执行任务的人造机器装置，用以取代或协助人类工作。
在使用机器人构建地图领域中，不仅仅要知道机器人行驶的距离，还要知道机器人每时每刻的位置和姿态，以及拍摄到不同角度的环境，因此视觉里程计是通过分析处理相关图像序列来确定机器人的位置和姿态的一种定位方法。
但在现有技术中，由于完整的同时建图和定位算法消耗资源较大，计算量大，因此在小型移动设备内难以被直接应用。
发明内容
本发明实施例提供一种地图构建优化方法、装置、介质及设备，能够有效提高机器人建图效率。
第一方面，本发明实施例提供了一种地图构建优化方法，该方法包括：
初始化当前环境中目标物体的三维结构，并作为参考匹配点；
根据所述参考匹配点，确定当前图像内的特征点姿态方程的姿态解算；
将所述姿态解算带入局部地图优化问题方程进行求解，以得到优化局部地图。
可选的，初始化当前环境中目标物体的三维结构，作为参考匹配点，包括：
采集预设数量的当前环境图像；
通过三角化与运动恢复结构算法，对多张所述当前环境图像进行初始化，以获得当前环境中目标物体的三维结构；
将组成所述目标物体的三维结构的点云作为参考匹配点。
可选的，根据所述参考匹配点，确定当前图像内的特征点姿态方程的姿态解算，包括：
采集当前图像，并获取所述当前图像内的特征点；
将当前图像内的特征点与参考匹配点进行匹配，获取数据关联矩阵作为特征点姿态方程；
通过特征值分解相关算法对所述特征点姿态方程进行求解，以得到姿态解算。
可选的，所述获取所述当前图像内的特征点，包括：
根据FAST角点检测算法，获取所述当前图像内的特征点。
可选的，所述当前图像内的特征点与参考匹配点进行匹配，获取数据关联矩阵作为特征点姿态方程，包括：
根据光流追踪算法，跟踪所述当前图像内的特征点；
获取当前图像内的特征点与所述参考匹配点之间的匹配关系，得到数据关联矩阵作为特征点姿态方程。
可选的，在将所述姿态解算带入局部地图优化问题方程进行求解之后，还包括：
使用高斯-牛顿下降优化算法，对求解后的位姿信息进行优化。
第二方面，本发明实施例提供了一种地图构建优化装置，该装置包括：
参考模块，用于初始化当前环境中目标物体的三维结构，并作为参考匹配点；
解算模块，用于根据所述参考匹配点，确定当前图像内的特征点姿态方程的姿态解算；
地图确定模块，用于将所述姿态解算带入局部地图优化问题方程进行求解，以得到优化局部地图。
可选的，所述参考模块具体用于：
采集预设数量的当前环境图像；
通过三角化与运动恢复结构算法，对多张所述当前环境图像进行初始化，以获得当前环境中目标物体的三维结构；
将组成所述目标物体的三维结构的点云作为参考匹配点。
可选的，所述解算模块具体用于：
采集当前图像，并获取所述当前图像内的特征点；
将当前图像内的特征点与参考匹配点进行匹配，获取数据关联矩阵作为特征点姿态方程；
通过特征值分解相关算法对所述特征点姿态方程进行求解，以得到姿态解算。
可选的，所述解算模块具体还用于：
根据FAST角点检测算法，获取所述当前图像内的特征点。
可选的，所述解算模块具体还用于：
根据光流追踪算法，跟踪所述当前图像内的特征点；
获取当前图像内的特征点与所述参考匹配点之间的匹配关系，得到数据关联矩阵作为特征点姿态方程。
可选的，还包括：
优化模块，用于使用高斯-牛顿下降优化算法，对求解后的位姿信息进行优化。
第三方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的地图构建优化方法。
第四方面，本发明实施例提供了一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的地图构建优化方法。
本发明实施例通过初始化当前环境中目标物体的三维结构，并作为参考匹配点；根据所述参考匹配点，确定当前图像内的特征点姿态方程的姿态解算；将所述姿态解算带入局部地图优化问题方程进行求解，以得到优化局部地图，能够有效提高机器人的建图效率。
附图说明
图1是本发明实施例一提供的一种地图构建优化方法的流程图；
图2A是本发明实施例二提供的一种地图构建优化方法的流程图；
图2B是本发明实施例二提供的一种示例性的地图构建优化方法的流程图；
图3是本发明实施例三提供的一种地图构建优化装置的结构示意图；
图4是本发明实施例五提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
首先，本方案的实现，可以是基于如下前提：
网络模块区分服务端和客户端。
将应用程序区分为服务端和客户端，但是和大部分需要区分服务端和客户端的应用程序不同的是，因为考虑到成本控制、程序启动自由、便捷性等原因，本产品不希望单独设立一台计算机作为服务器。
因此，程序会在启动后，通过网络模块首先解析配置文件中提前记录好的信息来判断自身是否是服务端，如果是服务端，那自身既为服务端，又为客户端，其他计算机则为客户端。
19世纪80年代为了解决GPS缺失情况下的定位导航问题，同时建图和定位算法(Simultaneous localization and mapping，SLAM)被提出来，SLAM***一般利用主动探知的传感器(激光传感器、相机、超声波等等)，持续的构建环境，并且给出环境地图中自身的位置。定位和建图相互依赖，在最简单的例子中：定位功能根据有误差和偏差的传感器数据给出可移动机器人的状态(位置和姿态)，并记录一些环境的固有标记(特征点等)来描述周围的环境。但由于完整的同时建图和定位算法消耗资源较大，计算量大的缺点，难以被直接用于小型移动设备。在实现在小型移动端使用该方法的关键技术之一就是降低其计算量。在同时建图和定位算法中主要耗时的为：局部地图优化和图像特征追踪。本发明实施例提供一种局部地图优化的方法，根据优化方法中的解耦合处理，在保证其优化精度的同时，降低搜索空间，从而达到降低优化时间的效果。
目前，有不止一种方式可以确定移动机器人的轨迹，本发明实施例使用“视觉里程计”这种方法。在这种方法中，单个相机或者双目相机被用到，其目的是为了重构出机器人6-DOF的轨迹。视觉里程计通过分析一系列图像序列，来确定机器人的朝向和位置。其中，双目VO的优势在，能够精确的估计运动轨迹，且具有确切的物理单位。在单目VO中，你仅仅只知道物体在x/y方向上移动了1个单位，而双目VO则可明确知道是移动了1cm。
实施例一
图1为本发明实施例一提供的一种地图构建优化方法的流程图，该方法可以由本发明实施例提供的地图构建优化装置来执行，该装置可采用软件和/或硬件的方式实现。该方法具体包括：
S110、初始化当前环境中目标物体的三维结构，并作为参考匹配点。
其中，目标物体指的是机器人利用相机采集到的图像中的物体，目标物体的三维结构指的是有关于该目标物体的位置与姿态信息。具体的，本发明实施例提供的机器人通过相机采集图像，并对采集的图像进行分析，可以得到图像中所有目标物体的三维结构，而参考匹配点指的是在采集的图像中可以代表目标物体的特征点云。
具体的，本发明实施例在机器人定位(位姿解算)过程中，使用到的主要数据为相机采集到的图像提供，需要说明的是，本发明实施例不对相机的类型进行限定，可以是视觉单目相机，也可以是视觉双目相机。在本实施例中，机器人配置的相机为视觉双目相机。
具体的，本发明实施例中的机器人先采集几张关于当前环境的图像，对上述多张当前环境的图像进行分析。由于机器人是在移动过程中采集图像的，因此可以达到多个视角看同一目标物体的效果，从而对采集到的多张图像分析可以还原该目标物体，得到该目标物体在空间中的位置与姿态信息，本实施例再将表述该目标物体的位置和姿态信息的点云作为参考匹配点。
S120、根据所述参考匹配点，确定当前图像内的特征点姿态方程的姿态解算。
具体的，本实施例中的机器人再重新采集图像时，将新采集的单张图像作为当前图像进行分析，通过当前图像中特征点与参考匹配点之间的关系得到特征点姿态方程，并对其进行解算。
S130、将所述姿态解算带入局部地图优化问题方程进行求解，以得到优化局部地图。
其中，局部地图优化问题方程为之前研究人员构建的关于当前环境的地图坐标方程，该方程包含目标物体的位置姿态和点云(6维位姿+1维点云深度)信息。本实施例将姿态解算信息带入局部地图优化问题方程进行求解，可以得到优化后的优化局部地图。
本发明实施例根据优化方法中的解耦合处理，在保证其优化精度的同时，降低搜索空间，从而达到降低优化时间的效果，本方法将对机器人位置姿态和点云(6维位姿+1维点云深度)的优化解耦为：先进行姿态的旋转优化(三维)，再进行平移和深度的优化(三维)。由于本方法中使用的旋转优化具有较强的鲁棒性能和高效率，减少了对优化的耗时。在优化好旋转后，将已经计算好的旋转数据代入原来的位姿优化方程中得到一个降低优化空间的优化问题，最终实现机器人的位姿解算和周围地图构建。
可选的，初始化当前环境中目标物体的三维结构，作为参考匹配点，包括：采集预设数量的当前环境图像；通过三角化与运动恢复结构算法，对多张所述当前环境图像进行初始化，以获得当前环境图像中目标物体的三维结构；将组成所述目标物体的三维结构的点云作为参考匹配点。
其中，预设数量可以为至少两张图像，例如可以是前2张或者前10张，本实施例不对采集图像的具体数量进行限定。三角化为图像处理领域内常用的处理手段，运动恢复结构算法(Structure from Motion，SFM)在计算机视觉指的是,通过分析物体的运动得到三维结构信息的过程。本实施例通过三角化对采集到的多张当前环境图像中的像素点进行优化，再通过SFM算法对该多张环境图像进行初始化，可以将收集到的多张无序图片进行三维重建，得到目标物体的三维结构，再将目标物体的三维结构的点云作为参考匹配点。
可选的，在将所述姿态解算带入局部地图优化问题方程进行求解之后，还包括：使用高斯-牛顿下降优化算法，对求解后的位姿信息进行优化。
其中，高斯-牛顿下降优化算法可以通过多次迭代，多次修正回归系数，使回归系数不断逼近非线性回归模型的最佳回归系数，最后使原模型的残差平方和达到最小的方法。本发明实施例可以使用高斯-牛顿下降优化算法，对求解后的位姿信息进行再次优化。
本发明实施例通过初始化当前环境中目标物体的三维结构，并作为参考匹配点；根据所述参考匹配点，确定当前图像内的特征点姿态方程的姿态解算；将所述姿态解算带入局部地图优化问题方程进行求解，以得到优化局部地图，能够有效提高机器人的建图效率。
实施例二
图2A为本发明实施例二提供的一种地图构建优化方法的流程图，本发明实施例在上述实施例的基础上，其中，根据所述参考匹配点，确定当前图像内的特征点姿态方程的姿态解算，包括：采集当前图像，并获取所述当前图像内的特征点；将当前图像内的特征点与参考匹配点进行匹配，获取数据关联矩阵作为特征点姿态方程；通过特征值分解相关算法对所述特征点姿态方程进行求解，以得到姿态解算。
该方法具体包括：
S210、初始化当前环境中目标物体的三维结构，并作为参考匹配点。
S220、采集当前图像，并获取所述当前图像内的特征点。
可选的，所述获取所述当前图像内的特征点，包括：根据FAST角点检测算法，获取所述当前图像内的特征点。
其中，FAST(Features from Accelerated Segment Test)角点特征定义：若某像素与其周围邻域内足够多的像素点相差较大，则该像素可能是角点。本实施例对新采集的当前图像，使用FAST角点检测算法，从而获取当前图像内的有效角点作为特征点。
S230、将当前图像内的特征点与参考匹配点进行匹配，获取数据关联矩阵作为特征点姿态方程。
可选的，所述当前图像内的特征点与参考匹配点进行匹配，获取数据关联矩阵作为特征点姿态方程，包括：根据光流追踪算法，跟踪所述当前图像内的特征点；获取当前图像内的特征点与所述参考匹配点之间的匹配关系，得到数据关联矩阵作为特征点姿态方程。
示例性的，本实施例在对多张当前环境图片进行初始化后，将目标物体的二维图像还原为三维立体，若其中一A点对应三维空间的立体结构中的a点，机器人在确定当前图像内的特征点B，根据光流追踪算法，得到与之前A点相对应，那么则可以将特征点B与三维空间内的a点进行匹配，形成数据关联，得到数据关联矩阵作为特征点姿态方程。
S240、通过特征值分解相关算法对所述特征点姿态方程进行求解，以得到姿态解算。
S250、将所述姿态解算带入局部地图优化问题方程进行求解，以得到优化局部地图。
具体的，本发明实施例得到优化局部地图后，可以根据常用的运动模型，预估位姿状态，并获取下一张图像，进而使用本实施例提供的地图构建优化方法对下张图像进行优化，从而实时得到机器人的位移以及实时位移所构建的局部地图。
示例性的，如图2B所示，图2B是本发明实施例二提供的一种示例性的地图构建方法的流程图。本发明实施例在机器人定位(位姿解算)过程中，使用到的主要数据为双目相机的图像输入，先利用FAST角点提取算法获取图像中的有效梯度点，再利用快速的离散光流算法追踪这些提取的特征点，找到特征点在下一帧的位置并形成数据关联，之后进行单独的旋转优化获取机器人当前的旋转状态，再将计算好的旋转姿态代入局部地图优化中，从而获取机器人的位移和三维地图。方法包括下列步骤：
(1)获取前2到10帧双目图像，利用三角化和structure from motion(SFM)算法初始化当前***；
(2)使用FAST角点检测算法，获取图像中的有效角点作为特征点；
(3)利用快速的光流追踪算法跟踪特征点形成数据关联；
(4)利用特征值分解相关算法和数据关联信息实现旋转的状态的解算；
(5)代入已经优化好的旋转状态，求解局部地图优化问题，并利用高斯-牛顿下降优化算法，对该局部地图优化问题进行优化，最终获取优化好的机器人位移和三维地图；
(6)利用运动模型进行下一帧位姿估算，并获取下一帧图像；
(7)重复(2)-(6)。
实施例三
图3是本发明实施例提供的一种地图构建优化装置的结构示意图，该装置具体包括：
参考模块310，用于初始化当前环境中目标物体的三维结构，并作为参考匹配点；
解算模块320，用于根据所述参考匹配点，确定当前图像内的特征点姿态方程的姿态解算；
地图确定模块330，用于将所述姿态解算带入局部地图优化问题方程进行求解，以得到优化局部地图。
可选的，所述参考模块310具体用于：
采集预设数量的当前环境图像；
通过三角化与运动恢复结构算法，对多张所述当前环境图像进行初始化，以获得当前环境中目标物体的三维结构；
将组成所述目标物体的三维结构的点云作为参考匹配点。
可选的，所述解算模块320具体用于：
采集当前图像，并获取所述当前图像内的特征点；
将当前图像内的特征点与参考匹配点进行匹配，获取数据关联矩阵作为特征点姿态方程；
通过特征值分解相关算法对所述特征点姿态方程进行求解，以得到姿态解算。
可选的，所述解算模块320具体还用于：
根据FAST角点检测算法，获取所述当前图像内的特征点。
可选的，所述解算模块320具体还用于：
根据光流追踪算法，跟踪所述当前图像内的特征点；
获取当前图像内的特征点与所述参考匹配点之间的匹配关系，得到数据关联矩阵作为特征点姿态方程。
可选的，还包括：
优化模块，用于使用高斯-牛顿下降优化算法，对求解后的位姿信息进行优化。
本发明实施例通过初始化当前环境中目标物体的三维结构，并作为参考匹配点；根据所述参考匹配点，确定当前图像内的特征点姿态方程的姿态解算；将所述姿态解算带入局部地图优化问题方程进行求解，以得到优化局部地图，能够有效提高机器人的建图效率。
实施例四
本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行：
初始化当前环境中目标物体的三维结构，并作为参考匹配点；
根据所述参考匹配点，确定当前图像内的特征点姿态方程的姿态解算；
将所述姿态解算带入局部地图优化问题方程进行求解，以得到优化局部地图。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机***存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的计算机***中，或者可以位于不同的第二计算机***中，第二计算机***通过网络(诸如因特网)连接到计算机***。第二计算机***可以提供程序指令给计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机***中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的地图构建优化操作，还可以执行本申请任意实施例所提供的地图构建优化方法中的相关操作。
实施例五
本申请实施例提供了一种电子设备，该电子设备中可集成本申请实施例提供的地图构建优化装置。图4是本申请实施例五提供的一种电子设备的结构示意图。如图4所示，本实施例提供了一种电子设备400，其包括：一个或多个处理器420；存储装置410，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器420运行，使得所述一个或多个处理器420实现：
初始化当前环境中目标物体的三维结构，并作为参考匹配点；
根据所述参考匹配点，确定当前图像内的特征点姿态方程的姿态解算；
将所述姿态解算带入局部地图优化问题方程进行求解，以得到优化局部地图。
如图4所示，该电子设备400包括处理器420、存储装置410、输入装置430和输出装置440；电子设备中处理器420的数量可以是一个或多个，图4中以一个处理器420为例；电子设备中的处理器420、存储装置410、输入装置430和输出装置440可以通过总线或其他方式连接，图4中以通过总线450连接为例。
存储装置410作为一种计算机可读存储介质，可用于存储软件程序、计算机可运行程序以及模块单元，如本申请实施例中的地图构建优化方法对应的程序指令。
存储装置410可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置410可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置410可进一步包括相对于处理器420远程设置的存储器，这些远程存储器可以通过网络连接。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置430可用于接收输入的数字、字符信息或语音信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏、扬声器等设备。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种地图构建优化方法，其特征在于，包括：
初始化当前环境中目标物体的三维结构，并作为参考匹配点；
根据所述参考匹配点，确定当前图像内的特征点姿态方程的姿态解算；
将所述姿态解算带入局部地图优化问题方程进行求解，以得到优化局部地图。
2.根据权利要求1所述的方法，其特征在于，初始化当前环境中目标物体的三维结构，作为参考匹配点，包括：
采集预设数量的当前环境图像；
通过三角化与运动恢复结构算法，对多张所述当前环境图像进行初始化，以获得当前环境图像中目标物体的三维结构；
将组成所述目标物体的三维结构的点云作为参考匹配点。
3.根据权利要求1所述的方法，其特征在于，根据所述参考匹配点，确定当前图像内的特征点姿态方程的姿态解算，包括：
采集当前图像，并获取所述当前图像内的特征点；
将当前图像内的特征点与参考匹配点进行匹配，获取数据关联矩阵作为特征点姿态方程；
通过特征值分解相关算法对所述特征点姿态方程进行求解，以得到姿态解算。
4.根据权利要求3述的方法，其特征在于，所述获取所述当前图像内的特征点，包括：
根据FAST角点检测算法，获取所述当前图像内的特征点。
5.权利要求3述的方法，其特征在于，所述当前图像内的特征点与参考匹配点进行匹配，获取数据关联矩阵作为特征点姿态方程，包括：
根据光流追踪算法，跟踪所述当前图像内的特征点；
获取当前图像内的特征点与所述参考匹配点之间的匹配关系，得到数据关联矩阵作为特征点姿态方程。
6.根据权利要求1-5任意所述的方法，在将所述姿态解算带入局部地图优化问题方程进行求解之后，还包括：
使用高斯-牛顿下降优化算法，对求解后的位姿信息进行优化。
7.一种地图构建优化装置，其特征在于，包括：
参考模块，用于初始化当前环境中目标物体的三维结构，并作为参考匹配点；
解算模块，用于根据所述参考匹配点，确定当前图像内的特征点姿态方程的姿态解算；
地图确定模块，用于将所述姿态解算带入局部地图优化问题方程进行求解，以得到优化局部地图。
8.根据权利要求7所述的装置，其中，所述参考模块具体用于：
采集预设数量的当前环境图像；
通过三角化与运动恢复结构算法，对多张所述当前环境图像进行初始化，以获得当前环境中目标物体的三维结构；
将组成所述目标物体的三维结构的点云作为参考匹配点。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的地图构建优化方法。
10.一种移动设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-6中任一所述的地图构建优化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011091480.9A CN112162561A (zh) | 2020-10-13 | 2020-10-13 | 一种地图构建优化方法、装置、介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011091480.9A CN112162561A (zh) | 2020-10-13 | 2020-10-13 | 一种地图构建优化方法、装置、介质及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112162561A true CN112162561A (zh) | 2021-01-01 |
Family
ID=73866741
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011091480.9A Pending CN112162561A (zh) | 2020-10-13 | 2020-10-13 | 一种地图构建优化方法、装置、介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112162561A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112861674A (zh) * | 2021-01-28 | 2021-05-28 | 中振同辂(江苏)机器人有限公司 | 一种基于地面特征的点云优化方法及计算机可读存储介质 |
| CN117152245A (zh) * | 2023-01-31 | 2023-12-01 | 荣耀终端有限公司 | 位姿计算方法和装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106679648A (zh) * | 2016-12-08 | 2017-05-17 | 东南大学 | 一种基于遗传算法的视觉惯性组合的slam方法 |
| CN110044354A (zh) * | 2019-03-28 | 2019-07-23 | 东南大学 | 一种双目视觉室内定位与建图方法及装置 |
| CN111210477A (zh) * | 2019-12-26 | 2020-05-29 | 深圳大学 | 一种运动目标的定位方法及*** |
-
2020
- 2020-10-13 CN CN202011091480.9A patent/CN112162561A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106679648A (zh) * | 2016-12-08 | 2017-05-17 | 东南大学 | 一种基于遗传算法的视觉惯性组合的slam方法 |
| CN110044354A (zh) * | 2019-03-28 | 2019-07-23 | 东南大学 | 一种双目视觉室内定位与建图方法及装置 |
| CN111210477A (zh) * | 2019-12-26 | 2020-05-29 | 深圳大学 | 一种运动目标的定位方法及*** |
Non-Patent Citations (1)
| Title |
|---|
| 纪祥: "面向稠密重建的单目视觉SLAM方法", no. 02, pages 27 - 35 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112861674A (zh) * | 2021-01-28 | 2021-05-28 | 中振同辂(江苏)机器人有限公司 | 一种基于地面特征的点云优化方法及计算机可读存储介质 |
| CN117152245A (zh) * | 2023-01-31 | 2023-12-01 | 荣耀终端有限公司 | 位姿计算方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107990899B (zh) | 一种基于slam的定位方法和*** | |
| CN111325796B (zh) | 用于确定视觉设备的位姿的方法和装置 | |
| JP6768156B2 (ja) | 仮想的に拡張された視覚的同時位置特定及びマッピングのシステム及び方法 | |
| CN107888828B (zh) | 空间定位方法及装置、电子设备、以及存储介质 | |
| US10109104B2 (en) | Generation of 3D models of an environment | |
| US20200300637A1 (en) | Collaborative navigation and mapping | |
| CN111445526B (zh) | 一种图像帧之间位姿的估计方法、估计装置和存储介质 | |
| CN110111388B (zh) | 三维物***姿参数估计方法及视觉设备 | |
| TWI795885B (zh) | 視覺定位方法、設備和電腦可讀儲存介質 | |
| CN111768489B (zh) | 一种室内导航地图构建方法和*** | |
| CN113052907B (zh) | 一种动态环境移动机器人的定位方法 | |
| CN112162561A (zh) | 一种地图构建优化方法、装置、介质及设备 | |
| WO2022021661A1 (zh) | 一种基于高斯过程的视觉定位方法、***及存储介质 | |
| WO2022062480A1 (zh) | 移动设备的定位方法和定位装置 | |
| CN109284653A (zh) | 基于计算机视觉的细长物体检测 | |
| WO2024087962A1 (zh) | 车厢姿态识别***、方法、电子设备及存储介质 | |
| US11188787B1 (en) | End-to-end room layout estimation | |
| Altuntaş et al. | Comparison of 3-dimensional SLAM systems: RTAB-Map vs. Kintinuous | |
| CN114723811A (zh) | 一种非结构化环境四足机器人立体视觉定位建图方法 | |
| CN111829522B (zh) | 即时定位与地图构建方法、计算机设备以及装置 | |
| CN115578432B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN110853098A (zh) | 机器人定位方法、装置、设备及存储介质 | |
| CN110631586A (zh) | 基于视觉slam的地图构建的方法、导航***及装置 | |
| CN112880675B (zh) | 用于视觉定位的位姿平滑方法、装置、终端和移动机器人 | |
| CN115294280A (zh) | 三维重建方法、装置、设备、存储介质和程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |