CN108983769B - 即时定位与地图构建的优化方法及装置 - Google Patents

即时定位与地图构建的优化方法及装置 Download PDF

Info

Publication number
CN108983769B
CN108983769B CN201810650981.2A CN201810650981A CN108983769B CN 108983769 B CN108983769 B CN 108983769B CN 201810650981 A CN201810650981 A CN 201810650981A CN 108983769 B CN108983769 B CN 108983769B
Authority
CN
China
Prior art keywords
processed
image
stability
map
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810650981.2A
Other languages
English (en)
Other versions
CN108983769A (zh
Inventor
张观良
刘殿超
李学锋
付万豪
杨光伟
李壮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Software Research Center Beijing Co Ltd
Original Assignee
Ricoh Software Research Center Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Software Research Center Beijing Co Ltd filed Critical Ricoh Software Research Center Beijing Co Ltd
Priority to CN201810650981.2A priority Critical patent/CN108983769B/zh
Publication of CN108983769A publication Critical patent/CN108983769A/zh
Application granted granted Critical
Publication of CN108983769B publication Critical patent/CN108983769B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种即时定位与地图构建的优化方法及装置。所述即时定位与地图构建的优化方法包括：获取待处理图像的稳定性特征；屏蔽相似的所述稳定性特征，以根据屏蔽后的所述稳定性特征构建初始地图和位置；根据所述稳定性特征，追踪初始化处理后的所述待处理图像；根据所述稳定性特征，对构建的所述地图和位置进行优化处理。本技术方案获取待处理图像的稳定性特征，一方面可以根据屏蔽相似的所述稳定性特征，对地图和位置进行初始化处理，另一方面可以根据所述稳定性特征，追踪和优化所述待处理图像，由于稳定性特征是根据物体的属性获得的，比较稳定，因此这样在地图和位置益初始化、追踪及优化过程中可以有效防止特征的丢失。

Description

即时定位与地图构建的优化方法及装置
技术领域
本发明涉及计算机视觉技术领域，特别涉及一种即时定位与地图构建的优化方法及装置。
背景技术
即时定位与地图构建(simultaneous localization and mapping，SLAM)，也称为CML(Concurrent Mapping and Localization),是指机器人在自身位置不确定的条件下，在完全未知环境中创建地图，同时利用地图自主定位和导航。基于视觉传感器定位方式，是近些年国内外研究的一个热点，它又分为单目、双目和多目定位。目前，对于单目SLAM方法的研究着重于在室内或道路场景下，提高定位与构图的速度与准确性。在这些场景中，特征大部分是可区分的，因此很容易根据匹配的特征或像素来估计相机姿态。然而，在很多场景中，并不容易区分特征，这样会导致尺度漂移和追踪丢失的问题。
传统技术中，解决这一问题的方法有间接法(ORB-SLAM)、直接法(lsd-SLAM)等。其中，间接法在大多数场景中都做得很好，并且包含了包括重新定位在内的完整功能，但其很大程度上依赖于特征提取和特征匹配。直接法直接使用实际的传感器值，但在大场景中很难解决规模漂移和重新定位的问题。
发明内容
本发明提供即时定位与地图构建的优化方法及装置，以为解决背景技术中提出的一个或多个技术问题提供一种有益的选择。
作为本发明的一个方面，本发明实施例提供一种即时定位与地图构建的优化方法，包括：
获取待处理图像的稳定性特征；
屏蔽相似的所述稳定性特征，以根据所述稳定性特征构建初始地图和位置；
根据所述稳定性特征，追踪初始化处理后的所述待处理图像；
根据所述稳定性特征，对构建的所述地图和位置进行优化处理。
结合第一方面，本发明实施例在第一方面的第一实施方式中，所述稳定性特征包括以下至少一种特征：角点、形状、大小、颜色。
结合第一方面的第一实施方式，本发明实施例在第一方面的第二实施方式中，屏蔽相似的所述稳定性特征，以用于地图和位置进行初始化处理，包括：
获取所述稳定性特征的子特征；
将所述子特征进行聚类处理，以获得其中相似度大于预设阈值的子特征；
屏蔽所述相似度大于预设阈值的子特征。
结合第一方面的第一实施方式，本发明实施例在第一方面的第三实施方式中，屏蔽相似的所述稳定性特征，以用于地图和位置进行初始化处理，包括：
采用预设机器学习模型分割所述待处理图像的相似稳定性特征区域，以屏蔽所述相似稳定性特征区域；其中，所述相似稳定性特征区域中的稳定性特征的相似度大于预设阈值。
结合第一方面，本发明实施例在第一方面的第四实施方式中，根据所述稳定性特征，对构建的所述地图和位置进行优化处理，包括：
根据所述待处理图像所指示的物体的追踪情况，采用对应的修正方法来修正所述地图和位置的尺度漂移。
结合第一方面，本发明实施例在第一方面的第四实施方式的第一种实现方式中，根据所述待处理图像所指示的物体的追踪情况，采用对应的修正方法来修正所述地图和位置的尺度漂移，包括：
若追踪所述待处理图像所指示的物体可被追踪，则采用光束平差法来修正所述地图和位置的尺度漂移。
结合第一方面的第四实施方式，在本发明实施例在第四实施方式的第二种实现方式中，根据所述待处理图像所指示的物体的追踪情况，采用对应的修正方法来修正所述地图和位置的尺度漂移，包括：
若无法追踪所述待处理图像所指示的物体，则通过预设递增函数来修正所述地图和位置的尺度漂移。
第二方面，本发明实施例提供一种即时定位与地图构建装置，所述装置包括：
获取模块，配置为获取待处理图像的稳定性特征；
屏蔽模块，配置为屏蔽相似的所述稳定性特征，以用于地图和位置进行初始化处理；
追踪模块，配置为根据所述稳定性特征，追踪初始化处理后的所述待处理图像；
优化模块，配置为根据所述稳定性特征，对构建的所述地图和位置进行优化处理。
结合第二方面，本发明实施例的第二方面的第一实施方式中，所述屏蔽模块包括：
获取子模块，配置为获取所述稳定性特征的子特征；
聚类子模块，配置为将所述子特征进行聚类处理，以获得其中相似度大于预设阈值的子特征；
第一屏蔽子模块，配置为屏蔽所述相似度大于预设阈值的子特征。
结合第二方面，本发明实施例的第二方面的第二实施方式中，所述初始化模块包括：
第二屏蔽子模块，配置为采用预设机器学习模型分割所述待处理图像的相似稳定性特征区域，以屏蔽所述相似稳定性特征区域；其中，所述相似稳定性特征区域中的稳定性特征的相似度大于预设阈值。
本发明采用上述技术方案，具有如下优点：本技术方案获取待处理图像的稳定性特征，一方面可以根据屏蔽相似的所述稳定性特征，对地图和位置进行初始化处理，另一方面可以根据所述稳定性特征，追踪和优化所述待处理图像，由于稳定性特征是根据物体的属性获得的，比较稳定，因此这样在地图和位置益初始化、追踪及优化过程中可以有效防止特征的丢失。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本发明公开的一些实施方式，而不应将其视为是对本发明范围的限制。
图1为本发明实施例一的即时定位与地图构建的优化方法的流程图；
图2为本发明实施例二的即时定位与地图构建的优化方法的流程图；
图3(1)为本发明实施例二的即时定位与地图构建的优化方法中对待处理图像进行相区特征区域分割之前的太阳能面板的图像；
图3(2)为本发明实施例二的即时定位与地图构建的优化方法中将太阳能面板的相似特征区域屏蔽后的图像；
图4为本发明实施例二的即时定位与地图构建的优化方法中产生尺度漂移的示意图；
图5为本发明实施例二的即时定位与地图构建的优化方法中根据物体的属性修正尺度漂移的原理示意图；
图6为本发明实施例二的即时定位与地图构建的优化方法中修正待处理图像的尺度漂移的示意图；
图7为本发明实施例二的即时定位与地图构建的优化方法中修正待处理图像的尺度漂移的示意图；
图8为本发明实施例三的即时定位与地图构建装置的示意图。
具体实施方式
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接，还可以是通信；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度小于第二特征。
下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
目前，间接法被广泛使用，但其性能受现场特征的影响较大。例如，在重复特征场景中，由于相似特性的影响，间接法很难初始化并且容易丢失。
实施例一
如图1所示，为本发明实施例一的即时定位与地图构建的优化方法的示意图。本发明实施例一的即时定位与地图构建的优化方法包括：
S101，获取待处理图像的稳定性特征。
本发明实施例的待处理图像可通过安装于智能设备上的照相机获取。例如，智能机器人。
本发明实施例在具体实施时，由于地图和位置是三维空间，而图像属于二维图像，因此本发明实施例一般获取至少两张待处理图像或图像帧来处理。首先需要获取待处理图像上的稳定性特征。
其中，所述稳定性特征包括以下至少一种特征：角点、形状、大小、颜色。
稳定性特征是根据物体的属性来获得的。例如，稳定性特征可以是角点或是一些特殊结构上的点。所谓角点就是极值点，即在某方面属性特别突出的点。当然，也可以根据使用者的实际需求来自己定义角点的属性(设置特定熵值进行角点检测)。角点可以是两条线的交叉处，也可以是位于相邻的两个主要方向不同的事物上的点。一些特殊结构上的点，是指具有特殊的物体上，能标识物体属性的点，例如，图形物体的轮廓或形状。
S102，屏蔽相似的所述稳定性特征，以根据屏蔽后的所述稳定性特征构建初始地图和位置。
在对地图和位置进行初始化的过程中，如果两幅待处理图像存在相似特征，则会影响初始化过程中的特征匹配和基本矩阵或单应性矩阵的计算，因此本发明实施例首先对于屏蔽掉相似特征，以避免重复特征。这里并非将所有存在相似性的特征全部屏蔽掉，而是保留其中的至少一个或几个特征，将其他与这一个或几个特征相似的特征屏蔽掉。
本领域技术人员应该可以知道，所谓对地图和位置进行初始化处理，即是根据至少两幅待处理图像中相对应的特征点，来建立三维地图，并对物体进行定位。
可通过不同的方法来比对待处理图像上的特征，例如，可通过聚类的方法，还可通过分割图像相似区域的方法等来确定相似特征。
S103，根据所述稳定性特征，追踪初始化处理后的所述待处理图像。
由于稳定性特征是根据物体的属性获得的，因此具有稳定性。因此，可以参考物体的稳定性特征来追踪所述待处理图像。
S104，根据所述稳定性特征，对构建的所述地图和位置进行优化处理。
同理，由于稳定性特征是根据物体的属性获得的，因此具有稳定性。因此，可以参考物体的稳定性特征来优化所述待处理图像。
值得注意的是，本发明实施例在获取待处理图像的稳定性特征步骤中，实际并非仅获取待处理图像的稳定性特征，而是获取稳定性特征的同时，也获取了待处理图像的基本特征。在屏蔽相似特征时，同时将基本特征和稳定性特征进行屏蔽，然后用于地图和位置的初始化。本发明实施例为了在介绍本技术方案时简洁，而没有着重笔墨介绍对于基本特征的屏蔽处理。但本领域技术人员应该知道，在获取特征及屏蔽特征时，是对所有特征，即基本特征和稳定性特征，同时进行处理的。
本技术方案获取待处理图像的稳定性特征，一方面可以根据屏蔽相似的所述稳定性特征，对地图和位置进行初始化处理，另一方面可以根据所述稳定性特征，追踪和优化所述待处理图像，由于稳定性特征是根据物体的属性获得的，比较稳定，因此这样在地图和位置益初始化、追踪及优化过程中可以有效防止特征的丢失。
实施例二
在实施例一的基础上，本发明实施例二更为详细的介绍本发明的实现过程。如图2所示，为本发明实施例二的即时定位与地图构建的优化方法的流程图。本发明实施例一的即时定位与地图构建的优化方法包括：
S201，获取待处理图像的稳定性特征。
本实施例的步骤S201对应实施例一的步骤S101。
S202，获取所述稳定性特征的子特征。
本发明实施例涉及的子特征，并非对于单个特征的再次划分，而是将所有的特征划分为不同的子集合。由于无法一次将所有特征同时处理，因此，划分为子集合后，可以逐个处理，提高处理速度。
S203，对所述子特征进行聚类处理，以获得其中相似度大于预设阈值的子特征。
所谓聚类，是指将物理或抽象对象的集合分成由类似的对象组成的多个类的过程被称为聚类。由聚类所生成的簇是一组数据对象的集合，这些对象与同一个簇中的对象彼此相似，与其他簇中的对象相异。
本发明实施例对子特征进行聚类处理，可以确定其中相似的子特征。
在本发明的其他实施例中，还可以通过以下方法实现屏蔽相似的所述稳定性特征：
采用预设机器学习模型分割所述待处理图像的相似稳定性特征区域，以屏蔽所述相似稳定性特征区域；其中，所述相似稳定性特征区域中的特征点的相似度大于预设阈值。
S204，屏蔽所述相似度大于预设阈值的子特征。
本发明实施例可以采用机器学习算法来训练预设机器学习模型，使该机器学习模型可以过滤或检测待处理图像中的相似特征区域。如图3(1)所示，为分割之前的太阳能面板的图像，图3(2)为将太阳能面板相似特征区域屏蔽后的图像。
本实施例的步骤S202至S204对应实施例一的步骤S102。
S205，根据所述稳定性特征，追踪所述待处理图像。
本实施例的步骤S204对应实施例一的步骤S103。
一般来说，智能设备是通过图像处理来定位并追踪物体。在追踪过程中，当待处理图像上充满相似特征时，很容易造成追踪丢失。使用传统的技术时，在时间k上检测到的特征点，在时间k+1不一定能检测到。为防止追踪丢失，本发明实施例利用物体的属性，可以实现在不同时间都能够提取相同的特征点。例如，将物体的角点作为稳定性特征。这样在追踪物体的时候，每一时间都能获取到该物体的角点，防止所追踪的图像丢失。
其中追踪所述待处理图的方法可以参考传统技术中的追踪方法，在此不再赘述。
S206，根据所述稳定性特征，对构建的所述地图和位置进行优化处理。
其中，尺度漂移是单目SLAM的固有问题。如图4所示，当在不同时间上观察到同一物体时，由于发生尺度漂移，在其他视角上该物体可能会被认为是不同的物体。而且，一旦发生尺度漂移，在后续构建的地图和位置将发生错误。如图5所示，当照相机对三个矩形物体，即物体1、物体2和物体3，照相时，由于三个矩形物体的远近不同，照相机形成的图像发生重叠。这时，可以根据这三个矩形物体的稳定性特征中的尺寸特征，可以根据尺寸特征对当前构建的地图进行尺度修正。其中，尺寸是物体的属性之一，因此尺寸特征是由物体的属性可以获得。
其中，在修正所述地图和位置的尺度漂移时，可分为以下两种情况进行分别处理。
若追踪所述待处理图像所指示的物体可被追踪，则利用光束平差法来修正所述地图和位置的尺度漂移。
如图6所示，在时间k、k+i和k+j，分别观察到同一个物体。在每一时间中，该物体都可以映射到三维坐标中。由于尺度漂移，该物体在三维坐标中的位置和大小都不一样，因此可以定义一个能量函数来描述这种差异：
Figure BDA0001704792230000091
其中，ri和rj是在时间i和j观察到的物体，函数S(ri，rj)表示在时间ri和时间rj时，物体在三维坐标中的形状或大小差异。
由于物体在三维坐标中的估计与照相机的姿态有关，因此可以通过优化照相机的姿态来最小化物体在不同时间的位置和大小差异。计算公式如下：
Figure BDA0001704792230000092
其中，T表示照相机的姿态，Eerr表示物体在不同时间的位置和大小差异，
Figure BDA0001704792230000093
表示需要优化的关键帧集合，R表示在关键帧集合观察到的物体，
若无法追踪所述待处理图像所指示的物体，则通过预设递增函数来修正所述地图和位置的尺度漂移。
当物体不可以追踪时，则无法获取不同时间物体的位置和大小，这就需对每一个新关键帧进行尺度估计。如图7所示，在关键帧中观测到物体，并得到其在三维坐标上的位置。假如已知真正形状之间的差异可以定义为：
Dr(rk)＝αkD(rk)+v (3)
其中αk表示修正尺度参数，v表示错误噪声，k表示关键帧，D(rk)表示形状估计。
当一个新的关键帧***到待处理图像中时，这一帧的照相机姿态可以通过以下递增函数得到：
Figure BDA0001704792230000101
其中，
Figure BDA0001704792230000102
表示修正后照相机姿态，TkT-1 k-1表示一个将k-1帧中坐标转换到k帧中的转换矩阵，函数
Figure BDA0001704792230000103
表示相似变换函数，可用于更新照相机的姿态，αk表示需要在第k帧中估计的随机变量。
本技术方案在追踪和优化步骤中，均参考稳定性特征进行处理；这样一方面在追踪过程中，使***可以稳定地估计相机的姿态；另一方面在优化过程中，可以根据物体的形状或大小来修正构建地图时的尺度漂移。
实施例三
本发明实施例三提供了一种即时定位与地图构建装置。如图8所示，本发明实施例的即时定位与地图构建装置包括：
获取模块81，配置为获取待处理图像的稳定性特征；
屏蔽模块82，配置为屏蔽相似的所述稳定性特征，以根据所述稳定性特征构建初始地图和位置；
追踪模块83，配置为根据所述稳定性特征，追踪初始化处理后的所述待处理图像；
优化模块84，配置为根据所述稳定性特征，对构建的所述地图和位置进行优化处理。
进一步地，所述屏蔽模块包括：
获取子模块821，配置为获取所述稳定性特征的子特征；
聚类子模块822，配置为将所述子特征进行聚类处理，以获得其中相似度大于预设阈值的子特征；
第一屏蔽子模块823，配置为屏蔽所述相似度大于预设阈值的子特征。
在本发明的另一替代性实施例中，所述屏蔽模块82还可以包括：
第二屏蔽子模块(图中未示出)，配置为采用预设机器学习模型分割所述待处理图像的相似稳定性特征区域，以屏蔽所述相似稳定性特征区域；其中，所述相似稳定性特征区域中的稳定性特征的相似度大于预设阈值。
本技术方案具有如下优点：本技术方案通过在初始化、追踪和优化过程中均参考待处理图像的稳定性特征，以防止在追踪过程中丢失特征。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (6)

1.一种即时定位与地图构建的优化方法，其特征在于，所述方法包括：
S201：获取待处理图像的稳定性特征；
S202：获取所述稳定性特征的子特征；
S203：对所述子特征进行聚类处理，以获得其中相似度大于预设阈值的子特征；
S204：屏蔽所述相似度大于预设阈值的子特征；
S205：根据所述稳定性特征，追踪所述待处理图像；
S206：根据所述稳定性特征，对构建的所述地图和位置进行优化处理：
其中，在修正所述地图和位置的尺度漂移时，可分为以下两种情况进行分别处理：若追踪所述待处理图像所指示的物体可被追踪，则利用光束平差法来修正所述地图和位置的尺度漂移，具体如下：
在时间k、k+i和k+j，分别观察到同一个物体，定义一个能量函数来描述这种差异：
Figure FDA0003494408060000011
其中，ri和rj是在时间i和j观察到的物体，函数S(ri,rj)表示在时间ri和时间rj时，物体在三维坐标中的形状或大小差异；
由于物体在三维坐标中的估计与照相机的姿态有关，因此可以通过优化照相机的姿态来最小化物体在不同时间的位置和大小差异，计算公式如下：
Figure FDA0003494408060000012
其中，T表示照相机的姿态，Eerr表示物体在不同时间的位置和大小差异，
Figure FDA0003494408060000013
表示需要优化的关键帧集合，R表示在关键帧集合观察到的物体，
若无法追踪所述待处理图像所指示的物体，则通过预设递增函数来修正所述地图和位置的尺度漂移：
当物体不可以追踪时，则无法获取不同时间物体的位置和大小，如已知真正形状之间的差异可以定义为：
Dr(rk)＝αkD(rk)+v (3)
其中αk表示修正尺度参数，v表示错误噪声，k表示关键帧，D(rk)表示形状估计，当一个新的关键帧***到待处理图像中时，这一帧的照相机姿态可以通过以下递增函数得到：
Figure FDA0003494408060000021
其中，
Figure FDA0003494408060000022
表示修正后照相机姿态，TkT-1 k-1表示一个将k-1帧中坐标转换到k帧中的转换矩阵，函数
Figure FDA0003494408060000023
表示相似变换函数，可用于更新照相机的姿态，αk表示需要在第k帧中估计的随机变量。
2.根据权利要求1所述的方法，其特征在于，所述稳定性特征包括以下至少一种特征：角点、形状、大小和颜色。
3.根据权利要求1所述的方法，其特征在于，所述步骤203中，采用预设机器学习模型分割所述待处理图像的相似稳定性特征区域，以屏蔽所述相似稳定性特征区域。
4.一种即时定位与地图构建装置，其特征在于，所述装置包括：
获取模块，配置为获取待处理图像的稳定性特征；
屏蔽模块，配置为屏蔽相似的所述稳定性特征，以用于地图和位置进行初始化处理；
追踪模块，配置为根据所述稳定性特征，追踪初始化处理后的所述待处理图像；
优化模块，配置为根据所述稳定性特征，对构建的所述地图和位置进行优化处理。
5.根据权利要求4所述的装置，其特征在于，所述屏蔽模块包括：
获取子模块，配置为获取所述稳定性特征的子特征；
聚类子模块，配置为将所述子特征进行聚类处理，以获得其中相似度大于预设阈值的子特征；
第一屏蔽子模块，配置为屏蔽所述相似度大于预设阈值的子特征。
6.根据权利要求5所述的装置，其特征在于，所述屏蔽模块包括：
第二屏蔽子模块，配置为采用预设机器学习模型分割所述待处理图像的相似稳定性特征区域，以屏蔽所述相似稳定性特征区域；其中，所述相似稳定性特征区域中的稳定性特征的相似度大于预设阈值。
CN201810650981.2A 2018-06-22 2018-06-22 即时定位与地图构建的优化方法及装置 Active CN108983769B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810650981.2A CN108983769B (zh) 2018-06-22 2018-06-22 即时定位与地图构建的优化方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810650981.2A CN108983769B (zh) 2018-06-22 2018-06-22 即时定位与地图构建的优化方法及装置

Publications (2)

Publication Number Publication Date
CN108983769A CN108983769A (zh) 2018-12-11
CN108983769B true CN108983769B (zh) 2022-06-21

Family

ID=64538147

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810650981.2A Active CN108983769B (zh) 2018-06-22 2018-06-22 即时定位与地图构建的优化方法及装置

Country Status (1)

Country Link
CN (1) CN108983769B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109887003B (zh) * 2019-01-23 2021-11-19 亮风台（上海）信息科技有限公司 一种用于进行三维跟踪初始化的方法与设备
CN109965797B (zh) * 2019-03-07 2021-08-24 深圳市愚公科技有限公司 扫地机器人地图的生成方法、扫地机器人控制方法及终端
CN112767818B (zh) * 2019-11-01 2022-09-27 北京初速度科技有限公司 一种地图构建方法及装置
CN113220818B (zh) * 2021-05-27 2023-04-07 南昌智能新能源汽车研究院 一种停车场自动建图与高精度定位方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103886107A (zh) * 2014-04-14 2014-06-25 苏州市华天雄信息科技有限公司 基于天花板图像信息的机器人定位与地图构建***
CN103900583A (zh) * 2012-12-25 2014-07-02 联想(北京)有限公司 用于即时定位与地图构建的设备和方法
CN104574421A (zh) * 2015-01-29 2015-04-29 北方工业大学 一种大幅面小重合区域高精度多光谱图像配准方法及装置
CN105825520A (zh) * 2015-01-08 2016-08-03 北京雷动云合智能技术有限公司 一种可创建大规模地图的单眼slam方法
CN106355197A (zh) * 2016-08-24 2017-01-25 广东宝乐机器人股份有限公司 基于K‑means聚类算法的导航图像匹配过滤方法
WO2018089703A1 (en) * 2016-11-09 2018-05-17 The Texas A&M University System Method and system for accurate long term simultaneous localization and mapping with absolute orientation sensing

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103900583A (zh) * 2012-12-25 2014-07-02 联想(北京)有限公司 用于即时定位与地图构建的设备和方法
CN103886107A (zh) * 2014-04-14 2014-06-25 苏州市华天雄信息科技有限公司 基于天花板图像信息的机器人定位与地图构建***
CN105825520A (zh) * 2015-01-08 2016-08-03 北京雷动云合智能技术有限公司 一种可创建大规模地图的单眼slam方法
CN104574421A (zh) * 2015-01-29 2015-04-29 北方工业大学 一种大幅面小重合区域高精度多光谱图像配准方法及装置
CN106355197A (zh) * 2016-08-24 2017-01-25 广东宝乐机器人股份有限公司 基于K‑means聚类算法的导航图像匹配过滤方法
WO2018089703A1 (en) * 2016-11-09 2018-05-17 The Texas A&M University System Method and system for accurate long term simultaneous localization and mapping with absolute orientation sensing

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
室内机器人的同步定位与建图方法的研究;刘圣龙;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180315(第03期);第34-38页 *

Also Published As

Publication number Publication date
CN108983769A (zh) 2018-12-11

Similar Documents

Publication Publication Date Title
CN108983769B (zh) 即时定位与地图构建的优化方法及装置
WO2021233029A1 (en) Simultaneous localization and mapping method, device, system and storage medium
CN111462200B (zh) 一种跨视频行人定位追踪方法、***及设备
CN108090958B (zh) 一种机器人同步定位和地图构建方法和***
Saeedi et al. Vision-based 3-D trajectory tracking for unknown environments
CN110807809B (zh) 基于点线特征和深度滤波器的轻量级单目视觉定位方法
CN108564616B (zh) 快速鲁棒的rgb-d室内三维场景重建方法
CN114862949B (zh) 一种基于点线面特征的结构化场景视觉slam方法
JP5870273B2 (ja) 物体検出装置、物体検出方法及びプログラム
CN103136525B (zh) 一种利用广义Hough变换的异型扩展目标高精度定位方法
CN109815847B (zh) 一种基于语义约束的视觉slam方法
CN108537844B (zh) 一种融合几何信息的视觉slam回环检测方法
CN104036524A (zh) 一种改进sift算法的快速目标跟踪方法
CN108257155B (zh) 一种基于局部和全局耦合的扩展目标稳定跟踪点提取方法
CN112083403B (zh) 用于虚拟场景的定位追踪误差校正方法及***
Cvišić et al. Recalibrating the KITTI dataset camera setup for improved odometry accuracy
CN104376575A (zh) 一种基于多摄像头监控的行人计数方法和装置
Fiala et al. Robot navigation using panoramic tracking
CN112950696A (zh) 导航地图的生成方法及生成装置、电子设备
Long et al. A real-time dense stereo matching method for critical environment sensing in autonomous driving
CN116879870A (zh) 一种适用于低线束3d激光雷达的动态障碍物去除方法
JP6922348B2 (ja) 情報処理装置、方法、及びプログラム
CN112598709B (zh) 一种基于视频流的行人运动速度智能感知方法
KR20050063991A (ko) 영상 피라미드를 이용한 영상정합 처리방법 및 장치
CN108961182A (zh) 针对视频图像的竖直方向灭点检测方法及视频扭正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant