CN110516641B - 一种环境地图的构建方法及相关装置 - Google Patents

一种环境地图的构建方法及相关装置 Download PDF

Info

Publication number
CN110516641B
CN110516641B CN201910818289.0A CN201910818289A CN110516641B CN 110516641 B CN110516641 B CN 110516641B CN 201910818289 A CN201910818289 A CN 201910818289A CN 110516641 B CN110516641 B CN 110516641B
Authority
CN
China
Prior art keywords
semantic
geometric
error model
depth image
constructing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910818289.0A
Other languages
English (en)
Other versions
CN110516641A (zh
Inventor
陈国栋
张恒
王正
许辉
迟文正
***
孙立宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN201910818289.0A priority Critical patent/CN110516641B/zh
Publication of CN110516641A publication Critical patent/CN110516641A/zh
Application granted granted Critical
Publication of CN110516641B publication Critical patent/CN110516641B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种环境地图的构建方法，包括：对深度图像进行几何特征提取处理，得到几何特征信息，并根据几何特征信息构建几何误差模型；对深度图像进行语义信息提取处理，得到语义特征信息，并根据语义特征信息构建语义误差模型；根据几何误差模型和语义误差模型构建总误差模型；对总误差模型进行极值计算得到旋转平移矩阵，根据旋转平移矩阵对深度图像进行旋转平移处理，得到环境地图。通过几何误差模型和语义误差模型进行极值计算得到旋转平移矩阵，避免了几何特征信息在机器人运动过程中容易丢失的情况，提高环境地图的精度和准确性。本申请还公开了一种环境地图的构建装置、计算机设备以及计算机可读存储介质，具有以上有益效果。

Description

一种环境地图的构建方法及相关装置
技术领域
本申请涉及机器人技术领域，特别涉及一种环境地图的构建方法、构建装置、计算机设备以及计算机可读存储介质。
背景技术
随着信息技术和探测技术的不断发展，在地图技术领域中可以提取出不同观察角度的地图，例如，可以有表示深度的环境地图等。为了获取到环境地图通常需要获取空间环境信息，分布在空间中的空间环境特征是构建环境地图的核心以及至关重要的一点。
但是，现有技术中构建环境地图的过程中可能会由于机器人的运动，造成环境地图中的信息丢失，使得环境地图的信息出现偏差，所表示的环境信息不准确，降低环境地图的精度和准确性。
因此，如何提高环境地图的精度和准确性是本领域技术人员关注的重点问题。
发明内容
本申请的目的是提供一种环境地图的构建方法、构建装置、计算机设备以及计算机可读存储介质，通过几何误差模型和语义误差模型进行极值计算得到旋转平移矩阵，避免了几何特征信息在机器人运动过程中容易丢失的情况，提高环境地图的精度和准确性。
为解决上述技术问题，本申请提供一种环境地图的构建方法，包括：
对深度图像进行几何特征提取处理，得到几何特征信息，并根据所述几何特征信息构建几何误差模型；
对所述深度图像进行语义信息提取处理，得到语义特征信息，并根据所述语义特征信息构建语义误差模型；
根据所述几何误差模型和所述语义误差模型构建总误差模型；
对所述总误差模型进行极值计算得到旋转平移矩阵，根据所述旋转平移矩阵对所述深度图像进行旋转平移处理，得到环境地图。
可选的，对深度图像进行几何特征提取处理，得到几何特征信息，并根据所述几何特征信息构建几何误差模型，包括：
通过光流算法计算到每一帧所述深度图像中的角点；
通过RANSAC算法对所有所述角点进行过滤，得到ORB特征点；
通过特征点匹配算法对所有所述ORB特征点进行特征匹配处理，得到几何特征匹配结果；
根据几何误差公式对所述几何特征匹配结果进行构建处理，得到所述几何误差模型。
可选的，对所述深度图像进行语义信息提取处理，得到语义特征信息，并根据所述语义特征信息构建语义误差模型，包括：
对所述深度图像进行目标检测，得到所述语义特征信息；
利用语义匹配算法对所述语义特征信息进行匹配处理，得到语义特征匹配结果；
根据语义误差公式对所述语义特征匹配结果进行构建处理，得到所述语义误差模型。
可选的，对所述深度图像进行目标检测，得到所述语义特征信息，包括：
对所述深度图像进行边缘检测，得到每一帧深度图像的形状特征；
将所述每一帧深度图像的形状特征输入到训练好的语义分类器，得到所述语义特征信息。
可选的，对所述总误差模型进行极值计算得到旋转平移矩阵，根据所述旋转平移矩阵对所述深度图像进行旋转平移处理，得到环境地图，包括：
对所述总误差模型进行最小值计算，得到旋转矩阵和平移矩阵；
根据所述旋转矩阵和所述平移矩阵对所述深度图像进行旋转平移处理，得到所述环境地图。
可选的，还包括：
利用深度相机获取到所述深度图像。
本申请还提供一种环境地图的构建装置，包括：
几何特征约束获取模块，用于对深度图像进行几何特征提取处理，得到几何特征信息，并根据所述几何特征信息构建几何误差模型；
语义特征约束获取模块，用于对所述深度图像进行语义信息提取处理，得到语义特征信息，并根据所述语义特征信息构建语义误差模型；
总误差约束获取模块，用于根据所述几何误差模型和所述语义误差模型构建总误差模型；
环境地图构建模块，用于对所述总误差模型进行极值计算得到旋转平移矩阵，根据所述旋转平移矩阵对所述深度图像进行旋转平移处理，得到环境地图。
可选的，所述语义特征约束获取模块，包括：
目标检测单元，用于对所述深度图像进行目标检测，得到所述语义特征信息；
语义特征匹配单元，用于利用语义匹配算法对所述语义特征信息进行匹配处理，得到语义特征匹配结果；
误差模型构建单元，用于根据语义误差公式对所述语义特征匹配结果进行构建处理，得到所述语义误差模型。
本申请还提供一种计算机设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上所述的构建方法的步骤。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的构建方法的步骤。
本申请所提供的一种环境地图的构建方法，包括：对深度图像进行几何特征提取处理，得到几何特征信息，并根据所述几何特征信息构建几何误差模型；对所述深度图像进行语义信息提取处理，得到语义特征信息，并根据所述语义特征信息构建语义误差模型；根据所述几何误差模型和所述语义误差模型构建总误差模型；对所述总误差模型进行极值计算得到旋转平移矩阵，根据所述旋转平移矩阵对所述深度图像进行旋转平移处理，得到环境地图。
通过从深度图像中提取到几何特征信息和语义特征信息，分别再构建几何误差模型和语义误差模型，最后根据几何误差模型和语义误差模型进行极值计算得到旋转平移矩阵，而不是现有技术中只根据几何误差模型得到对应的旋转平移矩阵，避免了几何特征信息在机器人运动过程中容易丢失的情况，由几何特征和语义特征共同保证旋转平移矩阵的完整性，提高环境地图的精度和准确性。
本申请还提供一种环境地图的构建装置、计算机设备以及计算机可读存储介质，具有以上有益效果，在此不作赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的第一种环境地图的构建方法的流程图；
图2为本申请实施例所提供的第二种环境地图的构建方法的流程图；
图3为本申请实施例所提供的第三种环境地图的构建方法的流程图；
图4为本申请实施例所提供的第四种环境地图的构建方法的流程图；
图5为本申请实施例所提供的一种环境地图的构建装置的结构示意图。
具体实施方式
本申请的核心是提供一种环境地图的构建方法、构建装置、计算机设备以及计算机可读存储介质，通过几何误差模型和语义误差模型进行极值计算得到旋转平移矩阵，避免了几何特征信息在机器人运动过程中容易丢失的情况，提高环境地图的精度和准确性。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
现有技术中，主要是根据深度图像中的集合特征信息构建环境地图，但是在构建的过程中可能会由于机器人的运动，造成环境地图中的信息丢失，使得环境地图的信息出现偏差，所表示的环境信息不准确，降低环境地图的精度和准确性。
因此，本申请提供一种环境地图的购建方法，通过从深度图像中提取到几何特征信息和语义特征信息，分别再构建几何误差模型和语义误差模型，最后根据几何误差模型和语义误差模型进行极值计算得到旋转平移矩阵，而不是现有技术中只根据几何误差模型得到对应的旋转平移矩阵，避免了几何特征信息在机器人运动过程中容易丢失的情况，由几何特征和语义特征共同保证旋转平移矩阵的完整性，提高环境地图的精度和准确性。
请参考图1，图1为本申请实施例所提供的第一种环境地图的构建方法的流程图。
本实施例中，该方法可以包括：
S101，对深度图像进行几何特征提取处理，得到几何特征信息，并根据几何特征信息构建几何误差模型；
本步骤旨在从深度图像中提取到几何特征信息，并根据该几何特征信息构建几何误差模型。其中，几何特征信息主要是指图像中的角点，也就是在深度图像中较为突出的点，与周围环境可以区分出的点。通过判断每帧深度图像中的角点就可以判断出拍摄深度图像的运动轨迹，进而得到对应的旋转平移矩阵。
其中，本实施例的深度图像是指在空间中按照一定周期连续的一系列深度图像。可以是机器人在空间中移动，并拍摄的深度图像。通过深度图像中特别的几何特征可以判断出机器人的运动轨迹，从而将多个深度图像按照一定方式连接起来形成环境地图，以表示空间结构。
一般的，在现有技术中，只通过本步骤得到几何特征信息获取到对应的旋转平移矩阵，但是当机器人在获取深度图像时出现抖动，运动剧烈等情况时，很容易造成深度图像中几何特征信息丢失，导致旋转平移矩阵的精度和准确性降低，进而降低环境地图的精度和准确度。
举例来说，本步骤可以包括：
对采集到的每帧RGB-D(深度图像)图像进行几何特征的提取得到ORB(几何特征)特征点，即
Figure BDA0002186871500000061
(第i帧图像第k个特征点)、
Figure BDA0002186871500000062
(第j帧图像第k个特征点)，特征点匹配对数为N，则有特征点匹配得几何误差函数如下：
Figure BDA0002186871500000063
其中，Eg为几何误差，R为旋转矩阵，T为平移矩阵。
S102，对深度图像进行语义信息提取处理，得到语义特征信息，并根据语义特征信息构建语义误差模型；
因此，本实施例在S101获取了几何特征的基础上，通过S102还提取深度图像的语义特征信息，通过语义特征信息建立相邻帧之间的约束，保证深度图像中的信息不丢失，提高旋转平移矩阵的精度和准确性，提高环境地图构建过程中的鲁棒性。
其中，语义特征信息主要是指深度图像中的物体的含义，例如，深度图像中出现了墙壁、桌子和椅子，那么分别将这些物体的图像识别为对应的标签，也就是分别识别为墙壁、桌子和椅子。
举例来说，本步骤可以包括：
对采集到的每一帧RGB-D图像，利用目标检测算法，获得语义信息特征，即
Figure BDA0002186871500000064
(第i帧图像第k个语义标签)、
Figure BDA0002186871500000065
(第j帧图像第k个语义标签)，语义标签匹配对数为M，则有语义匹配得语义误差函数如下：
Figure BDA0002186871500000066
其中，Es为语义误差，R为旋转矩阵，T为平移矩阵。
S103，根据几何误差模型和语义误差模型构建总误差模型；
在S101和S102的基础上，本步骤旨在将几何误差模型和语义误差模型共同构建出总误差模型。
举例来说，就是将几何误差模型和语义误差模型相加，得到总误差模型，公式具体如下：
Figure BDA0002186871500000067
其中，E为总误差。
S104，对总误差模型进行极值计算得到旋转平移矩阵，根据旋转平移矩阵对深度图像进行旋转平移处理，得到环境地图。
在S103的基础上，本步骤旨在从总误差模型中计算得到旋转平移矩阵，然后再根据该旋转平移矩阵对深度图像进行旋转平移处理，得到环境地图。
可选的，本实施例还包括：
利用深度相机获取到深度图像。
综上，本实施例通过从深度图像中提取到几何特征信息和语义特征信息，分别再构建几何误差模型和语义误差模型，最后根据几何误差模型和语义误差模型进行极值计算得到旋转平移矩阵，而不是现有技术中只根据几何误差模型得到对应的旋转平移矩阵，避免了几何特征信息在机器人运动过程中容易丢失的情况，由几何特征和语义特征共同保证旋转平移矩阵的完整性，提高环境地图的精度和准确性。
以下通过一个实施例，对本申请提供的一种环境地图的构建方法进行进一步说明。
请参考图2，图2为本申请实施例所提供的第二种环境地图的构建方法的流程图。
本实施例中，该方法可以包括：
S201，通过光流算法计算到每一帧深度图像中的角点；
S202，通过RANSAC算法对所有角点进行过滤，得到ORB特征点；
S203，通过特征点匹配算法对所有ORB特征点进行特征匹配处理，得到几何特征匹配结果；
S204，根据几何误差公式对几何特征匹配结果进行构建处理，得到几何误差模型；
可见，本实施例中的S201至S204主要是对如何进行几何特征提取和构建几何误差模型进行说明。
举例来说，S201至S204可以包括：
步骤1，计算每一帧RGB-D图像中的角点，并通过光流算法跟踪计算到角点；
步骤2，利用RANSAC算法找出相邻两帧RGB-D图像中所有一致的角点，作为ORB特征点对，其余角点均滤除。
主要是因为经过步骤1得到的角点有可用的角点还有不可用的角点，所以利用RANSAC(随机抽样一致)算法找出相邻两帧RGB-D图像中所有一致的角点，作为ORB特征点对。
步骤3，利用特征点匹配算法对获得的ORB特征点进行相邻帧间的特征匹配处理，再利用下述公式构建相邻两帧RGB-D图像的几何误差模型。
Figure BDA0002186871500000081
S205，对深度图像进行语义信息提取处理，得到语义特征信息，并根据语义特征信息构建语义误差模型；
S206，根据几何误差模型和语义误差模型构建总误差模型；
S207，对总误差模型进行极值计算得到旋转平移矩阵，根据旋转平移矩阵对深度图像进行旋转平移处理，得到环境地图。
关于上述步骤S205至S207的具体实施过程可参照前述实施例的内容，在此不再进行赘述。
以下通过一个实施例，对本申请提供的一种环境地图的构建方法进行进一步说明。
请参考图3，图3为本申请实施例所提供的第三种环境地图的构建方法的流程图。
本实施例中，该方法可以包括：
S301，对深度图像进行几何特征提取处理，得到几何特征信息，并根据几何特征信息构建几何误差模型；
S302，对深度图像进行目标检测，得到语义特征信息；
可选的，S302可以包括：
步骤一，对深度图像进行边缘检测，得到每一帧深度图像的形状特征；
步骤二，将每一帧深度图像的形状特征输入到训练好的语义分类器，得到语义特征信息。
S303，利用语义匹配算法对语义特征信息进行匹配处理，得到语义特征匹配结果；
S304，根据语义误差公式对语义特征匹配结果进行构建处理，得到语义误差模型；
可见，本实施例中S302至S304主要是对本申请中如何进行语义特征提取和构建语义误差模型进行说明。
举例来说，步骤S302至S304可以包括：
步骤1，对每帧RGB图像，在HSV颜色空间中得到颜色特征，对每帧图像进行边缘检测算法得到形状特征，然后把这些特征输入到SVM(支持向量机)分类器中，训练得到语义分类器。然后用该语义分类器对每帧图像进行语义分类得到语义标签。其中，语义标签的类别包括结构类型，物品类别等。其中，结构类别是包括例如墙、地面等的类别。
步骤2，利用语义标签匹配算法对获得的语义标签进行相邻帧间的特征匹配处理，再利用下述公式构建相邻两帧RGB-D图像的语义误差模型。
Figure BDA0002186871500000091
S305，根据几何误差模型和语义误差模型构建总误差模型；
S306，对总误差模型进行极值计算得到旋转平移矩阵，根据旋转平移矩阵对深度图像进行旋转平移处理，得到环境地图。
关于上述步骤S301，S305和S306的具体实施过程可参照前述实施例的内容，在此不再进行赘述。
以下通过一个实施例，对本申请提供的一种环境地图的构建方法进行进一步说明。
请参考图4，图4为本申请实施例所提供的第四种环境地图的构建方法的流程图。
本实施例中，该方法可以包括：
S401，对深度图像进行几何特征提取处理，得到几何特征信息，并根据几何特征信息构建几何误差模型；
S402，对深度图像进行语义信息提取处理，得到语义特征信息，并根据语义特征信息构建语义误差模型；
S403，根据几何误差模型和语义误差模型构建总误差模型；
S404，对总误差模型进行最小值计算，得到旋转矩阵和平移矩阵；
S405，根据旋转矩阵和平移矩阵对深度图像进行旋转平移处理，得到环境地图。
可见，本实施例的S404和S405主要是说明本申请中如何得到旋转矩阵和平移矩阵，然后根据旋转矩阵和平移矩阵对深度图像进行处理，得到环境地图。其中，得到旋转矩阵和平移矩阵计算方法主要是对总误差模型求出误差最小的旋转矩阵和平移矩阵。
关于上述步骤S401至S403的具体实施过程可参照前述实施例的内容，在此不再进行赘述。
下面对本申请实施例提供的一种环境地图的构建装置进行介绍，下文描述的一种环境地图的构建装置与上文描述的一种环境地图的构建方法可相互对应参照。
请参考图5，图5为本申请实施例所提供的一种环境地图的构建装置的结构示意图。
本实施例中，该装置可以包括：
几何特征约束获取模块100，用于对深度图像进行几何特征提取处理，得到几何特征信息，并根据几何特征信息构建几何误差模型；
语义特征约束获取模块200，用于对深度图像进行语义信息提取处理，得到语义特征信息，并根据语义特征信息构建语义误差模型；
总误差约束获取模块300，用于根据几何误差模型和语义误差模型构建总误差模型；
环境地图构建模块400，用于对总误差模型进行极值计算得到旋转平移矩阵，根据旋转平移矩阵对深度图像进行旋转平移处理，得到环境地图。
可选的，该语义特征约束获取模块200，可以包括：
目标检测单元，用于对深度图像进行目标检测，得到语义特征信息；
语义特征匹配单元，用于利用语义匹配算法对语义特征信息进行匹配处理，得到语义特征匹配结果；
误差模型构建单元，用于根据语义误差公式对语义特征匹配结果进行构建处理，得到语义误差模型。
本申请实施例还提供一种计算机设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如以上实施例所述的构建方法的步骤。
对于本申请提供的设备的介绍请参照上述方法实施例，本申请在此不做赘述。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如以上实施例所述的构建方法的步骤。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
对于本申请提供的计算机可读存储介质的具体介绍请参照上述方法实施例，本申请在此不做赘述。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的一种环境地图的构建方法、构建装置、计算机设备以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (8)

1.一种环境地图的构建方法，其特征在于，包括：
对深度图像进行几何特征提取处理，得到几何特征信息，并根据所述几何特征信息构建几何误差模型；
对所述深度图像进行目标检测，得到语义特征信息；
利用语义匹配算法对所述语义特征信息进行匹配处理，得到语义特征匹配结果；
根据语义误差公式对所述语义特征匹配结果进行构建处理，得到语义误差模型；
根据所述几何误差模型和所述语义误差模型构建总误差模型；
对所述总误差模型进行极值计算得到旋转平移矩阵，根据所述旋转平移矩阵对所述深度图像进行旋转平移处理，得到环境地图。
2.根据权利要求1所述的构建方法，其特征在于，对深度图像进行几何特征提取处理，得到几何特征信息，并根据所述几何特征信息构建几何误差模型，包括：
通过光流算法计算到每一帧所述深度图像中的角点；
通过RANSAC算法对所有所述角点进行过滤，得到ORB特征点；
通过特征点匹配算法对所有所述ORB特征点进行特征匹配处理，得到几何特征匹配结果；
根据几何误差公式对所述几何特征匹配结果进行构建处理，得到所述几何误差模型。
3.根据权利要求1所述的构建方法，其特征在于，对所述深度图像进行目标检测，得到所述语义特征信息，包括：
对所述深度图像进行边缘检测，得到每一帧深度图像的形状特征；
将所述每一帧深度图像的形状特征输入到训练好的语义分类器，得到所述语义特征信息。
4.根据权利要求1至3任一项所述的构建方法，其特征在于，对所述总误差模型进行极值计算得到旋转平移矩阵，根据所述旋转平移矩阵对所述深度图像进行旋转平移处理，得到环境地图，包括：
对所述总误差模型进行最小值计算，得到旋转矩阵和平移矩阵；
根据所述旋转矩阵和所述平移矩阵对所述深度图像进行旋转平移处理，得到所述环境地图。
5.根据权利要求4所述的构建方法，其特征在于，还包括：
利用深度相机获取到所述深度图像。
6.一种环境地图的构建装置，其特征在于，包括：
几何特征约束获取模块，用于对深度图像进行几何特征提取处理，得到几何特征信息，并根据所述几何特征信息构建几何误差模型；
语义特征约束获取模块，用于对所述深度图像进行目标检测，得到语义特征信息；利用语义匹配算法对所述语义特征信息进行匹配处理，得到语义特征匹配结果；根据语义误差公式对所述语义特征匹配结果进行构建处理，得到语义误差模型；
总误差约束获取模块，用于根据所述几何误差模型和所述语义误差模型构建总误差模型；
环境地图构建模块，用于对所述总误差模型进行极值计算得到旋转平移矩阵，根据所述旋转平移矩阵对所述深度图像进行旋转平移处理，得到环境地图。
7.一种计算机设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述的构建方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的构建方法的步骤。
CN201910818289.0A 2019-08-30 2019-08-30 一种环境地图的构建方法及相关装置 Active CN110516641B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910818289.0A CN110516641B (zh) 2019-08-30 2019-08-30 一种环境地图的构建方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910818289.0A CN110516641B (zh) 2019-08-30 2019-08-30 一种环境地图的构建方法及相关装置

Publications (2)

Publication Number Publication Date
CN110516641A CN110516641A (zh) 2019-11-29
CN110516641B true CN110516641B (zh) 2022-04-12

Family

ID=68628751

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910818289.0A Active CN110516641B (zh) 2019-08-30 2019-08-30 一种环境地图的构建方法及相关装置

Country Status (1)

Country Link
CN (1) CN110516641B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111982058A (zh) * 2020-08-04 2020-11-24 北京中科慧眼科技有限公司 一种基于双目相机的测距方法、***、设备和可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104732587A (zh) * 2015-04-14 2015-06-24 中国科学技术大学 一种基于深度传感器的室内3d语义地图构建方法
CN107833250A (zh) * 2017-10-24 2018-03-23 北京易达图灵科技有限公司 语义空间地图构建方法及装置
CN108428254A (zh) * 2018-03-15 2018-08-21 斑马网络技术有限公司 三维地图的构建方法及装置
CN108920584A (zh) * 2018-06-25 2018-11-30 广州视源电子科技股份有限公司 一种语义栅格地图生成方法及其装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104732587A (zh) * 2015-04-14 2015-06-24 中国科学技术大学 一种基于深度传感器的室内3d语义地图构建方法
CN107833250A (zh) * 2017-10-24 2018-03-23 北京易达图灵科技有限公司 语义空间地图构建方法及装置
CN108428254A (zh) * 2018-03-15 2018-08-21 斑马网络技术有限公司 三维地图的构建方法及装置
CN108920584A (zh) * 2018-06-25 2018-11-30 广州视源电子科技股份有限公司 一种语义栅格地图生成方法及其装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
3D Semantic Mapping Based on Convolutional Neural Networks;Jing Li 等;《第37届中国控制会议论文集（F）中国自动化学会控制理论专业委员会会议论文集》;20180725;第731-736页 *
基于语义分割的室内动态场景同步定位与语义建图;席志红;《计算机应用》;20190819;第1-7页 *

Also Published As

Publication number Publication date
CN110516641A (zh) 2019-11-29

Similar Documents

Publication Publication Date Title
CN108399386B (zh) 饼图中的信息提取方法及装置
CN111199564B (zh) 智能移动终端的室内定位方法、装置与电子设备
US9892339B2 (en) Using a probabilistic model for detecting an object in visual data
Huang et al. A coarse-to-fine algorithm for matching and registration in 3D cross-source point clouds
Bazin et al. Globally optimal line clustering and vanishing point estimation in manhattan world
CN111402336A (zh) 基于语义slam的动态环境相机位姿估计及语义地图构建方法
WO2008154314A1 (en) Salient object detection
CN112435338B (zh) 电子地图的兴趣点的位置获取方法、装置及电子设备
CN109948397A (zh) 一种人脸图像校正方法、***及终端设备
CN111597884A (zh) 面部动作单元识别方法、装置、电子设备及存储介质
CN113490947A (zh) 检测模型训练方法、装置、检测模型使用方法及存储介质
CN110956131B (zh) 单目标追踪方法、装置及***
CN106326802A (zh) 二维码校正方法、装置及终端设备
CN111459269A (zh) 一种增强现实显示方法、***及计算机可读存储介质
CN108447092B (zh) 视觉定位标识物的方法及装置
CN113705669A (zh) 一种数据匹配方法、装置、电子设备以及存储介质
CN111353325A (zh) 关键点检测模型训练方法及装置
CN110751722B (zh) 同时定位建图方法及装置
CN110516641B (zh) 一种环境地图的构建方法及相关装置
CN113763466B (zh) 一种回环检测方法、装置、电子设备和存储介质
CN111027376A (zh) 一种确定事件图谱的方法、装置、电子设备及存储介质
CN109816709B (zh) 基于单目摄像头的深度估计方法、装置及设备
CN115393423A (zh) 目标检测方法和装置
CN112862676A (zh) 一种图像拼接方法、设备、存储介质
CN113128312B (zh) 挖掘机位置和工作状态检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant