CN111060948B - 一种定位方法、装置、头盔及计算机可读存储介质 - Google Patents

一种定位方法、装置、头盔及计算机可读存储介质 Download PDF

Info

Publication number
CN111060948B
CN111060948B CN201911286923.7A CN201911286923A CN111060948B CN 111060948 B CN111060948 B CN 111060948B CN 201911286923 A CN201911286923 A CN 201911286923A CN 111060948 B CN111060948 B CN 111060948B
Authority
CN
China
Prior art keywords
point
dimensional map
image
target
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911286923.7A
Other languages
English (en)
Other versions
CN111060948A (zh
Inventor
蒋晨晨
刘志超
赵勇胜
汤煜
庞建新
熊友军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Ubtech Technology Co ltd
Original Assignee
Shenzhen Ubtech Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Ubtech Technology Co ltd filed Critical Shenzhen Ubtech Technology Co ltd
Priority to CN201911286923.7A priority Critical patent/CN111060948B/zh
Publication of CN111060948A publication Critical patent/CN111060948A/zh
Priority to US17/012,016 priority patent/US11416719B2/en
Application granted granted Critical
Publication of CN111060948B publication Critical patent/CN111060948B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/485—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/49—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an inertial position system, e.g. loosely-coupled
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请属于定位技术领域，涉及一种定位方法、装置、头盔及计算机可读存储介质。所述方法包括：对获取的目标图像进行特征点提取，得到第一特征点；获取所述特定载体的惯性信息，并根据所述惯性信息对所述第一特征点进行筛选，得到第二特征点；当所述目标图像为关键帧图像时，则对所述关键帧图像的第二特征点进行三角化，生成对应的初始三维地图点；根据预定的约束条件对所述初始三维地图点进行定位误差回环校准，得到目标三维地图点；根据所述目标三维地图点确定所述特定载体的位置点。通过本申请技术方案，可提高人员等动态物体在移动时的定位精确度。

Description

一种定位方法、装置、头盔及计算机可读存储介质
技术领域
本发明属于定位技术领域，尤其涉及一种定位方法、装置、头盔及计算机可读存储介质。
背景技术
视觉里程计是目前研究众多的一种定位技术，其应用广泛，成本较低，并且能够提供丰富的图像信息用于运动估计。然而，由于受到硬件重量、需提前铺设定位基站、物体移动过快等限制，现有的视觉里程计的定位精度已经无法满足消防、探险等移动场景下人员等动态物体的定位要求。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
有鉴于此，本发明实施例提供了一种定位方法、装置、头盔及计算机可读存储介质，以解决在人员等动态物体在移动时定位不精确的问题。
本申请实施例的第一方面，提供了一种定位方法，应用于特定载体，包括：
对获取的目标图像进行特征点提取，得到第一特征点；
获取所述特定载体的惯性信息，并根据所述惯性信息对所述第一特征点进行筛选，得到第二特征点；
当所述目标图像为关键帧图像时，则对所述关键帧图像的第二特征点进行三角化，生成对应的初始三维地图点；
根据预定的约束条件对所述初始三维地图点进行定位误差回环校准，得到目标三维地图点；
根据所述目标三维地图点确定所述特定载体的位置点；
当所述目标图像为非关键帧图像时，计算所述非关键帧图像的第二特征点的深度值；
根据所述深度值，对所述非关键帧图像的第二特征点进行二维地图化，生成对应的二维地图点；
对所述目标三维地图点和所述二维地图点进行融合，得到第二融合位置点；
根据所述第二融合位置点更新所述特定载体的位置点。
在本申请的一些实施例中，所述根据所述目标三维地图点确定所述特定载体的位置点之后，还包括：
接收所述特定载体的GPS定位信号；
提取所述GPS定位信号中与所述特定载体对应的定位结果；
当所述GPS定位信号的强度大于预设的强度阈值时，将所述定位结果和所述目标三维地图点进行融合，得到第一融合位置点；
根据所述第一融合位置点更新所述特定载体的位置点。
在本申请的一些实施例中，所述对获取的目标图像进行特征点提取，得到第一特征点，包括：
从所述目标图像中提取像素梯度值大于预设像素梯度阈值的图像特征点；
根据所述图像特征点在预设的图像平面的分布规律，从中选取预定数目的图像特征点作为所述第一特征点。
在本申请的一些实施例中，所述根据所述惯性信息对所述第一特征点进行筛选，得到第二特征点，包括：
对获取的参考图像进行特征点提取，得到参考特征点；
根据所述惯性信息，计算所述第一特征点相对于所述参考特征点的光度误差值；
当所述光度误差值小于预设的光度误差阈值时，将所述第一特征点作为所述第二特征点。
在本申请的一些实施例中，所述根据所述目标三维地图点确定所述特定载体的位置点，包括：
将所述目标三维地图点转换为预设定位坐标系下的第一坐标；
将所述第一坐标转换为定位地图中对应的位置点。
本申请实施例的第二方面，提供了一种定位装置，所述装置可以包括：
提取模块，用于对获取的目标图像进行特征点提取，得到第一特征点；
筛选模块，用于获取所述特定载体的惯性信息，并根据所述惯性信息对所述第一特征点进行筛选，得到第二特征点；
生成模块，用于当所述目标图像为关键帧图像时，则对所述关键帧图像的第二特征点进行三角化，生成对应的初始三维地图点；
校准模块，用于根据预定的约束条件，对所述初始三维地图点进行定位误差回环校准，得到目标三维地图点；
转换模块，用于根据所述目标三维地图点确定所述特定载体的位置点；
所述定位装置还用于：当所述目标图像为非关键帧图像时，计算所述非关键帧图像的第二特征点的深度值；根据所述深度值，对所述非关键帧图像的第二特征点进行二维地图化，生成对应的二维地图点；对所述目标三维地图点和所述二维地图点进行融合，得到第二融合位置点；根据所述第二融合位置点更新所述特定载体的位置点。
进一步地，所述提取模块，可以包括：
第一提取子单元，用于从所述目标图像中提取像素梯度值大于预设像素梯度阈值的图像特征点；
第一选取子单元，用于根据所述图像特征点在预设的图像平面的分布规律，从中选取预定数目的图像特征点作为所述第一特征点。
进一步地，所述筛选模块，可以包括：
第二提取子单元，用于对获取的参考图像进行特征点提取，得到参考特征点；
第一计算子单元，用于根据所述惯性信息，计算所述第一特征点相对于所述参考特征点的光度误差值；
第二选取子单元，用于当所述光度误差值小于预设的光度误差阈值时，将所述第一特征点作为所述第二特征点。
进一步地，所述转换模块，可以包括：
第一转换子单元，用于将所述目标三维地图点转换为预设定位坐标系下的第一坐标；
第二转换子单元，用于将所述第一坐标转换为定位地图中对应的位置点。
本申请实施例的第三方面，提供了一种头盔，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现上述任一项所述的定位方法的步骤。
本申请实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时实现上述任一项所述的定位方法的步骤。
本申请实施例与现有技术相比存在的有益效果是：本申请实施例首先对获取的目标图像进行特征点提取，得到第一特征点，接着获取所述特定载体的惯性信息，并根据所述惯性信息对所述第一特征点进行筛选，得到第二特征点，当所述目标图像为关键帧图像，则对所述关键帧图像的第二特征点进行三角化，生成对应的初始三维地图点，接下来，基于预定的约束条件，对所述初始三维地图点进行定位误差回环校准，得到目标三维地图点，最后根据所述目标三维地图点确定所述特定载体的位置点。通过本申请，在人员等动态物体移动时，通过获取所述动态物体的移动图像并进行特征点提取和筛选，能够识别出所述动态物体移动的轨迹，接着通过对所述得到移动图像中的关键帧图像进行三角化生成初始三维地图点并进行定位误差回环校准，获得每个第二特征点对应的准确目标三维地图点，最后，将目标三维地图点转换为特定定位场景地图下的精确位置点。这样一来，可以大幅度提高人员等动态物体在移动时的定位精确度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本申请一个实施例提供的一种定位方法的示意流程图；
图2为本申请一个实施例的步骤S110的示意图；
图3为本申请一个实施例的步骤S120的示意图；
图4为本申请一个实施例的步骤S150的示意图；
图5为本申请另一个实施例提供的一种定位方法的示意图；
图6为本申请又一个实施例提供的一种定位方法的示意图；
图7为本申请一个实施例提供的一种定位装置的示意框图；
图8为本申请一个实施例提供的一种头盔的示意框图。
具体实施方式
为使得本申请的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本申请一部分实施例，而非全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
如图1所示，是本申请一个实施例提供的一种定位方法的示意流程图，所述方法由特定载体执行，所述特定载体，可以是一种可穿戴或携带的设备、装置，例如，头盔，当人员需要定位时，可穿戴上述头盔。所述方法可以包括：
步骤S110、对获取的目标图像进行特征点提取，得到第一特征点；
步骤S120、获取所述特定载体的惯性信息，并根据所述惯性信息对所述第一特征点进行筛选，得到第二特征点；
步骤S130、当所述目标图像为关键帧图像时，则对所述关键帧图像的第二特征点进行三角化，生成对应的初始三维地图点；
步骤S140、根据预定的约束条件对所述初始三维地图点进行定位误差回环校准，得到目标三维地图点；
步骤S150、根据所述目标三维地图点确定所述特定载体的位置点。
下面对以上步骤进行详细说明。
在步骤S110中，对获取的目标图像进行特征点提取，得到第一特征点。
如图2所示，在本申请的一个实施例中，步骤S110包括以下步骤：
步骤S1101、从所述目标图像中提取像素梯度值大于预设像素梯度阈值的图像特征点。
可以理解的是，所述目标图像，是指获取的待定位物体在特定时刻的移动图像。所述图像特征点，是指图像中具有鲜明特性并能够有效反映图像本质特征、能够标识图像中目标物体的点，例如可以是目标物体的边缘轮廓点。所述预设像素梯度阈值可以根据实际情况设定，本申请对此不做限定。
值得注意的是，提取图像特征点的过程已为较成熟的技术，具体可参考现有技术中的详细内容，本实施例对此不再限定。
步骤S1102、根据所述图像特征点在预设的图像平面的分布规律，从中选取预定数目的图像特征点作为所述第一特征点。
所述图像特征点在预设的图像平面的分布规律，是指图像特征点在预设图像平面的空间排布规律。例如，当预设的图像平面为二维图像像素坐标系时，根据所述图像特征点与坐标原点的相对方位、距离，选择预定数目的图像特征点作为所述第一特征点。所述图像特征点的选取数目可以根据待定位物体的外形特征、定位场景的不同、定位精度的要求不同进行灵活设定。
这样做的好处是，可以在定位物体移动环境下准确识别出所拍摄图像的特征点，提高了图像特征点提取的准确性。
在步骤S120中，获取所述特定载体的惯性信息，并根据所述惯性信息对所述第一特征点进行筛选，得到第二特征点。
所述惯性信息，是指通过惯性测量单元(Inertial Measurement Unit，IMU)获得的特定载体在特定时刻的加速度信息和旋转角度信息。
如图3所示，在本申请的一个实施例中，步骤S120具体包括以下步骤：
步骤S1201、对获取的参考图像进行特征点提取，得到参考特征点。
需要说明是，所述参考图像是相对于目标图像而言，比如目标图像是第t时刻获取的图像，则参考图像可以是第t-1时刻获取的图像，具体选择与目标图像间隔多长时间的图像作为参考图像，可以根据实际情况确定。
关于对参考图像进行特征点提取的过程，可参考步骤S110进行。
步骤S1202、根据所述惯性信息，计算所述第一特征点相对于所述参考特征点的光度误差值。
具体地，可以根据所述惯性信息，通过积分的方式可计算出所述第一特征点在获取参考图像特征点时刻的光度值，同时将该光度值与已知的参考特征点的光度值作差，得到所述光度误差值。
步骤S1203、当所述光度误差值小于预设的光度误差阈值时，将所述第一特征点作为所述第二特征点。
其中，所述预设的光度误差阈值可以根据实际情况设定，例如在晴天，光度误差阈值可以不应设置过大；在雨天，光度误差阈值可以不应设置过小。
这样做的好处是，可以在光度变化的环境下避免所选取的图像特征点无效，提高图像特征点选取的准确性。
在步骤S130中，当所述目标图像为关键帧图像时，则对所述关键帧图像的第二特征点进行三角化，生成对应的初始三维地图点。
所述关键帧图像，是指对确定待定位物体移动距离及移动方向至关重要的图像。例如，待定位物体移动距离超过预设固定值的图像。所述空间点云包括特征点的三维坐标信息(x，y，z)和颜色信息(R，G，B)。
通过对这些关键图像的第二特征点进行三角化，形成空间点云。之后，根据所述空间点云信息，生成各个第二特征点的初始三维地图点，并将所述各个初始三维地图点拼接成初始三维地图。
根据所述空间点云信息，生成各个第二特征点的初始三维地图点，并将所述各个初始三维地图点拼接成初始三维地图。
步骤S140、根据预定的约束条件对所述初始三维地图点进行定位误差回环校准，得到目标三维地图点。
在得到新的目标图像时，需要判断该目标图像在之前的图像序列中是否已经出现过。一般地，可根据提取的目标图像的第二特征，计算它和以前的参考关键帧图像第二特征的相似度，进而确定该目标图像在之前的图像序列中是否已经出现过。若计算显示两者的相似度高于一定的阈值，一般可以认为二者重复，需要丢弃当前目标图像。
在本申请的一个实施例中，通过在前面n个关键帧图像中随机采k个，并与新的目标图像进行两两匹配，若匹配上则认为出现回环，丢弃当前目标图像并将该目标图像第二特征点对应的点云从所述初始三维地图删除。
这样做的好处是，能避免无效点云被显示在所述三维地图中，从而提高了动态物体定位的精确度。
可以理解的是，经过回环检测后，在所述初始三维地图中不存在无效的三维图像点，从而使得整个三维地图中只包含目标三维地图点。
步骤S150、根据所述目标三维地图点确定所述特定载体的位置点。
如图4所示，在本申请的一个实施例中，所述S150包括以下步骤：
步骤S1501、将所述目标三维地图点转换为预设定位坐标系下的第一坐标。
所述预设定位坐标系，可以是GCJ-02坐标系、WGS-84坐标系、CGCS2000坐标系、BD-09坐标系中的任意一种。
步骤S1502、将所述第一坐标转换为定位地图中对应的位置点。
可以理解的是，通过将所述第一坐标转换为定位地图中对应的位置点，既能方便待定位物体确定自身的位置，也可以方便监视人员对待定位物体进行实时位置监控。
如图5所示，在本申请的另一个实施例中，在步骤S150后，还包括：
步骤S160、接收所述特定载体的GPS定位信号；
步骤S170、提取所述GPS定位信号中与所述特定载体对应的定位结果；
步骤S180、当所述GPS定位信号的强度大于预设的强度阈值时，将所述定位结果和所述目标三维地图点进行融合，得到第一融合位置点；
步骤S190、根据所述第一融合位置点更新所述特定载体的位置点。
下面对上述步骤进行详细说明。
在步骤S160中，接收所述特定载体的GPS定位信号。
一般地，可在所述特定载体上安装GPS定位信号接收器，用于实时接收GPS定位信号。
在步骤S170中、提取所述GPS定位信号中与所述特定载体对应的定位结果。
可以理解的是，所述GPS定位信号包含有与所述特定载体对应的定位结果。所述定位结果可以是绝对定位结果，例如经纬度。当然，也可以是相对定位结果，例如，相对于固定点的方位与距离。
在步骤S180中、当所述GPS定位信号的强度大于预设的强度阈值时，将所述定位结果和所述目标三维地图点进行融合，得到第一融合位置点。
需要说明的是，GPS信号在高楼林立的城市环境或大山密集的户外环境，可能GPS定位信号强度较弱，导致其定位结果误差较大。因此，可根据本申请技术方案需要达到的定位精度，预先确定一个GPS信号强度阈值。当所述GPS定位信号的强度大于预设的强度阈值时，将所述定位结果和所述目标三维地图点进行融合，得到第一融合位置点。具体的融合方式可以根据实际情况进行设置，包括但不限于使用卡尔曼滤波算法进行融合。
在步骤S190中、根据所述第一融合位置点更新所述特定载体的位置点。
可以理解的是，通过根据所述第一融合位置点更新所述特定载体的位置点，既能方便待定位物体实时确定自身的位置，也可以方便监视人员实时获取待定位物体的精确位置。
如图6所示，在本申请的又一个实施例中的定位方法，在步骤S120之后，还包括：
步骤S135、当所述目标图像为非关键帧图像时，计算所述非关键帧图像的第二特征点的深度值。
所述非关键帧图像，是指相对于关键帧图像而言，对确定待定位物体移动距离及移动方向不重要的图像。所述第二特征点的深度值，是指根据非关键帧图像第二特征点，确定这些第二特征点到相机中心所在的平面的距离。关于图像深度计算的方法包括光度立体视觉法、多视图立体法等，本身在此不做限定。
步骤S145、根据所述深度值，对所述非关键帧图像的第二特征点进行二维地图化，生成对应的二维地图点。
可以理解的是，所述二维地图化，是指将所述非关键帧图像的第二特征点转换为二维平面地图上地图点。同时，根据事先建立的深度值与二维地图显示点的关系表，调整二维地图点显示的各项参数。
步骤S155、对所述目标三维地图点和所述二维地图点进行融合，得到第二融合位置点。
可以理解的是，通过对所述目标三维地图点和所述二维地图点进行融合，使得所述融合位置更能反映待定位物体的真实位置。
步骤S165、根据所述第二融合位置点更新所述特定载体的位置点。
可以理解的是，通过根据所述第二融合位置点更新所述特定载体的位置点，既能方便待定位物体实时确定自身的位置，也可以方便监视人员实时获取待定位物体的精确位置。
在本申请的一个实施例中，在步骤S150之后，还包括：
将所述特定载体的位置点发送到预定接收端，以便所述预定接收端根据所述特定载体的位置点确定所述特定载体的位置。
可以理解的是，所述预定接收端，可以是移动终端、服务器等网络设备，本申请对此不做限定。通过所述特定载体的位置点发送到预定接收端，在消防、特警执勤等场景下，其他人员可以实时监控相关人员在该场景中的位置，方便展开工作。
综上所述，本申请实施例与现有技术相比存在的有益效果是：本申请实施例首先对获取的目标图像进行特征点提取，得到第一特征点，接着获取所述特定载体的惯性信息，并根据所述惯性信息对所述第一特征点进行筛选，得到第二特征点，当所述目标图像为关键帧图像，则对所述关键帧图像的第二特征点进行三角化，生成对应的初始三维地图点，接下来，基于预定的约束条件，对所述初始三维地图点进行定位误差回环校准，得到目标三维地图点，最后根据所述目标三维地图点确定所述特定载体的位置点。通过本申请，在人员等动态物体移动时，通过获取所述动态物体的移动图像并进行特征点提取和筛选，能够识别出所述动态物体移动的轨迹，接着通过对所述得到移动图像中的关键帧图像进行三角化生成初始三维地图点并进行定位误差回环校准，获得每个第二特征点对应的准确目标三维地图点，最后，将目标三维地图点转换为特定定位场景地图下的精确位置点。这样一来，可以大幅度提高人员等动态物体在移动时的定位精确度。
如图7所示，是本申请一个实施例提供的一种定位装置，所述装置可以包括：
提取模块710，用于对获取的目标图像进行特征点提取，得到第一特征点；
筛选模块720，用于获取所述特定载体的惯性信息，并根据所述惯性信息对所述第一特征点进行筛选，得到第二特征点；
生成模块730，用于当所述目标图像为关键帧图像时，则对所述关键帧图像的第二特征点进行三角化，生成对应的初始三维地图点；
校准模块740，用于根据预定的约束条件，对所述初始三维地图点进行定位误差回环校准，得到目标三维地图点；
转换模块750，用于根据所述目标三维地图点确定所述特定载体的位置点。
进一步地，所述提取模块710，可以包括：
第一提取子单元，用于从所述目标图像中提取像素梯度值大于预设像素梯度阈值的图像特征点；
第一选取子单元，用于根据所述图像特征点在预设的图像平面的分布规律，从中选取预定数目的图像特征点作为所述第一特征点。
进一步地，所述筛选模块720，可以包括：
第二提取子单元，用于对获取的参考图像进行特征点提取，得到参考特征点；
第一计算子单元，用于根据所述惯性信息，计算所述第一特征点相对于所述参考特征点的光度误差值；
第二选取子单元，用于当所述光度误差值小于预设的光度误差阈值时，将所述第一特征点作为所述第二特征点。
进一步地，所述转换模块750，可以包括：
第一转换子单元，用于将所述目标三维地图点转换为预设定位坐标系下的第一坐标；
第二转换子单元，用于将所述第一坐标转换为定位地图中对应的位置点。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置，模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
应理解，上述各个实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
图8是本申请一实施例提供的头盔的示意框图。如图8所示，该实施例的头盔8包括：处理器80、存储器81以及存储在所述存储器81中并可在所述处理器80上运行的计算机程序82。所述处理器80执行所述计算机程序82时实现上述定位方法实施例中的步骤，例如图1所示的步骤S110至步骤S150。或者，所述处理器80执行所述计算机程序82时实现上述各装置实施例中各模块/单元的功能，例如图7所示模块710至模块750的功能。
示例性的，所述计算机程序82可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器81中，并由所述处理器80执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序82在所述头盔8中的执行过程。
本领域技术人员可以理解的是，图8仅仅是头盔8的示例，并不构成对头盔8的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述头盔8还可以包括输入输出设备、电源、网络接入设备、总线等。
所述处理器80可以是中央处理单元(Central Processing Unit，CPU)，还可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器81可以是所述头盔8的内部存储单元，例如头盔8的硬盘或内存。所述存储器81也可以是所述头盔8的外部存储设备，例如所述头盔8上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器81还可以既包括所述头盔8的内部存储单元也包括外部存储设备。所述存储器81用于存储所述计算机程序以及所述头盔8所需的其它程序和数据。所述存储器81还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取计算机可读存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (9)

1.一种定位方法，应用于特定载体，其特征在于，包括：
对获取的目标图像进行特征点提取，得到第一特征点；
获取所述特定载体的惯性信息，并根据所述惯性信息对所述第一特征点进行筛选，得到第二特征点；
当所述目标图像为关键帧图像时，则对所述关键帧图像的第二特征点进行三角化，生成对应的初始三维地图点；
根据预定的约束条件对所述初始三维地图点进行定位误差回环校准，得到目标三维地图点；
根据所述目标三维地图点确定所述特定载体的位置点；
当所述目标图像为非关键帧图像时，计算所述非关键帧图像的第二特征点的深度值；
根据所述深度值，对所述非关键帧图像的第二特征点进行二维地图化，生成对应的二维地图点；
对所述目标三维地图点和所述二维地图点进行融合，得到第二融合位置点；
根据所述第二融合位置点更新所述特定载体的位置点。
2.根据权利要求1所述的定位方法，其特征在于，所述根据所述目标三维地图点确定所述特定载体的位置点之后，还包括：
接收所述特定载体的GPS定位信号；
提取所述GPS定位信号中与所述特定载体对应的定位结果；
当所述GPS定位信号的强度大于预设的强度阈值时，将所述定位结果和所述目标三维地图点进行融合，得到第一融合位置点；
根据所述第一融合位置点更新所述特定载体的位置点。
3.根据权利要求1所述的定位方法，其特征在于，所述对获取的目标图像进行特征点提取，得到第一特征点，包括：
从所述目标图像中提取像素梯度值大于预设像素梯度阈值的图像特征点；
根据所述图像特征点在预设的图像平面的分布规律，从中选取预定数目的图像特征点作为所述第一特征点。
4.根据权利要求1所述的定位方法，其特征在于，所述根据所述惯性信息对所述第一特征点进行筛选，得到第二特征点，包括：
对获取的参考图像进行特征点提取，得到参考特征点；
根据所述惯性信息，计算所述第一特征点相对于所述参考特征点的光度误差值；
当所述光度误差值小于预设的光度误差阈值时，将所述第一特征点作为所述第二特征点。
5.根据权利要求1所述的定位方法，其特征在于，所述根据所述目标三维地图点确定所述特定载体的位置点，包括：
将所述目标三维地图点转换为预设定位坐标系下的第一坐标；
将所述第一坐标转换为定位地图中对应的位置点。
6.根据权利要求1至5任一所述的定位方法，其特征在于，所述根据所述目标三维地图点，定位所述特定载体的位置点之后，还包括：
将所述特定载体的位置点发送到预定接收端，以便所述预定接收端根据所述特定载体的位置点确定所述特定载体的位置。
7.一种定位装置，应用于特定载体，其特征在于，包括：
提取模块，用于对获取的目标图像进行特征点提取，得到第一特征点；
筛选模块，用于获取所述特定载体的惯性信息，并根据所述惯性信息对所述第一特征点进行筛选，得到第二特征点；
生成模块，用于当所述目标图像为关键帧图像时，则对所述关键帧图像的第二特征点进行三角化，生成对应的初始三维地图点；
校准模块，用于根据预定的约束条件，对所述初始三维地图点进行定位误差回环校准，得到目标三维地图点；
转换模块，用于根据所述目标三维地图点确定所述特定载体的位置点；
所述定位装置还用于：当所述目标图像为非关键帧图像时，计算所述非关键帧图像的第二特征点的深度值；根据所述深度值，对所述非关键帧图像的第二特征点进行二维地图化，生成对应的二维地图点；对所述目标三维地图点和所述二维地图点进行融合，得到第二融合位置点；根据所述第二融合位置点更新所述特定载体的位置点。
8.一种头盔，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的定位方法的步骤。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的定位方法的步骤。
CN201911286923.7A 2019-12-14 2019-12-14 一种定位方法、装置、头盔及计算机可读存储介质 Active CN111060948B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911286923.7A CN111060948B (zh) 2019-12-14 2019-12-14 一种定位方法、装置、头盔及计算机可读存储介质
US17/012,016 US11416719B2 (en) 2019-12-14 2020-09-03 Localization method and helmet and computer readable storage medium using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911286923.7A CN111060948B (zh) 2019-12-14 2019-12-14 一种定位方法、装置、头盔及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111060948A CN111060948A (zh) 2020-04-24
CN111060948B true CN111060948B (zh) 2021-10-29

Family

ID=70301686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911286923.7A Active CN111060948B (zh) 2019-12-14 2019-12-14 一种定位方法、装置、头盔及计算机可读存储介质

Country Status (2)

Country Link
US (1) US11416719B2 (zh)
CN (1) CN111060948B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113084822A (zh) * 2021-04-30 2021-07-09 广东美房智高机器人有限公司 机器人位置显示方法、***、设备及介质
CN113379622A (zh) * 2021-05-27 2021-09-10 中科晶源微电子技术（北京）有限公司 用于电子束缺陷检测的像素尺寸校准方法和装置及设备
CN113689351B (zh) * 2021-08-24 2023-10-10 北京石油化工学院 基于深度相机的危化品仓储监控方法、装置及设备
CN113689485B (zh) * 2021-08-25 2022-06-07 北京三快在线科技有限公司 无人机深度信息的确定方法、装置、无人机及存储介质
CN113920258A (zh) * 2021-09-26 2022-01-11 北京三快在线科技有限公司 地图生成方法、装置、介质及电子设备
CN114500842A (zh) * 2022-01-25 2022-05-13 维沃移动通信有限公司 视觉惯性标定方法及其装置
CN116721237B (zh) * 2023-06-09 2024-04-12 铯镨科技有限公司 户型墙体编辑方法、装置、设备和存储介质
CN117881157B (zh) * 2024-01-22 2024-06-28 上海频准激光科技有限公司 一种数据处理***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101400001A (zh) * 2008-11-03 2009-04-01 清华大学 一种视频帧深度图的生成方法及***
CN104318559A (zh) * 2014-10-21 2015-01-28 天津大学 用于视频图像匹配的特征点快速检测方法
CN107748569A (zh) * 2017-09-04 2018-03-02 中国兵器工业计算机应用技术研究所 用于无人机的运动控制方法、装置及无人机***
CN107784671A (zh) * 2017-12-01 2018-03-09 驭势科技（北京）有限公司 一种用于视觉即时定位与建图的方法与***
CN108470379A (zh) * 2017-02-23 2018-08-31 株式会社理光 三维图像融合方法和装置
CN108955673A (zh) * 2018-06-27 2018-12-07 四川斐讯信息技术有限公司 一种头戴式智能穿戴设备、定位***及定位方法
CN109211241A (zh) * 2018-09-08 2019-01-15 天津大学 基于视觉slam的无人机自主定位方法
CN109816769A (zh) * 2017-11-21 2019-05-28 深圳市优必选科技有限公司 基于深度相机的场景地图生成方法、装置及设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103325108A (zh) * 2013-05-27 2013-09-25 浙江大学 一种融合光流与特征点匹配的单目视觉里程计的设计方法
WO2016187352A1 (en) * 2015-05-18 2016-11-24 Daqri, Llc Threat identification system
US10387719B2 (en) * 2016-05-20 2019-08-20 Daqri, Llc Biometric based false input detection for a wearable computing device
US10162362B2 (en) * 2016-08-29 2018-12-25 PerceptIn, Inc. Fault tolerance to provide robust tracking for autonomous positional awareness
CN109443353B (zh) * 2018-12-25 2020-11-06 中北大学 基于模糊自适应ickf的视觉-惯性紧耦合组合导航方法
CN110163963B (zh) * 2019-04-12 2023-06-20 南京华捷艾米软件科技有限公司 一种基于slam的建图装置和建图方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101400001A (zh) * 2008-11-03 2009-04-01 清华大学 一种视频帧深度图的生成方法及***
CN104318559A (zh) * 2014-10-21 2015-01-28 天津大学 用于视频图像匹配的特征点快速检测方法
CN108470379A (zh) * 2017-02-23 2018-08-31 株式会社理光 三维图像融合方法和装置
CN107748569A (zh) * 2017-09-04 2018-03-02 中国兵器工业计算机应用技术研究所 用于无人机的运动控制方法、装置及无人机***
CN109816769A (zh) * 2017-11-21 2019-05-28 深圳市优必选科技有限公司 基于深度相机的场景地图生成方法、装置及设备
CN107784671A (zh) * 2017-12-01 2018-03-09 驭势科技（北京）有限公司 一种用于视觉即时定位与建图的方法与***
CN108955673A (zh) * 2018-06-27 2018-12-07 四川斐讯信息技术有限公司 一种头戴式智能穿戴设备、定位***及定位方法
CN109211241A (zh) * 2018-09-08 2019-01-15 天津大学 基于视觉slam的无人机自主定位方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
《DT-SLAM: Deferred Triangulation for Robust SLAM》;Daniel Herrera C.;《2014 Second International Conference on 3D Vision》;20150209;全文 *
《Improved Real-Time Odometry Estimation Method for Incremental RGB-D Mapping by Fusing IMU Data》;Ruibin Guo,;《2016 12th World Congress on Intelligent Control and Automation (WCICA)》;20160615;全文 *
《基于视觉里程计的无人机导航方法研究》;林引界;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20190215;全文 *
《移动机器人视觉里程计综述》;丁文东，等;《自动化学报》;20180331;第44卷(第3期);全文 *

Also Published As

Publication number Publication date
US11416719B2 (en) 2022-08-16
CN111060948A (zh) 2020-04-24
US20210182633A1 (en) 2021-06-17

Similar Documents

Publication Publication Date Title
CN111060948B (zh) 一种定位方法、装置、头盔及计算机可读存储介质
CN110427917B (zh) 用于检测关键点的方法和装置
CN111354042B (zh) 机器人视觉图像的特征提取方法、装置、机器人及介质
CN112797897B (zh) 物体几何参数的测量方法、装置和终端
EP2915140B1 (en) Fast initialization for monocular visual slam
EP3506203A1 (en) Method and apparatus for fusing point cloud data technical field
US11132810B2 (en) Three-dimensional measurement apparatus
CN113592989B (zh) 一种三维场景的重建***、方法、设备及存储介质
CN109472828B (zh) 一种定位方法、装置、电子设备及计算机可读存储介质
KR20220028042A (ko) 포즈 결정 방법, 장치, 전자 기기, 저장 매체 및 프로그램
CN110443850B (zh) 目标对象的定位方法及装置、存储介质、电子装置
EP3852065A1 (en) Data processing method and apparatus
CN110276774B (zh) 物体的绘图方法、装置、终端和计算机可读存储介质
CN108196258B (zh) 外接设备的位置的确定方法及装置、虚拟现实设备及***
EP3998582A1 (en) Three-dimensional model generation method and three-dimensional model generation device
CN113012224B (zh) 定位初始化方法和相关装置、设备、存储介质
CN113361365B (zh) 定位方法和装置、设备及存储介质
CN112422653A (zh) 基于位置服务的场景信息推送方法、***、存储介质及设备
CN113610702B (zh) 一种建图方法、装置、电子设备及存储介质
CN112258647B (zh) 地图重建方法及装置、计算机可读介质和电子设备
CN108427110A (zh) 测距方法、装置及电子设备
CN114674328B (zh) 地图生成方法、装置、电子设备、存储介质、及车辆
CN114187509B (zh) 对象定位方法、装置、电子设备以及存储介质
CN113808196A (zh) 平面融合定位方法、装置、电子设备及存储介质
CN110580275A (zh) 地图显示方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant