CN110319776B - 一种基于slam的三维空间距离测量方法及装置 - Google Patents

一种基于slam的三维空间距离测量方法及装置 Download PDF

Info

Publication number
CN110319776B
CN110319776B CN201910596753.6A CN201910596753A CN110319776B CN 110319776 B CN110319776 B CN 110319776B CN 201910596753 A CN201910596753 A CN 201910596753A CN 110319776 B CN110319776 B CN 110319776B
Authority
CN
China
Prior art keywords
camera
real
point
calculating
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910596753.6A
Other languages
English (en)
Other versions
CN110319776A (zh
Inventor
颜冰
陈宇民
代维菊
马仪
彭兆裕
马御棠
邹德旭
王山
洪志湖
文刚
龚泽威一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of Yunnan Power Grid Co Ltd
Original Assignee
Electric Power Research Institute of Yunnan Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of Yunnan Power Grid Co Ltd filed Critical Electric Power Research Institute of Yunnan Power Grid Co Ltd
Priority to CN201910596753.6A priority Critical patent/CN110319776B/zh
Publication of CN110319776A publication Critical patent/CN110319776A/zh
Application granted granted Critical
Publication of CN110319776B publication Critical patent/CN110319776B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种基于SLAM的三维空间距离测量方法及装置，其中，所述方法包括：获取相机的内参数；对待处理视频进行去抖处理，得到处理后视频；针对所述处理后视频，计算相机图像对应所述真实三维点的初始深度值；根据所述内参数和所述初始深度值，得到相机的外参数；根据所述外参数，计算所述真实三维点的空间距离。本申请提供的一种基于SLAM的三维空间距离测量方法及装置，能够有效解决现有测距方法深度估计不准确、视频抖动造成的特征不稳定的问题。

Description

一种基于SLAM的三维空间距离测量方法及装置
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种基于SLAM的三维空间距离测量方法及装置。
背景技术
现有测距手段通常采用场景中的标定物解算单目尺度，这需要场景中存在标志物，但是这在实际场景中很不方便实现。为了消除单目SLAM(Simultaneous Localizationand Mapping，即时定位与地图构建)的尺度不确定性，目前通过采用ORB-SLAM(0bjectRequest Broker-Simultaneous Localization and Mapping，基于ORB特征的三维定位与地图构建)方法时，在前端就需要对每幅关键帧计算一遍ORB特征，这非常耗时。而且ORB-SLAM的三线程结构也给CPU带来了较重的负担。因此，现在多使用LSD-SLAM(Large ScaleDirect Monocular-Simultaneous Localization and Mapping，基于ORB特征的三维定位与地图构建)实现半稠密场景重建，缩减了姿态估计的耗时。
LSD-SLAM方法在估算深度图时需要采用一个随机数初始化图像深度，然后通过增量式立体匹配方法不断更新参考帧与深度图，这种随机数初始化深度的方法会导致深度估计的不准确。同时，实际应用中视频抖动会造成视频帧间特征的不稳定问题，这会影响基于特征的SLAM后端优化效果。
发明内容
本申请提供了一种基于SLAM的三维空间距离测量方法及装置，以解决现有测距方法深度估计不准确和视频抖动造成的特征不稳定的问题。
第一方面，本申请提供了一种基于SLAM的三维空间距离测量方法，其特征在于，所述方法包括：
获取相机的内参数，所述内参数为真实三维点在相机图片上对应的像素坐标与相机坐标的映射关系；
对待处理视频进行去抖处理，得到处理后视频，所述待处理视频为基于特征匹配获得的视频；
针对所述处理后视频，计算相机图像对应所述真实三维点的初始深度值；
根据所述内参数和所述初始深度值，得到相机的外参数，所述外参数为相机对应的姿态参数；
根据所述外参数，计算所述真实三维点的空间距离，所述空间距离为所述真实三维点到相机光心的距离。
可选地，所述获取相机的内参数包括：
获取相机对标定板拍摄的15-20幅不同角度的标定图片；
对各标定图片进行角点特征检测和特征匹配，得到相机的内参数。
可选地，所述对待处理视频进行去抖处理，得到处理后视频包括：
利用SIFT特征匹配法，匹配相机图片相邻帧之间的特征点，得到匹配点；
采用随机抽样一致法，剔除匹配点中的错误点，得到有效匹配点；
计算待处理帧与相邻两帧的平均有效匹配点的点数目；
确定所述点数目中的最大点数目和最小点数目；
如果所述最小点数目与所述最大点数目的比值小于或者等于预设抖动阈值，则确定所述待处理帧为抖动帧；
从待处理视频中剔除全部抖动帧，得到处理后视频。
可选地，所述针对处理后视频，计算相机图像对应真实三维点的初始深度值包括：
从所述处理后视频中确定初始参考帧和关键帧序列；
将所述初始参考帧匹配所述关键帧序列中的各特征点，得到匹配结果；
根据所述匹配结果，计算各特征点在相邻关键帧的视差；
根据所述视差、相机的焦距和相邻两帧之间的基线距离，计算特征点对应的深度值，所述深度值为真实三维点到相机光心的距离；
采用最小二乘法，得到各特征点的深度值对应的初始深度值。
可选地，所述根据外参数，计算真实三维点的空间距离包括：
根据下式计算真实三维点在世界坐标系下的坐标，
Figure BDA0002117046630000021
其中，u和v代表真是三维点在相机图像中投影的像素坐标，fx代表相机的横比例焦距，fy代表相机的纵比例焦距，u0和v0代表相机的主点坐标，R和t代表相机的外参数，XW、YW、ZW代表真实三维点在世界坐标系下的坐标；
根据下式计算真实三维点的空间距离，
Figure BDA0002117046630000031
其中，D代表真实三维点到相机光心的距离。
第二方面，本申请提供了一种基于SLAM的三维空间距离测量装置，所述装置包括：
内参数获取单元，用于获取相机的内参数，所述内参数为真实三维点在相机图片上对应的像素坐标与相机坐标的映射关系；
去抖处理单元，用于对待处理视频进行去抖处理，得到处理后视频，所述待处理视频为基于特征匹配获得的视频；
初始深度值计算单元，用于针对所述处理后视频，计算相机图像对应所述真实三维点的初始深度值；
外参数计算单元，用于根据所述内参数和所述初始深度值，得到相机的外参数，所述外参数为相机对应的姿态参数；
空间距离计算单元，用于根据所述外参数，计算所述真实三维点的空间距离，所述空间距离为所述真实三维点到相机光心的距离。
可选地，所述内参数获取单元包括：
标定图片获取单元，用于获取相机对标定板拍摄的15-20幅不同角度的标定图片；
内参数确定单元，用于对各标定图片进行角点特征检测和特征匹配，得到相机的内参数。
可选地，所述去抖处理单元包括：
匹配点获得单元，用于利用SIFT特征匹配法，匹配相机图片相邻帧之间的特征点，得到匹配点；
有效匹配点确定单元，用于采用随机抽样一致法，剔除匹配点中的错误点，得到有效匹配点；
点数目计算单元，用于计算待处理帧与相邻两帧的平均有效匹配点的点数目；
特殊点数目确定单元，用于确定所述点数目中的最大点数目和最小点数目；
抖动帧确定单元，用于如果所述最小点数目与所述最大点数目的比值小于或者等于预设抖动阈值，则确定所述待处理帧为抖动帧；
抖动帧清除单元，用于从待处理视频中剔除全部抖动帧，得到处理后视频。
可选地，所述初始深度值计算单元包括：
特殊帧确定单元，用于从所述处理后视频中确定初始参考帧和关键帧序列；
匹配结果计算单元，用于将所述初始参考帧匹配所述关键帧序列中的各特征点，得到匹配结果；
视差计算单元，用于根据所述匹配结果，计算各特征点在相邻关键帧的视差；
深度值计算单元，用于根据所述视差、相机的焦距和相邻两帧之间的基线距离，计算特征点对应的深度值，所述深度值为真实三维点到相机光心的距离；
初始深度值获得单元，用于采用最小二乘法，得到各特征点的深度值对应的初始深度值。
可选地，所述空间距离计算单元包括：
世界坐标计算单元，用于根据下式计算真实三维点在世界坐标系下的坐标，
Figure BDA0002117046630000041
其中，u和v代表真是三维点在相机图像中投影的像素坐标，fx代表相机的横比例焦距，fy代表相机的纵比例焦距，u0和v0代表相机的主点坐标，R和t代表相机的外参数，XW、YW、ZW代表真实三维点在世界坐标系下的坐标；
空间距离获得单元，用于根据下式计算真实三维点的空间距离，
Figure BDA0002117046630000042
其中，D代表真实三维点到相机光心的距离。方法，包括：
由以上技术可知，本申请提供了一种基于SLAM的三维空间距离测量方法及装置，其中，所述方法包括：获取相机的内参数，所述内参数为真实三维点在相机图片上对应的像素坐标与相机坐标的映射关系；对待处理视频进行去抖处理，得到处理后视频；针对所述处理后视频，计算相机图像对应所述真实三维点的初始深度值；根据所述内参数和所述初始深度值，得到相机的外参数；根据所述外参数，计算所述真实三维点的空间距离。使用时，先利用相机拍下真实三维点的图像，根据真实三维点的图像，确定相机的内参数；然后，对各相机图像组成的视频进行去抖处理，得到处理后视频，并根据内参数和处理后视频计算出真实三维点的初始深度值。最后利用内参数和初始深度值，计算得到相机的外参数，也就是相机的姿态参数，并根据外参数，准确计算出真实三维点的空间距离。本申请提供的一种基于SLAM的三维空间距离测量方法及装置，能够有效解决现有测距方法深度估计不准确、视频抖动造成的特征不稳定的问题。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种基于SLAM的三维空间距离测量方法的流程图；
图2为本申请实施例提供的一种获取相机的内参数的方法的流程图；
图3为本申请实施例提供的一种视频去抖处理的方法的流程图；
图4为本申请实施例提供的一种计算初始深度值的方法的流程图；
图5为本申请实施例提供的一种基于SLAM的三维空间距离测量装置的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，为本申请实施例提供的一种基于SLAM的三维空间距离测量方法的流程图，所述方法包括：
S1、获取相机的内参数，所述内参数为真实三维点在相机图片上对应的像素坐标与相机坐标的映射关系。
针对相机到三维空间点的距离测量问题，本发明目的在于提出一种基于SLAM的三维空间距离测量方法，可以不需要场景内的标志物就能够消除单目SLAM的尺度不确定性，消除特征点分布对测距精度的影响，减弱视频抖动对SLAM后端优化效果的影响，更准确地估算深度图。
采用张正友标定法，获取相机的内参数。
具体地，如图2所示，为本申请实施例提供的一种获取相机的内参数的方法的流程图，所述方法包括：
S101、获取相机对标定板拍摄的15-20幅不同角度的标定图片；
S102、对各标定图片进行角点特征检测和特征匹配，得到相机的内参数。
各标定图片进行角点特征检测和特征匹配之后，能够计算得到相机图片的像素坐标与相机坐标的映射关系，为
Figure BDA0002117046630000061
其中，u和v代表真是三维点在相机图像中投影的像素坐标，fx代表相机的横比例焦距，fy代表相机的纵比例焦距，u0和v0代表相机的主点坐标，XC、YC、ZC代表真实三维点在相机坐标系下的坐标。
需要注意的是，如果有预先标定过的相机的内参数，则可以跳过此步骤。
S2、对待处理视频进行去抖处理，得到处理后视频，所述待处理视频为基于特征匹配获得的视频。
具体地，如图3所示，为本申请实施例提供的一种视频去抖处理的方法的流程图，所述方法包括：
S201、利用SIFT特征匹配法，匹配相机图片相邻帧之间的特征点，得到匹配点；
S202、采用随机抽样一致法，剔除匹配点中的错误点，得到有效匹配点；
S203、计算待处理帧与相邻两帧的平均有效匹配点的点数目；
S204、确定所述点数目中的最大点数目和最小点数目；
S205、如果所述最小点数目与所述最大点数目的比值小于或者等于预设抖动阈值，则确定所述待处理帧为抖动帧；
S206、从待处理视频中剔除全部抖动帧，得到处理后视频。
针对输入的n帧视频序列，利用SIFT(Scale-invariant Feature Transform，尺度不变特征变换)特征匹配方法匹配相邻帧时间的特征点，之后，采用随机抽样一致法剔除全部匹配点中的错误点，得到有效匹配点。假设待处理帧为第i帧，则相邻帧为第i-1帧和第i+1帧，需要注意的是，如果为首尾帧，则只有一个相邻帧。计算所得的平均有效匹配点的点数目为si，可以确定出si中的最小点数目为smin，最大点数目为smax，则最小点数目与最大点数目的比值为
Figure BDA0002117046630000062
假设预设抖动阈值为sa，则如果
Figure BDA0002117046630000063
那么第i帧即为抖动帧，抖动帧将不会继续参与LSD-SLAM算法关键帧的选取与回环检测过程；如果
Figure BDA0002117046630000064
那么第i帧不是抖动帧，应该被保留。
S3、针对所述处理后视频，计算相机图像对应所述真实三维点的初始深度值。
具体的，如图4所示，为本申请实施例提供的一种计算初始深度值的方法的流程图，所述方法包括：
S301、从所述处理后视频中确定初始参考帧和关键帧序列；
S302、将所述初始参考帧匹配所述关键帧序列中的各特征点，得到匹配结果；
S303、根据所述匹配结果，计算各特征点在相邻关键帧的视差；
S304、根据所述视差、相机的焦距和相邻两帧之间的基线距离，计算特征点对应的深度值，所述深度值为真实三维点到相机光心的距离；
S305、采用最小二乘法，得到各特征点的深度值对应的初始深度值。
从处理后视频中确定初始参考帧fr和关键帧序列Fim，关键帧中的特征点的集合为F，则根据匹配结果，能够校正一对初始关键帧，根据下式，计算各特征点Pj在相邻关键帧的视差，
Z＝f·T/xd
其中，Z代表深度值，f代表相机的焦距，T代表相邻两帧之间的基线距离，xd代表视差。
最后，利用最小二乘法，能够计算出各特征点的初始深度值。
S4、根据所述内参数和所述初始深度值，得到相机的外参数，所述外参数为相机对应的姿态参数。
将视频序列输入到LSD-SLAM，即可完成跟踪、地图构建和回环检测的过程，得到相机的姿态估计，也就是相机的外参数，同时也可获得一个半稠密的场景重建。
S5、根据所述外参数，计算所述真实三维点的空间距离，所述空间距离为所述真实三维点到相机光心的距离。
具体地，根据下式计算真实三维点在世界坐标系下的坐标，
Figure BDA0002117046630000071
其中，u和v代表真是三维点在相机图像中投影的像素坐标，fx代表相机的横比例焦距，fy代表相机的纵比例焦距，u0和v0代表相机的主点坐标，R和t代表相机的外参数，XW、YW、ZW代表真实三维点在世界坐标系下的坐标；
根据下式计算真实三维点的空间距离，
Figure BDA0002117046630000072
其中，D代表真实三维点到相机光心的距离。
请参见图5，为本申请实施例提供的一种基于SLAM的三维空间距离测量装置的示意图，所述装置包括：
内参数获取单元1，用于获取相机的内参数，所述内参数为真实三维点在相机图片上对应的像素坐标与相机坐标的映射关系；
去抖处理单元2，用于对待处理视频进行去抖处理，得到处理后视频，所述待处理视频为基于特征匹配获得的视频；
初始深度值计算单元3，用于针对所述处理后视频，计算相机图像对应所述真实三维点的初始深度值；
外参数计算单元4，用于根据所述内参数和所述初始深度值，得到相机的外参数，所述外参数为相机对应的姿态参数；
空间距离计算单元5，用于根据所述外参数，计算所述真实三维点的空间距离，所述空间距离为所述真实三维点到相机光心的距离。
可选地，所述内参数获取单元1包括：标定图片获取单元，用于获取相机对标定板拍摄的15-20幅不同角度的标定图片；内参数确定单元，用于对各标定图片进行角点特征检测和特征匹配，得到相机的内参数。
可选地，所述去抖处理单元2包括：匹配点获得单元，用于利用SIFT特征匹配法，匹配相机图片相邻帧之间的特征点，得到匹配点；有效匹配点确定单元，用于采用随机抽样一致法，剔除匹配点中的错误点，得到有效匹配点；点数目计算单元，用于计算待处理帧与相邻两帧的平均有效匹配点的点数目；特殊点数目确定单元，用于确定所述点数目中的最大点数目和最小点数目；抖动帧确定单元，用于如果所述最小点数目与所述最大点数目的比值小于或者等于预设抖动阈值，则确定所述待处理帧为抖动帧；抖动帧清除单元，用于从待处理视频中剔除全部抖动帧，得到处理后视频。
可选地，所述初始深度值计算单元3包括：特殊帧确定单元，用于从所述处理后视频中确定初始参考帧和关键帧序列；匹配结果计算单元，用于将所述初始参考帧匹配所述关键帧序列中的各特征点，得到匹配结果；视差计算单元，用于根据所述匹配结果，计算各特征点在相邻关键帧的视差；深度值计算单元，用于根据所述视差、相机的焦距和相邻两帧之间的基线距离，计算特征点对应的深度值，所述深度值为真实三维点到相机光心的距离；初始深度值获得单元，用于采用最小二乘法，得到各特征点的深度值对应的初始深度值。
可选地，所述空间距离计算单元5包括：世界坐标计算单元，用于根据下式计算真实三维点在世界坐标系下的坐标，
Figure BDA0002117046630000081
其中，u和v代表真是三维点在相机图像中投影的像素坐标，fx代表相机的横比例焦距，fy代表相机的纵比例焦距，u0和v0代表相机的主点坐标，R和t代表相机的外参数，XW、YW、ZW代表真实三维点在世界坐标系下的坐标；
空间距离获得单元，用于根据下式计算真实三维点的空间距离，
Figure BDA0002117046630000091
其中，D代表真实三维点到相机光心的距离。
值得注意的是，具体实现中，本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的用户身份的服务提供方法或用户注册方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random accessmemory，简称：RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种基于SLAM的三维空间距离测量方法，其特征在于，所述方法包括：
获取相机的内参数，所述内参数为真实三维点在相机图片上对应的像素坐标与相机坐标的映射关系；
对待处理视频进行去抖处理，得到处理后视频，所述待处理视频为基于特征匹配获得的视频；
针对所述处理后视频，计算相机图像对应所述真实三维点的初始深度值；
根据所述内参数和所述初始深度值，得到相机的外参数，所述外参数为相机对应的姿态参数；
根据所述外参数，计算所述真实三维点的空间距离，所述空间距离为所述真实三维点到相机光心的距离。
2.根据权利要求1所述的方法，其特征在于，所述获取相机的内参数包括：
获取相机对标定板拍摄的15-20幅不同角度的标定图片；
对各标定图片进行角点特征检测和特征匹配，得到相机的内参数。
3.根据权利要求1所述的方法，其特征在于，所述对待处理视频进行去抖处理，得到处理后视频包括：
利用SIFT特征匹配法，匹配相机图片相邻帧之间的特征点，得到匹配点；
采用随机抽样一致法，剔除匹配点中的错误点，得到有效匹配点；
计算待处理帧与相邻两帧的平均有效匹配点的点数目；
确定所述点数目中的最大点数目和最小点数目；
如果所述最小点数目与所述最大点数目的比值小于或者等于预设抖动阈值，则确定所述待处理帧为抖动帧；
从待处理视频中剔除全部抖动帧，得到处理后视频。
4.根据权利要求1所述的方法，其特征在于，所述针对所述处理后视频，计算相机图像对应真实三维点的初始深度值包括：
从所述处理后视频中确定初始参考帧和关键帧序列；
将所述初始参考帧匹配所述关键帧序列中的各特征点，得到匹配结果；
根据所述匹配结果，计算各特征点在相邻关键帧的视差；
根据所述视差、相机的焦距和相邻两帧之间的基线距离，计算特征点对应的深度值，所述深度值为真实三维点到相机光心的距离；
采用最小二乘法，得到各特征点的深度值对应的初始深度值。
5.根据权利要求1所述的方法，其特征在于，所述根据外参数，计算真实三维点的空间距离包括：
根据下式计算真实三维点在世界坐标系下的坐标，
Figure FDA0002947062300000021
其中，u和v代表真实三维点在相机图像中投影的像素坐标，fx代表相机的横比例焦距，fy代表相机的纵比例焦距，u0和v0代表相机的主点坐标，R和t代表相机的外参数，XW、YW、ZW代表真实三维点在世界坐标系下的坐标；
根据下式计算真实三维点的空间距离，
Figure FDA0002947062300000022
其中，D代表真实三维点到相机光心的距离。
6.一种基于SLAM的三维空间距离测量装置，其特征在于，所述装置包括：
内参数获取单元，用于获取相机的内参数，所述内参数为真实三维点在相机图片上对应的像素坐标与相机坐标的映射关系；
去抖处理单元，用于对待处理视频进行去抖处理，得到处理后视频，所述待处理视频为基于特征匹配获得的视频；
初始深度值计算单元，用于针对所述处理后视频，计算相机图像对应所述真实三维点的初始深度值；
外参数计算单元，用于根据所述内参数和所述初始深度值，得到相机的外参数，所述外参数为相机对应的姿态参数；
空间距离计算单元，用于根据所述外参数，计算所述真实三维点的空间距离，所述空间距离为所述真实三维点到相机光心的距离。
7.根据权利要求6所述的装置，其特征在于，所述内参数获取单元包括：
标定图片获取单元，用于获取相机对标定板拍摄的15-20幅不同角度的标定图片；
内参数确定单元，用于对各标定图片进行角点特征检测和特征匹配，得到相机的内参数。
8.根据权利要求6所述的装置，其特征在于，所述去抖处理单元包括：
匹配点获得单元，用于利用SIFT特征匹配法，匹配相机图片相邻帧之间的特征点，得到匹配点；
有效匹配点确定单元，用于采用随机抽样一致法，剔除匹配点中的错误点，得到有效匹配点；
点数目计算单元，用于计算待处理帧与相邻两帧的平均有效匹配点的点数目；
特殊点数目确定单元，用于确定所述点数目中的最大点数目和最小点数目；
抖动帧确定单元，用于如果所述最小点数目与所述最大点数目的比值小于或者等于预设抖动阈值，则确定所述待处理帧为抖动帧；
抖动帧清除单元，用于从待处理视频中剔除全部抖动帧，得到处理后视频。
9.根据权利要求6所述的装置，其特征在于，所述初始深度值计算单元包括：
特殊帧确定单元，用于从所述处理后视频中确定初始参考帧和关键帧序列；
匹配结果计算单元，用于将所述初始参考帧匹配所述关键帧序列中的各特征点，得到匹配结果；
视差计算单元，用于根据所述匹配结果，计算各特征点在相邻关键帧的视差；
深度值计算单元，用于根据所述视差、相机的焦距和相邻两帧之间的基线距离，计算特征点对应的深度值，所述深度值为真实三维点到相机光心的距离；
初始深度值获得单元，用于采用最小二乘法，得到各特征点的深度值对应的初始深度值。
10.根据权利要求6所述的装置，其特征在于，所述空间距离计算单元包括：
世界坐标计算单元，用于根据下式计算真实三维点在世界坐标系下的坐标，
Figure FDA0002947062300000031
其中，u和v代表真实三维点在相机图像中投影的像素坐标，fx代表相机的横比例焦距，fy代表相机的纵比例焦距，u0和v0代表相机的主点坐标，R和t代表相机的外参数，XW、YW、ZW代表真实三维点在世界坐标系下的坐标；
空间距离获得单元，用于根据下式计算真实三维点的空间距离，
Figure FDA0002947062300000032
其中，D代表真实三维点到相机光心的距离。
CN201910596753.6A 2019-07-03 2019-07-03 一种基于slam的三维空间距离测量方法及装置 Active CN110319776B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910596753.6A CN110319776B (zh) 2019-07-03 2019-07-03 一种基于slam的三维空间距离测量方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910596753.6A CN110319776B (zh) 2019-07-03 2019-07-03 一种基于slam的三维空间距离测量方法及装置

Publications (2)

Publication Number Publication Date
CN110319776A CN110319776A (zh) 2019-10-11
CN110319776B true CN110319776B (zh) 2021-05-07

Family

ID=68122500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910596753.6A Active CN110319776B (zh) 2019-07-03 2019-07-03 一种基于slam的三维空间距离测量方法及装置

Country Status (1)

Country Link
CN (1) CN110319776B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106289071B (zh) * 2016-08-18 2018-10-19 温州大学 一种结构三维位移单目摄像测量方法
DE102017107336A1 (de) * 2017-04-05 2018-10-11 Testo SE & Co. KGaA Messgerät und korrespondierendes Messverfahren
CN108648240B (zh) * 2018-05-11 2022-09-23 东南大学 基于点云特征地图配准的无重叠视场相机姿态标定方法
CN109855822B (zh) * 2019-01-14 2019-12-06 中山大学 一种基于无人机的高铁桥梁竖向动扰度测量方法
CN109737874B (zh) * 2019-01-17 2021-12-03 广东省智能制造研究所 基于三维视觉技术的物体尺寸测量方法及装置

Also Published As

Publication number Publication date
CN110319776A (zh) 2019-10-11

Similar Documents

Publication Publication Date Title
US10559090B2 (en) Method and apparatus for calculating dual-camera relative position, and device
US8447099B2 (en) Forming 3D models using two images
US8452081B2 (en) Forming 3D models using multiple images
CN111652086B (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN110996082B (zh) 投影调节方法、装置、投影仪及可读存储介质
US20120162220A1 (en) Three-dimensional model creation system
JP2003317117A (ja) マッチング曲線のエラー領域の境界内の３ｄ平滑化用方法及びシステム
US8531505B2 (en) Imaging parameter acquisition apparatus, imaging parameter acquisition method and storage medium
US20220414908A1 (en) Image processing method
JP6061770B2 (ja) カメラ姿勢推定装置及びそのプログラム
US11741615B2 (en) Map segmentation method and device, motion estimation method, and device terminal
JP2022509329A (ja) 点群融合方法及び装置、電子機器、コンピュータ記憶媒体並びにプログラム
US20170289516A1 (en) Depth map based perspective correction in digital photos
JP2019091122A (ja) デプスマップフィルタ処理装置、デプスマップフィルタ処理方法及びプログラム
US11475629B2 (en) Method for 3D reconstruction of an object
CN110319776B (zh) 一种基于slam的三维空间距离测量方法及装置
JP6579816B2 (ja) 画像処理装置、画像処理方法、及びプログラム
KR20180019329A (ko) 깊이 정보 획득 장치 및 깊이 정보 획득 방법
EP3588437B1 (en) Apparatus that generates three-dimensional shape data, method and program
CN108510578B (zh) 三维模型搭建方法、装置及电子设备
JP2002077941A (ja) 奥行き画像生成装置、奥行き画像生成方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
CN112396117A (zh) 图像的检测方法、装置及电子设备
JP2006300656A (ja) 画像計測方法、装置、プログラム及び記録媒体
RU2791081C2 (ru) Способ трехмерной реконструкции объекта
CN111369612A (zh) 一种三维点云图像生成方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant