CN117115271A - 无人机飞行过程中的双目相机外参数自标定方法及*** - Google Patents

无人机飞行过程中的双目相机外参数自标定方法及*** Download PDF

Info

Publication number
CN117115271A
CN117115271A CN202311115316.0A CN202311115316A CN117115271A CN 117115271 A CN117115271 A CN 117115271A CN 202311115316 A CN202311115316 A CN 202311115316A CN 117115271 A CN117115271 A CN 117115271A
Authority
CN
China
Prior art keywords
aerial vehicle
unmanned aerial
distance
monocular
external parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311115316.0A
Other languages
English (en)
Inventor
李振宇
马晓静
马思乐
姜向远
栾义忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202311115316.0A priority Critical patent/CN117115271A/zh
Publication of CN117115271A publication Critical patent/CN117115271A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种无人机飞行过程中的双目相机外参数自标定方法及***，该方法包括：采集无人机沿待标定双目相机光轴方向直线飞行时的单目图像序列；对最新采集的前后相邻两帧单目图像进行初始特征对齐，根据无人机的飞行速度，在对齐后的图像中提取感兴趣区域，在感兴趣区域中进行特征匹配和去噪，计算两帧单目图像的单应矩阵，进而计算得到无人机距离障碍物的距离；将无人机距离障碍物的距离与设定阈值进行比较，若距离大于设定阈值，则计算得到外参的旋转量；若距离小于设定阈值，则控制无人机降速飞行直至距离小于等于预设距离，控制无人机悬停并计算外参的平移量。本发明实现了无人机在飞行过程中的双目相机外参数自标定。

Description

无人机飞行过程中的双目相机外参数自标定方法及***
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种无人机飞行过程中的双目相机外参数自标定方法及***。
背景技术
随着半导体技术的发展，视觉传感器在小型无人机上的应用越来越广泛。对于无人机的环境感知，双目视觉传感器相对于激光雷达、毫米波雷达等传感器，具有成本低廉、轻量化、感知信息丰富的优势。一方面，双目视觉能够获得大视场范围下的环境深度信息，可计算各个方向的障碍物距离信息；另一方面，双目视觉能够为目标识别、分割等高级应用提供丰富的图像信息；另外，双目视觉传感器与惯导传感器结合，可非常方便地进行无人机运动状态估计，提供导航信息。
然而，双目视觉在无人机的实际应用过程中，仍存在以下问题：为保证立体成像的精度，双目两个相机对结构连接的刚性要求较高，但即使是刚性连接结构，随着无人机的长时间振动、高低温变化，也会存在形变的情况，导致原先标定的外参数失效，降低立体视觉测距精度；当双目相机的外参失效时，则需要重新标定。而传统的离线标定方法必须借助特制标定板设备，且操作步骤复杂，普通的无人机操作员实施较为困难。
为了解决上述的难题，目前针对无人机双目在线自标定的研究中提出了多种在线自标定方法。其中，多种方法基于极线约束方程，通过滤波/优化方法迭代估计相机外参；另外，部分方法融合IMU(Inertial Measurement Unit,惯性测量单元)惯导数据，借助SLAM(Simultaneous Localization and Mapping,即时定位与地图构建)方法，通过最小化视觉-惯性融合误差，来估计相机的外参。
但是，对于无人机的实际应用场景，上述现有方法都存在一定的限制：对于构建基于极线约束优化的方法，在高空飞行过程中距离障碍物较远，极线约束发生退化；对于融合惯导的标定方法，其并未对两个相机直接建模，而是在最小化视觉-惯性观测误差后，通过计算相机和IMU之间的两个相对姿态，间接计算求得两个相机外参，其精度相对较低。
发明内容
为解决上述现有技术的不足，本发明提供了一种无人机飞行过程中的双目相机外参数自标定方法及***，结合无人机POS(Positioning System Data,定位***数据)信息，借助前后不同时间采集图像的特征匹配来估算障碍物距离，并根据距离远近先后划分两个不同的标定阶段，以此分别计算双目相机外参的旋转量和平移量，实现无人机在飞行过程中的双目相机外参数自标定。本发明所提供的自标定方法能够使得无人机无需场景限制，在正常飞行时即可通过自然景物特征实现在线双目标定，解决现有技术中存在的标定精度差的问题。
第一方面，本公开提供了一种无人机飞行过程中的双目相机外参数自标定方法。
一种无人机飞行过程中的双目相机外参数自标定方法，包括：
采集无人机沿待标定双目相机光轴方向直线飞行时的单目图像序列，并获取无人机的飞行速度；
对最新采集的前后相邻两帧单目图像进行初始特征对齐，根据无人机的飞行速度，在对齐后的图像中提取感兴趣区域，在感兴趣区域中进行特征匹配和去噪，计算两帧单目图像的单应矩阵，进而计算得到无人机距离障碍物的距离；
将无人机距离障碍物的距离与设定阈值进行比较，若距离大于设定阈值，则对最新采集的双目左右图像进行特征匹配和去噪，构建残差项，计算得到外参的旋转量；若距离小于设定阈值，则控制无人机降速飞行直至距离小于等于预设距离，控制无人机悬停并对最新采集的双目左右图像进行特征匹配和去噪，构建残差项，计算外参的平移量。
第二方面，本公开提供了一种无人机飞行过程中的双目相机外参数自标定***。
一种无人机飞行过程中的双目相机外参数自标定***，包括：
数据采集模块，用于采集无人机沿待标定双目相机光轴方向直线飞行时的单目图像序列，并获取无人机的飞行速度；
距离计算模块，用于对最新采集的前后相邻两帧单目图像进行初始特征对齐，根据无人机的飞行速度，在对齐后的图像中提取感兴趣区域，在感兴趣区域中进行特征匹配和去噪，计算两帧单目图像的单应矩阵，进而计算得到无人机距离障碍物的距离；
外参数自标定模块，用于将无人机距离障碍物的距离与设定阈值进行比较，若距离大于设定阈值，则对最新采集的双目左右图像进行特征匹配和去噪，构建残差项，计算得到外参的旋转量；若距离小于设定阈值，则控制无人机降速飞行直至距离小于等于预设距离，控制无人机悬停并对最新采集的双目左右图像进行特征匹配和去噪，构建残差项，计算外参的平移量。
第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述方法的步骤。
第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述方法的步骤。
以上一个或多个技术方案存在以下有益效果：
1、本发明提供了一种无人机飞行过程中的双目相机外参数自标定方法及***，利用图像处理以及多视图几何相关技术，无人机首先通过搭载的双目相机采集前后时刻的单目图像序列，通过图像特征匹配来实时估算障碍物距离；然后根据距离远近，划分两个不同的标定阶段，在两个标定阶段中，构建场景的几何约束信息，通过双目左右图像特征匹配对，构建不同的残差方程，分别对相机外参的旋转、平移进行计算，实现无人机在飞行过程中的双目相机外参数自标定。
2、本发明所提出的飞行过程中双目自标定方法，将求解外参过程分成了两个阶段，在每个阶段都施加不同的约束条件求解最优化问题，能够提升标定的精度和鲁棒性；且在整个飞行并标定的过程中完全无需人员操作，没有场景限制，更加灵活方便，对于无人机平台，这一方法实用性强，具有较广泛的应用前景。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例所述无人机飞行过程中的双目相机外参数自标定方法的整体流程图；
图2为本发明实施例中前后帧单目图像的初始对齐示意图；
图3为本发明实施例中前后帧单目图像特征匹配的示意图；
图4为本发明实施例中双目外参旋转量自标定过程中优化前后的特征匹配示意图；
图5为本发明实施例中双目外参平移量自标定过程中双目左右图像特征匹配示意图；
图6为本发明实施例中自标定前后的视差图对比示意图。
具体实施方式
应该指出，以下详细说明都是示例性的，仅是为了描述具体实施方式，旨在对本发明提供进一步的说明，并非意图限制根据本发明的示例性实施方式。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
为解决现有技术中存在的问题，本实施例提供了一种无人机飞行过程中的双目相机外参数自标定方法，该方法能够适用无人机的实际飞行场景，方便快捷地完成双目相机外参标定。首先在计算过程中，做出以下合理的假设：
1)双目经过出厂标定后，其内参数通常不随双目结构形变而变化，因此在整个标定过程中，认为双目的每个相机内参数(如焦距、光心、畸变系数等)不变；
2)双目基线距离难以随结构形变而变化，即使发生改变，其误差仅会线性影响深度信息，并且基线的误差也不会对极线约束关系造成影响，因此，在整个标定过程中，认为双目的基线长度不变。
在上述假设的前提下，将双目在线标定问题设计为5-tof的外参标定问题，其中，3个自由度为旋转量，2个自由度为平移量。为了便于外参的计算，假定双目左右图像都已经根据标定之前的内、外参数并通过Bouguet方法进行了双目初始校正，因此在本发明中，计算的外参均为相对值，将该外参相对值与标定前的外参旋转、平移叠加即为标定后的新外参。
本实施例所提出的方法中，首先考虑两种不同场景的几何约束信息，当相机视野中的景物距离足够远时，相对于距离值，两个相机之间的平移量足以忽略不计，此时可认为两个成像平面呈单应关系，两个相机之间的外参仅存在旋转量；当相机视野中的景物足够近时，两个相机之间的外参构成了本质矩阵，此时两个成像平面的特征点可通过本质矩阵相关联，借助旋转量和基线长度的约束，求解得到平移量。相对于现有构建本质矩阵求解旋转、平移量的方法，本实施例将求解过程分成了先求解旋转、再求解平移的两个阶段，在每个阶段都施加不同的约束条件求解最优化问题，这一方式更不易陷入局部最优，能够有效提升外参计算的精度和鲁棒性，从而提升远距离测距精度及深度图质量。
本实施例提供了一种无人机飞行过程中的双目相机外参数自标定方法，利用图像处理以及多视图几何相关技术，无人机首先通过搭载的双目相机采集前后时刻的单目(左目或右目，本实施例采用左目)图像序列，通过图像特征匹配来实时估算障碍物距离；然后，根据距离远近，划分两个不同的标定阶段，在两个标定阶段中，构建场景的几何约束信息，通过双目左右图像特征匹配对，构建不同的残差方程，分别对相机外参的旋转、平移进行计算，实现无人机在飞行过程中的自标定。本实施例所提供的一种无人机飞行过程中的双目相机外参数自标定方法，如图1所示，包括以下步骤：
采集无人机沿待标定双目相机光轴方向直线飞行时的单目图像序列，并获取无人机的飞行速度；
对最新采集的前后相邻两帧单目图像进行初始特征对齐，根据无人机的飞行速度，在对齐后的图像中提取感兴趣区域，在感兴趣区域中进行特征匹配和去噪，计算两帧单目图像的单应矩阵，进而计算得到无人机距离障碍物的距离；
将无人机距离障碍物的距离与设定阈值进行比较，若距离大于设定阈值，则对最新采集的双目左右图像进行特征匹配和去噪，构建残差项，计算得到外参的旋转量；若距离小于设定阈值，则控制无人机降速飞行直至距离小于等于预设距离，控制无人机悬停并对最新采集的双目左右图像进行特征匹配和去噪，构建残差项，计算外参的平移量。
本实施例中，结合无人机自身的运动信息和姿态信息，通过对单目序列图像进行图像处理，判定无人机沿飞行方向和障碍物的距离，并根据距离信息，将外参估计分为旋转量估计和平移量估计两阶段，每阶段都对双目左右图像进行特征匹配、残差构建与优化计算，从而分别得到外参旋转量和平移量。
通过下述内容对本实施例所提出的无人机飞行过程中的双目相机外参数自标定方法进行更详细的介绍。
步骤S1、设定无人机的飞行任务，使无人机沿待标定双目相机光轴方向直线飞行，在飞行过程中，实时采集双目相机的左右单目图像序列，同时获取无人机的飞行速度。其中，单目图像序列的前后相邻两帧图单目图像的采集时间间隔基于无人机飞行速度自动设置。
步骤S2、结合无人机POS信息，对最新采集的相邻两帧单目图像进行初始特征对齐，在初始特征对齐的两帧单目图像中，根据无人机的飞行速度向量，进行感兴趣区域(ROI)提取，在ROI内进行特征匹配与去噪，计算两帧单目图像的单应矩阵，并计算无人机和障碍物之间的距离。
具体的，通过对单目序列图像进行图像处理，判定无人机飞行方向的障碍物的距离，包括以下步骤：
步骤S2.1、对前后相邻两帧单目图像进行初始特征对齐，对齐前后两帧单目图像。首先，基于无人机的飞行速度和定位信息，确定单目图像序列的采样时间间隔。以两帧采集周期内的固定飞行距离作为基准，采样时间间隔为：
其中，d为采集周期内固定的飞行距离，v为飞行速度。
然后，结合采集两帧单目图像时的无人机姿态，计算两帧单目图像之间的单应矩阵H1，公式为：
其中，下标n为NED(North East Down)导航坐标系，c为相机坐标系，其中，c0为前帧单目图像对应的相机坐标系，c1为后帧单目图像对应的相机坐标系，二者均为双目的左目相机；Kl为相机内参矩阵(双目左目相机)；考虑到相机-机体坐标系外参的平移量可忽略不计，相机与NED导航坐标系的旋转矩阵可通过相机-机体坐标系外参旋转矩阵(通过相机-IMU标定工具获得，为固定值)与机体-NED导航坐标系的旋转矩阵(通过图像采集时刻对应的无人机俯仰、横滚、偏航角计算获得)计算得到，即/>(下标b为机体坐标系)。
在计算得到H1后，将前帧单目图像(简称前帧图像)进行单应变换，使其与后帧单目图像(简称后帧图像)初始对齐，单应变换的公式为：
M′1＝H1.M1
其中，M1为前帧图像原图，M′1为其经过单应变换后的图像。对齐前后的示意图如图2所示。经过单应对齐后，前帧图像的视轴方向与后帧图像一致。
步骤S2.2、基于对齐后的前后两帧单目图像，根据无人机的飞行速度向量，计算面积缩放系数。
首先，将NED导航坐标系下的飞行速度向量Vn，映射至后帧图像的像素坐标系中，公式为：
其中，(u_speed,v_speed)为飞行速度向量Vn映射到后帧单目图像的映射点像素坐标，s为尺度因子，下标i1为后帧双目左目的图像坐标系。
然后，在后帧图像中，以该映射点为中心选取合适大小的区域半径，公式如下：
其中，f为焦距(单位为像素)，θfov为感兴趣范围的视场角(可为10°～20°)，radius为区域半径(单位为像素)。
通过上述区域半径，确定感兴趣区域，之后在感兴趣区域内提取特征点集。对于特征点的提取与描述符的构建，可采用ORB/SURF算法等特征提取算法。
接着，对前后帧单目图像进行特征点匹配。为了提升匹配准确率，一方面在视角对齐的基础上，限制匹配搜索范围；另一方面，设计一种简单的循环匹配机制，即将后帧图像特征点匹配到前帧图像，确定前帧图像特征点，再将该前帧图像特征点再次匹配到后帧图像，确定后帧图像特征点，然后在后帧图像中，计算匹配前后两个后帧图像特征点像素坐标的欧氏距离，若低于阈值则认为匹配成功。
之后，基于前后两帧单目图像的多个匹配点，计算单应矩阵，并通过RANSAC(随机采样一致性)方法滤除误匹配点。前后帧图像特征匹配的示意图如图3所示。在图3中，基于SURF的方法对前后帧图像进行特征匹配并去噪，并在后帧图像中叠加特征匹配结果。后帧图像的特征点通过空心圆圈标识，并通过线段标识出与前帧图像的特征匹配对；另外，通过实心圆点标识出速度向量的投影点，并通过矩形框表示感兴趣区域。
最后，由于前后两帧图像经过了初始对齐，经过对齐后，两帧图像的单应矩阵近似地退化为相似变换矩阵，因此，只需计算单应矩阵左上角2*2的旋转矩阵的行列式，即可得到前帧-后帧两帧图像的面积缩放系数S。
步骤S2.3、基于采集前后两帧单目图像之间的无人机飞行距离以及前后两帧单目图像的面积缩放系数，计算得到无人机和障碍物之间的距离。
根据针孔成像模型，结合采集前后两帧单目图像之间的无人机飞行距离d(基于无人机定位信息获取)，可得到下述公式，为：
其中，D为障碍物距离，S为先前得到的面积缩放系数。
步骤S3、将无人机距离障碍物的距离与设定阈值进行比较，判定无人机距离障碍物的距离是否大于设定阈值，若足够远(即距离大于设定阈值)则满足旋转外参标定条件，此时进行外参旋转量的计算，即对双目左右图像进行特征匹配和去噪，并构建残差项，计算外参的旋转量；若距离小于设定阈值且并未完成旋转量的计算，则需改变飞行方向，重新执行上述步骤，重新开始标定。
在本实施例中，得到该无人机距离障碍物的距离后，判断其是否大于设定阈值(如设定阈值为100m)，当大于设定阈值时，则认为无人机距离障碍物足够远。对于经过双目校正后的左右图像，此时左右图像的特征点对应当满足以下单应关系：
其中，(u_feature,v_feature)为特征点像素坐标，s为尺度因子，Kb为经过双目校正后的双目内参矩阵(通过Bouguet算法计算得到，左右相机内参一致)；下标i1为后帧双目左目的图像坐标系，c1为后帧双目左目的相机坐标系；i1’为后帧双目右目图像坐标系，c1’为后帧双目右目相机坐标系,为双目两个相机坐标系之间的旋转外参矩阵。
在外参的旋转矩阵计算过程中，对最新采集的双目左右图像进行特征匹配和去噪，构建残差项并通过不断迭代优化求解得到旋转量，包括：
首先，在左目图像的感兴趣区域内提取shi-tomasi角点集(采用Shi-Tomasi角点检测算法)，并对左右目图像通过LK光流算法(Lucas–Kanade光流算法，一种两帧差分的光流估计算法)进行特征点匹配。与上述前后单目图像的特征匹配处理相似，采用循环匹配机制提升匹配准确率。
然后，对左右目图像的多个匹配点，计算左右目图像之间的单应矩阵并基于RANSAC方法滤波去噪，得到匹配内点集；
接着，对匹配内点集的每一对匹配点，根据单应关系构建残差项。为便于构建无约束的最优化问题，使用李代数表示旋转量，则残差表达式为：
其中，下标k为匹配点对的索引。根据上述残差表达式，构建最优化求解问题，为：
其中，m为匹配点对的个数，||||2表示向量的二范数。
最后，在李代数流形空间对旋转量施加扰动，构建残差关于旋转量的导数，通过高斯-牛顿方法，在李代数流形空间迭代优化求解旋转量。当残差收敛到足够小时，计算完毕。
进一步的，由于该旋转量为相对值，此时与初始的外参旋转矩阵相乘即可得到自标定后的外参旋转矩阵。旋转量优化前后的左右图像特征匹配示意图如图4所示。由图4可见，优化前的左右目图像的匹配特征存在明显的距离误差(即重投影误差)，而优化后，其误差收敛到足够小的值，特征点基本重合。
步骤S4、当完成上述旋转量的计算后，控制无人机持续飞行直至距离小于设定阈值，此时控制无人机降速飞行直至距离小于等于预设距离，在降速飞行的过程中，通过单目和双目的协同障碍物距离计算，确保无人机飞行安全；当无人机飞行至距离小于等于预设距离时，则控制无人机悬停并对最新采集的双目左右图像进行特征匹配和去噪，构建残差项，计算外参的平移量。
在外参的平移量计算过程中，对最新采集的双目左右图像进行特征匹配和去噪，构建残差项，计算外参的平移量，包括以下步骤：
首先，在左目图像的感兴趣区域内提取shi-tomasi角点集，并对左右目图像通过LK光流进行特征点匹配。与上述前后单目图像的特征匹配处理相似，采用循环匹配机制提升匹配准确率。
然后，对左右图像的多个匹配点，基于7点法或8点法计算基础矩阵，并基于RANSAC方法去噪，通过计算基础矩阵并结合RANSAC，得到匹配内点集。左右图像的特征匹配内点集示意图如图5所示。
接着，对内点集的每一对匹配点，根据极线约束关系，可得残差项(或残差方程)为：
其中，tx、ty、tz为待求外参平移量在x、y、z方向的分量(基于左目相机坐标系)，为待求的外参平移量/>的反对称矩阵。此处由于双目图像经过了双目校正，且外参旋转量已经经过了第一阶段的自标定，可认为此时左右相机光轴平行，因此R为单位矩阵。将其带入残差项，可得：
其中，为右目图像特征点的归一化坐标，/>为左目图像特征点的归一化坐标。由于平移量缺乏真实尺度，为了计算得到ty、tz，对平移量的tx约束为初始标定的基线长度，对其进行展开后，可得：
通过n对特征匹配点(n≥3)，构建超定方程如下：
上述超定方程为Ax＝b形式，其中x为直接通过以下公式，计算线性最小二乘解，得到/>为：
x＝(ATA)-1ATb
此处得到的平移量，是在利用原先外参进行校正后的双目相机坐标系下计算所得，是相对于原先标定外参平移量的增量。因此将ty、tz与原先标定外参的ty、tz叠加可得到新的外参平移量，以此完成整个自标定过程。相对于标定之前，双目的视差图质量会明显提升。以室内场景为例，双目自标定前后的视差图效果对比的示意图如图6所示。
在本实施例中，无人机为了完成第二阶段的标定计算，需持续飞行至足够靠近障碍物，在这一无人机飞行阶段，该阶段需要保证无人机的飞行安全，具体方法包括：
在该阶段降低无人机飞行速度，并采用单目、双目障碍物感知方法对障碍物距离进行计算。
对于单目障碍物感知方法，首先采集单目前后帧图像序列，采用上述步骤S2的方法计算障碍物距离信息。考虑到当无人机距离障碍物场景比较近时，场景的复杂几何结构通常容易导致单应性退化，因此在计算单应矩阵过程中，通过RANSAC算法迭代去噪，计算内点-外点数量的比例，判断单应矩阵的质量，当内外点集的比例低于阈值时，则认为场景已不满足单应性，此时采用双目视觉对障碍物计算；对于双目障碍物感知方法，在计算过程中，采用第一阶段计算得到的旋转量以及原外参平移量作为外参，基于Bouguet方法对双目图像进行校正，并通过SGBM(simi-global matching)方法计算视差图；然后，在视差图中，将飞行速度向量映射至视差图图像的像素坐标系下，确定ROI区域范围，并在ROI中将每个像素的视差值disparity映射为深度，公式为：
其中，stereo_为双目基线长度，focal为相机焦距。
映射后，统计ROI中的深度值直方图，在直方图中，横坐标为多个深度值区间(以1m为步进值间隔)，纵坐标为每个深度区间的像素数目分布。对超过阈值像素数量的深度区间集合，计算深度区间的最小值，将该深度区间的上下限平均值作为最近障碍物的距离值。
对于上述两种方法，优先采用单目序列图像匹配计算障碍物距离信息，并在场景单应性失效情况下，采用双目匹配计算障碍物距离信息。虽然双目的平移外参并未经过标定，生成的视差图并非质量最优，但SGBM方法具有一定的错误匹配容忍度，在飞行速度较慢的情况下，同时通过设置合适的双目块匹配参数如窗口大小、置信度等，其视差图的质量也足以满足近距离测距的精度要求。
考虑到无人机在双目视觉***的出厂标定参数容易因长期震动、高低温变化而失效，从而造成双目匹配出现误差，对于普通操作人员而言，再次进行离线的双目标定步骤繁琐、时间成本高，为此，本实施例在合理假设双目内参及基线不变的前提下，基于图像处理、多视图几何、最优化等知识，结合飞行POS信息，通过对自然景物的特征匹配，一方面计算和障碍物距离，保证飞行安全的同时根据距离将标定划分为两个阶段；另一方面，在每个阶段都对左右图像进行特征匹配，并构建不同的残差方程，通过不同方法分别求解外参旋转、平移参数。最终，本实施例所提出的方法仅依靠持续一段时间的飞行，即可完成双目外参数的在线标定。
本实施例所提出的飞行过程中双目自标定方法，将求解外参过程分成了两个阶段，在每个阶段都施加不同的约束条件求解最优化问题，能够提升标定的精度和鲁棒性；且在整个飞行并标定的过程中完全无需人员操作，没有场景限制，更加灵活方便，对于无人机平台，这一方法实用性强，具有较广泛的应用前景。
实施例二
本实施例提供了一种无人机飞行过程中的双目相机外参数自标定***，包括：
数据采集模块，用于采集无人机沿待标定双目相机光轴方向直线飞行时的单目图像序列，并获取无人机的飞行速度；
距离计算模块，用于对最新采集的前后相邻两帧单目图像进行初始特征对齐，根据无人机的飞行速度，在对齐后的图像中提取感兴趣区域，在感兴趣区域中进行特征匹配和去噪，计算两帧单目图像的单应矩阵，进而计算得到无人机距离障碍物的距离；
外参数自标定模块，用于将无人机距离障碍物的距离与设定阈值进行比较，若距离大于设定阈值，则对最新采集的双目左右图像进行特征匹配和去噪，构建残差项，计算得到外参的旋转量；若距离小于设定阈值，则控制无人机降速飞行直至距离小于等于预设距离，控制无人机悬停并对最新采集的双目左右图像进行特征匹配和去噪，构建残差项，计算外参的平移量。
实施例三
本实施例提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成如上所述的一种无人机飞行过程中的双目相机外参数自标定方法中的步骤。
实施例四
本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成如上所述的一种无人机飞行过程中的双目相机外参数自标定方法中的步骤。
以上实施例二至四中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
以上所述仅为本发明的优选实施例，虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种无人机飞行过程中的双目相机外参数自标定方法，其特征是，包括：
采集无人机沿待标定双目相机光轴方向直线飞行时的单目图像序列，并获取无人机的飞行速度；
对最新采集的前后相邻两帧单目图像进行初始特征对齐，根据无人机的飞行速度，在对齐后的图像中提取感兴趣区域，在感兴趣区域中进行特征匹配和去噪，计算两帧单目图像的单应矩阵，进而计算得到无人机距离障碍物的距离；
将无人机距离障碍物的距离与设定阈值进行比较，若距离大于设定阈值，则对最新采集的双目左右图像进行特征匹配和去噪，构建残差项，计算得到外参的旋转量；若距离小于设定阈值，则控制无人机降速飞行直至距离小于等于预设距离，控制无人机悬停并对最新采集的双目左右图像进行特征匹配和去噪，构建残差项，计算外参的平移量。
2.如权利要求1所述的一种无人机飞行过程中的双目相机外参数自标定方法，其特征是，对前后相邻两帧单目图像进行初始特征对齐，对齐前后两帧单目图像，包括：
基于无人机的飞行速度和定位信息，确定单目图像序列的采样时间间隔；
基于采样时间间隔，采集两帧单目图像时的无人机姿态，计算两帧单目图像之间的单应矩阵；
基于两帧单目图像之间的单应矩阵，对前帧单目图像进行单应变换，将前帧单目图像与后帧单目图像初始对齐。
3.如权利要求1所述的一种无人机飞行过程中的双目相机外参数自标定方法，其特征是，计算无人机距离障碍物的距离，包括：
基于初始对齐后的前后两帧单目图像，根据无人机的飞行速度向量，计算面积缩放系数；
基于采集前后两帧单目图像之间的无人机飞行距离以及前后两帧单目图像的面积缩放系数，计算得到无人机和障碍物之间的距离。
4.如权利要求3所述的一种无人机飞行过程中的双目相机外参数自标定方法，其特征是，计算面积缩放系数，包括：
将NED导航坐标系下的飞行速度向量映射至后帧图像的像素坐标系中，在后帧图像中，以映射点为中心，确定感兴趣区域并在感兴趣区域内提取特征点集；
对前后帧单目图像进行特征点匹配，基于前后两帧单目图像的多个匹配点，计算单应矩阵；
基于单应矩阵左上角2*2的旋转矩阵的行列式，计算得到前后帧两帧单目图像的面积缩放系数。
5.如权利要求1所述的一种无人机飞行过程中的双目相机外参数自标定方法，其特征是，计算外参的旋转量，包括：
在左目图像的感兴趣区域内提取shi-tomasi角点集，并对左右目图像通过LK光流算法进行特征点匹配；
对左右目图像的多个匹配点，计算左右目图像之间的单应矩阵并基于RANSAC方法滤波去噪，得到匹配内点集；
对匹配内点集的每一对匹配点，根据单应关系，构建残差方程；
在李代数流形空间对旋转量施加扰动，构建残差关于旋转量的导数，通过高斯-牛顿方法，在李代数流形空间迭代优化求解旋转量，当残差收敛到设定值时，计算得到外参的旋转量；
将计算得到外参的旋转量与初始的外参旋转矩阵相乘，得到自标定后的外参旋转矩阵。
6.如权利要求5所述的一种无人机飞行过程中的双目相机外参数自标定方法，其特征是，计算外参的平移量，包括：
在左目图像的感兴趣区域内提取shi-tomasi角点集，并对左右目图像通过LK光流进行特征点匹配；
对左右图像的多个匹配点，基于7点法或8点法计算基础矩阵，并基于RANSAC方法滤波去噪，得到匹配内点集；
对匹配内点集的每一对匹配点，根据极线约束关系，并将更新后的外参旋转矩阵作为约束，构建超定方程；
对待求外参平移量的x方向分量的约束为初始标定的基线长度，通过求解线性最小二乘解，得到外参的平移量；
将计算得到的外参平移量与初始的外参平移量叠加，得到最终的外参平移量。
7.一种无人机飞行过程中的双目相机外参数自标定***，其特征是，包括：
数据采集模块，用于采集无人机沿待标定双目相机光轴方向直线飞行时的单目图像序列，并获取无人机的飞行速度；
距离计算模块，用于对最新采集的前后相邻两帧单目图像进行初始特征对齐，根据无人机的飞行速度，在对齐后的图像中提取感兴趣区域，在感兴趣区域中进行特征匹配和去噪，计算两帧单目图像的单应矩阵，进而计算得到无人机距离障碍物的距离；
外参数自标定模块，用于将无人机距离障碍物的距离与设定阈值进行比较，若距离大于设定阈值，则对最新采集的双目左右图像进行特征匹配和去噪，构建残差项，计算得到外参的旋转量；若距离小于设定阈值，则控制无人机降速飞行直至距离小于等于预设距离，控制无人机悬停并对最新采集的双目左右图像进行特征匹配和去噪，构建残差项，计算外参的平移量。
8.如权利要求7所述的一种无人机飞行过程中的双目相机外参数自标定***，其特征是，对前后相邻两帧单目图像进行初始特征对齐，对齐前后两帧单目图像，包括：
基于无人机的飞行速度和定位信息，确定单目图像序列的采样时间间隔；
基于采样时间间隔，采集两帧单目图像时的无人机姿态，计算两帧单目图像之间的单应矩阵；
基于两帧单目图像之间的单应矩阵，对前帧单目图像进行单应变换，将前帧单目图像与后帧单目图像初始对齐。
9.一种电子设备，其特征是，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成如权利要求1-6中任一项所述的一种无人机飞行过程中的双目相机外参数自标定方法的步骤。
10.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成如权利要求1-6中任一项所述的一种无人机飞行过程中的双目相机外参数自标定方法的步骤。
CN202311115316.0A 2023-08-31 2023-08-31 无人机飞行过程中的双目相机外参数自标定方法及*** Pending CN117115271A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311115316.0A CN117115271A (zh) 2023-08-31 2023-08-31 无人机飞行过程中的双目相机外参数自标定方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311115316.0A CN117115271A (zh) 2023-08-31 2023-08-31 无人机飞行过程中的双目相机外参数自标定方法及***

Publications (1)

Publication Number Publication Date
CN117115271A true CN117115271A (zh) 2023-11-24

Family

ID=88799852

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311115316.0A Pending CN117115271A (zh) 2023-08-31 2023-08-31 无人机飞行过程中的双目相机外参数自标定方法及***

Country Status (1)

Country Link
CN (1) CN117115271A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117495698A (zh) * 2024-01-02 2024-02-02 福建卓航特种设备有限公司 飞行物识别方法、***、智能终端及计算机可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117495698A (zh) * 2024-01-02 2024-02-02 福建卓航特种设备有限公司 飞行物识别方法、***、智能终端及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN110068335B (zh) 一种gps拒止环境下无人机集群实时定位方法及***
CN110070615B (zh) 一种基于多相机协同的全景视觉slam方法
CN106529495B (zh) 一种飞行器的障碍物检测方法和装置
CN109166149B (zh) 一种融合双目相机与imu的定位与三维线框结构重建方法与***
CN110728715B (zh) 一种智能巡检机器人摄像机角度自适应调整方法
CN110033489B (zh) 一种车辆定位准确性的评估方法、装置及设备
CN104732518B (zh) 一种基于智能机器人地面特征的ptam改进方法
CN107341814B (zh) 基于稀疏直接法的四旋翼无人机单目视觉测程方法
CN112304307A (zh) 一种基于多传感器融合的定位方法、装置和存储介质
CN106873619B (zh) 一种无人机飞行路径的处理方法
CN111258313A (zh) 多传感器融合slam***及机器人
CN110176032B (zh) 一种三维重建方法及装置
CN110319772B (zh) 基于无人机的视觉大跨度测距方法
CN107390704B (zh) 一种基于imu姿态补偿的多旋翼无人机光流悬停方法
CN113850126A (zh) 一种基于无人机的目标检测和三维定位方法和***
CN112669354B (zh) 一种基于车辆非完整约束的多相机运动状态估计方法
CN116222543B (zh) 用于机器人环境感知的多传感器融合地图构建方法及***
CN105844692A (zh) 基于双目立体视觉的三维重建装置、方法、***及无人机
CN113503873B (zh) 一种多传感器融合的视觉定位方法
CN114897988B (zh) 一种铰链式车辆中的多相机定位方法、装置及设备
CN114638897B (zh) 基于无重叠视域的多相机***的初始化方法、***及装置
CN117115271A (zh) 无人机飞行过程中的双目相机外参数自标定方法及***
CN116128966A (zh) 一种基于环境物体的语义定位方法
CN114812558A (zh) 一种结合激光测距的单目视觉无人机自主定位方法
CN112945233A (zh) 一种全局无漂移的自主机器人同时定位与地图构建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination