CN111274959A - 一种基于可变视场角的加油锥套位姿精确测量方法 - Google Patents

一种基于可变视场角的加油锥套位姿精确测量方法 Download PDF

Info

Publication number
CN111274959A
CN111274959A CN202010065420.3A CN202010065420A CN111274959A CN 111274959 A CN111274959 A CN 111274959A CN 202010065420 A CN202010065420 A CN 202010065420A CN 111274959 A CN111274959 A CN 111274959A
Authority
CN
China
Prior art keywords
camera
taper sleeve
image
target
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010065420.3A
Other languages
English (en)
Other versions
CN111274959B (zh
Inventor
王宏伦
阮文阳
李娜
王延祥
左芝勇
康荣雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
CETC 10 Research Institute
Original Assignee
Beihang University
CETC 10 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University, CETC 10 Research Institute filed Critical Beihang University
Publication of CN111274959A publication Critical patent/CN111274959A/zh
Application granted granted Critical
Publication of CN111274959B publication Critical patent/CN111274959B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明是一种基于可变视场角技术的加油锥套位姿精确测量方法，用于自动空中加油。本发明包括：用高亮LED标志灯标记锥套，构建被测目标；选取三组不同视场角的双目相机采集锥套目标图像；采用YOLO v2模型训练检测锥套目标的模型，用于相机首帧图像中锥套目标检测；对相机采集的图像提取感兴趣区域(ROI)，计算ROI图像中各标志灯的质心坐标；将双目相机左右图像的标志灯进行匹配，获得标志灯在左相机坐标系下的空间坐标，计算输出锥套的位姿信息。本发明对30米范围内的锥套测量精度在x、y向达到5cm以内，z向精度达到0.03×距离，测角精度达到0.5°，实现较高精度测量，且满足空中加油锥套测量的实时性要求。

Description

一种基于可变视场角的加油锥套位姿精确测量方法
技术领域
本发明涉及一种基于可变视场角技术的加油锥套位姿精确测量方法，属于机器视觉技术、自动空中加油等领域。
背景技术
当今时代，无人机技术发展迅速，无人机越来越多的被用于执行军事任务。但是对于无人机而言，体积相对较小，起飞时携带的燃料有限，造成无人机的留空时间短、限制了无人机的航程。无人机自动空中加油技术可以有效解决这一矛盾，在空中实现对无人机的燃油补给，使无人机免于频繁返回基地补充燃油，从而大大提高无人机的航程与留空时间。为了实现无人机自动空中加油，则必须实时准确地获得加油锥套的位姿信息，为无人机提供引导信息。
对于自动空中加油过程中的视觉导航，国内外学者也有一定的研究。现有的对图像中锥套检测方法，由于光照、天气情况的影响，无法准确快速地检测识别出锥套，给出锥套在图像中的具***置。单一视场角相机的测量方法，锥套在图像中的大小随着锥套距离的增加逐渐减小，对锥套目标的测量精度较差。在锥套上设置合作目标，在图像中进行特征点的匹配，然而特征点数量较多，匹配耗时长，使位姿信息的刷新频率较低，无法满足实时性要求。
基于上述分析，对于加油锥套位姿测量的解决方案，须满足如下三个要求：
(1)在首帧快速准确地检测识别出加油锥套，获取锥套在图像中的位置；
(2)较为准确地测量出锥套目标的位姿信息，提供相对准确的视觉引导信息；
(3)加油锥套位姿测量算法处理时间尽可能短，满足实时性的要求。
发明内容
本发明针对现有技术无法准确快速检测识别出锥套、测量精度差、匹配耗时、无法满足实时性要求等问题，提供了一种基于可变视场角的加油锥套位姿实时精确测量方法，满足上述要求。本发明采用高亮LED灯对锥套目标进行标记，基于深度学习YOLO v2算法对首帧图像中的锥套进行检测与识别，截取感兴趣区域(ROI)进行图像处理，提取标志灯在左右图像中的质心坐标并进行匹配，根据双目视觉原理计算得到标志灯的三维空间位置，从而求解出锥套的空间位姿。
本发明提供的基于可变视场角的加油锥套位姿精确测量方法，包括如下步骤：
步骤一：采用高亮LED灯对锥套进行标记，构建被测锥套目标；
步骤二：选取三组视场角不同的相机平行安装到相机支架，将相机USB接口接至图像采集与处理一体化板卡NVIDIA Jetson TX2；实验时，将相机支架固定在三脚架上，在实际测量时将相机支架固定安装在受油机上；根据锥套的距离选取视场角不同的双目相机采集锥套的图像；
步骤三：调节相机曝光度，在多种背景、角度下，采用三种视场角不同的相机采集锥套目标的图像，对图像中的锥套目标标注，制作用于训练深度学习模型的数据集；
步骤四：使用YOLO v2模型作为深度学习模型，利用步骤三的训练数据集训练用于检测识别加油锥套的YOLO v2模型；以步骤三中的训练数据集作为输入，在装有4块NVIDIAGTX1080Ti显卡的Linux服务器上进行训练，得到用于检测识别加油锥套目标的深度学习YOLO v2模型；
步骤五：相机采集图像，使用YOLO v2算法对首帧图像进行检测与识别，输出锥套目标在图像中的位置；在采集图像时，首先使用中视场角的相机进行拍摄，通过YOLO v2模型检测识别出锥套目标，根据目标远近选取合适视场角的相机进行目标跟踪；
步骤六：感兴趣区域(ROI)截取。对首帧图像，根据步骤五中输出的锥套目标在图像中的位置信息，将锥套所在边界框适当向四周扩大，得到ROI。对非首帧图像，根据上一帧图像中锥套目标的感兴趣区域进行适当扩大，得出当前帧的ROI；
步骤七：将步骤六获取的ROI图像从RGB格式转换成单通道灰度图像，对灰度图像进行阈值化处理，得到包含标志灯的二值图像；
步骤八：对步骤七得到的二值图提取连通域，采用质心法提取标志灯的质心坐标，将标志灯的质心坐标在ROI图像中的坐标转换成在整幅图像中的坐标；
步骤九：将双目相机左右两幅图像的标志灯进行匹配，根据双目视觉原理进行三维重建，计算出标志灯在左相机坐标系下的空间位置；
步骤十：根据步骤九中标志灯的空间位置，计算锥套的空间位置和姿态信息，根据非线性滞环特性的相机切换原则对三组双目相机进行切换。
其中，对每组视场角，选取基平面，基平面的选取方法为：将加油锥套放置于相机的正前方位置处，调节锥套的姿态使标志灯所在平面与相机光轴保持垂直，此时标志灯所在的空间平面为基平面；计算每个标志灯位置(xi,yi,zi)与基平面的相对Z向距离dzi，i为标志灯的标号；使用新的标志灯坐标(xi,yi,dzi)拟合空间平面得到锥套标志灯所在的空间平面，获取所得空间平面的法向量，得到锥套相对于左相机的俯仰角和偏航角。
本发明与现有技术相比，具有以下优势和积极效果：
(1)传统方案固定视场角的情况下，随着锥套距离增加，锥套在图像中所占的尺寸也减小，会大大降低测量的精度，因此只选取一组固定视场角的相机无法满足测量精度的要求。最理想的情况是让相机能够实时连续变焦，让锥套在图像中始终保持合适的大小，但是市面上可以连续变焦的相机无法得到相机准确的内参，连续变焦的相机内参的不确定性直接会造成很大的测量误差，因此连续变焦的方案也不可行。本发明采用视场角(47.5°、24.9°、11.5°)不同的相机，根据锥套的远近，分别选取视场角不同的三组相机采集锥套的图像，进而使锥套在图像中的尺寸尽量在一个合理的范围内，因此可以大大提高测量精度，实现对加油锥套位置和姿态的高精度测量，使对锥套的探测距离达到30m。此外，双目相机的基线可以调节，相机可以更换镜头从而改变视场角，使得探测距离可以延长，因此本发明测量技术具有可扩展性。
(2)本发明采用视场角不同的相机，在首帧图像搜寻目标时，选取中视场角的相机进行搜寻目标，能够兼顾远处和近处，即使目标距离相对较远也能够快速识别出来，粗略判断目标远近之后切换至合适视场角的相机进行目标跟踪，解决了对锥套目标大范围搜索和小范围跟踪之间的矛盾。本发明采用深度学习YOLO v2算法在首帧快速准确的检测识别出锥套，获取目标在图像中的位置，对锥套检测的鲁棒性强。本发明使用深度学习目标检测与感兴趣区域图像跟踪相结合进行加油锥套检测与跟踪，在首帧深度学习检测，非首帧进行跟踪，并仅对ROI区域图像进行图像处理，大大提高了***运行的快速性。
(3)本发明提出非线性滞环特性的相机切换原则对相机进行合理地切换，避免了在临界距离处相邻两组视场角相机之间的频繁切换。本发明使对锥套的探测距离达到30m，同时大大提高了测量精度，满足了空中加油过程中对锥套目标测量的精度要求。相机本身的加工误差、锥套制作的加工误差、标识灯安装的误差、视觉传感器调平校准过程中人为带来的误差、相机支架的加工误差等这些***静差会对***的测角精度造成影响。为了提高***的测角精度，引入了基平面方法来分析***静差对测角精度的影响。通过选取基平面，计算锥套相对于基平面的姿态变化，最终提高了测角精度。
(4)本发明采用的相机具有高分辨率、高采集帧率，且TX2对双目相机进行图像采集时，采用USB3.0进行数据传输，使得***的实时性大大提高。锥套目标位于近距离6m内、中距离6m-11m、远距离11m-30m下，测量数据的刷新频率分别为80Hz、60Hz、40Hz，满足了空中加油过程中对锥套测量的实时性要求。此外，采用了高亮的LED灯，且相机曝光度可调节，使得在相机所拍摄的图像中标志灯十分明显，周围环境几乎被过滤，有效减少了周围环境的干扰，在个别标志灯被遮挡的情况下，也可以通过椭圆拟合与平面拟合测得锥套的位姿。
附图说明
图1是本发明的加油锥套位姿测量方法的整体流程图；
图2是采用高亮LED灯标记过的锥套目标实物图，(a)是未点亮标志灯状态，(b)是点亮标志灯状态；
图3是三组不同的视场角的示意图；
图4是相机安装的示意图；
图5是相机安装的实物图，(a)是正面图，(b)是侧面图；
图6是训练深度学习模型所需的数据集的部分图片；
图7是锥套的检测过程；
图8是对实物锥套的检测效果图，(a)～(f)分别是在六个不同的背景下的检测效果；
图9是首帧图像ROI区域选取示意图；
图10是非首帧图像ROI区域选取示意图；
图11是某次实验过程中手机所拍摄的实际场景图；
图12是某次实验过程中调节过曝光度的相机所拍摄的图像；
图13是某次实验中截取的ROI区域原图；
图14是某次实验中标志灯提取的结果图；
图15是标记点在ROI图像中的坐标转换成在整幅图像中的坐标示意图；
图16是双目视觉三角测量的原理图；
图17是锥套在左相机坐标系下的空间姿态表示图；
图18是非线性滞环特性的相机切换原则示意图；
图19是在每个距离段需要测量的点位示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图对本发明作进一步的详细和深入描述。
本发明的基于可变视场角的加油锥套位姿精确测量方法中，所基于的测量装置的主要组成包括由三对视场角不同的相机所构成的双目相机组件以及图像采集与处理一体化板卡NVIDIA Jetson TX2。如图1所示，本发明的基于可变视场角的加油锥套位姿精确测量方法，分为如下十个步骤来说明。
步骤一：采用高亮LED灯对锥套进行标记，构建被测锥套目标。
设计并加工锥套目标模型，将N个高亮LED灯均匀布置在锥套环上，构建被测锥套目标。N为正整数，至少取值为5，优选为8。如图2所示，本发明实施例采用8个高亮LED灯对锥套进行标记，8个高亮LED灯均匀分布于锥套环上，本发明实施例实验时使用支架支撑锥套并安装于底座之上。
步骤二：将6个相机平行安装到相机支架，固定在三脚架上，将相机USB接口接至图像采集与处理一体化板卡NVIDIA Jetson TX2。
为了提高对30米范围内加油锥套位姿的测量精度，本发明选取三组视场角不同的相机，分别为47.5°大视场角、24.9°中视场角和11.5°小视场角的相机，如图3所示。根据距离远近自动选取合适视场角的相机，使锥套在图像中的尺寸尽量在一个合理的范围内，大大提高了锥套的测量精度。
三组相机接入图像采集与处理一体化板卡NVIDIA Jetson TX2，启动测量***开始运行，首先是选取24.9°视场角的一组双目相机获取锥套的图像，根据深度学习对首帧图像检测框选出锥套目标的像素尺寸推测出锥套的大概距离，根据这个距离值切换到合适视场角的相机。
在目标跟踪的状态下，依据非线性滞环特性的相机切换原则对三组相机进行切换。在测量过程中，每次只需要一组相同视场角的相机采集图像，其他两组相机处于待机状态，大、中、小视场角的三组相机分别负责近距离6m内、中距离6m-11m、远距离11m-30m三种距离段的锥套测量。
本发明实施例选取的三组相机是大恒水星系列相机MER-230-168U3C、MER-301-125U3C、MER-502-79U3C，采集帧率分别为168fps、125fps、80fps，图像分辨率分别为1920×1200、2048×1536、2448×2048。
相机安装方式如图4所示，将6个相机依次排列，平行安装到相机支架上，以竖直点划线为轴，左右分别两两构成一组双目相机，从中间到两边依次是大视场角相机L1和R1、中视场角相机L2和R2、小视场角相机L3和R3，6个相机在支架上的位置连续可调。本发明实施例中，通过快装板将相机支架安装到三脚架上固定，平行相机安装完成的实物如图5所示，相机支架上预留了安装孔位，可以根据需要进行机载安装。本发明实施例中设置大、中、小视场角的双目相机的基线分别为191.5mm、270.3mm、352.3mm。本发明实施例中设计的相机支架的长度为60cm。
将相机USB接口接至图像采集与处理一体化板卡NVIDIA Jetson TX2，双目相机采集的图像可通过USB接口直接传输到图像采集与处理一体化板卡内。
步骤三：调节相机曝光度，在多种背景、角度下利用三种视场角不同的相机采集2000张锥套目标的图像，对图像中锥套进行标注，制作用于训练深度学习模型的数据集。
本发明采用深度学习YOLO v2算法检测锥套，为了训练用于检测加油锥套的深度学习YOLO v2模型，需要准备相应的数据集。为了提高模型对环境的适应性，在实际环境下，使用三种视场角的相机在多种天气、多种角度拍摄锥套，采集实物锥套的图像。之后对加油锥套进行标注，人工标注出锥套目标的位置并赋予种类标签，种类标签标记是否为锥套目标，保存到文件中供深度学习YOLO v2模型训练使用。本发明实施例中准备了包含2000张图片的数据集，数据集的部分图片如图6所示。
步骤四：以步骤三中的数据集作为输入，在装有4块NVIDIA GTX1080Ti显卡的Linux服务器上进行训练，得到用于检测识别加油锥套的深度学习YOLO v2模型。
步骤五：对相机每次工作拍摄的首帧图像，使用训练好的YOLO v2模型进行目标检测与识别，输出锥套目标在图像中的位置。
将待检测的图像作为输入，运行深度学习YOLO v2模型，可以检测图像中的锥套目标，框选出图片中的锥套，输出锥套目标在图像中的位置参数，锥套检测的基本过程如图7所示，包括图像大小变换(Resize image)，进行卷积网络(convolutional network)处理，非极大值抑制(Non-max suppression)处理。
为了验证对锥套的检测效果，在实际环境中采集了多种背景下实物锥套的图像，准备了数量为1500张包含锥套目标的图片作为测试集。以测试集(不包含训练集中的图片)作为输入，运行YOLO v2模型网络对锥套进行检测与识别，实物锥套仅有52张图片检测失败，检测的准确度达到了94.8％。其中检测失败的图片多为锥套与相机的相对距离过远，锥套目标在图像中所占的尺寸过小，导致检测失败。锥套检测效果部分结果如图8所示。
本发明试验时，选用YOLO v2的简化模型tini-yolo模型。为了测试本发明中所选用的tini-yolo模型的检测速度，选用了分辨率为1920×1200的图像，在不同配置机器上的检测速度如表1所示。
表1不同配置机器检测速度比对
Figure BDA0002375825070000061
YOLO v2模型的检测速度与机器的配置有一定关系，其中主要与NVIDIA显卡中的CUDA核心数量有关，在台式机1、台式机2检测速度分别达到286fps、142fps，满足了实时检测的要求。本发明中使用NVIDIA Jetson TX2仅在首帧进行检测，非首帧进行目标跟踪。
本发明先选取中视场角的相机拍摄，通过YOLO v2模型快速准确的检测识别出锥套目标，然后粗略判断目标远近之后切换至合适视场角的相机进行目标跟踪。本发明采用视场角不同的相机，能够兼顾远处和近处，解决了对锥套目标大范围搜索和小范围跟踪之间的矛盾。
如图1所示，在左右双目相机都检测到锥套目标时才进行下面步骤，否则一直进行图像采集。对左右两相机采集的图像都进行下面步骤六～步骤八的处理，将处理结果输入步骤九。
步骤六：截取感兴趣区域(ROI)。对首帧图像，根据步骤五中输出的锥套在图像中的位置信息，将锥套所在边界框适当向四周扩大，得到ROI。对非首帧图像，根据上一帧图像中锥套标志灯在图像中的位置，得出当前帧的ROI。
对于首帧图像，根据YOLO v2模型的检测结果，可以将锥套目标锁定在一小块区域上，将该区域作为首帧的ROI进行图像处理，可以有效减少干扰作用，同时能够提高锥套检测算法的运行速度。为了能够保证锥套所有标记点都能够处于所选区域，需要分别对上、下、左、右边界扩大[max(w,h)/n]个像素点，其中，[.]表示取整操作，max(w,h)为取w,h中的最大值，w、h分别表示YOLO v2模型所检测出的锥套边界框的像素宽度、像素高度，1/n为扩大系数，且2≤n≤8。首帧ROI的选定如图9所示。
对于非首帧图像，根据上一帧图像的感兴趣区域，即锥套标志灯在图像中的位置，找出在当前帧的ROI。以上一帧的矩形边界框的中心为中心，将该矩形框向上、下、左、右各扩大1/m倍，获得当前帧锥套所在的ROI。1/m是放大的尺度因子，且2≤m≤8。非首帧的ROI选定如图10所示。
如图11所示，为本发明试验时锥套测量实验中手机拍摄的实际场景，如图12所示，为调节过曝光度的相机所拍摄的图像，通过训练好的YOLO v2模型所提取的ROI的图像如图13所示。
步骤七：将步骤六获取的ROI图像从RGB格式转换成单通道灰度图像，对灰度图像进行阈值化处理，得到包含标志灯的二值图像。
首先，采用滤波算法对ROI区域图像进行滤波处理，尽量减小或者消除噪声的干扰。由于高亮白色LED的亮度高，实际周围环境中的光源少且亮度低，本发明中通过设置相机的曝光度，来实现对周围环境的过滤。调节好曝光度的相机所拍摄的图像中，锥套的标志灯清晰可见，锥套周围亮度很低，便于在图像中对标志灯进行提取，将图像从RGB格式转换成灰度图，如下所示：
Gray＝(R·299+G·587+B·114+500)/1000 (1)
其中，R,G,B分别代表RGB格式图像某像素点中红色、绿色、蓝色分量的值，Gray代表该像素点处的灰度值。
通过选取一个合适的分割阈值，将图像进行分割，得到原始图像中的目标。小于等于阈值的标记为背景区域点，反之，将其标记为目标区域点，公式如下：
Figure BDA0002375825070000071
其中，(x,y)表示像素点坐标，g(x,y)表示待进行阈值分割的图像在像素点(x,y)处的灰度值，T代表阈值，f(x,y)代表进行阈值处理之后的图像在像素点(x,y)处的值，即得到的包含锥套目标的二值图像。Background表示背景区域点，Drogue表示锥套标志灯的亮点，Background和Drogue可设置0和1来表示。处理之后包含锥套目标的二值图像如图14所示。
步骤八：对步骤七得到的二值图提取连通域，采用质心法提取标志灯的质心坐标，将标志灯质心在ROI图像中的坐标转换成在整幅图像中的坐标。
提取连通域，再采用质心法定位求取锥套标记点的二维图像中心点。计算二值图像的(p+q)阶矩mpq为：
Figure BDA0002375825070000081
其中，M,N分别代表二值图像的行和列数目，x＝1……M，y＝1……N；p、q均为取值从0开始的自然数。
得到ROI中标志灯轮廓的质心坐标(x0,y0)如下：
Figure BDA0002375825070000082
其中，m00是零阶矩，m10、m01是一阶矩，均可根据公式(3)计算得到。
将标记点在ROI图像中的坐标转换成在整幅图像中的坐标。如图15所示，对于图像中一点Q，在整幅图像的坐标系O0-uv上的坐标是(ui,vi)，在ROI图像的坐标系O2-u'v'上的坐标是(ui',vi')，两个坐标系之间的关系：
Figure BDA0002375825070000083
其中，lef、top分别表示v轴和v'轴之间、u轴与u'轴之间的距离差。
根据公式(5)，即可将点在ROI中的坐标转换成在整幅图像中的坐标。
步骤九：将双目相机左右两幅图像的标志灯进行匹配，根据双目视觉原理进行三维重建，计算出标志灯在左相机坐标系下的空间位置。
本发明采用的是平行双目视觉***，根据对极几何原理，左右两幅图像的对应极线在同一条水平线上，而极点被映射到无穷远处，这样两幅图像上的对应点只存在水平方向上的视差，匹配问题从二维降到一维，从而提高了匹配的速度。
由于左右图中标记点大致位于同一条水平线上，同一对匹配点在高度方向相差不大，因此在同一条水平线上分别取距离最短的点进行匹配完成锥套标志灯的匹配。
根据双目视觉原理进行三维重建，计算出空间点在左相机坐标系下的空间位置，如图16所示，左相机坐标系的原点为O1，右相机坐标系的原点为O2，假定p1与p2为空间同一点P在左、右图像中的对应点，相机投影矩阵分别为M1与M2，于是有：
Figure BDA0002375825070000091
Figure BDA0002375825070000092
其中，Zc1、Zc2分别表示在左相机坐标系下、右相机坐标系下的Z向位置，下角标c1、c2标记左、右相机；(u1,v1,1)与(u2,v2,1)分别为p1与p2点在各自图像中的齐次坐标；(X,Y,Z,1)为P点在世界坐标系下的齐次坐标。
Figure BDA0002375825070000093
分别为矩阵Mk的第i行第j列元素。
消去公式(6)、(7)中的Zc1或Zc2可得到关于X，Y，Z的四个线性方程：
Figure BDA0002375825070000094
Figure BDA0002375825070000095
公式(8)、(9)的意义是过O1p1(或O2p2)的直线。采用最小二乘法求解，将公式(8)、(9)写成矩阵形式得：
Figure BDA0002375825070000096
进一步简写为：
KX＝U (11)
其中，K为公式(10)左边的4×3矩阵；X为未知的三维向量；U为公式(10)右边的4×1向量，K和U为已知量。
公式(11)的最小二乘解m为：
m＝(KTK)-1KTU (12)
利用上述最小二乘法就可以恢复某一点的三维信息，从而计算出锥套所有标志灯的三维空间位置。
步骤十：根据步骤九中标志灯的空间位置，计算锥套的空间位置和姿态信息，根据非线性滞环特性的相机切换原则对三组双目相机进行切换。
由于LED标志灯均匀分布在锥套环上，将8个标记点的三维空间坐标取平均值即可得到锥套环中心的位置；对于少数标志灯被遮挡的情况，采用最小二乘法拟合空间圆，空间圆的圆心即为锥套环的位置。
所有标志灯点同处于一个空间平面内，因此可以通过最小二乘法拟合空间平面，获取平面的法向量，根据法向量即可解算出锥套相对于左相机的空间姿态(俯仰角和偏航角)。
锥套标志灯所在的空间平面方程为：
Ax+By+Cz+D＝0,(C≠0) (13)
其中，A、B、C、D为方程系数，(x,y,z)表示空间平面上的点坐标。
锥套在左相机坐标系下的空间姿态表示如图17所示，O1-xyz是左相机坐标系，
Figure BDA0002375825070000101
是锥套标记点所在空间平面的法向量，
Figure BDA0002375825070000102
锥套的俯仰角为α、偏航角为β。俯仰角和偏航角为：
Figure BDA0002375825070000103
Figure BDA0002375825070000104
其中，俯仰角上偏为正、下偏为负；偏航角左偏为正、右偏为负。
通过公式(13)～(15)得到的是锥套在双目相机中左相机坐标系的位置和姿态，需要将其折算到两个相机中间，因此测出的距离x方向的值需要减去d/2，其中，d为双目相机的基线，即可得到锥套相对于视觉测量***中心的位姿。
为提高俯仰角和偏航角测量精度，减弱与消除相机制造过程中本身的加工精度、锥套制作过程中的加工精度、标志灯安装过程中的精度、视觉传感器调平校准过程中人为带来的误差、相机支架制作过程中的加工精度等这些***静差的影响，需要选择一个合适的基平面，测量锥套相对于基平面变化的俯仰角与偏航角。
分别选取三组视场角情况下的基平面，基平面的选取方法为：将加油锥套放置于相机***的正前方位置处，调节锥套的姿态使标志灯所在平面与相机光轴保持垂直，此时将计算出一个空间平面，即锥套标志灯所在的空间平面，将此平面的四个参数记为A0,B0,C0,D0，并将该平面记作为基平面。测量***在运行时，计算得到每一个标志灯的三维空间位置，记为(xi,yi,zi)(其中i＝0,1,...7)，此时需要计算标志灯与基平面的相对Z向距离dzi，如下
dzi＝(D0-A0·xi-B0·yi)/C0-zi (15)
使用新的标志灯坐标点集(xi,yi,dzi)拟合空间平面，得到公式(13)中的参数A,B,C,D，进而求出锥套的姿态角。
本发明中选取三组视场角不同的相机，分别负责近距离(6m内)、中距离(6m-11m)、远距离(11m-30m)三种距离段的锥套测量。根据锥套与视觉传感器距离的远近及相对运动关系，需要自动选取合适的相机，对相机进行切换。为了避免相机在临界距离处频繁切换，设计了基于非线性滞环特性的相机切换策略。相机切换策略如图18所示，在检测到锥套距离要离开当前相机的距离范围时，自动选取合适相机进行切换。
对于47.5°和24.9°的相机切换，在47.5°视场角的相机处于工作状态时，当测距距离从小于5m处增大直到超过6m时，开启24.9°的相机，关闭47.5°的相机；在24.9°视场角的相机处于工作状态时，当测距距离从大于6m处减小直到小于5m时，开启47.5°的相机，关闭24.9°的相机。对于11.5°和24.9°的相机切换，在24.9°视场角的相机处于工作状态时，检测到锥套距离从大于10m处增大直到超过11m时，开启11.5°视场角的相机，关闭24.9°视场角的相机；在11.5°视场角的相机处于工作状态时，检测到锥套距离从小于11m处减小直到小于10m时，开启24.9°视场角的相机，关闭11.5°视场角的相机。通过这一策略，实现了不同视场角相机之间的合理切换。
为了分析距离测量精度，将加油锥套分别处于视觉测量***前方5m、10m、15m、20m、25m、30m附近，并调节锥套在空间平面的x、y方向的位置，每个距离处分别记录4组测量数据。测量的点位如图19所示，将锥套挂在间隔为15cm的支撑点阵列上，每移动一格变化15cm，以0点作为锥套的参考位置，1点，即x为-15cm，y为0cm；2点即x为15cm，y为0cm；3点即x为0cm，y为-15cm；4点即x为0cm，y为15cm。在每个距离段选取一个0点作为参考点，依次将锥套固定在1、2、3、4点进行测量，记录实验数据，如表2所示。
将加油锥套处于视觉测量***前方5m、10m、15m、20m、25m、30m位置处，统计测量结果。对角度的基准值，采用激光测距仪测得的锥套上三个点的距离，通过解算几何关系得出一个粗略的参考值。该参考值与视觉测量***实测200次的均值接近，于是统计了这200次测量结果的均方根误差，以此均方根误差的值大小得出姿态角测量结果的精度。测量结果如表3所示。
表2***定位结果
Figure BDA0002375825070000111
Figure BDA0002375825070000121
表3***测角结果
Figure BDA0002375825070000122
Figure BDA0002375825070000131
从表2、表3的测量结果可以看出，本发明中的视觉测量***对30m范围内的锥套在x、y向测量精度达到5cm以内，z向测量精度达到0.03×距离，测角精度达到0.5°，测量精度较高。对于数据输出，锥套位于近距离6m内、中距离6m-11m、远距离11m-30m下***测量数据的刷新频率分别为80Hz、60Hz、40Hz，实时性较强。本发明对加油锥套的测量精度较高，且满足空中加油锥套测量的实时性要求。

Claims (6)

1.一种基于可变视场角的加油锥套位姿测量方法，其特征在于，包括如下步骤：
步骤一：采用高亮LED灯对锥套进行标记，构建被测锥套目标；
步骤二：选取三组视场角不同的相机平行安装到一个相机支架上，相机的USB接口接至图像采集与处理一体化板卡；相机支架固定安装在受油机上；
6个相机以相机支架的竖直中轴线为分界，左右分别两两构成一组双目相机，6个相机构成三组视场角不同双目相机；根据锥套的距离选取视场角不同的双目相机采集锥套的图像；
步骤三：调节相机曝光度，用三种视场角相机采集在不同背景和角度下的锥套目标的图像，并对图像中的锥套进行标注，制作用于训练深度学习模型的训练数据集；
步骤四：使用YOLO v2模型作为深度学习模型，利用步骤三的训练数据集对YOLO v2模型进行训练，得到用于检测识别加油锥套目标的YOLO v2模型；
步骤五：相机采集图像，使用训练好的YOLO v2模型对相机采集的首帧图像进行检测与识别，输出锥套目标在图像中的位置；
首先使用中视场角的相机进行拍摄，通过YOLO v2模型检测识别出锥套目标，根据目标远近选取合适视场角的相机进行目标跟踪；
步骤六：感兴趣区域截取，包括：对首帧图像，根据步骤五中输出的锥套目标在图像中的位置信息来截取感兴趣区域，对非首帧图像，根据上一帧图像中锥套目标在图像中的位置，来截取当前帧的感兴趣区域；
步骤七：将RGB的感兴趣区域的图像转换成单通道灰度图像，对灰度图像进行阈值化处理，得到包含标志灯的二值图像；标志灯即高亮LED灯；
步骤八：对二值图像提取连通域，采用质心法提取标志灯的质心坐标，将质心坐标在感兴趣区域图像中的坐标转换成在整幅图像中的坐标；
步骤九：将双目相机左右两幅图像的标志灯进行匹配，根据双目视觉原理进行三维重建，计算出所有标志灯在左相机坐标系下的空间位置；
步骤十：根据步骤九中所有标志灯的空间位置坐标计算锥套中心位置和锥套相对于左相机的空间姿态；
其中，对每组视场角，选取基平面，基平面的选取方法为：将加油锥套放置于相机的正前方位置处，调节锥套的姿态使标志灯所在平面与相机光轴保持垂直，此时标志灯所在的空间平面为基平面；计算每个标志灯位置(xi,yi,zi)与基平面的相对Z向距离dzi，i为标志灯的标号；使用新的标志灯坐标(xi,yi,dzi)拟合空间平面得到锥套标志灯所在的空间平面，获取所得空间平面的法向量，得到锥套相对于左相机的俯仰角和偏航角。
2.根据权利要求1所述的方法，其特征在于，所述的步骤一中，在加油锥套环上均匀布置高亮LED灯，高亮LED灯的数量为8个。
3.根据权利要求1所述的方法，其特征在于，所述的步骤二中，从相机支架的中间到两边，双目相机的视场角分别为47.5°、24.9°和11.5°。
4.根据权利要求1或3所述的方法，其特征在于，所述的步骤五中，根据目标远近选取合适视场角的相机，大、中、小视场角的相机分别负责近距离6m内、中距离6m-11m、远距离11m-30m的锥套测量。
5.根据权利要求1所述的方法，其特征在于，所述的步骤六中，对首帧图像，将YOLO v2模型的检测结果的上、下、左、右边界扩大[max(w,h)/n]个像素点，其中，[.]表示取整操作，max(w,h)为取w,h中的最大值，w、h分别表示YOLO v2模型所检测出的锥套目标的位置框的像素宽度、像素高度，1/n为扩大系数，且2≤n≤8；
对非首帧图像，以上一帧图像的感兴趣区域的矩形框的中心为中心，将矩形框向上、下、左、右各扩大1/m倍，获得当前帧的感兴趣区域；1/m是放大的尺度因子，且2≤m≤8。
6.根据权利要求3所述的方法，其特征在于，所述的步骤五中，根据非线性滞环特性的相机切换原则对三组双目相机进行切换，包括：在47.5°视场角的相机处于工作状态时，检测到锥套距离从小于5m处增大直到超过6m时，开启24.9°视场角的相机，关闭47.5°视场角的相机；在24.9°视场角的相机处于工作状态时，检测到锥套距离从大于6m处减小直到小于5m时，开启47.5°视场角的相机，关闭24.9°视场角的相机，当检测到锥套距离从大于10m处增大直到超过11m时，开启11.5°视场角的相机，关闭24.9°视场角的相机；在11.5°视场角的相机处于工作状态时，检测到锥套距离从小于11m处减小直到小于10m时，开启24.9°视场角的相机，关闭11.5°视场角的相机。
CN202010065420.3A 2019-12-04 2020-01-20 一种基于可变视场角的加油锥套位姿精确测量方法 Active CN111274959B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911229182 2019-12-04
CN2019112291829 2019-12-04

Publications (2)

Publication Number Publication Date
CN111274959A true CN111274959A (zh) 2020-06-12
CN111274959B CN111274959B (zh) 2022-09-16

Family

ID=71003414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010065420.3A Active CN111274959B (zh) 2019-12-04 2020-01-20 一种基于可变视场角的加油锥套位姿精确测量方法

Country Status (1)

Country Link
CN (1) CN111274959B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112288796A (zh) * 2020-12-18 2021-01-29 南京佗道医疗科技有限公司 一种透视图像标记点中心提取方法
CN113436251A (zh) * 2021-06-24 2021-09-24 东北大学 一种基于改进的yolo6d算法的位姿估计***及方法
CN113747028A (zh) * 2021-06-15 2021-12-03 荣耀终端有限公司 一种拍摄方法及电子设备
CN114359395A (zh) * 2022-03-18 2022-04-15 南京航空航天大学 用于锥套主动增稳的位置监测光学参考***及其实现方法
CN117197170A (zh) * 2023-11-02 2023-12-08 佛山科学技术学院 一种单目相机视场角测量方法及***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108955685A (zh) * 2018-05-04 2018-12-07 北京航空航天大学 一种基于立体视觉的加油飞机锥套位姿测量方法
US20190206073A1 (en) * 2016-11-24 2019-07-04 Tencent Technology (Shenzhen) Company Limited Aircraft information acquisition method, apparatus and device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190206073A1 (en) * 2016-11-24 2019-07-04 Tencent Technology (Shenzhen) Company Limited Aircraft information acquisition method, apparatus and device
CN108955685A (zh) * 2018-05-04 2018-12-07 北京航空航天大学 一种基于立体视觉的加油飞机锥套位姿测量方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WENYANG RUAN ET AL.: ""Drogue Detection and Location for UAV Autonomous Aerial"", 《2018 IEEE CSAA GUIDANCE, NAVIGATION AND CONTROL CONFERENCE (CGNCC)》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112288796A (zh) * 2020-12-18 2021-01-29 南京佗道医疗科技有限公司 一种透视图像标记点中心提取方法
CN112288796B (zh) * 2020-12-18 2021-03-23 南京佗道医疗科技有限公司 一种透视图像标记点中心提取方法
CN113747028A (zh) * 2021-06-15 2021-12-03 荣耀终端有限公司 一种拍摄方法及电子设备
CN113747028B (zh) * 2021-06-15 2024-03-15 荣耀终端有限公司 一种拍摄方法及电子设备
CN113436251A (zh) * 2021-06-24 2021-09-24 东北大学 一种基于改进的yolo6d算法的位姿估计***及方法
CN113436251B (zh) * 2021-06-24 2024-01-09 东北大学 一种基于改进的yolo6d算法的位姿估计***及方法
CN114359395A (zh) * 2022-03-18 2022-04-15 南京航空航天大学 用于锥套主动增稳的位置监测光学参考***及其实现方法
CN117197170A (zh) * 2023-11-02 2023-12-08 佛山科学技术学院 一种单目相机视场角测量方法及***
CN117197170B (zh) * 2023-11-02 2024-02-09 佛山科学技术学院 一种单目相机视场角测量方法及***

Also Published As

Publication number Publication date
CN111274959B (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
CN111274959B (zh) 一种基于可变视场角的加油锥套位姿精确测量方法
CN111179358B (zh) 标定方法、装置、设备及存储介质
CN105716542B (zh) 一种基于柔性特征点的三维数据拼接方法
CN106570904B (zh) 一种基于Xtion摄像头的多目标相对位姿识别方法
CN106878687A (zh) 一种基于多传感器的车载环境识别***及全方位视觉模块
CN109919911B (zh) 基于多视角光度立体的移动三维重建方法
CN107024339B (zh) 一种头戴显示设备的测试装置及方法
CN109238235B (zh) 单目序列图像实现刚***姿参数连续性测量方法
CN107401976B (zh) 一种基于单目相机的大尺寸视觉测量***及其标定方法
CN110300292A (zh) 投影畸变校正方法、装置、***及存储介质
CN109859269B (zh) 岸基视频辅助定位无人机大范围流场测量方法及装置
CN206611521U (zh) 一种基于多传感器的车载环境识别***及全方位视觉模块
CN109920009B (zh) 基于二维码标识的控制点检测与管理方法及装置
CN110207666A (zh) 一种气浮平台上模拟卫星的视觉位姿测量方法及装置
CN106709955A (zh) 基于双目立体视觉的空间坐标系标定***和方法
CN106651925A (zh) 一种彩色深度图像的获取方法、获取设备
CN108362205A (zh) 基于条纹投影的空间测距方法
CN112595236A (zh) 一种水下激光三维扫描和实时测距的测量装置
CN110505468A (zh) 一种增强现实显示设备的测试标定及偏差修正方法
CN110136047A (zh) 一种车载单目图像中静止目标三维信息获取方法
CN110517284A (zh) 一种基于激光雷达和ptz摄像机的目标追踪方法
CN108401551B (zh) 双镜头微光立体全景成像装置及其超大视场测距方法
CN111462241A (zh) 一种基于单目视觉的目标定位方法
CN112907647A (zh) 一种基于固定式单目摄像机的三维空间尺寸测量方法
CN114119747B (zh) 一种基于pmd波前检测的三维流场流动显示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100191 Haidian District, Xueyuan Road, No. 37,

Applicant after: BEIHANG University

Applicant after: SOUTHWEST ELECTRONICS TECHNOLOGY RESEARCH INSTITUTE (CHINA ELECTRONICS TECHNOLOGY Group CORPORATION NO 10 RESEARCH INSTITUTE)

Address before: 100191 Haidian District, Xueyuan Road, No. 37,

Applicant before: BEIHANG University

Applicant before: THE 10TH RESEARCH INSTITUTE OF CHINA ELECTRONICS TECHNOLOGY Group Corp.

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant