CN111879354A - 一种无人机精细化测量*** - Google Patents
一种无人机精细化测量*** Download PDFInfo
- Publication number
- CN111879354A CN111879354A CN202010608757.4A CN202010608757A CN111879354A CN 111879354 A CN111879354 A CN 111879354A CN 202010608757 A CN202010608757 A CN 202010608757A CN 111879354 A CN111879354 A CN 111879354A
- Authority
- CN
- China
- Prior art keywords
- unit
- camera
- parameters
- image
- aerial vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
- G01D21/02—Measuring two or more variables by means not covered by a single other subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种无人机精细化测量***,包括:相机云台集成单元和双目立体测量单元;所述双目立体测量单元又包括:图像采集单元,用于采集图像数据并对所述图像数据进行预处理;相机标定单元,用于求解成像模型的参数,得到标定参数;所述参数包括内参数和外参数;立体校正单元,用于对所述标定参数进行校正、使未处于同一平面的多个摄像头严格对应以及使多幅图像的对极线在同一水平线上;立体匹配单元,用于计算数据间的相关程度;深度计算单元,用于计算场景中物体的深度信息。本发明公开的无人机精细化测量***提高了电网线路浮冰厚度、防振锤位移、线夹偏移放电间隙等设备的量化检测的效率和精度,并实现了自动化编写工作。
Description
技术领域
本发明涉及智能装置巡检技术领域,特别是涉及一种无人机精细化测量***。
背景技术
目前,输电线路无人机巡检呈现常态化发展,某些电网设备的空间距离分析需要达到厘米级的绝对精度才能满足要求,比如招弧角测量、覆冰厚度测量、防振锤位移测量、线夹偏移放电间隙测量、雷击位置测量及塔材尺寸测量等,但是现有技术中仅局限于可见光照片的肉眼识别操作,或通过一定的图像处理进行空间距离的分析工作,往往存在效率低、判断不准确及漏判等缺点。
发明内容
本发明的目的在于提供一种无人机精细化测量***,通过采用双目立体测量方式,提高了电网线路浮冰厚度、防振锤位移、线夹偏移放电间隙等设备的量化检测的效率和精度,降低了测量时漏判的风险。
为了克服上述现有技术中的缺陷,本发明提供了一种无人机精细化测量***,包括:相机云台集成单元和双目立体测量单元;所述双目立体测量单元,包括:
图像采集单元,用于采集图像数据并对所述图像数据进行预处理;
相机标定单元,用于求解成像模型的参数,得到标定参数;所述参数包括内参数和外参数;
立体校正单元,用于对所述标定参数进行校正、使未处于同一平面的多个摄像头严格对应以及使多幅图像的对极线在同一水平线上;
立体匹配单元,用于计算数据间的相关程度;
深度计算单元,用于计算场景中物体的深度信息。
进一步地,所述相机云台集成单元包括:云台设计集成单元和多目相机集成单元。
进一步地,所述双目立体测量单元采用用于测量图像深度值的自研制双目相机。
进一步地,所述内参数包括:摄像机焦距、图像主点、径向畸变系数及切向畸变系数。
进一步地,所述外参数包括:旋转矩阵和平移矩阵。
进一步地,所述相机标定单元,还用于通过确定空间物体表面某点的三维几何位置与影像上对应点之间的相互关系,建立几何模型进行相机标定。
进一步地,所述立体校正单元,还用于通过相机标定得到的畸变系数去除图像的径向及切向畸变,得到无失真图像。
进一步地,所述立体匹配单元,还用于通过至少一种匹配基元计算多幅图像的匹配代价,再将所述匹配代价聚类得到初始视差图,最后对所述初始视差图进行插值和拟合处理得到最终的视差图。
进一步地,所述深度计算单元,还用于利用三角测量原理计算场景中物体的深度信息。
相对于现有技术,本发明提供的实施例通过采用双目立体测量方式,提高了电网线路浮冰厚度、防振锤位移、线夹偏移放电间隙等设备的量化检测的效率和精度,降低了测量时漏判的风险:并实现了自动化编写工作。
附图说明
图1是本发明第一实施例提供的无人机精细化测量***的模块示意图;
图2是本发明第一实施例提供的立体校正单元的图像校正原理图;
图3是本发明第一实施例提供的空间前方交会原理图;
图4是本发明第一实施例提供的空间后方交会原理图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,文中所使用的步骤编号仅是为了方便描述,不对作为对步骤执行先后顺序的限定。
应当理解,在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
请参阅图1,本发明某一实施例提供了一种无人机精细化测量***,包括相机云台集成单元10和双目立体测量单元20;
在本实施例中,所述相机云台集成单元10主要包括:云台设计集成单元101和多目相机集成单元102;
需要说明的是,云台主要是用于相机的稳定器,起到一个平衡与稳定作用,在此需要针对不同种类的相机进行云台集成的设计,使得相机在进行图像采集时能够稳定拍摄,以保证所采集的图像的质量。
多目相机集成单元102主要是集成无人机精细化测量***需要使用的相机装置,通过采用多目相机实现电网线路防振锤位移、地线线夹偏移、导线覆冰厚度等缺陷的精确测量。
在本实施例中,所述双目立体测量单元20,又包括:图像采集单元201、相机标定单元202、立体校正单元203、立体匹配单元204及深度计算单元205。
其中,需要指出的是,本发明的采用的双目立体测量单元是基于视觉的测量技术,视觉测量技术以其精度高、隐蔽性强、成本低、设备简单、体积小、功耗需求小等突出优势,成高精度双目立体视觉测量***关键技术研究成为了近距离空间操作的首选测量手段。视觉测量技术不仅能够提供目标航天器的几何信息、色彩信息,而且采集得到的目标图像信息更符合人类信息获取需求。因此,研究视觉测量***涉及的测量方法、相关技术和理论,对于推动空间操作技术的进步具有重要意义。按照视觉测量方法的不同,又可将待操作目标通常分为合作目标和非合作目标两种,合作目标指在目标上存在一些模式已知的信息可作为先验知识供视觉***利用,如在目标航天器上安装有特定形状标志点的合作靶标,在航天器模式形状等信息已知的情况下,对合作靶标的信息采集较容易实现。非合作目标指目标航天器自身信息未知,不能够为执行航天器提供有力的信息支持,如报废航天器、空间碎片等。目前,各类航天活动频繁,实现在轨维修和故障飞行器等空间垃圾的清除则显得尤为重要,不仅能够提高航天发展的效率也能节省航天活动成本。航天技术研究仍面临许多亟待解决的问题该类问题的解决就涉及到非合作目标的高精度位姿测量等关键技术。
其中,基于视觉的测量***的主要组成部分是相机,目标反射或是发射光束经过光学***到达视觉传感器,电子学元件对收集到的信息完成实时高速的采集,对采集到的灰度图像或彩色图像图像数据进行预处理,一部分传输到显示设备,另一部分传输到图像处理***完成对图像的有效处理,完成目标提取及位姿测量等任务。视觉测量方法复杂多样,分别对应着不同的视觉***模型,其中主要的两种视觉***为单目模型、双目模型及多目模型。单目模型简单,因此基于单目的方法技术最多,这类方法只利用一台摄像机得到的图像序列,结合目标的先验知识进行位姿参数解算。由于单目测量方法的精度问题和三维测量麻烦,这些因素就限制了单目在测量领域的一些应用或是带来了一些难度,尤其是针对目标几何模式或几何约束特性完全未知的情况。针对非合作目标,基于双目或多目的三维重建方法则显示出了其优越性。双目视觉测量***又分为两种形式,一种是两台相机同时获取重叠视场范围内的目标的数字图像,另一种是移动单台相机在不同位置分时获取目标数字图像,通过投影变换等相关理论对图像进行处理,重建目标位置与姿态。双目视觉有很多优点,相对于单目测量***,它是最简单的能实现三维重构的视觉模型。在本发明中为了能够解决针对非合作目标的高精度位姿测量,因此采用双目测量。
本实施例中,需要强调的是,立体视觉研究的最基本目标是获取场景的三维信息,为实现这一目标,一个完整的立体视觉过程通常包含六个部分:图像获取、摄像机标定、特征提取、立体匹配、三维坐标解算和后处理。图像获取是立体视觉技术研究的基础。图像获取的方式有多种,由具体运用的场合和目的决定。立体图像的获取不仅要满足应用要求,而且要考虑视点差异、光照条件、摄像机性能和场景特点等的影响。获取的图像经过特征提取与目标点匹配后,结合相机标定获得的内外参数,便可解算得到目标点在世界坐标系下的坐标,达到测量的目的。
本实施例中,图像采集单元201,用于采集图像数据并对所述图像数据进行预处理;其中,图像采集是无人机精细化测量***的信息来源,因此图像质量对***的实验精度具有重要影响。近年来随着电荷耦合器件CCD和CMOS摄像器件技术的飞速发展,图像质量有了极大程度的改善,通常都能满足实验要求。
另外,相机标定单元202,用于求解成像模型的参数,得到标定参数;所述参数包括内参数和外参数;
其中,需要说明的是,客观世界中的点为三维点,图像平面中的点为二维点,从客观世界到图像平面之间的转化就是通过相机成像模型完成的。相机标定就是求解成像模型参数的过程,主要包括摄像机的内参数:相机焦距、图像主点、径向畸变系数及切向畸变系数等;外参数:旋转矩阵和平移矩阵。它通过确定空间物体表面某点的三维几何位置与影像上对应点之间的相互关系,建立几何模型进行相机标定。双目相机标定主要是实现相机内方位元素解算、相机畸变参数解算、相机相对位置关系解算,目的是获得精确的相机内方位、畸变参数及相对空间位置关系,主要通过DLT线性畸变解算算法、基于已知检校场后方交会等算法实现,其特点是可以实现根据像方的坐标求解物方空间坐标;其中,相机标定主要运用的算法包括以下几种:
(1)相机检校,即“直接线性变换解法是一种建立像方坐标和相应物点物方空间坐标之间的直接的线性关系的解法”,这里的像方坐标是指不以像主点为坐标原点的像方坐标。该方法不需要内、外方位元素初始值,所以该方法特别适用于非量测相机的检校参数解求。然而该方法是单模型解算,且对控制点的数量和分布要求较高,否则在解算过程中容易出现病态。
(2)基于共线条件方程式的解法,该方法是最重要的、最广泛的方法之一,其包括以共线条件方程式为基础的像点坐标误差方程法、多片空间前方交会解法、空间后方交会解法以及各种光线束解法等。
请参阅图3,其中,空间前方交会指的是利用立体像对;两张像片的内方位元素,同名像点坐标和像对的相对方位元素(外方位元素)解算模型点坐标(地面点坐标)的工作。立体像对的空间前方交会是摄影测量点位测定和生产DEM的基础。
请参阅图4,空间后方交会指的是利用地面控制点及其在片像上的像点,确定像片外方位元素的方法。采用角锥体法,利用共线条件方程解算像片的外方位元素,采用公式如下:
(3)基于共线方程的空间后方交会解法控制点的像方坐标(必要时包括物方坐标)作为观测值,以解求相机的内、外方位元素、畸变差以及其它附加参数的一种检校方法,它又可分为单片空间后方交会解法和多片空间后方交会解法。
(4)DLT解法原则上来讲是从共线条件方程演变而来,常用的共线条件方程表示为:
式中:x、y为像平面坐标;x0、y0、f为像片内方位元素;Xs、Ys、Zs、ψ,ω,κ为像片外方位元素;X、Y、Z为物方坐标;ai,bi,ci(i=1,2,3)为像片外方位角元素构成的方向余弦。
此外,立体校正单元203,用于对所述标定参数进行校正、使未处于同一平面的多个摄像头严格对应以及使多幅图像的对极线在同一水平线上;
其中,图像的立体校在完成相机标定后一步进行,需要说明的是,立体校正单元的作用有两个:(1)利用相机标定得到的内参--畸变系数去除图像的径向及切向畸变,得到无失真图像;(2)将无失真图像通过几何图形变换关系,使得未处于同一平面的两个摄像头严格对应,两幅图像的对极线能够在同一水平线上,在立体匹配时只需在某一行进行一维搜索即可匹配到对应点。
本实施例中,立体匹配单元204,用于计算数据间的相关程度;
需要说明的是,立体匹配就是从不同视点图像中找到匹配的对应点,因此立体匹配中的匹配问题可以被看成寻找两组数据相关程度的过程。立体匹配就是通过某一种或者多种匹配基元,计算左右两幅图像的匹配代价,再将匹配代价聚类,得到初始的视差图,再对初始视差图进行插值、拟合的后处理,得到最终的视差图。
请参阅图2,本实施例的最后一个模块,深度计算单元205,用于计算场景中物体的深度信息。
需要强调的是,它主要是利用三角测量原理,计算出场景中物体的深度信息。其中,三角测量在三角学与几何学上是一借由测量目标点与固定基准线的已知端点的角度,测量目标距离的方法。而不是直接测量特定位置的距离(三边量测法)。当已知一个边长及两个观测角度时,观测目标点可以被标定为一个三角形的第三个点。
三角量测亦可意指为超大三角形***的精确测量,称作三角量测网络。这源自于威理博·司乃耳于1615-17的作品,他展现出一个点如何能够从附属于三个已知点的角度来被定位,是在新的一未知点上量测而不是在先前固定的点上,这样的问题叫做重新区块化。调查误差可被最小化,当大量三角形已建立在最大适当的规模。借此参考方法,所有在三角内的点皆可被准确地定位。
本发明第一实施例中,进一步地,所述相机云台集成单元包括:云台设计集成单元和多目相机集成单元。
本实施例中,需要说明的是,在我国稳定云台技术起步较晚,随着无人机技术的快速发展,机载云台技术相应而生,搭载稳定云台的无人机具备快速目标搜索和跟踪能力。由于云台常常在复杂环境下执行任务,不可避免地会受到风阻力、机械振动、负载扰动等多种因素影响,这些随机性因素和非线性因素导致云台的控制精度下降,甚至造成控制***的硬件平台损坏。传统的云台控制***采用经典的PID控制,根据控制目标与实际反馈之间的误差来确定消除误差的控制策略。但对于在复杂的环境中,由于外扰突变,传统的PID不能跟踪突变量的变化,造成控制***控制精度下降和响应速率减慢。
随着转台技术的不断发展,稳定云台技术也得到了越来越广泛的关注和研究。在国外研究领域,稳定云台早己开始在军事应用领域发挥极大的作用了,并且性能优越,各项性能指标都己达到相当高的应用水平。例如以色列的研制的ESP-600C型无人机机搭载下的光电侦察云台,视轴的稳定精度能够达到15rad、俯视角的活动范围能够在+10℃~-110℃进行活动、方位转动能够达到360×N、最大角速度能够达到60°/s。上述两款由以色列研制的记载稳定云台各项指标均处于国际前列。稳定云台在国内起步发展比较晚,上世纪九十年代初才开始对稳定转台进行开发和研究。1978年,哈尔滨工业大学研究开发的“GZT”型双轴位置转台,在精度控制方面能达到0.1。同年,6354所与哈尔滨工业大学联合研发的CCGT型双轴测试转台,能够对漂移为3.6''/h的陀螺进行测定,在控制精度方面也达到了1.5''。1990年,303所研制开发成功的SGT-1型三轴捷联转台,改转台的回转精度能够达到在±2''进行波动,相邻两轴在垂直方向的控制精度能够达到±1'',对角度测量精度可达到1''。在国内对稳定云台的开发研制较晚,技术相对落后,但近几年发展迅速,在记载云台方面虽然还无法追赶上国外的发展速度,但我国正在努力断深入研究,与国外的差距正在进一步缩小。由于我国对三轴稳定云台的研究起步较晚,当前对云台控制方法的研究主要停留在传统控制算法研究阶段。传统经典的PID算法在控制领域有悠久的研宄历史,其算法结构简单、易于实现、适应性较好,在当前控制领域仍然有广泛的研究。三轴稳定云台的控制技术主要是在传统控制算法的基础上展开研究的,针对三轴稳定云台这个非线性控制***,结合现代控制技术,对传统控制算法加以补偿修正。将现代控制技术应用到三轴稳定云台控制中,采用模糊控制和传统PID相融合的控制方式,使得该控制算法即具备了模糊控制的较强适应环境能力的特点,又具备了PID快速响应的特点,又将粒子算法和模糊PID进行融合,使得算法具有很强的全局优化能力,引入Kalman滤波,减小环境噪声对控制的影响,通过仿真的方式对控制方法展开研究。
三轴稳定云台控制***设计的目的在于***外部存在风阻扰动的情况依然能够保证云台能够对目标进行拍摄、搜索,能够快速地对***进行响应并且能够保持较高的控制精度,使得在光电设备对目标进行拍摄时拍摄画面依然能够保持稳定。为了能够达到这些目的,三轴稳定云台的控制***包括硬件电路驱动部分、软件程序设计部分、神经网络算法控制部分二部分组成。
首先研究三轴稳定云台的整体控制***,设计整个控制***的设计的整体流程以及各个模块的应该实现的功能,接着对云台整体控制模型框图进行分析,建立三轴稳定云台的数学模型,最终得到云台控制***的传递函数,分析影响云台的稳定控制,并给出了解决方案。研究云台控制***硬件,对电机的类型进行选择,选择硬件***所需要的传感器,保证云台控制***能够获得精确的姿态信息,为后面的稳定性控制做铺垫,接着研究三轴稳定云台整个硬件***的各个主要模块,确保每个硬件模块设计的合理性。
研究云台控制***算法部分,研究BF人工神经网络的学习训练方法,结合三轴稳定云台控制***和三轴稳定云台的RBF人工神经网络算法控制结构,最后通过仿真实验,验证相比较于传统控制,RBF人工神经网络控制响应和抗干扰方面都更具有优势。研究云台控制***软件,研究软件框架的整体流程、串口、通讯模块、姿态结算模块、神经网络算法实现模块。搭建整个三轴稳定云台控制***进行调试和实验并对实验结果进行分析,使得各个硬件模块均达到可以正常工作,能够达到设计需求,软件能够实现既定功能,算法部分也能实现一定的抗干扰控制。
本实施例中,优选采用多轴云台的方式,实现平台的稳定性。采用ST公司研发的ARM作为主要数字处理器,分别对硬件、软件和算法三个部分展开设计和研究,结合RBF人工神经网络控制算法,研发一种三轴稳定云台的控制***。首先通过仿真实验研究RBF人工神经网络在非线性控制领域应用,然后通过搭建硬件平台,编写相关程序进行实验,最终实现对云台的稳定控制。
本发明实施例中优选采用自研双目相机。双目相机需同无人机进行适配研究。研究主要内容包括***稳定性研究、相机与图传信号的协调性研究、相机曝光控制研究等。同时使用PSDK,结合自研双目相机和大疆M200系列无人机,实现无人机与高精度测量平台集成。
本发明第一实施例中,所述内参数包括:摄像机焦距、图像主点、径向畸变系数及切向畸变系数。
本发明第一实施例中,所述外参数包括:旋转矩阵和平移矩阵。
本发明第一实施例中,进一步地,所述相机标定单元,还用于通过确定空间物体表面某点的三维几何位置与影像上对应点之间的相互关系,建立几何模型进行相机标定。
需要说明的是,传统标定方法是在己知标定参照物形状尺寸的前提下,采集参照物图像并提取标记物,对提取的图像数据进行数学变换,从而得到相机内参数和外参数,例如Abdel等人提出的直接线性变换解法,该算法没有考虑修正相机畸变,计算过程简单,求解得到的参数精度也较差,而后由Tsal最早引进径向准直约束的概念,开启了两步法的先河,首先对部分外参数和焦距等大多数相机参数进行线性求解,接着采用非线性优化和迭代的方法对其余径向畸变等参数求解。传统的摄像机标定方法精度高,但是算法比较复杂,而且需要摄像机标定块,其中较常用的方法有两步法和直接线性变换;自标定方法仅利用图像序列之间的对应关系就可以对摄像机进行标定,计算摄像机参数,不需要标定块。但是该方法鲁棒性差,精度不高,虽然目前仍是研究热点,但其应用范围比较窄。
自标定方法不需要模式已知的标定设备,直接对获取的图像信息处理,仅仅通过图象点之间的对应关系确定相机参数,如Faugeras根据成像几何通过求解Kruppa方程得到相机内参数,而后又产生了QR分解法、绝对二次曲面法、模约束法等为代表的改进型方法。自标定方法优势是适用范围广,如处理各种环境扰动,缺点是精度低、鲁棒性差。
主动标定方法是指根据成像性质以及运动信息对相机内参数求解,具有代表性的方法有基于平面单应矩阵和高精度双目立体视觉测量***关键技术研究基于外极点的正交运动方法。它的主要优点是能通过己知相机高精度的运动信息,对参数进行线性求解,算法的稳健性好,相对的劣势就是受限于高精密实验设备。基于主动视觉标定方法适用于机械臂等较容易实现相机高精度运动的标定过程。通常双目结构参数标定方法都是建立在对应的单相机标定基础上。Xue etal提出了一种对靶标位置不敏感的灵活的标定方法,首先计算***所有参数,继而基于基线几何对***优化。F Yang等人在传统方法上改进提出了基于四角共线标志约束进行现场标定的方法;M Machacek等人通过两个提供匹配像对及参考距离对结构参数标定;ZH Y Jia等人基于靶标的四组垂直移动实现了双目***的相机内参数、畸变和结构参数的高精度估计。除了上述基于靶标有限特征点的方法,最近H Habe等人提出了一种基于图像上所有像素灰度值的方法,被认为是第一个appearance-based优化方法。近年来,基于重构误差建立代价方程的3D双目***法受到了人们的青睐。
本发明第一实施例优先采用3D标定法,在双目标定中基于重构误差的3D算法较传统的基于重投影的标定法具有更高的精度。3D标定法不但可以发挥双目***自身三维重构的优势,而且评价函数与测量精度标准一致。
本发明第一实施例中,所述立体校正单元,还用于通过相机标定得到的畸变系数去除图像的径向及切向畸变,得到无失真图像。
在本实施例中,需要说明的是,影像高精度畸变检校技术对于既定的***,提高测量精度的思想就是提高模型参数对***的拟合精度,拟合精度分为两部分,一是模型对***本身的拟合精度,另一个是模型参数估计精度。拟合精度主要指单相机模型拟合精度。对于光学***,装调误差使光学***的光轴一致性遭到破坏,理想成像特性遭到破坏,一方面导致相机内参数标定不稳定,在迭代优化过程中可能收敛到局部最优;另一方面影响了相机模型拟合精度。相机模型又包括畸变模型,造成相机畸变的因素复杂多样,因此几乎所有的畸变都只是近似拟合。
相机模型参数标定及实现参数的估计,如焦距,投影中心位置,世界坐标系和相机坐标系几何关系。图像噪声、探测器量化和设备误差等都是降低参数估计精度的重要因素。如W Sun等人分析了靶标精度对相机内外参数结果的影响。因此通常标定算法会采取迭代的方式对参数优化,但是相机模型特性等因素又会导致迭代过程的不稳定,如相机参数之间的耦合,耦合关系主要表现在两个方面:1)相机模型内参矩阵中的像面主点和外参中x轴和y轴两个方向的平移量耦合;2)焦距和外参中z方向平移量耦合。为了抑制参数耦合,赵振庆在其博士论文中提出了一种去耦合的相机标定算法,Y Z Hong等人分析了畸变与相机内参数之间的耦合对畸变估计的影响,为了减小参数之间的相互影响提出了非迭代的标定方法,首先对畸变估计,继而通过求解单应性矩阵的方式解算内外参数。上面过程是基于解析计算去耦合,并且Y Z Hong提到仍需要采用张正友方法对解析解进行迭代优化,而在迭代优化过程并没有消除耦合作用。高精度双目立体视觉测量***关键技术研究高精度双目立体视觉测量***关键技术研SOPHI A等人对靶标的数量放置位置特征点的个数等进行了细致的分析,通过合理的实验设置的方式对参数之间的耦合作用进行抑制,对耦合作用的抑制效果有限。
为了提高单相机模型参数拟合精度,首先对光学***像差理论进行研究,接着针对三个方面进行了相关的研究,包括相机模型内外参数耦合、光学***非共轴性和畸变,并有针对性的提出或是改进解决方法。影像畸变是指遥感影像与其所反映的地表真实景像之间产生的光谱特性和几何特性方面的误差。即辐射误差和几何误差。前者表现为影像在灰度上的失真;后者表现为几何关系上的变形。影像畸变是检验遥感影像判读与制图性能的重要标志。不了解影像畸变性质及其程度而使用未经校正的有畸变的遥感影像,不可能获得正确的应用效果甚至适得其反。故遥感影像原始数据,通常要进行辐射校正和几何校正。光学误差主要是指光学畸变差,它是由于物镜***设计、加工而引起的像点偏离其理论成像位置的点位误差。光学畸变差可分为径向畸变(Radial Distortion)和偏心畸变差(Decentering Distortion)两类。径向畸变主要由镜头径向曲率的变化引起;偏心畸变是由镜头***各镜头光轴不完全共线造成的。
本实施例中,基于对像差理论光学***畸变特性进行分析,并对constant model和depth-dependent两种畸变模型进行说明,优选采用第二种用在高精度视觉测量***中,将径向测量范围分段,在每个分段中独立的进行畸变校正,该方法不但实施简单,而且能发挥depth-dependent畸变模型的优势,最终令残余畸变小于一个像元。对光学***共轴误差对相机模型拟合的影响,以及相机模型内外参之间的耦合作用对标定的迭代优化过程的影响这两个因素导致标定算法的结果不稳定进行分析,优选采用一种参数耦合抑制的标定迭代算法,并在算法中添加光学***最佳拟合焦距约束达到为了减小这两个因素对标定过程的影响。
其中,畸变纠正指的是影像的几何畸变是指在图像平面上图像点在目标点量测几何位置上的误差,从而造成成像***不能使图像与实际景物在全视场范围内严格满足针孔成像模型(或中心投影关系),使中心投影射线发生弯曲。畸变可分为径向畸变和切向畸变两种。径向畸变差是指像点沿向径方向偏离其理想位置的畸变差,只与像点离像主点的距离有关。径向畸变差具有对称性,但其对称中心并不完全重合于像主点,为简单起见通常将像主点视为对称中心。径向畸变的正负与其偏移方向有关,远离像主点的偏移为正,靠近像主点的偏移为负。根据几何光学理论,镜头径向畸变差Δr可用如下奇次多项式表示:
式中:r为像点向径;x,y为像点坐标;x0,y0为像主点坐标;ki(i=1,2,3…)为径向畸变参数;
偏心畸变差是由于镜头制造、安装和振动使得镜头各单元偏离了透镜轴线或歪斜,使像点在径向和切向都偏离其理论位置的畸变差。正常情况下,偏心畸变差远小于径向畸变差,非径向畸变引起的误差总和约为径向畸变引起误差的1/7~1/8[24]。与径向畸变相同的是,在近景摄影测量中,偏心畸变随焦距D的变化而变,而且在不同调焦距D上的地物(距离为D')也存在偏心畸变的变化[2]。顾及近景条件下调焦距D的偏心畸变改正如下式所示:
式中:ΔxD,ΔyD为调焦距为D时的偏心畸变差分量;f为调焦距为D时的主距;D为调焦距;p1,p2为偏心畸变参数。
本发明第一实施例中,进一步地,所述立体匹配单元,还用于通过至少一种匹配基元计算多幅图像的匹配代价,再将所述匹配代价聚类得到初始视差图,最后对所述初始视差图进行插值和拟合处理得到最终的视差图。
本发明第一实施例中,进一步地,所述深度计算单元,还用于利用三角测量原理计算场景中物体的深度信息。
本发明第二实施例:
该实施例提供了该无人机精细化测量***的精度测试结果,实验结果表明目标尺寸越小,距测量目标距离越近精度越高;对于大目标或者小目标,距测量目标距离不超过5m时,误差均不超过1cm,量测精度较高。结果如表1所示:
表1***精度测试
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和替换,这些改进和替换也应视为本发明的保护范围。
Claims (9)
1.一种无人机精细化测量***,其特征在于,包括:相机云台集成单元和双目立体测量单元;
所述双目立体测量单元,包括:
图像采集单元,用于采集图像数据并对所述图像数据进行预处理;
相机标定单元,用于求解成像模型的参数,得到标定参数;所述参数包括内参数和外参数;
立体校正单元,用于对所述标定参数进行校正、使未处于同一平面的多个摄像头严格对应以及使多幅图像的对极线在同一水平线上;
立体匹配单元,用于计算数据间的相关程度;
深度计算单元,用于计算场景中物体的深度信息。
2.根据权利要求1所述的无人机精细化测量***,其特征在于,所述相机云台集成单元包括:云台设计集成单元和多目相机集成单元。
3.根据权利要求1所述的无人机精细化测量***,其特征在于,所述双目立体测量单元采用用于测量图像深度值的自研制双目相机。
4.根据权利要求1所述的无人机精细化测量***,其特征在于,所述内参数包括:摄像机焦距、图像主点、径向畸变系数及切向畸变系数。
5.根据权利要求1所述的无人机精细化测量***,其特征在于,所述外参数包括:旋转矩阵和平移矩阵。
6.根据权利要求1所述一种无人机精细化测量***,其特征在于,所述相机标定单元,还用于通过确定空间物体表面某点的三维几何位置与影像上对应点之间的相互关系,建立几何模型进行相机标定。
7.根据权利要求1所述一种无人机精细化测量***,其特征在于,所述立体校正单元,还用于通过相机标定得到的畸变系数去除图像的径向及切向畸变,得到无失真图像。
8.根据权利要求1所述一种无人机精细化测量***,其特征在于,所述立体匹配单元,还用于通过至少一种匹配基元计算多幅图像的匹配代价,再将所述匹配代价聚类得到初始视差图,最后对所述初始视差图进行插值和拟合处理得到最终的视差图。
9.根据权利要求1所述一种无人机精细化测量***,其特征在于,所述深度计算单元,还用于利用三角测量原理计算场景中物体的深度信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010608757.4A CN111879354A (zh) | 2020-06-29 | 2020-06-29 | 一种无人机精细化测量*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010608757.4A CN111879354A (zh) | 2020-06-29 | 2020-06-29 | 一种无人机精细化测量*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111879354A true CN111879354A (zh) | 2020-11-03 |
Family
ID=73157586
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010608757.4A Pending CN111879354A (zh) | 2020-06-29 | 2020-06-29 | 一种无人机精细化测量*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111879354A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112700543A (zh) * | 2021-01-15 | 2021-04-23 | 浙江图盛输变电工程有限公司 | 一种多源数据三维叠合方法 |
CN113838151A (zh) * | 2021-10-15 | 2021-12-24 | 西安维沃软件技术有限公司 | 相机标定方法、装置、设备及介质 |
CN114155290A (zh) * | 2021-11-18 | 2022-03-08 | 合肥富煌君达高科信息技术有限公司 | 一种用于大视场高速运动测量的***与方法 |
CN114170131A (zh) * | 2021-10-20 | 2022-03-11 | 国网福建省电力有限公司信息通信分公司 | 一种输电线路设备缺陷检测方法及*** |
CN114333243A (zh) * | 2021-12-21 | 2022-04-12 | 长江三峡勘测研究院有限公司(武汉) | 一种滑坡监测预警方法、装置、介质、电子设备及终端 |
CN115791183A (zh) * | 2022-10-13 | 2023-03-14 | 中国航发四川燃气涡轮研究院 | 航空发动机高空模拟结冰试验测试装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190082103A1 (en) * | 2017-09-11 | 2019-03-14 | Qualcomm Incorporated | Systems and methods for image stitching |
WO2019135912A1 (en) * | 2018-01-05 | 2019-07-11 | Gopro, Inc. | Adaptive object detection |
CN110197510A (zh) * | 2019-06-05 | 2019-09-03 | 广州极飞科技有限公司 | 双目相机的标定方法、装置、无人机和存储介质 |
CN110706329A (zh) * | 2019-09-06 | 2020-01-17 | 深圳亚联发展科技股份有限公司 | 一种三维场景重构方法和装置 |
CN111174697A (zh) * | 2019-12-13 | 2020-05-19 | 中国南方电网有限责任公司超高压输电公司柳州局 | 基于无人机的立体视觉影像精确测量方法 |
-
2020
- 2020-06-29 CN CN202010608757.4A patent/CN111879354A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190082103A1 (en) * | 2017-09-11 | 2019-03-14 | Qualcomm Incorporated | Systems and methods for image stitching |
WO2019135912A1 (en) * | 2018-01-05 | 2019-07-11 | Gopro, Inc. | Adaptive object detection |
CN110197510A (zh) * | 2019-06-05 | 2019-09-03 | 广州极飞科技有限公司 | 双目相机的标定方法、装置、无人机和存储介质 |
CN110706329A (zh) * | 2019-09-06 | 2020-01-17 | 深圳亚联发展科技股份有限公司 | 一种三维场景重构方法和装置 |
CN111174697A (zh) * | 2019-12-13 | 2020-05-19 | 中国南方电网有限责任公司超高压输电公司柳州局 | 基于无人机的立体视觉影像精确测量方法 |
Non-Patent Citations (1)
Title |
---|
樊建昌 等: "基于NVIDIA JetSon TX2的无人机双目测距算法设计", 《智能计算机与应用》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112700543A (zh) * | 2021-01-15 | 2021-04-23 | 浙江图盛输变电工程有限公司 | 一种多源数据三维叠合方法 |
CN113838151A (zh) * | 2021-10-15 | 2021-12-24 | 西安维沃软件技术有限公司 | 相机标定方法、装置、设备及介质 |
CN113838151B (zh) * | 2021-10-15 | 2023-11-17 | 西安维沃软件技术有限公司 | 相机标定方法、装置、设备及介质 |
CN114170131A (zh) * | 2021-10-20 | 2022-03-11 | 国网福建省电力有限公司信息通信分公司 | 一种输电线路设备缺陷检测方法及*** |
CN114155290A (zh) * | 2021-11-18 | 2022-03-08 | 合肥富煌君达高科信息技术有限公司 | 一种用于大视场高速运动测量的***与方法 |
CN114155290B (zh) * | 2021-11-18 | 2022-09-09 | 合肥富煌君达高科信息技术有限公司 | 一种用于大视场高速运动测量的***与方法 |
CN114333243A (zh) * | 2021-12-21 | 2022-04-12 | 长江三峡勘测研究院有限公司(武汉) | 一种滑坡监测预警方法、装置、介质、电子设备及终端 |
CN115791183A (zh) * | 2022-10-13 | 2023-03-14 | 中国航发四川燃气涡轮研究院 | 航空发动机高空模拟结冰试验测试装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111879354A (zh) | 一种无人机精细化测量*** | |
CN108921901B (zh) | 一种基于精密二轴转台和激光跟踪仪的大视场相机标定方法 | |
CN110146038B (zh) | 筒形件装配转角的分布式单目相机激光测量装置及方法 | |
CN103278138B (zh) | 一种复杂结构薄部件三维位置及姿态的测量方法 | |
CN108416812B (zh) | 一种单摄像机镜像双目视觉***的标定方法 | |
CN110378969B (zh) | 一种基于3d几何约束的汇聚式双目相机标定方法 | |
CN110728715A (zh) | 一种智能巡检机器人像机角度自适应调整方法 | |
Chatterjee et al. | Algorithms for coplanar camera calibration | |
CN109341668B (zh) | 基于折射投影模型和光束追踪法的多相机测量方法 | |
CN112985293B (zh) | 一种单像机双球面镜镜像双目视觉测量***和测量方法 | |
CN111091076B (zh) | 基于立体视觉的隧道限界数据测量方法 | |
WO2020199439A1 (zh) | 基于单双目混合测量的三维点云计算方法 | |
CN113947638B (zh) | 鱼眼相机影像正射纠正方法 | |
CN112362034B (zh) | 基于双目视觉的固体发动机多节筒段对接引导测量方法 | |
CN114705122A (zh) | 一种大视场立体视觉标定方法 | |
CN110595374B (zh) | 基于传递像机的大型结构件实时形变监测方法 | |
CN116563377A (zh) | 一种基于半球投影模型的火星岩石测量方法 | |
CN113920201A (zh) | 极线几何约束的鱼眼相机标定方法 | |
Jaw et al. | Feature-based registration of terrestrial lidar point clouds | |
CN109712200B (zh) | 一种基于最小二乘原理及边长推算的双目定位方法及*** | |
Ji et al. | Comparison of two panoramic sensor models for precise 3d measurements | |
Zou et al. | Flexible extrinsic parameter calibration for multicameras with nonoverlapping field of view | |
CN114485648B (zh) | 一种基于仿生复眼惯性***的导航定位方法 | |
CN113240749B (zh) | 一种面向海上舰船平台无人机回收的远距离双目标定与测距方法 | |
Castanheiro et al. | Modeling hyperhemispherical points and calibrating a dual-fish-eye system for close-range applications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201103 |
|
RJ01 | Rejection of invention patent application after publication |