CN111412898A - 基于地空耦合的大区域变形摄影测量方法 - Google Patents
基于地空耦合的大区域变形摄影测量方法 Download PDFInfo
- Publication number
- CN111412898A CN111412898A CN202010300270.XA CN202010300270A CN111412898A CN 111412898 A CN111412898 A CN 111412898A CN 202010300270 A CN202010300270 A CN 202010300270A CN 111412898 A CN111412898 A CN 111412898A
- Authority
- CN
- China
- Prior art keywords
- ground
- binocular
- airborne
- aerial vehicle
- unmanned aerial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于地空耦合的大区域变形摄影测量方法,包括如下步骤:建立无人机机载视觉探测***和地面双目视觉***,其中,无人机机载视觉探测***包括机载相机,地面双目视觉***包括多架作为定位点的双目相机;对双目相机进行共面线校准;无人机启动巡航飞行,开启无人机机载视觉探测***,通过无人机机载相机拍摄双目相机;开启地面双目视觉***,双目相机耦合定位;利用双目相机对飞行中的无人机进行联合追踪,并进行几何校准以修正无人机的飞行位置;机载视觉探测***获得被测区域的图像,并将图像回传给地面控制中心;以及地面控制中心将机载视觉探测***回传的图像进行算法处理,从而获得被测区域的地面变形监测结果。
Description
技术领域
本发明是关于非接触工程监测与摄影测量技术领域,特别是关于一种基于地空耦合的大区域变形摄影测量方法。
背景技术
随着通信技术的发展,单一的通信手段已经不能满足用户的需求。然而,传统的测量设备及安装方式不仅成本高,且难以满足大区域内的地面变形、山体滑坡及已有大型建筑体的变形测量需求。另外,考虑到机载雷达成本、区域内面扫控制难度、飞行定位精度及成像精度,采用雷达探测技术并不是最有选择。
随着非接触测量与摄影测量技术的发展以及视觉成像处理算法的飞速提升,需要寻找在低成本监测投入前提下,寻求对大区域范围的内目标物体进行状态追踪与变化分析的解决方案。
公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解,而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
发明内容
本发明的目的在于提供一种基于地空耦合的大区域变形摄影测量方法,其通过耦合定位的方式减少了机载视觉探测***的测量误差。
为实现上述目的,本发明提供了一种基于地空耦合的大区域变形摄影测量方法,包括如下步骤:建立无人机机载视觉探测***和地面双目视觉***,其中,无人机机载视觉探测***包括机载相机,地面双目视觉***包括多架作为定位点的双目相机;对双目相机进行共面线校准;无人机启动巡航飞行,开启无人机机载视觉探测***,通过无人机机载相机拍摄双目相机;开启地面双目视觉***,双目相机耦合定位;利用双目相机对飞行中的无人机进行联合追踪,并进行几何校准以修正无人机的飞行位置;机载视觉探测***获得被测区域的图像,并将图像回传给地面控制中心;以及地面控制中心将机载视觉探测***回传的图像进行算法处理,从而获得被测区域的地面变形监测结果。
在本发明的一实施方式中,地面双目视觉***包括三架作为定位点的双目相机,三架双目相机位于地面不同的位置,其相对海拔高度和相对位置通过三架双目相机构成的视觉测量链进行解耦计算,并通过相互定位及地面相机的立体校正反馈出地面基准的空间信息。
在本发明的一实施方式中,每架双目相机由两个内参相同的摄像机平行安装,以拍摄空中处于飞行的、且飞行位置与高度发生变化的无人机。
在本发明的一实施方式中,三架双目相机为三角形布局,双目相机的相互距离及其形成的三角形布局是通过测量机器人实现的,通过测量双目相机的相互距离形成无人机飞行测量的地面标志及尺寸。
在本发明的一实施方式中,无人机机载视觉探测***还包括GPS定位***、飞行控制***、飞行执行***和视觉监测云台。
在本发明的一实施方式中,无人机巡航飞行前无需设置飞行轨迹,机载相机加载于视觉监测云台,在机载相机视野范围内拍摄到双目相机则表示已到达或者接近待测区域。
在本发明的一实施方式中,机载相机为变焦相机,其能够根据地面标志物体的距离自动进行调整以获取清晰的图像数据,飞行控制***的数据反馈于地面控制中心,数据包括飞行速度、飞行高度、飞行姿态及相机倾角。
在本发明的一实施方式中,GPS定位***获得的GPS定位数据与飞行控制***及视觉图像采集***耦合,使得机载相机的拍摄角度及焦距与地面双目视觉***联动与调整,以实现无人机机载视觉探测***面对大区域测量拍摄时的镜头几何失真问题的校正,根据机载相机拍摄地面所处的角度不同而引起的分辨率变化进行校正标定,并作为计算地面变形的输入参量。
在本发明的一实施方式中,地面控制中心将机载视觉探测***回传的图像进行算法处理包括如下步骤:对机载视觉探测***回传的图像进行特征点提取、特征点匹配、筛选好的匹配点、透视变换、图像匹配、图像拼接与融合、消除裂缝与边界,最终在被拼接的图像中选择待测区域,并分析其随时间的变化。
与现有技术相比,根据本发明的基于地空耦合的大区域变形摄影测量方法具有如下优点:本发明通过无人机机载视觉探测***与地面双目视觉***联动,机载视觉***获得可视范围内被测区域的图像并回传给地面控制***,地面三架双目探测***用来协同测量以定位机载视觉探测***,提高飞控可视***的测量精度。本发明的方法能够通过耦合定位的方式减少机载视觉探测***的测量误差,同时也适合于可视区域内的大型物体的位置和速度测量,可在低空区域替代机载雷达的大区域探测方式,在测量精度和设备成本上成为更好的选择。
附图说明
图1是根据本发明一实施方式的无人机机载视觉探测***与地面双目视觉***空间布置示意图;
图2是根据本发明一实施方式的基于地空耦合的大区域变形摄影测量方法流程图;
图3是根据本发明一实施方式的基于地空耦合大区域变形摄影测量方法的原理框图。
具体实施方式
下面结合附图,对本发明的具体实施方式进行详细描述,但应当理解本发明的保护范围并不受具体实施方式的限制。
除非另有其它明确表示,否则在整个说明书和权利要求书中,术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分,而并未排除其它元件或其它组成部分。
如图1所示,本发明的基于地空耦合的大区域变形摄影测量方法利用无人机101、无人机机载视觉探测***、地面双目视觉***102以及地面控制中心构成的监测***,本发明提供的无人机机载视觉探测***、地面双目探测***及地面控制中心的算法处理可统一整合至一个***,也可分别处理,且机载图像***与地面双目视觉***联动,通过地面视觉***定位误差修正算法、机载图像拼接与误差消除算法降低***测量误差。本发明涉及的所有相机在作为本监测***的“光学传感器”之前都经过校准。
如图2所示,根据本发明优选实施方式的基于地空耦合的大区域变形摄影测量方法,包括如下步骤:步骤201:建立无人机机载视觉探测***和地面双目视觉***,其中,无人机机载视觉探测***包括机载相机,地面双目视觉***包括多架作为定位点的双目相机;步骤202:对所有双目相机进行共面线校准;步骤203:无人机启动巡航飞行,开启无人机机载视觉探测***,通过无人机机载相机拍摄双目相机;步骤204:开启地面双目视觉***,双目相机耦合定位;步骤205:利用双目相机对飞行中的无人机进行联合追踪,并进行几何校准以修正无人机的飞行位置;步骤206:机载视觉探测***获得被测区域的图像,并将图像回传给地面控制中心;以及步骤207:地面控制中心将机载视觉探测***回传的图像进行算法处理,从而获得被测区域的地面变形监测结果。
在本发明的一实施方式中,如图1所示,地面双目视觉***102包括三架作为定位点的双目相机,三架双目相机位于地面不同的位置,每架双目相机由两个内参相同的摄像机平行安装,以拍摄空中处于飞行的、且飞行位置与高度发生变化的无人机101。
在本发明的一实施方式中,如图1-3所示,地面三架双目相机为三角形布局,双目相机的相互距离及其形成的三角形布局是通过测量机器人实现的,通过测量双目相机的相互距离形成无人机飞行测量的地面标志及尺寸。并且通过双目相机在机载相机中所占的像素点的位置及布局面积反算焦距及单个像素点所对应的范围。以地面三架双目相机作为标定点进行航拍的益处在于,通过双目视觉***的立体校正来协同测量并定位无人机***的位置,其所构成的三形角布局可与无人机与三架地面双目相机构成四面体,且该四面体的斜边及高度随无人机飞行位置的变化而变化,斜边长度(即无人机到每架双目相机的距离)由校准后的双目相机根据拍摄画面直接获得。通过地面相机拍摄空中飞行的无人机并分析其所占像素点,以图像中无人机所占区域的等效中心(所占像素点区域的重心)作为待测距的目标点,目标点在左相机图像中距图像左边缘的距离与目标在右相机图像中距图像左边缘的距离之差,乘以相机焦距并除以双目相机的光轴轴距,则成为无人机距离双目相机的距离。将地面双目视觉***作为基准,三架相机位于地面不同的位置,其相对海拔高度和相对位置通过三架相机构成的视觉测量链进行解耦计算,通过相互定位及地面相机的立体校正反馈出地面基准的空间信息。
步骤205的具体实现过程为:每一架双目相机都可以测得其与无人机的距离,便于动态补充修正记录无人机飞行高度精度以及与待测区域的几何关系。在同一时间、同一状态下,记录无人机飞行时所拍摄的地面双目相机的图像,最终使用多张图片的融合拼接记录大区域的地面信息,通过多次航拍飞行记录目标区域随时间的变化趋势,通过计算目标区域在机载相机中所占用的像素点来获得该区域的变形,从而获得待测区域随时间迁移的变形情况。
在本发明的一实施方式中,无人机机载视觉探测***还包括GPS定位***、飞行控制***、飞行执行***和视觉监测云台。无人机巡航飞行前无需设置飞行轨迹,机载相机加载于视觉监测云台,在机载相机视野范围内拍摄到双目相机则表示已到达或者接近待测区域。
在本发明的一实施方式中,机载相机为变焦相机,其能够根据地面标志物体的距离自动进行调整以获取清晰的图像数据,飞行控制***的数据反馈于地面控制中心,数据包括飞行速度、飞行高度、飞行姿态及相机倾角。
在本发明的一实施方式中,GPS定位***获得的GPS定位数据与飞行控制***及视觉图像采集***耦合,使得机载相机的拍摄角度及焦距与地面双目视觉***联动与调整,以实现无人机机载视觉探测***面对大区域测量拍摄时的镜头几何失真问题的校正,根据机载相机拍摄地面所处的角度不同(垂向或者斜向)而引起的分辨率变化进行校正标定,并作为计算地面变形的输入参量。
在本发明的一实施方式中,步骤207中,地面控制中心将机载视觉探测***回传的图像进行算法处理包括如下步骤:对机载视觉探测***回传的图像进行特征点提取、特征点匹配、筛选好的匹配点、透视变换、图像匹配、图像拼接与融合、消除裂缝与边界,最终在被拼接的图像中选择待测区域,并分析其随时间的变化。
在本发明的一实施方式中,对双目相机进行共面线校准是利用共面线对准的立体校正算法进行的。在理想条件下可利用视差距离公式对双目摄像机***进行距离测量,然而,在实际安装情况往往不满足理想条件下,双目相机轴线完全平行的要求,因此无法进行根据视差距离公式的校准与测距。因为对于真正的双目立体视觉***来说,摄像机像平面上完全两共面线的理想条件是不存在的(特别是双目相机有的安装于无人机上,有的安装于地面支架上,都存在较大的安装误差),利用共面线对准的立体校正算法可以允许地面双目视觉***存在较大的安装误差而对测量结果无影响。
本发明采用多位传感立体监测手段,机载图像***与地面双目视觉***联动,适用于大区域变形监测,也适合于可视区域内的大型物体的位置和速度测量,可在低空区域替代机载雷达的大区域探测方式,在测量精度和设备成本上成为更好的选择。
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式,并且很显然,根据上述教导,可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用,从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。
Claims (9)
1.一种基于地空耦合的大区域变形摄影测量方法,其特征在于,包括如下步骤:
建立无人机机载视觉探测***和地面双目视觉***,其中,所述无人机机载视觉探测***包括机载相机,所述地面双目视觉***包括多架作为定位点的双目相机;
对所述双目相机进行共面线校准;
无人机启动巡航飞行,开启所述无人机机载视觉探测***,通过所述无人机机载相机拍摄所述双目相机;
开启所述地面双目视觉***,所述双目相机耦合定位;
利用所述双目相机对飞行中的所述无人机进行联合追踪,并进行几何校准以修正所述无人机的飞行位置;
机载视觉探测***获得被测区域的图像,并将所述图像回传给地面控制中心;以及
所述地面控制中心将所述机载视觉探测***回传的图像进行算法处理,从而获得被测区域的地面变形监测结果。
2.如权利要求1所述的基于地空耦合的大区域变形摄影测量方法,其特征在于,所述地面双目视觉***包括三架作为定位点的双目相机,三架所述双目相机位于地面不同的位置,其相对海拔高度和相对位置通过三架所述双目相机构成的视觉测量链进行解耦计算,并通过相互定位及地面相机的立体校正反馈出地面基准的空间信息。
3.如权利要求2所述的基于地空耦合的大区域变形摄影测量方法,其特征在于,每架所述双目相机由两个内参相同的摄像机平行安装,以拍摄空中处于飞行的、且飞行位置与高度发生变化的所述无人机。
4.如权利要求3所述的基于地空耦合的大区域变形摄影测量方法,其特征在于,三架所述双目相机为三角形布局,所述双目相机的相互距离及其形成的三角形布局是通过测量机器人实现的,通过测量双目相机的相互距离形成所述无人机飞行测量的地面标志及尺寸。
5.如权利要求1所述的基于地空耦合的大区域变形摄影测量方法,其特征在于,所述无人机机载视觉探测***还包括GPS定位***、飞行控制***、飞行执行***和视觉监测云台。
6.如权利要求5所述的基于地空耦合的大区域变形摄影测量方法,其特征在于,所述无人机巡航飞行前无需设置飞行轨迹,所述机载相机加载于所述视觉监测云台,在所述机载相机视野范围内拍摄到所述双目相机则表示已到达或者接近待测区域。
7.如权利要求6所述的基于地空耦合的大区域变形摄影测量方法,其特征在于,所述机载相机为变焦相机,其能够根据地面标志物体的距离自动进行调整以获取清晰的图像数据,所述飞行控制***的数据反馈于地面控制中心,所述数据包括飞行速度、飞行高度、飞行姿态及相机倾角。
8.如权利要求7所述的基于地空耦合的大区域变形摄影测量方法,其特征在于,所述GPS定位***获得的GPS定位数据与所述飞行控制***及视觉图像采集***耦合,使得所述机载相机的拍摄角度及焦距与所述地面双目视觉***联动与调整,以实现无人机机载视觉探测***面对大区域测量拍摄时的镜头几何失真问题的校正,根据所述机载相机拍摄地面所处的角度不同而引起的分辨率变化进行校正标定,并作为计算地面变形的输入参量。
9.如权利要求1所述的基于地空耦合的大区域变形摄影测量方法,其特征在于,所述地面控制中心将所述机载视觉探测***回传的图像进行算法处理包括如下步骤:对所述机载视觉探测***回传的图像进行特征点提取、特征点匹配、筛选好的匹配点、透视变换、图像匹配、图像拼接与融合、消除裂缝与边界,最终在被拼接的图像中选择待测区域,并分析其随时间的变化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010300270.XA CN111412898B (zh) | 2020-04-16 | 2020-04-16 | 基于地空耦合的大区域变形摄影测量方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010300270.XA CN111412898B (zh) | 2020-04-16 | 2020-04-16 | 基于地空耦合的大区域变形摄影测量方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111412898A true CN111412898A (zh) | 2020-07-14 |
CN111412898B CN111412898B (zh) | 2022-04-01 |
Family
ID=71490181
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010300270.XA Active CN111412898B (zh) | 2020-04-16 | 2020-04-16 | 基于地空耦合的大区域变形摄影测量方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111412898B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113822916A (zh) * | 2021-08-17 | 2021-12-21 | 北京大学 | 图像匹配方法、装置、设备及可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104215239A (zh) * | 2014-08-29 | 2014-12-17 | 西北工业大学 | 基于视觉的无人机自主着陆导引装置及导引方法 |
CN110207681A (zh) * | 2019-06-21 | 2019-09-06 | 中国电建集团成都勘测设计研究院有限公司 | 基于无人机的地面变形监测方法 |
CN110488848A (zh) * | 2019-08-23 | 2019-11-22 | 中国航空无线电电子研究所 | 无人机视觉引导自主着降方法及*** |
CN210310880U (zh) * | 2019-05-22 | 2020-04-14 | 湖南文理学院 | 一种无人机地形测量装置 |
-
2020
- 2020-04-16 CN CN202010300270.XA patent/CN111412898B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104215239A (zh) * | 2014-08-29 | 2014-12-17 | 西北工业大学 | 基于视觉的无人机自主着陆导引装置及导引方法 |
CN210310880U (zh) * | 2019-05-22 | 2020-04-14 | 湖南文理学院 | 一种无人机地形测量装置 |
CN110207681A (zh) * | 2019-06-21 | 2019-09-06 | 中国电建集团成都勘测设计研究院有限公司 | 基于无人机的地面变形监测方法 |
CN110488848A (zh) * | 2019-08-23 | 2019-11-22 | 中国航空无线电电子研究所 | 无人机视觉引导自主着降方法及*** |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113822916A (zh) * | 2021-08-17 | 2021-12-21 | 北京大学 | 图像匹配方法、装置、设备及可读存储介质 |
CN113822916B (zh) * | 2021-08-17 | 2023-09-15 | 北京大学 | 图像匹配方法、装置、设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111412898B (zh) | 2022-04-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110033489B (zh) | 一种车辆定位准确性的评估方法、装置及设备 | |
CN105335733B (zh) | 一种无人机自主着陆视觉定位方法及*** | |
CN110319772B (zh) | 基于无人机的视觉大跨度测距方法 | |
WO2018210078A1 (zh) | 无人机的距离测量方法以及无人机 | |
CN106408601B (zh) | 一种基于gps的双目融合定位方法及装置 | |
CA3027921A1 (en) | Integrated sensor calibration in natural scenes | |
CN111435081B (zh) | 海面测量***、海面测量方法以及存储介质 | |
KR102239562B1 (ko) | 항공 관측 데이터와 지상 관측 데이터 간의 융합 시스템 | |
JP4132068B2 (ja) | 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム | |
CN110009682A (zh) | 一种基于单目视觉的目标识别定位方法 | |
CN110186468B (zh) | 用于自动驾驶的高精度地图制作方法和制作装置 | |
JPH11230745A (ja) | 高度計測装置 | |
KR101614654B1 (ko) | 단일 카메라가 장착된 드론을 이용한 추적 객체 위치 판별 방법 | |
CN110750153A (zh) | 一种无人驾驶车辆的动态虚拟化装置 | |
CN112330747B (zh) | 基于无人机平台的多传感器联合探测和显示方法 | |
CN113340272B (zh) | 一种基于无人机微群的地面目标实时定位方法 | |
CN106846385B (zh) | 基于无人机的多传感遥感影像匹配方法、装置和*** | |
CN111412898B (zh) | 基于地空耦合的大区域变形摄影测量方法 | |
CN108195359B (zh) | 空间数据的采集方法及*** | |
CN117115271A (zh) | 无人机飞行过程中的双目相机外参数自标定方法及*** | |
CN115950435A (zh) | 无人机巡检影像的实时定位方法 | |
CN113252066A (zh) | 里程计设备参数的标定方法及装置、存储介质、电子装置 | |
CN110989645A (zh) | 一种基于复眼成像原理的目标空间姿态处理方法 | |
CN116563699A (zh) | 一种联合天地图和移动手机图像的森林火点定位方法 | |
CN114353667A (zh) | 基于ar与无人机单目视觉的地面目标测量方法及其应用 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |