CN112799430B - 基于可编程无人机的路面图像智能采集方法 - Google Patents
基于可编程无人机的路面图像智能采集方法 Download PDFInfo
- Publication number
- CN112799430B CN112799430B CN202110042153.2A CN202110042153A CN112799430B CN 112799430 B CN112799430 B CN 112799430B CN 202110042153 A CN202110042153 A CN 202110042153A CN 112799430 B CN112799430 B CN 112799430B
- Authority
- CN
- China
- Prior art keywords
- flight
- image
- aerial vehicle
- unmanned aerial
- road surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000001514 detection method Methods 0.000 claims abstract description 35
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims abstract description 17
- 230000004927 fusion Effects 0.000 claims abstract description 8
- 238000006243 chemical reaction Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 5
- 238000004891 communication Methods 0.000 description 7
- 238000012423 maintenance Methods 0.000 description 7
- 201000010099 disease Diseases 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
Abstract
本发明公开了一种基于可编程无人机的路面图像智能采集方法,根据目标检测路段的路面参数,采用改进Dijkstra算法进行飞行路径规划,配置飞行任务,并将飞行任务加载到无人机飞控***中,根据目标检测路段的路面参数,制定飞行方案,将飞行方案加载到无人机飞控***中,使无人机飞行平台执行飞行任务时,无人机路面图像采集模块获取路面图像,将无人机路面图像采集模块垂直拍摄的路面图像传输到地面计算机设备,对路面图像进行去镜头畸变处理后,采用SURF算法和渐入渐出权重融合进行图像缝合,以获得完整连续的长距离路面图像,高效得到所需的路面图像,具有较高的可靠性。
Description
技术领域
本发明涉及道路路面检测技术领域,尤其涉及一种基于可编程无人机的路面图像智能采集方法。
背景技术
随着公路里程不断增长,养护需求呈爆发式增长,对道路检测的要求也越来越高,自动化、智能化、无损化、精确化和快速化成为路面检测技术发展的主要趋势。另一方面,无人机以其机动灵活、结构简单、作业高效、成本低廉等有点,自研发以来广泛应用于军事、遥感、植保、巡检、航拍等领域。将无人机应用于路面检测,利用其飞行能力与视野条件,采用空中作业的方式对公路沿线进行巡查,可以有效克服传统检测技术对交通流的影响,且能够提高维护效率、降低维护成本并保障人员安全,具有广阔的行业前景。当前存在的主要问题集中在无人机路面图像采集智能化程度不高,缺乏可靠的实现方法。
发明内容
针对无人机路面图像采集智能化程度不高,缺乏可靠的实现方法的问题,本发明提出一种基于可编程无人机的路面图像智能采集方法,可以实现公路路面图像无人机自动飞行采集,并实现路面图像拼接,获得完整路面图像,以供后续开展病害分析。
为实现本发明的目的,提供一种基于可编程无人机的路面图像智能采集方法,包括如下步骤:
S20,根据目标检测路段的路面参数,采用改进Dijkstra算法进行飞行路径规划,配置飞行任务,并将飞行任务加载到无人机飞控***中;
S30,根据目标检测路段的路面参数,制定飞行方案,将飞行方案加载到无人机飞控***中,使无人机飞行平台执行飞行任务时,无人机路面图像采集模块获取路面图像;所述飞行方案包括飞行高度,飞行速度和相机拍摄频率值的选取;
S40,将无人机路面图像采集模块垂直拍摄的路面图像传输到地面计算机设备,对路面图像进行去镜头畸变处理后,采用SURF算法和渐入渐出权重融合进行图像缝合,以获得完整连续的长距离路面图像。
在一个实施例中,步骤S20中,根据目标检测路段的路面参数,采用改进Dijkstra算法进行飞行路径规划,配置飞行任务包括:
S21,根据目标检测路段的路面参数确定任务执行区域,调用地图平台的数据输出接口,访问道路数据库将任务执行区域的交通网络抽取出来,使用栅格法建立初始交通模型,并从初始交通模型的源点起对点集进行层序遍历进而简化初始交通模型,生成Dijkstra算法的直接用图,并得到交通网络简化模型;
S22,从一个源点开始,依照最短路径原则依次将节点纳入到路径中来,直至全部节点的最短路径生成完毕,以针对交通网络简化模型采用改进Dijkstra算法完成路径的计算,得到覆盖所有路线的不重复飞行路径点;
S23,导出实际算路和路径规划途经点信息,以配置飞行任务。
在一个实施例中,飞行方案的制定过程包括:
S31,根据公式h=Df/a=(3.75n+4)f/a计算飞行高度,其中h为飞行高度,f为镜头焦距,a为相机传感器尺寸参数,n为目标检测路段范围车道数,D为单车道宽度;
S32,根据公式v=Thb/f(1-r)计算飞行速度,其中v为飞行速度,T为拍摄间隔,r为图片重合率,h为无人机飞行高度,b为相机传感器尺寸参数;
S33,将目标检测路段的范围通过Dijkstra算法算路得到的只飞一次路径的坐标点,根据飞行高度、飞行速度和各个坐标点确定飞行方案。
在一个实施例中,步骤S40中,采用SURF算法和渐入渐出权重融合进行图像缝合包括:
S41,读取待处理的路面图像后,对路面图像进行灰度化处理,同时调整图像尺寸,检测图像中的SURF特征点,建立特征点描述符;
S42,采用matchFeatures接口对两图图像之间的SURF特征点进行粗匹配;
S43,采用estimateGeometricTransform接口对误匹配进行消除;
S44,分别获取图像各自的正确匹配点对后,对它们的坐标齐次化处理,通过最小二乘法求解矩阵方程,得到配准图到基准图的坐标转换矩阵;
S45,选取图像序列中间的一幅作为基准图,其它图片依次计算各自到基准图的转换矩阵,并利用计算的转换矩阵实现到基准图的坐标变换,转换后的图片按照原有的顺序依次粘结到基准图上,实现多幅图像的拼接。
具体地,采用matchFeatures接口对两图图像之间的SURF特征点进行粗匹配包括:
输入两组特征点向量以及特征点描述符,按设定的匹配方法计算两幅图像之间各特征点之间的欧氏距离或街区距离,若欧氏距离或街区距离的距离值在设定的范围内,判定两图图像之间的SURF特征点粗匹配成功。
在一个实施例中,步骤S20之前,还包括:
S10,构建带有GPS、图像采集设备的可编程无人机飞行平台以及地面计算机设备。
本发明的有益效果包括:采用基于无人机飞行平台的路面图像智能采集方法,基于无人机搭载的GPS设备实现路径规划并自动飞行采集路面图像,采用制定的无人机飞行方案完成飞行采集,通过自动化拼接技术形成全景照片,实现从路面图像采集到后期成图的一体化流程,具有易携带、高机动性、智能化程度高、运维成本低以及作业效率高的优点。可以实现公路路面图像无人机自动飞行采集,并实现拼接,获得完整路面图像,以供后续开展病害分析,可以极大的提高路面病害检测智能化程度以及检测速度,并降低公路养护的成本。
附图说明
图1是一个实施例的基于可编程无人机的路面图像智能采集方法流程图;
图2是另一个实施例的基于可编程无人机的路面图像智能采集方法流程图;
图3是一个实施例的无人机路面图像采集飞行方案视野尺寸示意图;
图4是一个实施例的算路实例图;
图5为一个实施例的路面图像拼接流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
参考图1所示,图1为一个实施例的基于可编程无人机的路面图像智能采集方法流程图,包括如下步骤:
S20,根据目标检测路段的路面参数,采用改进Dijkstra算法进行飞行路径规划,配置飞行任务,并将飞行任务加载到无人机飞控***中。
在一个实施例中,步骤S20中,根据目标检测路段的路面参数,采用改进Dijkstra算法进行飞行路径规划,配置飞行任务包括:
S21,根据目标检测路段的路面参数确定任务执行区域,调用地图平台的数据输出接口,访问道路数据库将任务执行区域的交通网络抽取出来,使用栅格法建立初始交通模型,并从初始交通模型的源点起对点集进行层序遍历进而简化初始交通模型,生成Dijkstra算法的直接用图,并得到交通网络简化模型;
S22,从一个源点开始,依照最短路径原则依次将节点纳入到路径中来,直至全部节点的最短路径生成完毕,以针对交通网络简化模型采用改进Dijkstra算法完成路径的计算,得到覆盖所有路线的不重复飞行路径点(俗称“只飞一次”);
S23,导出实际算路和路径规划途经点信息,以配置飞行任务。
上述地图平台的数据输出接口可以为高德的AMAP接口(高德共有Map-ABC三种地图接口,此为面向普通用户的Map-A接口)。
具体地,还可以通过无线通讯将飞行任务加载到无人机飞控***中。
S30,根据目标检测路段的路面参数,制定飞行方案,将飞行方案加载到无人机飞控***中,使无人机飞行平台执行飞行任务时,无人机路面图像采集模块获取路面图像;所述飞行方案包括飞行高度,飞行速度和相机拍摄频率值的选取。
上述步骤可以采用无线通讯将飞行方案加载到无人机飞控***中。
在一个实施例中,飞行方案的制定过程包括:
S31,根据公式h=Df/a=(3.75n+4)f/a计算飞行高度,其中h为飞行高度,f为镜头焦距,a为相机传感器尺寸参数,n为目标检测路段范围车道数,D为单车道宽度;
S32,根据公式v=Thb/f(1-r)计算飞行速度,其中v为飞行速度,T为拍摄间隔,r为图片重合率,h为无人机飞行高度,b为相机传感器尺寸参数;
S33,将目标检测路段的范围通过Dijkstra算法算路得到的只飞一次路径的坐标点,根据飞行高度、飞行速度和各个坐标点确定飞行方案。
进一步地,本实施例还可以将各个坐标点上传至到无人机作业***中。将飞行高度与飞行速度通过无线通讯加载到无人机飞控***中,以执行无人机路面图像采集自动飞行任务,获取路面图像。
S40,将无人机路面图像采集模块垂直拍摄的路面图像传输到地面计算机设备,对路面图像进行去镜头畸变处理后,采用SURF算法和渐入渐出权重融合进行图像缝合,以获得完整连续的长距离路面图像。
上述基于可编程无人机的路面图像智能采集方法,根据目标检测路段的路面参数,采用改进Dijkstra算法进行飞行路径规划,配置飞行任务,并将飞行任务加载到无人机飞控***中,根据目标检测路段的路面参数,制定飞行方案,将飞行方案加载到无人机飞控***中,使无人机飞行平台执行飞行任务时,无人机路面图像采集模块获取路面图像,将无人机路面图像采集模块垂直拍摄的路面图像传输到地面计算机设备,对路面图像进行去镜头畸变处理后,采用SURF算法和渐入渐出权重融合进行图像缝合,以获得完整连续的长距离路面图像,能够高效得到所需的路面图像,具有较高的可靠性。
在一个实施例中,步骤S40中,采用SURF算法和渐入渐出权重融合进行图像缝合包括:
S41,读取待处理的路面图像后,对路面图像进行灰度化处理,同时调整图像尺寸,检测图像中的SURF特征点,建立特征点描述符;
S42,采用matchFeatures接口对两图图像之间的SURF特征点进行粗匹配;
S43,采用estimateGeometricTransform接口对误匹配进行消除;其消除原理是采用了抽样估计一致性处理法(M-estimator Sample Consensus Algorithm);
S44,分别获取图像各自的正确匹配点对后,对它们的坐标齐次化处理,通过最小二乘法求解矩阵方程,得到配准图到基准图的坐标转换矩阵;
S45,选取图像序列中间的一幅作为基准图,其它图片依次计算各自到基准图的转换矩阵,并利用计算的转换矩阵实现到基准图的坐标变换,转换后的图片按照原有的顺序依次粘结到基准图上,实现多幅图像的拼接。
具体地,采用matchFeatures接口对两图图像之间的SURF特征点进行粗匹配包括:
输入两组特征点向量以及特征点描述符,按设定的匹配方法(如穷举法或邻域搜索法等)计算两幅图像之间各特征点之间的欧氏距离或街区距离,若欧氏距离或街区距离的距离值在设定的范围内,判定两图图像之间的SURF特征点粗匹配成功。
在一个实施例中,步骤S20之前,还包括:
S10,构建带有GPS、图像采集设备的可编程无人机飞行平台以及地面计算机设备。
本实施例中,无人机飞行路径规划的完整过程主要分成两个大部分,一是任务执行区域的交通网络建模和简化;二是实际算路和路径规划途经点信息的导出。具体实现上,首先依据行政区划等划分规则将完整的数字中国地图分割开来,完成关键字的传入和区划的搜索,利用切割后的区域地图回调输出切割后的区划信息,以用于交通网络输出到文件时归档。根据所选定的区划逐步迭代获取交通网络信息数据,按照区划内的栅格执行搜索。具体操作显示实例化对象,并完成关键词传递,启动搜索请求。最后在回调得到坐标信息并对其进行解析。
完成区划内道路的全部解析任务后,使用数据持久化技术完成交通网络数据文件的存储,将建模好的交通网络图导入到改进Dijkstra算法中。
Dijkstra算法本质上从一个源点开始,依照最短路径原则依次将节点纳入到路径中来,并且使用一个表记录已添加的节点,直至全部节点的最短路径生成完毕,接下来我们将从最简单的情况依次外推,描述算法的基本过程:
1、如果l(υ0,υ1)为权值最小的边,那么最短路径必包含此边;
2、长度次短的路径满足以下两个条件的任意一个:
(1)源点通过一条边l(υ0,υ2)到达υ2
(2)源点经过两条边到达υ2,则两条边必为l(υ0,υ1)和l(υ1,υ2),过υ1
3、第三短的路径满足以下四个条件的任意一个:
(1)源点通过一条边l(υ0,υ3)到达υ3
(2)源点经过两条边到达υ3,则两条边为l(υ0,υ1)和l(υ1,υ3),过υ1
(3)源点经过两条边到达υ3,则两条边为l(υ0,υ2)和l(υ2,υ3),过υ2
(4)源点经过三条边到达υ3,则三条边为l(υ0,υ1)、l(υ1,υ2)和l(υ2,υ3)
依照此策略依次递推便可以得到源点距离所有点的最短路径。
道路数据库通常会使用栅格法对交通网络进行规划空间建模,栅格将道路切割成若干个小段,每一个小段相当于图中的两个节点与一条边。然而在沿实际道路飞行时,有些路可能并不曲折,因此大部分图的节点是可以被省略的。为了进行简化,需要预先对道路图进行遍历,以生成一个简略图,此图便是我们使用Dijkstra算法的直接用图。从源点起对点集进行层序遍历,检查以某一个点υi为端的子边集arci={<υi,υj>,<υi,υk>,…,<υm,υi>}并暂存于表arc[υi]中,随后检查下一层节点的全部子边集Arc={arcj,arck,…,arcm},这些子边集中的元素便是有可能和arc[υi]中的边合并的。检查这些边端节点在栅格中的坐标,如果三点连转角大于103°则将其对应的边合并为一条捷径边,并以父级端点为捷径边的起始点。
然后,考虑添加额外约束条件,以调整最终的算路结果,执行导航策略计算,依照策略调整交通网络图的权值分布。随后使用将路径规划的起点和终点带入到算路方法中,以得到最终的路径规划结果,这一步最终算出的是航路点的坐标,在算路成功的回调中将全部途经点导出到线性表中,算法的全部任务便已完成。
最后,导航点还需要输出到数字地图上,通过绘制在地图上的标记点,操作员可以清晰的看到路径规划结果,如果规划过程有误,则可以选择重新规划或输出调试信息以供开发者修改程序。确定航路点后,配置飞行任务并通过无线通讯加载到无人机飞控***中。
路径规划完成后,制定无人机飞行方案,包括飞行高度以及飞行速度。根据相机视觉***的基本知识,相机的视野尺寸与镜头焦距之间存在以下关系:传感器的被测物体的距离×传感器尺寸=镜头焦距×视野尺寸。
无人机在执行路面检测任务时,其飞行高度将决定检测道路在图像画面中所占比例。实地拍摄表明,对于路面照片,图像匹配算法提取的特征点往往集中在道路两旁的树木、花草、绿化带及其它路边设施上,路面本身很难提取出特征。如图2所示,为了便于图像拼接,采集图像时道路两侧需要留出一定净宽,即视野范围大于路面范围。一般来说,一条车道的宽度为3.75m,现设定道路两侧各留出2m净宽,则横向视野尺寸为D=3.75n+4,其中n为车道数。则无人机飞行高度为:h=Df/a=(3.75n+4)f/a,其中f为镜头焦距,a为相机传感器尺寸参数,n为车道数。
无人机执行一次路面检测任务后,采集到的是连续的单张图像,需要经过图像拼接获取完整的路面长图。拼接时,若图片重合率过低,将会影响匹配算法的精度从而影响图片质量;若图片重合率过高,则占用过多的内存资源且增加工作量。图片重合率主要与飞行高度、飞行速度及拍摄间隔有关,具体表现为:v=TL(1-r),其中v表示无人机飞行速度,T为拍摄间隔,r为图片重合率,L为纵向视野尺寸,其值具体为:L=hb/f,其中h为无人机飞行高度,f为镜头焦距,b为相机传感器尺寸参数。
获得无人机飞行高度及飞行速度参数后,通过无线通讯加载到无人机飞控***中,执行无人机路面图像采集自动飞行任务,并获取路面图像。将获取的路面图像传输到地面计算机设备,采用SURF算法进行图像拼接,以获得完整连续的路面图像。
采用SIFT算法的加强版-鲁棒性更优的特征快速提取算法SURF算法对图像进行特征点的提取与匹配。读取待处理图像后,对其进行灰度化处理,同时调整图像尺寸,然后检测图像中的SURF特征点,建立特征点描述符。之后,进行两图图像之间的特征点粗匹配,输入两组特征点向量,函数返回匹配点对。然后对误匹配进行消除。
分别获取图像各自的正确匹配点对后,对它们的坐标齐次化处理。通过最小二乘法求解矩阵方程,即可得到配准图到基准图的坐标转换矩阵。
上述步骤全部完成后,进入最终的图像拼接环节。选取图像序列中间的一幅作为基准图,其它图片依次计算各自到基准图的转换矩阵,并利用计算的转换矩阵实现到基准图的坐标变换。转换后的图片按照原有的顺序依次粘结到基准图上,实现多幅图像的拼接。
在一个实施例中,上述基于可编程无人机的路面图像智能采集方法也可以参考图2所示,包括如下过程:
步骤1:构建带有GPS、图像采集设备的无人机飞行平台以及地面计算机设备。
步骤2:根据目标检测路段,采用改进Dijkstra算法进行飞行路径规划,配置飞行任务并通过无线通讯加载到无人机飞控***中。具体地,以下以手动推演实例进一步说明。其中无人机路面图像采集飞行方案视野尺寸示意图可以参考图3所示。
设图G=(V,A)作为算路目标图(该目标图可以参考图4所示算路实例图),其由点集A和由邻接矩阵表示的边集V组成,并设源点为υ0。
第一轮,设当前步进点为源点υ0,通过查找邻接矩阵找出υ0到其他点的距离:υ0→υ1=10,υ0→υ4=5,由于到υ4的距离更短,故第一轮选择向υ4前进一步并将υ4纳入已求解点集。
第二轮,设当前步进点为υ4,查找邻接矩阵和上一轮算路结果找出υ0到其他点的距离:υ0→υ4→υ1=8,υ0→υ4→υ2=14,υ0→υ4→υ3=7,由于到υ3的距离最短,故第二轮选择向υ3前进一步并将υ3纳入已求解点集。
第三轮,设当前步进点为υ3,此时的边已经只剩到υ3→υ2,因此直接列出当前υ0到剩下未完成算路的点的全部路径:υ0→υ4→υ1=8,υ0→υ4→υ3→υ2=13,显然到υ1距离最短,故第三轮向υ1步进并将υ1纳入已求解点集。
第四轮,设步进点为υ1,此时仅剩一个待算路点和一条边,得到υ2的最短路径为:υ0→υ4→υ1→υ2=9,至此,从源点到其他所有节点的全部算路工作进行完毕。
步骤3:根据目标检测路段范围,制定飞行方案,包括飞行高度和飞行速度,并通过无线通讯加载到无人机飞控***中,执行无人机路面图像采集自动飞行任务,并获取路面图像;
根据公式h=Df/a=(3.75n+4)f/a计算飞行高度,其中h为飞行高度,f为镜头焦距,a为相机传感器尺寸参数,n为车道数。根据公式v=Thb/f(1-r)计算飞行速度,其中v为飞行速度,T为拍摄间隔,r为图片重合率,h为无人机飞行高度,f为镜头焦距,b为相机传感器尺寸参数。以下以计算实例进一步说明。
已知相机传感器尺寸参数a为35.9mm,b为24.0mm,镜头焦距f为35mm;n为2;T为0.1s;r为30%;根据计算可得,飞行高度h为11.2m,飞行速度为11.9m/s。
步骤4:将获取的路面图像传输到地面计算机设备,采用SURF算法进行图像拼接,以获得完整连续的路面图像。
读取待处理路面图像后,对其进行灰度化处理,同时调整图像尺寸,检测图像中的SURF特征点,建立特征点描述符。进行两图图像之间的特征点粗匹配,输入两组特征点向量,函数返回匹配点对。对误匹配进行消除。分别获取图像各自的正确匹配点对后,对它们的坐标齐次化处理。通过最小二乘法求解矩阵方程,得到配准图到基准图的坐标转换矩阵。选取图像序列中间的一幅作为基准图,其它图片依次计算各自到基准图的转换矩阵,并利用计算的转换矩阵实现到基准图的坐标变换。转换后的图片按照原有的顺序依次粘结到基准图上,实现多幅图像的拼接。在一个示例中,路面图像拼接流程图可以参考图5所示。
本实施例的有益效果包括:采用基于无人机飞行平台的路面图像智能采集方法,基于无人机搭载的GPS设备实现路径规划并自动飞行采集路面图像,采用制定的无人机飞行方案完成飞行采集,通过自动化拼接技术形成全景照片,实现从路面图像采集到后期成图的一体化流程,具有易携带、高机动性、智能化程度高、运维成本低以及作业效率高的优点。可以实现公路路面图像无人机自动飞行采集,并实现拼接,获得完整路面图像,以供后续开展病害分析,可以极大的提高路面病害检测智能化程度以及检测速度,并降低公路养护的成本。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
需要说明的是,本申请实施例所涉及的术语“第一\第二\第三”仅仅是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换,以使这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
本申请实施例的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块,而是可选地还包括没有列出的步骤或模块,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (5)
1.一种基于可编程无人机的路面图像智能采集方法,其特征在于,包括如下步骤:
S20,根据目标检测路段的路面参数,采用改进Dijkstra算法进行飞行路径规划,配置飞行任务,并将飞行任务加载到无人机飞控***中;
S30,根据目标检测路段的路面参数,制定飞行方案,将飞行方案加载到无人机飞控***中,使无人机飞行平台执行飞行任务时,无人机路面图像采集模块获取路面图像;所述飞行方案包括飞行高度,飞行速度和相机拍摄频率值的选取;
S40,将无人机路面图像采集模块垂直拍摄的路面图像传输到地面计算机设备,对路面图像进行去镜头畸变处理后,采用SURF算法和渐入渐出权重融合进行图像缝合,以获得完整连续的长距离路面图像;
步骤S20中,根据目标检测路段的路面参数,采用改进Dijkstra算法进行飞行路径规划,配置飞行任务包括:
S21,根据目标检测路段的路面参数确定任务执行区域,调用地图平台的数据输出接口,访问道路数据库将任务执行区域的交通网络抽取出来,使用栅格法建立初始交通模型,并从初始交通模型的源点起对点集进行层序遍历进而简化初始交通模型,生成Dijkstra算法的直接用图,并得到交通网络简化模型;
S22,从一个源点开始,依照最短路径原则依次将节点纳入到路径中来,直至全部节点的最短路径生成完毕,以针对交通网络简化模型采用改进Dijkstra算法完成路径的计算,得到覆盖所有路线的不重复飞行路径点;
S23,导出实际算路和路径规划途经点信息,以配置飞行任务。
2.根据权利要求1所述的基于可编程无人机的路面图像智能采集方法,其特征在于,飞行方案的制定过程包括:
S31,根据公式h=Df/a=(3.75n+4)f/a计算飞行高度,其中h为飞行高度,f为镜头焦距,a为相机传感器尺寸参数,n为目标检测路段范围车道数,D为单车道宽度;
S32,根据公式v=Thb/f(1-r)计算飞行速度,其中v为飞行速度,T为拍摄间隔,r为图片重合率,h为无人机飞行高度,b为相机传感器尺寸参数;
S33,将目标检测路段的范围通过Dijkstra算法算路得到的只飞一次路径的坐标点,根据飞行高度、飞行速度和各个坐标点确定飞行方案。
3.根据权利要求1所述的基于可编程无人机的路面图像智能采集方法,其特征在于,步骤S40中,采用SURF算法和渐入渐出权重融合进行图像缝合包括:
S41,读取待处理的路面图像后,对路面图像进行灰度化处理,同时调整图像尺寸,检测图像中的SURF特征点,建立特征点描述符;
S42,采用matchFeatures接口对两图图像之间的SURF特征点进行粗匹配;
S43,采用estimateGeometricTransform接口对误匹配进行消除;
S44,分别获取图像各自的正确匹配点对后,对它们的坐标齐次化处理,通过最小二乘法求解矩阵方程,得到配准图到基准图的坐标转换矩阵;
S45,选取图像序列中间的一幅作为基准图,其它图片依次计算各自到基准图的转换矩阵,并利用计算的转换矩阵实现到基准图的坐标变换,转换后的图片按照原有的顺序依次粘结到基准图上,实现多幅图像的拼接。
4.根据权利要求3所述的基于可编程无人机的路面图像智能采集方法,其特征在于,采用matchFeatures接口对两图图像之间的SURF特征点进行粗匹配包括:
输入两组特征点向量以及特征点描述符,按设定的匹配方法计算两幅图像之间各特征点之间的欧氏距离或街区距离,若欧氏距离或街区距离的距离值在设定的范围内,判定两图图像之间的SURF特征点粗匹配成功。
5.根据权利要求1所述的基于可编程无人机的路面图像智能采集方法,其特征在于,步骤S20之前,还包括:
S10,构建带有GPS、图像采集设备的可编程无人机飞行平台以及地面计算机设备。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110042153.2A CN112799430B (zh) | 2021-01-13 | 2021-01-13 | 基于可编程无人机的路面图像智能采集方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110042153.2A CN112799430B (zh) | 2021-01-13 | 2021-01-13 | 基于可编程无人机的路面图像智能采集方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112799430A CN112799430A (zh) | 2021-05-14 |
CN112799430B true CN112799430B (zh) | 2022-09-09 |
Family
ID=75810459
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110042153.2A Active CN112799430B (zh) | 2021-01-13 | 2021-01-13 | 基于可编程无人机的路面图像智能采集方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112799430B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114140396A (zh) * | 2021-11-10 | 2022-03-04 | 广州大学 | 基于无人机图像的路面破损检测方法、***、装置和介质 |
CN114473140A (zh) * | 2022-02-22 | 2022-05-13 | 上海电力大学 | 一种基于分时复用的熔池图像平行式采集方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104376548B (zh) * | 2014-11-07 | 2017-11-03 | 中国电子科技集团公司第二十八研究所 | 一种基于改进型surf算法的图像快速拼接方法 |
CN107144264A (zh) * | 2017-06-19 | 2017-09-08 | 北京理工大学 | 一种用于固定翼无人机采集高清路面图像的航空摄影方法 |
CN107808362A (zh) * | 2017-11-15 | 2018-03-16 | 北京工业大学 | 一种基于无人机pos信息与图像surf特征结合的图像拼接方法 |
TWI649721B (zh) * | 2017-12-06 | 2019-02-01 | 凌通科技股份有限公司 | 無人飛行機之全景拍照方法與使用其之無人飛行機 |
CN110046584B (zh) * | 2019-04-19 | 2023-04-18 | 上海海事大学 | 一种基于无人机巡检的道路裂纹检测装置及检测方法 |
CN111947623A (zh) * | 2020-08-12 | 2020-11-17 | 湖南大狗科技有限公司 | 一种根据surf-scan快速得到现场地图的方法 |
-
2021
- 2021-01-13 CN CN202110042153.2A patent/CN112799430B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN112799430A (zh) | 2021-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112069856B (zh) | 地图生成方法、驾驶控制方法、装置、电子设备及*** | |
CN111144388B (zh) | 一种基于单目影像的道路标志标线的更新方法 | |
KR102338270B1 (ko) | 전자 지도를 업데이트하기 위한 방법, 장치 및 컴퓨터 판독 가능한 저장 매체 | |
CN111462275B (zh) | 一种基于激光点云的地图生产方法和装置 | |
CN109324337B (zh) | 无人飞行器的航线生成及定位方法、装置及无人飞行器 | |
CN112799430B (zh) | 基于可编程无人机的路面图像智能采集方法 | |
KR20190090393A (ko) | 차선 결정 방법, 디바이스 및 저장 매체 | |
WO2020103110A1 (zh) | 一种基于点云地图的图像边界获取方法、设备及飞行器 | |
WO2021051344A1 (zh) | 高精度地图中车道线的确定方法和装置 | |
CN114998536A (zh) | 基于新型基础测绘的模型生成方法、装置及存储介质 | |
CN112465970B (zh) | 导航地图构建方法、装置、***、电子装置和存储介质 | |
CN110969719A (zh) | 一种自动巡检方法、***、终端设备及存储介质 | |
CN113052108A (zh) | 基于深度神经网络的多尺度级联航拍目标检测方法和*** | |
CN115344655A (zh) | 地物要素的变化发现方法、装置及存储介质 | |
US20240077331A1 (en) | Method of predicting road attributers, data processing system and computer executable code | |
JP2006350553A (ja) | 対応点探索方法、相互標定方法、3次元画像計測方法、対応点探索装置、相互標定装置、3次元画像計測装置、対応点探索プログラム及び対応点探索プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
CN112183244A (zh) | 场景建立方法及装置、存储介质、电子装置 | |
CN113298042B (zh) | 遥感影像数据的处理方法及装置、存储介质、计算机设备 | |
CN112665554B (zh) | 一种正射影像的生成方法与*** | |
CN112833891A (zh) | 基于卫片识别的道路数据与车道级地图数据的融合方法 | |
CN116258967A (zh) | 一种基于改进SNUNet-CD的城市违建变化检测方法 | |
CN106680830A (zh) | 一种数字线划图半自动测图方法 | |
Saveliev et al. | Automated terrain mapping based on mask R-CNN neural network | |
KR100221401B1 (ko) | 위성항법장치를 이용한 컴퓨터 수치지도상에의 동영상의 지원방법과 디스플레이방법 및 그 동영상의 지원시스템 | |
Moseva et al. | Development of a Platform for Road Infrastructure Digital Certification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |