CN114217626B - 一种基于无人机巡检视频的铁路工程检测方法和*** - Google Patents
一种基于无人机巡检视频的铁路工程检测方法和*** Download PDFInfo
- Publication number
- CN114217626B CN114217626B CN202111531512.7A CN202111531512A CN114217626B CN 114217626 B CN114217626 B CN 114217626B CN 202111531512 A CN202111531512 A CN 202111531512A CN 114217626 B CN114217626 B CN 114217626B
- Authority
- CN
- China
- Prior art keywords
- target
- coordinates
- frame
- track
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 61
- 238000007689 inspection Methods 0.000 title claims abstract description 44
- 238000013461 design Methods 0.000 claims abstract description 100
- 238000000034 method Methods 0.000 claims abstract description 16
- 238000004891 communication Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 abstract description 11
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000009430 construction management Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于无人机巡检视频的铁路工程检测方法和***,该方法包括:基于目标检测算法对巡检视频进行逐帧检测并获取多个包括目标构筑物的目标检测框;基于目标跟踪算法对各目标检测框进行跟踪并获取各目标构筑物的目标轨迹;根据各目标轨迹中的每一轨迹帧的帧数据分别确定各目标构筑物的估算坐标;根据各估算坐标与铁路线设计图纸中各目标构筑物的设计数据确定巡检视频中出现的各目标构筑物的定位信息;其中,巡检视频是基于无人机对预定的铁路线进行全线或部分拍摄后的视频,帧数据包括无人机的位置数据和相机的姿态数据,从而实现从无人机巡检视频中自动准确的检测出铁路线上的目标构筑物,进而提升了铁路施工巡检的效率。
Description
技术领域
本申请涉及铁路建设工程监测技术领域,更具体地,涉及一种基于无人机巡检视频的铁路工程检测方法和***。
背景技术
施工监测是铁路施工管理的重要组成部分,近年来,随着高铁在建与计划新建里程的爆发式增长,为高铁全线施工现场的巡检工作带来了更大的挑战。
铁路线路包括多种构筑物,如隧道,桥梁,桥墩,路基,轨道,四电工程(通信工程、信号工程、电力工程、电气化工程),站场,房建等,在进行铁路线路巡检时需要对每种构筑物的建设情况进行巡检,无人机航拍技术的应用提升了线路巡检的效率,然而目前对无人机巡检数据的利用方式仍然较为原始,大多采用人工整理与判读的形式,并且难以将无人机获取的现场视频与施工计划图纸等信息相对照。
如何从无人机巡检视频中自动准确检测出铁路线上的目标构筑物,进而提升铁路施工巡检的效率,是目前有待解决的技术问题。
发明内容
本发明公开了一种基于无人机巡检视频的铁路工程检测方法,用以解决现有技术中对无人机巡检视频采用人工整理与判读,进行目标构筑物检测时效率低的技术问题。该方法包括:
基于目标检测算法对巡检视频进行逐帧检测并获取多个包括目标构筑物的目标检测框;
基于目标跟踪算法对各所述目标检测框进行跟踪并获取各目标构筑物的目标轨迹;
根据各所述目标轨迹中的每一轨迹帧的帧数据分别确定各目标构筑物的估算坐标;
根据各所述估算坐标与铁路线设计图纸中各目标构筑物的设计数据确定所述巡检视频中出现的各目标构筑物的定位信息;
其中,所述巡检视频是基于无人机对预定的铁路线进行全线或部分拍摄后的视频,目标构筑物为在铁路线路上按预设规律重复设置的单一类型的构筑物,所述帧数据包括无人机的位置数据和相机的姿态数据,所述设计数据包括各目标构筑物的标号、设计地理坐标和设计里程。
在本申请一些实施例中,根据各所述目标轨迹中的每一轨迹帧的帧数据分别确定各目标构筑物的估算坐标,具体为:
根据各所述帧数据分别确定各所述轨迹帧下目标构筑物的轨迹帧坐标;
根据所述目标轨迹下各所述轨迹帧坐标确定所述估算坐标;
其中,所述轨迹帧坐标为所述轨迹帧下目标构筑物的地理坐标。
在本申请一些实施例中,所述位置数据包括飞行地理坐标和高程,所述姿态数据包括焦距、航向和俯仰角,根据各所述帧数据分别确定各所述轨迹帧下目标构筑物的轨迹帧坐标,具体为确定:
其中,XD为所述轨迹帧下目标构筑物的东方向坐标,YD为所述轨迹帧下目标构筑物的北方向坐标,xcam和ycam为所述飞行地理坐标,hcam所述高程,xim和yim为目标构筑物在图像中的位置坐标,单位为像素,以像主点为坐标原点,f为所述焦距,f的单位为像素,βcenter为所述航向,βcenter为所述俯仰角。
在本申请一些实施例中,根据所述目标轨迹下各所述轨迹帧坐标确定所述估算坐标,具体为:
根据所述目标轨迹下各所述轨迹帧坐标的平均值确定所述估算坐标;或,
根据所述目标轨迹下部分轨迹帧坐标的平均值确定所述估算坐标;或,
根据从所述目标轨迹下按照预设规律选取的一个或多个轨迹帧坐标确定所述估算坐标。
在本申请一些实施例中,在基于目标跟踪算法对各所述目标检测框进行跟踪并获取各目标构筑物的目标轨迹之后,所述方法还包括:
根据所述目标轨迹的数量确定所述巡检视频中出现的目标构筑物的数量。
在本申请一些实施例中,根据各所述估算坐标与铁路线设计图纸中各目标构筑物的设计数据确定所述巡检视频中出现的各目标构筑物的定位信息,具体为:
从各所述设计数据中确定与所述估算坐标匹配的目标设计数据;
根据所述目标设计数据中的标号和设计里程确定所述定位信息;
其中,所述目标设计数据中的设计地理坐标与所述估算坐标的差值小于预设阈值。
相应的,本发明还提出了一种基于无人机巡检视频的铁路工程检测***,所述***包括:
第一获取模块,用于基于目标检测算法对巡检视频进行逐帧检测并获取多个包括目标构筑物的目标检测框;
第二获取模块,用于基于目标跟踪算法对各所述目标检测框进行跟踪并获取各目标构筑物的目标轨迹;
第一确定模块,用于根据各所述目标轨迹中的每一轨迹帧的帧数据分别确定各目标构筑物的估算坐标;
第二确定模块,用于根据各所述估算坐标与铁路线设计图纸中各目标构筑物的设计数据确定所述巡检视频中出现的各目标构筑物的定位信息;
其中,所述巡检视频是基于无人机对预定的铁路线进行全线或部分拍摄后的视频,目标构筑物为在铁路线路上按预设规律重复设置的单一类型的构筑物,所述帧数据包括无人机的位置数据和相机的姿态数据,所述设计数据包括各目标构筑物的标号、设计地理坐标和设计里程。
在本申请一些实施例中,所述第一确定模块,具体用于:
根据各所述帧数据分别确定各所述轨迹帧下目标构筑物的轨迹帧坐标;
根据所述目标轨迹下各所述轨迹帧坐标确定所述估算坐标;
其中,所述轨迹帧坐标为所述轨迹帧下目标构筑物的地理坐标。
在本申请一些实施例中,所述位置数据包括飞行地理坐标和高程,所述姿态数据包括焦距、航向和俯仰角,所述第一确定模块还具体用于确定:
其中,XD为所述轨迹帧下目标构筑物的东方向坐标,YD为所述轨迹帧下目标构筑物的北方向坐标,xcam和ycam为所述飞行地理坐标,hcam所述高程,xim和yim为目标构筑物在图像中的位置坐标,单位为像素,以像主点为坐标原点,f为所述焦距,f的单位为像素,βcenter为所述航向,αcenter为所述俯仰角。
在本申请一些实施例中,所述第一确定模块还具体用于:
根据所述目标轨迹下各所述轨迹帧坐标的平均值确定所述估算坐标;或,
根据所述目标轨迹下部分轨迹帧坐标的平均值确定所述估算坐标;或,
根据从所述目标轨迹下按照预设规律选取的一个或多个轨迹帧坐标确定所述估算坐标。
在本申请一些实施例中,所述***还包括第三确定模块,用于:
根据所述目标轨迹的数量确定所述巡检视频中出现的目标构筑物的数量。
在本申请一些实施例中,所述第二确定模块,具体用于:
从各所述设计数据中确定与所述估算坐标匹配的目标设计数据;
根据所述目标设计数据中的标号和设计里程确定所述定位信息;
其中,所述目标设计数据中的设计地理坐标与所述估算坐标的差值小于预设阈值。
通过应用以上技术方案,基于目标检测算法对巡检视频进行逐帧检测并获取多个包括目标构筑物的目标检测框;基于目标跟踪算法对各目标检测框进行跟踪并获取各目标构筑物的目标轨迹;根据各目标轨迹中的每一轨迹帧的帧数据分别确定各目标构筑物的估算坐标;根据各估算坐标与铁路线设计图纸中各目标构筑物的设计数据确定巡检视频中出现的各目标构筑物的定位信息;其中,巡检视频是基于无人机对预定的铁路线进行全线或部分拍摄后的视频,目标构筑物为在铁路线路上按预设规律重复设置的单一类型的构筑物,帧数据包括无人机的位置数据和相机的姿态数据,设计数据包括各目标构筑物的标号、设计地理坐标和设计里程,从而实现从无人机巡检视频中自动准确的检测出铁路线上的目标构筑物,进而提升了铁路施工巡检的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本发明实施例提出的一种基于无人机巡检视频的铁路工程检测方法的流程示意图;
图2示出了本发明实施例提出的一种基于无人机巡检视频的铁路工程检测***的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供一种基于无人机巡检视频的铁路工程检测方法,如图1所示,包括以下步骤:
步骤S101,基于目标检测算法对巡检视频进行逐帧检测并获取多个包括目标构筑物的目标检测框。
本实施例中,巡检视频是基于无人机对预定的铁路线进行全线或部分拍摄后的视频,目标构筑物为在铁路线路上按预设规律重复设置的单一类型的构筑物,目标构筑物可包括但不限于隧道,桥梁,桥墩,路基,轨道,四电工程(通信工程、信号工程、电力工程、电气化工程),站场,房建等中的任一种构筑物。
利用目标检测算法对巡检视频进行逐帧检测,可获取多个包括目标构筑物的目标检测框,同一个目标构筑物可与多个目标检测框对应,目标检测算法可包括但不限于Mask-RCNN、YOLO、Faster-RCNN等,本领域技术人员可灵活采用不同的目标检测算法。其中,具体的目标检测过程对于本领域技术人员是显而易见的,在此不再赘述。
步骤S102,基于目标跟踪算法对各所述目标检测框进行跟踪并获取各目标构筑物的目标轨迹。
本实施例中,目标跟踪算法可包括但不限于SORT、Deep-SORT,具体的目标跟踪过程对于本领域技术人员是显而易见的,在此不再赘述。
为了准确的获取出现在巡检视频中的目标构筑物的数量,在本申请一些实施例中,在基于目标跟踪算法对各所述目标检测框进行跟踪并获取各目标构筑物的目标轨迹之后,所述方法还包括:
根据所述目标轨迹的数量确定所述巡检视频中出现的目标构筑物的数量。
本实施例中,每个目标轨迹代表一个目标构筑物,统计目标轨迹的数量可确定巡检视频中出现的目标构筑物的数量。
步骤S103,根据各所述目标轨迹中的每一轨迹帧的帧数据分别确定各目标构筑物的估算坐标。
本实施例中,每个目标轨迹中包括多个轨迹帧,帧数据包括无人机的位置数据和相机的姿态数据,根据各目标轨迹中的每一轨迹帧的帧数据可确定各目标构筑物的估算坐标。
为了可靠的确定估算坐标,在本申请一些实施例中,根据各所述目标轨迹中的每一轨迹帧的帧数据分别确定各目标构筑物的估算坐标,具体为:
根据各所述帧数据分别确定各所述轨迹帧下目标构筑物的轨迹帧坐标;
根据所述目标轨迹下各所述轨迹帧坐标确定所述估算坐标;
其中,所述轨迹帧坐标为所述轨迹帧下目标构筑物的地理坐标。
本实施例中,先根据各轨迹帧的帧数据确定各轨迹帧下目标构筑物的轨迹帧坐标,该轨迹帧坐标为轨迹帧下目标构筑物的地理坐标,然后根据目标轨迹下各轨迹帧坐标可确定估算坐标。
需要说明的是,以上实施例的方案仅为本申请所提出的一种具体实现方案,其他根据各目标轨迹中的每一轨迹帧的帧数据分别确定各目标构筑物的估算坐标的方式均属于本申请的保护范围。
为了准确的确定各轨迹帧坐标,在本申请一些实施例中,所述位置数据包括飞行地理坐标和高程,所述姿态数据包括焦距、航向和俯仰角,根据各所述帧数据分别确定各所述轨迹帧下目标构筑物的轨迹帧坐标,具体为确定:
其中,XD为所述轨迹帧下目标构筑物的东方向坐标,YD为所述轨迹帧下目标构筑物的北方向坐标,xcam和ycam为所述飞行地理坐标,hcam所述高程,xim和yim为目标构筑物在图像中的位置坐标,单位为像素,以像主点为坐标原点,f为所述焦距,f的单位为像素,βcenter为所述航向,αcenter为所述俯仰角。
本实施例中,根据所述帧数据分别确定XD和YD,将XD和YD作为轨迹帧坐标,其中,飞行地理坐标可基于飞行经度和飞行纬度计算获取,具体的计算过程为现有技术,在此不再赘述。
为了准确的确定估算坐标,在本申请一些实施例中,根据所述目标轨迹下各所述轨迹帧坐标确定所述估算坐标,具体为:
根据所述目标轨迹下各所述轨迹帧坐标的平均值确定所述估算坐标;或,
根据所述目标轨迹下部分轨迹帧坐标的平均值确定所述估算坐标;或,
根据从所述目标轨迹下按照预设规律选取的一个或多个轨迹帧坐标确定所述估算坐标。
本实施例中,可根据目标轨迹下各轨迹帧坐标的平均值确定估算坐标,为了降低计算量,还可从目标轨迹下各轨迹帧坐标中随机选取部分轨迹帧坐标,根据该部分轨迹帧坐标的平均值确定估算坐标,或者,从目标轨迹下各轨迹帧坐标中选取一个轨迹帧坐标,将该轨迹帧坐标作为估算坐标,也可选取多个轨迹帧坐标,并按照预设筛选规则从选取的多个轨迹帧坐标中确定估算坐标。
步骤S104,根据各所述估算坐标与铁路线设计图纸中各目标构筑物的设计数据确定所述巡检视频中出现的各目标构筑物的定位信息。
本实施例中,可从铁路线设计图纸中预先获取设计数据,该设计数据包括各目标构筑物的标号、设计地理坐标和设计里程,根据各估算坐标与设计数据可确定巡检视频中出现的各目标构筑物的定位信息。
为了可靠的确定各目标构筑物的定位信息,在本申请一些实施例中,根据各所述估算坐标与铁路线设计图纸中各目标构筑物的设计数据确定所述巡检视频中出现的各目标构筑物的定位信息,具体为:
从各所述设计数据中确定与所述估算坐标匹配的目标设计数据;
根据所述目标设计数据中的标号和设计里程确定所述定位信息;
其中,所述目标设计数据中的设计地理坐标与所述估算坐标的差值小于预设阈值。
本实施例中,在确定估算坐标后,将估算坐标与各设计数据进行比较,若设计数据中的设计地理坐标与所述估算坐标的差值小于预设阈值,确定该设计数据与估算坐标匹配,将该设计数据作为目标设计数据,根据目标设计数据中的标号和设计里程可确定目标构筑物的定位信息。
为了进一步提高巡检效率,在本申请一些实施例中,所述方法还包括:
在播放所述巡检视频时将所述巡检视频中出现的目标构筑物的数量和各目标构筑物的定位信息发送到前端进行显示。
通过应用以上技术方案,基于目标检测算法对巡检视频进行逐帧检测并获取多个包括目标构筑物的目标检测框;基于目标跟踪算法对各目标检测框进行跟踪并获取各目标构筑物的目标轨迹;根据各目标轨迹中的每一轨迹帧的帧数据分别确定各目标构筑物的估算坐标;根据各估算坐标与铁路线设计图纸中各目标构筑物的设计数据确定巡检视频中出现的各目标构筑物的定位信息;其中,巡检视频是基于无人机对预定的铁路线进行全线或部分拍摄后的视频,目标构筑物为在铁路线路上按预设规律重复设置的单一类型的构筑物,帧数据包括无人机的位置数据和相机的姿态数据,设计数据包括各目标构筑物的标号、设计地理坐标和设计里程,从而实现从无人机巡检视频中自动准确的检测出铁路线上的目标构筑物,进而提升了铁路施工巡检的效率。
为了进一步阐述本发明的技术思想,现结合具体的应用场景,对本发明的技术方案进行说明。
本申请实施例提供一种基于无人机巡检视频的铁路工程检测方法,以下以桥墩作为目标构筑物进行检测,具体过程如下:
一、数据导入:
本申请实施例需要三类数据:
1、线路巡检视频数据,即巡检视频;
2、描述视频每一帧拍摄时无人机的位置数据和相机的姿态数据,位置数据包括飞行地理坐标(由飞行经度和飞行纬度确定)和高程,姿态数据包括焦距、航向和俯仰角,如表1所示:
表1
视频帧 | 飞行经度 | 飞行纬度 | 高程 | 焦距 | 航向 | 俯仰角 |
视频帧1 | 经度1 | 纬度1 | 高程1 | 焦距1 | 航向1 | 俯仰角1 |
视频帧2 | 经度2 | 纬度2 | 高程2 | 焦距2 | 航向2 | 俯仰角2 |
视频帧3 | 经度3 | 纬度3 | 高程3 | 焦距3 | 航向3 | 俯仰角3 |
… | … |
3、设计数据,包含各桥墩的标号、设计地理坐标(由设计经度和设计纬度确定)和设计里程,如表2所示:
表2
标号 | 里程 | 设计经度 | 设计纬度 |
桥墩1 | 里程1 | 经度1 | 纬度1 |
桥墩2 | 里程2 | 经度2 | 纬度2 |
桥墩3 | 里程3 | 经度3 | 纬度3 |
… | … |
二、对桥墩的跟踪与计数:
对桥墩的跟踪计数遵循以下算法:
2、将所有目标检测框输入目标跟踪算法进行跟踪,目标跟踪算法包括但不限于SORT、Deep-SORT等,得到每个桥墩对应的目标轨迹track1,track2。
3、上述每一条目标轨迹对应现实中的一个桥墩,所有目标轨迹的总数即为巡检视频中出现的桥墩总数。
三、对桥墩的定位与确定里程:
对于每个桥墩(例如桥墩1)对应的轨迹(track1),运行如下算法:
2、从表1中选择每一帧对应的无人机的位置数据和相机的姿态数据;
3、使用公式
计算视频帧中桥墩估算坐标,其中XD为轨迹帧下桥墩的东方向坐标,YD为轨迹帧下桥墩的北方向坐标,xcam和ycam为飞行地理坐标,hcam高程,xim和yim为桥墩在图像中的位置坐标,单位为像素;以像主点为坐标原点,f为焦距,f的单位为像素,βcenter为航向,αcenter为俯仰角。
5、在表2中按照上一步得到的估算坐标,查找对应的标号以及里程数,为容许可能的误差,步骤4中计算得到的估算坐标与表2中某一桥墩的设计地理坐标的差值小于某个特定值d时,可认为两者相匹配。
6、通过步骤5匹配得到的标号与设计里程,可以用于与其他相关管理***对接,传递对应桥墩的相关信息。
可以理解的是,对于其他目标构筑物的检测过程,可以此类推,在此不再赘述。
本申请实施例还提出了一种基于无人机巡检视频的铁路工程检测***,如图2所示,所述***包括:
第一获取模块201,用于基于目标检测算法对巡检视频进行逐帧检测并获取多个包括目标构筑物的目标检测框;
第二获取模块202,用于基于目标跟踪算法对各所述目标检测框进行跟踪并获取各目标构筑物的目标轨迹;
第一确定模块203,用于根据各所述目标轨迹中的每一轨迹帧的帧数据分别确定各目标构筑物的估算坐标;
第二确定模块204,用于根据各所述估算坐标与铁路线设计图纸中各目标构筑物的设计数据确定所述巡检视频中出现的各目标构筑物的定位信息;
其中,所述巡检视频是基于无人机对预定的铁路线进行全线或部分拍摄后的视频,目标构筑物为在铁路线路上按预设规律重复设置的单一类型的构筑物,所述帧数据包括无人机的位置数据和相机的姿态数据,所述设计数据包括各目标构筑物的标号、设计地理坐标和设计里程。
在本申请具体的应用场景中,第一确定模块203,具体用于:
根据各所述帧数据分别确定各所述轨迹帧下目标构筑物的轨迹帧坐标;
根据所述目标轨迹下各所述轨迹帧坐标确定所述估算坐标;
其中,所述轨迹帧坐标为所述轨迹帧下目标构筑物的经度和纬度。
在本申请具体的应用场景中,所述***还包括第三确定模块,用于:
根据所述目标轨迹的数量确定所述巡检视频中出现的目标构筑物的数量。
在本申请具体的应用场景中,第二确定模块204,具体用于:
从各所述设计数据中确定与所述估算坐标匹配的目标设计数据;
根据所述目标设计数据中的标号和设计里程确定所述定位信息;
其中,所述目标设计数据中的设计地理坐标与所述估算坐标的差值小于预设阈值。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (8)
1.一种基于无人机巡检视频的铁路工程检测方法,其特征在于,所述方法包括:
基于目标检测算法对巡检视频进行逐帧检测并获取多个包括目标构筑物的目标检测框;
基于目标跟踪算法对各所述目标检测框进行跟踪并获取各目标构筑物的目标轨迹;
根据各所述目标轨迹中的每一轨迹帧的帧数据分别确定各目标构筑物的估算坐标;
根据各所述估算坐标与铁路线设计图纸中各目标构筑物的设计数据确定所述巡检视频中出现的各目标构筑物的定位信息;
其中,所述巡检视频是基于无人机对预定的铁路线进行全线或部分拍摄后的视频,目标构筑物为在铁路线路上按预设规律重复设置的单一类型的构筑物,所述帧数据包括无人机的位置数据和相机的姿态数据,所述设计数据包括各目标构筑物的标号、设计地理坐标和设计里程;
根据各所述估算坐标与铁路线设计图纸中各目标构筑物的设计数据确定所述巡检视频中出现的各目标构筑物的定位信息,具体为:
从各所述设计数据中确定与所述估算坐标匹配的目标设计数据;
根据所述目标设计数据中的标号和设计里程确定所述定位信息;
其中,所述目标设计数据中的设计地理坐标与所述估算坐标的差值小于预设阈值。
2.如权利要求1所述的方法,其特征在于,根据各所述目标轨迹中的每一轨迹帧的帧数据分别确定各目标构筑物的估算坐标,具体为:
根据各所述帧数据分别确定各所述轨迹帧下目标构筑物的轨迹帧坐标;
根据所述目标轨迹下各所述轨迹帧坐标确定所述估算坐标;
其中,所述轨迹帧坐标为所述轨迹帧下目标构筑物的地理坐标。
4.如权利要求2所述的方法,其特征在于,根据所述目标轨迹下各所述轨迹帧坐标确定所述估算坐标,具体为:
根据所述目标轨迹下各所述轨迹帧坐标的平均值确定所述估算坐标;或,
根据所述目标轨迹下部分轨迹帧坐标的平均值确定所述估算坐标;或,
根据从所述目标轨迹下按照预设规律选取的一个或多个轨迹帧坐标确定所述估算坐标。
5.如权利要求1所述的方法,其特征在于,在基于目标跟踪算法对各所述目标检测框进行跟踪并获取各目标构筑物的目标轨迹之后,所述方法还包括:
根据所述目标轨迹的数量确定所述巡检视频中出现的目标构筑物的数量。
6.一种基于无人机巡检视频的铁路工程检测***,其特征在于,所述***包括:
第一获取模块,用于基于目标检测算法对巡检视频进行逐帧检测并获取多个包括目标构筑物的目标检测框;
第二获取模块,用于基于目标跟踪算法对各所述目标检测框进行跟踪并获取各目标构筑物的目标轨迹;
第一确定模块,用于根据各所述目标轨迹中的每一轨迹帧的帧数据分别确定各目标构筑物的估算坐标;
第二确定模块,用于根据各所述估算坐标与铁路线设计图纸中各目标构筑物的设计数据确定所述巡检视频中出现的各目标构筑物的定位信息;
其中,所述巡检视频是基于无人机对预定的铁路线进行全线或部分拍摄后的视频,目标构筑物为在铁路线路上按预设规律重复设置的单一类型的构筑物,所述帧数据包括无人机的位置数据和相机的姿态数据,所述设计数据包括各目标构筑物的标号、设计地理坐标和设计里程;
所述第二确定模块,具体用于:
从各所述设计数据中确定与所述估算坐标匹配的目标设计数据;
根据所述目标设计数据中的标号和设计里程确定所述定位信息;
其中,所述目标设计数据中的设计地理坐标与所述估算坐标的差值小于预设阈值。
7.如权利要求6所述的***,其特征在于,所述第一确定模块,具体用于:
根据各所述帧数据分别确定各所述轨迹帧下目标构筑物的轨迹帧坐标;
根据所述目标轨迹下各所述轨迹帧坐标确定所述估算坐标;
其中,所述轨迹帧坐标为所述轨迹帧下目标构筑物的地理坐标。
8.如权利要求6所述的***,其特征在于,所述***还包括第三确定模块,用于:
根据所述目标轨迹的数量确定所述巡检视频中出现的目标构筑物的数量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111531512.7A CN114217626B (zh) | 2021-12-14 | 2021-12-14 | 一种基于无人机巡检视频的铁路工程检测方法和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111531512.7A CN114217626B (zh) | 2021-12-14 | 2021-12-14 | 一种基于无人机巡检视频的铁路工程检测方法和*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114217626A CN114217626A (zh) | 2022-03-22 |
CN114217626B true CN114217626B (zh) | 2022-06-28 |
Family
ID=80702092
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111531512.7A Active CN114217626B (zh) | 2021-12-14 | 2021-12-14 | 一种基于无人机巡检视频的铁路工程检测方法和*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114217626B (zh) |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004280733A (ja) * | 2003-03-19 | 2004-10-07 | Sic:Kk | 住宅建築支援情報サービス装置 |
EP1855263A1 (en) * | 2005-03-02 | 2007-11-14 | Navitime Japan Co., Ltd. | Map display device and map display method |
CN105334862A (zh) * | 2015-10-28 | 2016-02-17 | 上海同筑信息科技有限公司 | 基于bim的无人机监控方法及*** |
CN109541581A (zh) * | 2018-11-27 | 2019-03-29 | 安徽四创电子股份有限公司 | 一种基于无人机监视雷达的杂波抑制目标机动跟踪方法 |
CN109900208A (zh) * | 2019-03-28 | 2019-06-18 | 中铁十六局集团北京轨道交通工程建设有限公司 | 一种矿山法隧道开挖与初支质量检测方法 |
KR20190099165A (ko) * | 2019-08-06 | 2019-08-26 | 엘지전자 주식회사 | 가상 홈 서비스 장치 및 방법 |
CN111414518A (zh) * | 2020-03-26 | 2020-07-14 | 中国铁路设计集团有限公司 | 一种铁路无人机视频定位方法 |
CN111681260A (zh) * | 2020-06-15 | 2020-09-18 | 深延科技(北京)有限公司 | 一种面向无人机航拍影像的多目标跟踪方法及跟踪*** |
CN111736190A (zh) * | 2020-07-24 | 2020-10-02 | 广东电网有限责任公司 | 一种无人机机载目标检测***及方法 |
KR102167187B1 (ko) * | 2020-02-26 | 2020-10-16 | 이창주 | 토목 시공 공정을 위한 설계도 점검 방법 |
CN112327898A (zh) * | 2020-11-06 | 2021-02-05 | 日立楼宇技术(广州)有限公司 | 无人机的井道巡检导航方法、装置和无人机 |
CN112489032A (zh) * | 2020-12-14 | 2021-03-12 | 北京科技大学 | 一种复杂背景下无人机载小目标检测定位方法及*** |
CN113190040A (zh) * | 2021-04-29 | 2021-07-30 | 集展通航(北京)科技有限公司 | 一种基于无人机视频与铁路bim进行线路巡检的方法和*** |
CN113377259A (zh) * | 2021-05-26 | 2021-09-10 | 浙江有色地球物理技术应用研究院有限公司 | 桥梁智慧检测分析方法、***、设备及介质 |
CN113409303A (zh) * | 2021-07-14 | 2021-09-17 | 湖南工业大学 | 一种高速铁路接触网目标检测与跟踪方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11222147B2 (en) * | 2018-02-21 | 2022-01-11 | Image Clone, Llc | System and method for automated layout of buildings |
CN110163889A (zh) * | 2018-10-15 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 目标跟踪方法、目标跟踪装置、目标跟踪设备 |
CN109840600A (zh) * | 2018-12-29 | 2019-06-04 | 天津大学 | Bim辅助的供水渠道无人机在线协同巡检*** |
CN109901624A (zh) * | 2019-04-11 | 2019-06-18 | 株洲时代电子技术有限公司 | 一种桥梁巡检方法 |
-
2021
- 2021-12-14 CN CN202111531512.7A patent/CN114217626B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004280733A (ja) * | 2003-03-19 | 2004-10-07 | Sic:Kk | 住宅建築支援情報サービス装置 |
EP1855263A1 (en) * | 2005-03-02 | 2007-11-14 | Navitime Japan Co., Ltd. | Map display device and map display method |
CN105334862A (zh) * | 2015-10-28 | 2016-02-17 | 上海同筑信息科技有限公司 | 基于bim的无人机监控方法及*** |
CN109541581A (zh) * | 2018-11-27 | 2019-03-29 | 安徽四创电子股份有限公司 | 一种基于无人机监视雷达的杂波抑制目标机动跟踪方法 |
CN109900208A (zh) * | 2019-03-28 | 2019-06-18 | 中铁十六局集团北京轨道交通工程建设有限公司 | 一种矿山法隧道开挖与初支质量检测方法 |
KR20190099165A (ko) * | 2019-08-06 | 2019-08-26 | 엘지전자 주식회사 | 가상 홈 서비스 장치 및 방법 |
KR102167187B1 (ko) * | 2020-02-26 | 2020-10-16 | 이창주 | 토목 시공 공정을 위한 설계도 점검 방법 |
CN111414518A (zh) * | 2020-03-26 | 2020-07-14 | 中国铁路设计集团有限公司 | 一种铁路无人机视频定位方法 |
CN111681260A (zh) * | 2020-06-15 | 2020-09-18 | 深延科技(北京)有限公司 | 一种面向无人机航拍影像的多目标跟踪方法及跟踪*** |
CN111736190A (zh) * | 2020-07-24 | 2020-10-02 | 广东电网有限责任公司 | 一种无人机机载目标检测***及方法 |
CN112327898A (zh) * | 2020-11-06 | 2021-02-05 | 日立楼宇技术(广州)有限公司 | 无人机的井道巡检导航方法、装置和无人机 |
CN112489032A (zh) * | 2020-12-14 | 2021-03-12 | 北京科技大学 | 一种复杂背景下无人机载小目标检测定位方法及*** |
CN113190040A (zh) * | 2021-04-29 | 2021-07-30 | 集展通航(北京)科技有限公司 | 一种基于无人机视频与铁路bim进行线路巡检的方法和*** |
CN113377259A (zh) * | 2021-05-26 | 2021-09-10 | 浙江有色地球物理技术应用研究院有限公司 | 桥梁智慧检测分析方法、***、设备及介质 |
CN113409303A (zh) * | 2021-07-14 | 2021-09-17 | 湖南工业大学 | 一种高速铁路接触网目标检测与跟踪方法 |
Non-Patent Citations (4)
Title |
---|
RAILWAY DETECTION: FROM FILTERING TO SEGMENTATION NETWORKS;B. Le Saux,等;《IGARSS 2018》;20181231;全文 * |
客运专线隧道接口施工管理与工程实践;白金林等;《铁道标准设计》;20100120(第01期);全文 * |
无人机在铁路工程建设中的应用与思考;胡安富,等;《通信电源技术》;20160430;第33卷(第4期);全文 * |
集成GIS/BIM的盾构隧道全寿命管理***研究;林晓东等;《隧道建设(中英文)》;20180709(第06期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114217626A (zh) | 2022-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108109437B (zh) | 一种基于地图特征的无人机自主航线提取生成方法 | |
CN107545538B (zh) | 一种基于无人机的全景图像拼接方法及装置 | |
CN103359020B (zh) | 一种机动车驾驶培训或考试监控方法和*** | |
CN111899288A (zh) | 基于红外和可见光图像融合的隧道渗漏水区域检测与识别方法 | |
CN108267121A (zh) | 一种可变场景下多设备的视觉导航方法及*** | |
WO2020083103A1 (zh) | 一种基于深度神经网络图像识别的车辆定位方法 | |
CN109747681A (zh) | 一种列车定位装置及方法 | |
CN110515378A (zh) | 一种应用于无人艇的智能目标搜索方法 | |
CN112711267B (zh) | 基于rtk高精度定位与机器视觉融合的无人机自主巡检方法 | |
CN105488485A (zh) | 基于车辆轨迹的车道线自动提取方法 | |
WO2020053598A2 (en) | Vehicle position identification | |
CN109389056A (zh) | 一种空基多视角协同的轨道周边环境检测方法 | |
CN107741233A (zh) | 一种三维室外地图的构建方法 | |
CN111009008A (zh) | 一种基于自学习策略的机场飞机自动挂标方法 | |
CN114092903A (zh) | 车道线标注、检测模型确定、车道线检测方法及相关设备 | |
CN109447946B (zh) | 一种架空通信光缆异常检测方法 | |
CN114217626B (zh) | 一种基于无人机巡检视频的铁路工程检测方法和*** | |
CN113591643A (zh) | 一种基于计算机视觉的地下交通工具进出站检测***及方法 | |
CN111754388B (zh) | 一种建图方法及车载终端 | |
CN112633114A (zh) | 面向建筑物变化事件的无人机巡查智能预警方法和装置 | |
CN116893685A (zh) | 一种无人机航线规划方法及*** | |
CN111950524A (zh) | 一种基于双目视觉和rtk的果园局部稀疏建图方法和*** | |
CN116297472A (zh) | 一种基于深度学习的无人机桥梁裂缝检测方法及*** | |
CN113850837B (zh) | 视频处理方法、装置、电子设备、存储介质及计算机产品 | |
CN114035608A (zh) | 基于无人机的巡检培训方法、***、培训终端和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |