CN114511793B - 一种基于同步检测跟踪的无人机对地探测方法及*** - Google Patents
一种基于同步检测跟踪的无人机对地探测方法及*** Download PDFInfo
- Publication number
- CN114511793B CN114511793B CN202011285803.8A CN202011285803A CN114511793B CN 114511793 B CN114511793 B CN 114511793B CN 202011285803 A CN202011285803 A CN 202011285803A CN 114511793 B CN114511793 B CN 114511793B
- Authority
- CN
- China
- Prior art keywords
- target position
- video frame
- frame
- target
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 99
- 230000001360 synchronised effect Effects 0.000 title claims abstract description 17
- 238000013528 artificial neural network Methods 0.000 claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 29
- 230000008569 process Effects 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 81
- 238000004422 calculation algorithm Methods 0.000 claims description 23
- 238000003062 neural network model Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 240000007651 Rubus glaucus Species 0.000 description 1
- 235000011034 Rubus glaucus Nutrition 0.000 description 1
- 235000009122 Rubus idaeus Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 244000062645 predators Species 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于同步检测跟踪的无人机对地探测方法及***，包括：基于训练好的目标检测深度神经网络的模型文件和权重文件，对无人机采集的视频帧进行计数，在计数为1的视频帧上进行前向推理，获取目标的位置区域并初始化目标***，然后对后续采集的各视频帧同时获取检测的目标位置区域和跟踪的目标位置区域，若跟踪成功且目标位置区域图像大小符合预设的图像大小，则比较检测的目标位置区域和跟踪的目标位置区域是否有重叠，确定最终输出的目标位置区域；本发明提供的技术方案采用同步检测跟踪的方法降低了目标检测误检带来的干扰，减小了无人机探测过程中的计算量的同时提高了计算的准确性。
Description
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种基于同步检测跟踪的无人机对地探测方法及***。
背景技术
当前深度神经网络飞速发展，应用也越来越广泛，在视频或者图像上利用深度神经网络进行目标检测或者搜索的方法主要包含FasterR-CNN，R-CNN等为代表的两步法和以YOLO，SSD等为代表的一步法；尽管FasterR-CNN是两步法中优秀的算法，但是在K40GPU强大计算能力支持下仅能达到5FPS处理速度，达不到实时性要求；虽然一步法中的YOLO和SSD目标检测的速度能够达到15FPS以上能够达到实时性要求，但是必须TitanX或者M40GPU的计算能力才能支持。目标跟踪算法中性能较好、速度较快的算法以相关滤波类算法为代表，这类算法跟踪稳定，速度较快，有限的计算能力下就能达到172FPS。
无人机是一种由无线电遥控操控或自主程序控制、无人驾驶的一种可重复使用的航空器，它具有结构简单、造价低廉、生存能力强、机动性能好并且可以完成多种类型任务的优点；但是无人机承载重量低使得它不能搭载计算性能强大的计算设备，从而使得部署基于深度神经网络的目标检测算法存在困难，而且小型无人机机载计算机如树莓派或者odroid的重量轻，计算能力有限；即使速度较快的一步法中的TinyYOLO或者Mobilenets-SSD部署于odroid机载计算机上，目标检测速度也不超过3FPS，达不到实时性要求。已经退役的捕食者无人机主要是通过无人机的传感器获取数据回传地面，在地面人工判读；“全球鹰”改进型可携带信号传感器和用于探测地面移动目标的雷达，具备初步的机上目标探测监视能力(区分动静，探测移动目标)，探测技术不够成熟；彩虹无人机通过无人机的传感器获取数据回传地面，在地面人工判读，后端进一步处理；人工智能算法在“扫描鹰”上试验，试验开始仅几天，计算机对人员、车辆、建筑等物体的识别准确率便达到了60％，1周后提升到80％，然而，这种应用仍然是在地面完成的；由此来看，目前的技术仍然无法实现对无人机机载摄像头实时采集的数据中的目标进行跟踪检测以及进行下一步指示的处理操作。
发明内容
针对现有技术的不足，本发明的目的是提供一种基于同步检测跟踪的无人机对地探测方法及***，利用基于深度神经网络的目标检测算法和跟踪算法相结合，在无人机飞行过程中实时从机载摄像头获取的数据中对视频帧计数，对视频帧中的特定目标进行同步检测和跟踪，实现战术无人机对地面目标监视搜索、对移动目标的定向跟踪以及对空中目标的同步检测与跟踪。
本发明的目的是采用下述技术方案实现的：
本发明提供了一种基于同步检测跟踪的无人机对地探测方法，其改进之处在于，包括：
步骤(1)训练目标检测深度神经网络模型，获取模型文件和权重文件；
步骤(2)逐帧采集实时视频数据；
步骤(3)初始化帧数计数器h＝0；
步骤(4)令h＝h+1，同时执行步骤(5)和步骤(8)；
步骤(5)基于训练好的目标检测深度神经网络的模型文件和权重文件，对逐帧采集的实时视频数据进行前向推理，获取第h个视频帧中检测的目标位置区域；
步骤(6)判断h是否为1，若是，则执行步骤(7)，若否，则将第h个视频帧中检测的目标位置区域保存至步骤(12)；
步骤(7)根据第h个视频帧中检测的目标位置区域，初始化目标***；
步骤(8)判断h是否为1，若是，则执行步骤(4)，若否，则执行步骤(9)；
步骤(9)获取第h-1个视频帧中检测的目标位置区域对应的候选区域以及第h个视频帧中与第h-1个视频帧对应的候选区域相一致的区域，并将该区域作为第h个视频帧中检测的目标位置区域对应的候选区域，根据第h-1个视频帧中检测的目标位置区域对应的候选区域，获取第h个视频帧中跟踪的目标位置区域；
步骤(10)判断第h个视频帧中目标跟踪是否成功，若是，则执行步骤(11)，若否，则执行步骤(3)；
步骤(11)判断第h个视频帧中跟踪的目标位置区域图像的像素坐标是否超出预设的视频帧图像的坐标范围，若是，则执行步骤(3)，若否，则执行步骤(12)；
步骤(12)判断第h个视频帧中检测的目标位置区域和跟踪的目标位置区域是否存在重叠，若是，则输出检测的目标位置区域，并执行步骤(4)，若否，则输出跟踪的目标位置区域，并执行步骤(4)。
优选的，所述步骤(1)包括：
对逐帧采集的历史视频数据中的各类目标进行逐帧标注；
利用逐帧标注后的历史视频数据构建训练数据，并利用训练数据训练目标检测深度神经网络模型；
获取训练好的目标检测深度神经网络的模型文件和权重文件。
优选的，所述步骤(5)包括：
利用前向推理框架依次读取目标对应的标签、训练好的目标检测深度神经网络的模型文件、权重文件和逐帧采集的实时视频数据，获取前向推理框架输出的目标的位置。
优选的，所述获取第h-1个视频帧中检测的目标位置区域对应的候选区域，包括：
将第h-1个视频帧中检测的目标位置区域扩大预设倍数。
进一步的，所述预设倍数的取值范围为[1.5,3]。
优选的，所述步骤(10)包括：
利用第h-1个视频帧的分类器对第h个视频帧中检测的目标位置区域对应的候选区域进行分析，获取第h个视频帧中检测的目标位置区域对应的候选区域的分值；
若第h个视频帧中检测的目标位置区域对应的候选区域的分值大于分类器分数的预设值，则目标跟踪成功，否则目标跟踪失败。
进一步的，所述第h-1个视频帧的分类器的训练过程包括：
将第h-1个视频帧中包含检测的目标位置区域对应的候选区域作为训练二分类器的正样本数据；
将第h-1个视频帧中不包含检测的目标位置区域对应的候选区域作为训练二分类器的负样本数据；
利用所述正样本数据和负样本数据构建训练二分类器的样本数据；
对训练二分类器的样本数据执行分类器算法，获取训练好的第h-1个视频帧的分类器。
本发明提供了一种基于同步检测跟踪的无人机对地探测***，其改进之处在于，包括：
训练模块，用于训练目标检测深度神经网络模型，获取模型文件和权重文件；
采集模块，用于逐帧采集实时视频数据；
初始化模块Ⅰ，用于初始化帧数计数器h＝0；
赋值模块，用于令h＝h+1，同时执行检测模块和判断模块b；
检测模块，用于基于训练好的目标检测深度神经网络的模型文件和权重文件，对逐帧采集的实时视频数据进行前向推理，获取第h个视频帧中检测的目标位置区域；
判断模块a，用于判断h是否为1，若是，则执行初始化模块Ⅱ，若否，则将第h个视频帧中检测的目标位置区域保存至判断模块e；
初始化模块Ⅱ，用于根据第h个视频帧中检测的目标位置区域，初始化目标***；
判断模块b，用于判断h是否为1，若是，则执行赋值模块，若否，则执行跟踪模块；
跟踪模块，用于获取第h-1个视频帧中检测的目标位置区域对应的候选区域以及第h个视频帧中与第h-1个视频帧对应的候选区域相一致的区域，并将该区域作为第h个视频帧中检测的目标位置区域对应的候选区域，根据第h-1个视频帧中检测的目标位置区域对应的候选区域，获取第h个视频帧中跟踪的目标位置区域；
判断模块c，用于判断第h个视频帧中目标跟踪是否成功，若是，则执行判断模块d，若否，则执行初始化模块Ⅰ；
判断模块d，用于判断第h个视频帧中跟踪的目标位置区域图像的像素坐标是否超出预设的视频帧图像的坐标范围，若是，则执行初始化模块Ⅰ，若否，则执行判断模块e；
判断模块e，判断第h个视频帧中检测的目标位置区域和跟踪的目标位置区域是否存在重叠，若是，则输出检测的目标位置区域，并执行赋值模块，若否，则输出跟踪的目标位置区域，并执行赋值模块。
优选的，所述训练模块，具体用于：
对逐帧采集的历史视频数据中的各类目标进行逐帧标注；
利用逐帧标注后的历史视频数据构建训练数据，并利用训练数据训练目标检测深度神经网络模型；
获取训练好的目标检测深度神经网络的模型文件和权重文件。
优选的，所述检测模块，具体用于：
利用前向推理框架依次读取目标对应的标签、训练好的目标检测深度神经网络的模型文件、权重文件和逐帧采集的实时视频数据，获取前向推理框架输出的目标的位置。
优选的，所述获取第h-1个视频帧中检测的目标位置区域对应的候选区域，包括：
将第h-1个视频帧中检测的目标位置区域扩大预设倍数。
进一步的，所述预设倍数的取值范围为[1.5,3]。
优选的，所述判断模块c，具体用于：
利用第h-1个视频帧的分类器对第h个视频帧中检测的目标位置区域对应的候选区域进行分析，获取第h个视频帧中检测的目标位置区域对应的候选区域的分值；
若第h个视频帧中检测的目标位置区域对应的候选区域的分值大于分类器分数的预设值，则目标跟踪成功，否则目标跟踪失败。
进一步的，所述第h-1个视频帧的分类器的训练过程包括：
将第h-1个视频帧中包含检测的目标位置区域对应的候选区域作为训练二分类器的正样本数据；
将第h-1个视频帧中不包含检测的目标位置区域对应的候选区域作为训练二分类器的负样本数据；
利用所述正样本数据和负样本数据构建训练二分类器的样本数据；
对训练二分类器的样本数据执行分类器算法，获取训练好的第h-1个视频帧的分类器。
与最接近的现有技术相比，本发明具有的有益效果：
本发明提供的技术方案中，基于训练好的目标检测深度神经网络的模型文件和权重文件，对无人机采集的视频帧进行计数，在计数为1的视频帧上进行前向推理，获取目标的位置区域并初始化目标***，然后对后续采集的各视频帧同时获取检测的目标位置区域和跟踪的目标位置区域，若跟踪成功且目标位置区域图像大小符合预设的图像大小，则比较检测的目标位置区域和跟踪的目标位置区域是否有重叠，确定最终输出的目标位置区域；本方案能够减少目标检测误检带来的干扰；结合深度学习目标检测算法精度与目标跟踪算法稳定性的优势，在保持深度神经网络目标检测算法精度高的优势前提下，能够避免目标检测位置跳变带来的不稳定性；同时具有单一尺度的目标跟踪算法借助目标检测算法能够适应目标的多尺度变化；而且本发明提供的技术方案计算量小可以直接利用无人机机载GPU的计算性能，具有很高的应用价值。
附图说明
图1是一种基于同步检测跟踪的无人机对地探测方法的流程图；
图2是在本发明的实施例中基于同步检测跟踪的目标检测模型的训练流程图；
图3是在本发明的实施例中基于同步检测跟踪的目标实时检测流程图
图4是一种基于同步检测跟踪的无人机对地探测***的结构图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步的详细说明。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明提供了一种基于同步检测跟踪的无人机对地探测方法，如图1所示，包括：
步骤(1)训练目标检测深度神经网络模型，获取模型文件和权重文件；
步骤(2)逐帧采集实时视频数据；
步骤(3)初始化帧数计数器h＝0；
步骤(4)令h＝h+1，同时执行步骤(5)和步骤(8)；
步骤(5)基于训练好的目标检测深度神经网络的模型文件和权重文件，对逐帧采集的实时视频数据进行前向推理，获取第h个视频帧中检测的目标位置区域；
步骤(6)判断h是否为1，若是，则执行步骤(7)，若否，则将第h个视频帧中检测的目标位置区域保存至步骤(12)；
步骤(7)根据第h个视频帧中检测的目标位置区域，初始化目标***；
步骤(8)判断h是否为1，若是，则执行步骤(4)，若否，则执行步骤(9)；
步骤(9)获取第h-1个视频帧中检测的目标位置区域对应的候选区域以及第h个视频帧中与第h-1个视频帧对应的候选区域相一致的区域，并将该区域作为第h个视频帧中检测的目标位置区域对应的候选区域，根据第h-1个视频帧中检测的目标位置区域对应的候选区域，获取第h个视频帧中跟踪的目标位置区域；
步骤(10)判断第h个视频帧中目标跟踪是否成功，若是，则执行步骤(11)，若否，则执行步骤(3)；
步骤(11)判断第h个视频帧中跟踪的目标位置区域图像的像素坐标是否超出预设的视频帧图像的坐标范围，若是，则执行步骤(3)，若否，则执行步骤(12)；
步骤(12)判断第h个视频帧中检测的目标位置区域和跟踪的目标位置区域是否存在重叠，若是，则输出检测的目标位置区域，并执行步骤(4)，若否，则输出跟踪的目标位置区域，并执行步骤(4)。
优选的，步骤(1)包括：
对逐帧采集的历史视频数据中的各类目标进行逐帧标注；
利用逐帧标注后的历史视频数据构建训练数据，并利用训练数据训练目标检测深度神经网络模型；
获取训练好的目标检测深度神经网络的模型文件和权重文件。
优选的，步骤(5)包括：
利用前向推理框架依次读取目标对应的标签、训练好的目标检测深度神经网络的模型文件、权重文件和逐帧采集的实时视频数据，获取前向推理框架输出的目标的位置。
在本发明的实施例中，对目标检测深度神经网络离线训练包括：
步骤A-1.针对无人机需要检测跟踪的特定目标，对同类型视频数据进行标注，在GPU服务器或者性能较强的计算机上利用标注数据对深度神经网络进行离线训练；
步骤A-2.将无人机采集的同类型视频数据分解为图像，为避免过拟合提高泛化能力，图像数量尽量多，通常不少于1万张；对每张图像中的目标(汽车、人、坦克、无人机等)进行标注；具体来说：用一个矩形框将目标框住，将这个矩形框的左上角和右下角顶点的像素坐标或者左上角的顶点坐标及矩形框的长度和宽度及对应的目标标签按照特定格式记录下来；
步骤A-3.搭建深度深度神经网络训练平台(TensorFlow、Darknet、Caffe等)，设定训练path size，学习率等参数，读取深度神经网络的模型如Mobilenets-SSD，在标注好的数据上进行特定目标检测算法深度神经网络模型参数更新；
步骤A-4.训练特定数量的次数(10000轮以上)后，保存深度神经网络的训练模型，获取深度神经网络的训练模型的模型文件和权重文件。
其次对目标进行检测：
步骤B-1.载入视频数据，读取视频帧；
步骤B-2.初始化帧数计数器为0；
步骤B-3.帧计数器加1，同时执行步骤B-4和步骤B-7；
步骤B-4.载入基于深度学习算法的预训练模型，利用深度学习前向推理机制在读取的视频帧上进行特定目标的检测：读取目标类别标签、预训练参数模型文件和权重文件、要检测的视频帧，在新的视频帧上进行前向推理，获取目标位置信息以及置信度；
步骤B-5.判断h是否为1，若是，则执行步骤B-6，若否，则将检测的目标位置区域保存至步骤C-4；
步骤B-6.目标***以目标检测器检测到的目标位置为跟踪起点进行初始化；
步骤B-7.判断h是否为1，若是，则执行步骤B-3，若否，则执行步骤C-1；
最后对目标进行跟踪：
步骤C-1.跟踪算法进行目标跟踪，在新的视频帧上更新目标位置：确定上一帧的候选区域位置，提取候选区域的特征；在当前及后续视频帧中寻找与候选区域特征最匹配的区域作为目标跟踪的对象，并获取该视频帧中跟踪的目标位置区域；
步骤C-2.通过预先设定的阈值判定目标跟踪是否成功，跟踪不成功执行步骤B-2，跟踪成功则执行下一步；
步骤C-3.判断输出的目标的位置区域的图像的像素坐标是否超出预设的视频帧图像的坐标范围，若是，则执行步骤B-2，若否，则输出目标位置执行步骤C-4；
步骤C-4.判断当前视频帧中检测的目标位置区域和跟踪的目标位置区域是否存在重叠，若是，则输出检测的目标位置区域，并执行步骤B-3，若否，则输出跟踪的目标位置区域，并执行步骤B-3。
优选的，获取第h-1个视频帧中检测的目标位置区域对应的候选区域，包括：
将第h-1个视频帧中检测的目标位置区域扩大预设倍数。
进一步的，预设倍数的取值范围为[1.5,3]。
优选的，第h-1个视频帧的分类器的训练过程包括：
将第h-1个视频帧中包含检测的目标位置区域对应的候选区域作为训练二分类器的正样本数据；
将第h-1个视频帧中不包含检测的目标位置区域对应的候选区域作为训练二分类器的负样本数据；
利用所述正样本数据和负样本数据构建训练二分类器的样本数据；
对训练二分类器的样本数据执行分类器算法，获取训练好的第h-1个视频帧的分类器。
在本发明的实施例中，步骤C-2中利用当前帧的候选区域作为模板，以是否包含真实目标框作为正负样本对分类算法进行训练，获得分类器；依据当前帧的真实目标框的模板在下一帧图像上获得预测模板，利用循环矩阵生成多个备选模板；在下一帧的图像上将备选模板作为样本运行当前帧生成的分类器，获得各个样本的标签，包含目标真实位置的标签对应的备选框作为下一帧中目标预测模板；比较下一帧预测模板和当前帧真实目标的放大模板的相对位置，即可获得目标的位置变化，进而获得下一帧中新的目标位置；比较分类器获得的分类值与预设值M，如果大于M则跟踪成功，如果小于M则跟踪失败。
基于本发明提供的技术方案，本发明的实施例中还提供了基于置信度的目标检测模型的训练流程图，如图2所示：
S1.离线训练目标检测模型：
S11.针对监视特定区域进行视频或者图像的采集，要求采集的图像或者视频场景尽量与实际无人机监视区域的场景相似；
S12.对采集的视频或者图像中的多类目标(车辆，人员，树木等)进行逐帧的标注，标注框优选矩形框，通过左上角和右下角顶点定位或者采用左上角和矩形的长宽边定位，并将标注的坐标和类别标签按照固定格式存储为xml或txt文件类型，建立索引文件将图像路径及文件名与xml或txt文件路径文件名称一一对应；
S13.选定一种深度神经网络的训练平台，该训练平台可以是caffe，tensorflow，pytorch，darknet，但是不局限于以上平台；
S14.选定一种目标检测深度神经网络包括但不限于Mobilenets-SSD目标检测神经网络，设定训练pathsize，学***台上利用所标注的数据进行训练；
S15.将S14的训练过程在采集的数据上进行N轮训练，通常N不小于10000，将得到的模型文件保存，以备后面的实时目标检测过程使用。
基于本发明提供的技术方案，本发明的实施例中还提供了基于置信度的目标实时检测流程图，如图3所示：
S2.在线实时目标检测：
S21.在无人机上逐帧实时读取摄像头视频或者图像数据；
S22.运行便于在移动平台上部署的轻量化的前向推理框架，包括但是不限于opencvDNN模块，TensorRT前向推理模块，腾讯NCNN前向推理模块，TEngine前向推理模块；
S23.读取S15中训练保存的模型权重文件，在逐帧读取的视频或者图像上对选定的目标进行检测，获得并输出相应的目标位置矩形框、置信度和类别标签等信息；
本发明提供了一种基于同步检测跟踪的无人机对地探测***，如图4所示，包括：
训练模块，用于训练目标检测深度神经网络模型，获取模型文件和权重文件；
采集模块，用于逐帧采集实时视频数据；
初始化模块Ⅰ，用于初始化帧数计数器h＝0；
赋值模块，用于令h＝h+1，同时执行检测模块和判断模块b；
检测模块，用于基于训练好的目标检测深度神经网络的模型文件和权重文件，对逐帧采集的实时视频数据进行前向推理，获取第h个视频帧中检测的目标位置区域；
判断模块a，用于判断h是否为1，若是，则执行初始化模块Ⅱ，若否，则将第h个视频帧中检测的目标位置区域保存至判断模块e；
初始化模块Ⅱ，用于根据第h个视频帧中检测的目标位置区域，初始化目标***；
判断模块b，用于判断h是否为1，若是，则执行赋值模块，若否，则执行跟踪模块；
跟踪模块，用于获取第h-1个视频帧中检测的目标位置区域对应的候选区域以及第h个视频帧中与第h-1个视频帧对应的候选区域相一致的区域，并将该区域作为第h个视频帧中检测的目标位置区域对应的候选区域，根据第h-1个视频帧中检测的目标位置区域对应的候选区域，获取第h个视频帧中跟踪的目标位置区域；
判断模块c，用于判断第h个视频帧中目标跟踪是否成功，若是，则执行判断模块d，若否，则执行初始化模块Ⅰ；
判断模块d，用于判断第h个视频帧中跟踪的目标位置区域图像的像素坐标是否超出预设的视频帧图像的坐标范围，若是，则执行初始化模块Ⅰ，若否，则执行判断模块e；
判断模块e，判断第h个视频帧中检测的目标位置区域和跟踪的目标位置区域是否存在重叠，若是，则输出检测的目标位置区域，并执行赋值模块，若否，则输出跟踪的目标位置区域，并执行赋值模块。
优选的，训练模块，具体用于：
对逐帧采集的历史视频数据中的各类目标进行逐帧标注；
利用逐帧标注后的历史视频数据构建训练数据，并利用训练数据训练目标检测深度神经网络模型；
获取训练好的目标检测深度神经网络的模型文件和权重文件。
优选的，检测模块，具体用于：
利用前向推理框架依次读取目标对应的标签、训练好的目标检测深度神经网络的模型文件、权重文件和逐帧采集的实时视频数据，获取前向推理框架输出的目标的位置。
优选的，获取第h-1个视频帧中检测的目标位置区域对应的候选区域，包括：
将第h-1个视频帧中检测的目标位置区域扩大预设倍数。
进一步的，预设倍数的取值范围为[1.5,3]。
优选的，判断模块c，具体用于：
利用第h-1个视频帧的分类器对第h个视频帧中检测的目标位置区域对应的候选区域进行分析，获取第h个视频帧中检测的目标位置区域对应的候选区域的分值；
若第h个视频帧中检测的目标位置区域对应的候选区域的分值大于分类器分数的预设值，则目标跟踪成功，否则目标跟踪失败。
进一步的，第h-1个视频帧的分类器的训练过程包括：
将第h-1个视频帧中包含检测的目标位置区域对应的候选区域作为训练二分类器的正样本数据；
将第h-1个视频帧中不包含检测的目标位置区域对应的候选区域作为训练二分类器的负样本数据；
利用正样本数据和负样本数据构建训练二分类器的样本数据；
对训练二分类器的样本数据执行分类器算法，获取训练好的第h-1个视频帧的分类器。
可以将本发明上述实施例提供的无人机对地探测***或者将加载有无人机对地探测方法的电子设备部署到无人机上，以实现对目标的监测、跟踪。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
Claims (14)
1.一种基于同步检测跟踪的无人机对地探测方法，其特征在于，所述方法包括：
步骤(1)训练目标检测深度神经网络模型，获取模型文件和权重文件；
步骤(2)逐帧采集实时视频数据；
步骤(3)初始化帧数计数器h＝0；
步骤(4)令h＝h+1，同时执行步骤(5)和步骤(8)；
步骤(5)基于训练好的目标检测深度神经网络的模型文件和权重文件，对逐帧采集的实时视频数据进行前向推理，获取第h个视频帧中检测的目标位置区域；
步骤(6)判断h是否为1，若是，则执行步骤(7)，若否，则将第h个视频帧中检测的目标位置区域保存至步骤(12)；
步骤(7)根据第h个视频帧中检测的目标位置区域，初始化目标***；
步骤(8)判断h是否为1，若是，则执行步骤(4)，若否，则执行步骤(9)；
步骤(9)获取第h-1个视频帧中检测的目标位置区域对应的候选区域以及第h个视频帧中与第h-1个视频帧对应的候选区域相一致的区域，并将该区域作为第h个视频帧中检测的目标位置区域对应的候选区域，根据第h-1个视频帧中检测的目标位置区域对应的候选区域，获取第h个视频帧中跟踪的目标位置区域；
步骤(10)判断第h个视频帧中目标跟踪是否成功，若是，则执行步骤(11)，若否，则执行步骤(3)；
步骤(11)判断第h个视频帧中跟踪的目标位置区域图像的像素坐标是否超出预设的视频帧图像的坐标范围，若是，则执行步骤(3)，若否，则执行步骤(12)；
步骤(12)判断第h个视频帧中检测的目标位置区域和跟踪的目标位置区域是否存在重叠，若是，则输出检测的目标位置区域，并执行步骤(4)，若否，则输出跟踪的目标位置区域，并执行步骤(4)。
2.如权利要求1所述的方法，其特征在于，所述步骤(1)包括：
对逐帧采集的历史视频数据中的各类目标进行逐帧标注；
利用逐帧标注后的历史视频数据构建训练数据，并利用训练数据训练目标检测深度神经网络模型；
获取训练好的目标检测深度神经网络的模型文件和权重文件。
3.如权利要求1所述的方法，其特征在于，所述步骤(5)包括：
利用前向推理框架依次读取目标对应的标签、训练好的目标检测深度神经网络的模型文件、权重文件和逐帧采集的实时视频数据，获取前向推理框架输出的检测的目标位置区域。
4.如权利要求1所述的方法，其特征在于，所述获取第h-1个视频帧中检测的目标位置区域对应的候选区域，包括：
将第h-1个视频帧中检测的目标位置区域扩大预设倍数。
5.如权利要求4所述的方法，其特征在于，所述预设倍数的取值范围为[1.5,3]。
6.如权利要求1所述的方法，其特征在于，所述步骤(10)包括：
利用第h-1个视频帧的分类器对第h个视频帧中检测的目标位置区域对应的候选区域进行分析，获取第h个视频帧中检测的目标位置区域对应的候选区域的分值；
若第h个视频帧中检测的目标位置区域对应的候选区域的分值大于分类器分数的预设值，则目标跟踪成功，否则目标跟踪失败。
7.如权利要求6所述的方法，其特征在于，所述第h-1个视频帧的分类器的训练过程包括：
将第h-1个视频帧中包含检测的目标位置区域对应的候选区域作为训练二分类器的正样本数据；
将第h-1个视频帧中不包含检测的目标位置区域对应的候选区域作为训练二分类器的负样本数据；
利用所述正样本数据和负样本数据构建训练二分类器的样本数据；
对训练二分类器的样本数据执行分类器算法，获取训练好的第h-1个视频帧的分类器。
8.一种基于同步检测跟踪的无人机对地探测***，其特征在于，所述***包括：
训练模块，用于训练目标检测深度神经网络模型，获取模型文件和权重文件；
采集模块，用于逐帧采集实时视频数据；
初始化模块Ⅰ，用于初始化帧数计数器h＝0；
赋值模块，用于令h＝h+1，同时执行检测模块和判断模块b；
检测模块，用于基于训练好的目标检测深度神经网络的模型文件和权重文件，对逐帧采集的实时视频数据进行前向推理，获取第h个视频帧中检测的目标位置区域；
判断模块a，用于判断h是否为1，若是，则执行初始化模块Ⅱ，若否，则将第h个视频帧中检测的目标位置区域保存至判断模块e；
初始化模块Ⅱ，用于根据第h个视频帧中检测的目标位置区域，初始化目标***；
判断模块b，用于判断h是否为1，若是，则执行赋值模块，若否，则执行跟踪模块；
跟踪模块，用于获取第h-1个视频帧中检测的目标位置区域对应的候选区域以及第h个视频帧中与第h-1个视频帧对应的候选区域相一致的区域，并将该区域作为第h个视频帧中检测的目标位置区域对应的候选区域，根据第h-1个视频帧中检测的目标位置区域对应的候选区域，获取第h个视频帧中跟踪的目标位置区域；
判断模块c，用于判断第h个视频帧中目标跟踪是否成功，若是，则执行判断模块d，若否，则执行初始化模块Ⅰ；
判断模块d，用于判断第h个视频帧中跟踪的目标位置区域图像的像素坐标是否超出预设的视频帧图像的坐标范围，若是，则执行初始化模块Ⅰ，若否，则执行判断模块e；
判断模块e，判断第h个视频帧中检测的目标位置区域和跟踪的目标位置区域是否存在重叠，若是，则输出检测的目标位置区域，并执行赋值模块，若否，则输出跟踪的目标位置区域，并执行赋值模块。
9.如权利要求8所述的***，其特征在于，所述训练模块，具体用于：
对逐帧采集的历史视频数据中的各类目标进行逐帧标注；
利用逐帧标注后的历史视频数据构建训练数据，并利用训练数据训练目标检测深度神经网络模型；
获取训练好的目标检测深度神经网络的模型文件和权重文件。
10.如权利要求8所述的***，其特征在于，所述检测模块，具体用于：
利用前向推理框架依次读取目标对应的标签、训练好的目标检测深度神经网络的模型文件、权重文件和逐帧采集的视频数据，获取前向推理框架输出的检测的目标位置区域。
11.如权利要求8所述的***，其特征在于，所述获取第h-1个视频帧中检测的目标位置区域对应的候选区域，包括：
将第h-1个视频帧中检测的目标位置区域扩大预设倍数。
12.如权利要求11所述的***，其特征在于，所述预设倍数的取值范围为[1.5,3]。
13.如权利要求8所述的***，其特征在于，所述判断模块c，具体用于：
利用第h-1个视频帧的分类器对第h个视频帧中检测的目标位置区域对应的候选区域进行分析，获取第h个视频帧中检测的目标位置区域对应的候选区域的分值；
若第h个视频帧中检测的目标位置区域对应的候选区域的分值大于分类器分数的预设值，则目标跟踪成功，否则目标跟踪失败。
14.如权利要求13所述的***，其特征在于，所述第h-1个视频帧的分类器的训练过程包括：
将第h-1个视频帧中包含检测的目标位置区域对应的候选区域作为训练二分类器的正样本数据；
将第h-1个视频帧中不包含检测的目标位置区域对应的候选区域作为训练二分类器的负样本数据；
利用所述正样本数据和负样本数据构建训练二分类器的样本数据；
对训练二分类器的样本数据执行分类器算法，获取训练好的第h-1个视频帧的分类器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011285803.8A CN114511793B (zh) | 2020-11-17 | 2020-11-17 | 一种基于同步检测跟踪的无人机对地探测方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011285803.8A CN114511793B (zh) | 2020-11-17 | 2020-11-17 | 一种基于同步检测跟踪的无人机对地探测方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114511793A CN114511793A (zh) | 2022-05-17 |
| CN114511793B true CN114511793B (zh) | 2024-04-05 |
Family
ID=81547239
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011285803.8A Active CN114511793B (zh) | 2020-11-17 | 2020-11-17 | 一种基于同步检测跟踪的无人机对地探测方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114511793B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107862705A (zh) * | 2017-11-21 | 2018-03-30 | 重庆邮电大学 | 一种基于运动特征和深度学习特征的无人机小目标检测方法 |
| WO2019041519A1 (zh) * | 2017-08-29 | 2019-03-07 | 平安科技（深圳）有限公司 | 目标跟踪装置、方法及计算机可读存储介质 |
| WO2019101220A1 (zh) * | 2017-12-11 | 2019-05-31 | 珠海大横琴科技发展有限公司 | 基于深度学习网络和均值漂移的船只自动跟踪方法及*** |
| CN110399808A (zh) * | 2019-07-05 | 2019-11-01 | 桂林安维科技有限公司 | 一种基于多目标跟踪的人体行为识别方法及*** |
| CN111784737A (zh) * | 2020-06-10 | 2020-10-16 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于无人机平台的目标自动跟踪方法及*** |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11216954B2 (en) * | 2018-04-18 | 2022-01-04 | Tg-17, Inc. | Systems and methods for real-time adjustment of neural networks for autonomous tracking and localization of moving subject |
-
2020
- 2020-11-17 CN CN202011285803.8A patent/CN114511793B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019041519A1 (zh) * | 2017-08-29 | 2019-03-07 | 平安科技（深圳）有限公司 | 目标跟踪装置、方法及计算机可读存储介质 |
| CN107862705A (zh) * | 2017-11-21 | 2018-03-30 | 重庆邮电大学 | 一种基于运动特征和深度学习特征的无人机小目标检测方法 |
| WO2019101220A1 (zh) * | 2017-12-11 | 2019-05-31 | 珠海大横琴科技发展有限公司 | 基于深度学习网络和均值漂移的船只自动跟踪方法及*** |
| CN110399808A (zh) * | 2019-07-05 | 2019-11-01 | 桂林安维科技有限公司 | 一种基于多目标跟踪的人体行为识别方法及*** |
| CN111784737A (zh) * | 2020-06-10 | 2020-10-16 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于无人机平台的目标自动跟踪方法及*** |
Non-Patent Citations (2)
| Title |
|---|
| 基于卷积神经网络检测的单镜头多目标跟踪算法;闵召阳;赵文杰;;舰船电子工程;20171220(12);全文 * |
| 采用核相关滤波的快速TLD视觉目标跟踪;王姣尧;侯志强;余旺盛;廖秀峰;陈传华;;中国图象图形学报;20181116(11);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114511793A (zh) | 2022-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11205274B2 (en) | High-performance visual object tracking for embedded vision systems | |
| CN106874854B (zh) | 基于嵌入式平台的无人机车辆跟踪方法 | |
| WO2020186678A1 (zh) | 无人机三维地图构建方法、装置、计算机设备及存储介质 | |
| Alexandrov et al. | Analysis of machine learning methods for wildfire security monitoring with an unmanned aerial vehicles | |
| CN103208008B (zh) | 基于机器视觉的交通视频监控目标检测快速适应方法 | |
| US20150138310A1 (en) | Automatic scene parsing | |
| CN106709475B (zh) | 障碍物识别方法及装置、计算机设备及可读存储介质 | |
| CN110021033A (zh) | 一种基于金字塔孪生网络的目标跟踪方法 | |
| CN111784737B (zh) | 一种基于无人机平台的目标自动跟踪方法及*** | |
| CN111461209A (zh) | 一种模型训练装置和方法 | |
| CN114511792B (zh) | 一种基于帧计数的无人机对地探测方法及*** | |
| CN109919223B (zh) | 基于深度神经网络的目标检测方法及装置 | |
| CN113936340B (zh) | 一种基于训练数据采集的ai模型训练方法及装置 | |
| CN111831010A (zh) | 一种基于数字空间切片的无人机避障飞行方法 | |
| CN114194180A (zh) | 一种辅助泊车信息的确定方法、装置、设备及介质 | |
| CN112487892B (zh) | 一种基于置信度的无人机对地探测方法及*** | |
| CN114511793B (zh) | 一种基于同步检测跟踪的无人机对地探测方法及*** | |
| CN112487889A (zh) | 一种基于深度神经网络的无人机对地探测方法及*** | |
| CN116434150A (zh) | 面向拥挤场景的多目标检测跟踪方法、***及存储介质 | |
| CN111160123A (zh) | 一种飞机目标识别方法、装置及存储介质 | |
| CN116453109A (zh) | 3d目标检测方法、装置、设备及存储介质 | |
| CN113139985B (zh) | 消除无人机与地面站通信延迟影响的跟踪目标框选方法 | |
| CN114494355A (zh) | 基于人工智能的轨迹分析方法、装置、终端设备及介质 | |
| CN115482277A (zh) | 一种社交距离风险预警方法及装置 | |
| Lygouras et al. | A new method to combine detection and tracking algorithms for fast and accurate human localization in UAV-based SAR operations |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |