CN108764456B - 机载目标识别模型构建平台、机载目标识别方法及设备 - Google Patents

机载目标识别模型构建平台、机载目标识别方法及设备 Download PDF

Info

Publication number
CN108764456B
CN108764456B CN201810289335.8A CN201810289335A CN108764456B CN 108764456 B CN108764456 B CN 108764456B CN 201810289335 A CN201810289335 A CN 201810289335A CN 108764456 B CN108764456 B CN 108764456B
Authority
CN
China
Prior art keywords
identification
recognition
training
target
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810289335.8A
Other languages
English (en)
Other versions
CN108764456A (zh
Inventor
翟佳
贾雨生
王衍祺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Environmental Features
Original Assignee
Beijing Institute of Environmental Features
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Environmental Features filed Critical Beijing Institute of Environmental Features
Priority to CN201810289335.8A priority Critical patent/CN108764456B/zh
Publication of CN108764456A publication Critical patent/CN108764456A/zh
Application granted granted Critical
Publication of CN108764456B publication Critical patent/CN108764456B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种机载目标识别模型构建平台、机载目标识别方法及设备,机载目标识别模型构建平台,包括:存储服务器,用于将实测数据和特性数据存储至对应的分类训练数据集;训练服务器,用于将分类训练数据集中的每一个样本输入到深度学习网络,进行特征训练,当接收到生成指令时,为特征训练的结果生成机载目标识别模型;当接收到反向传播指令时,将特征训练的结果反向输入到深度学习网络,进行特征训练;识别服务器,用于对特征训练的结果进行识别测试,并针对识别测试结果,统计识别率,当识别率不小于预设的识别基准值时,发送模型生成指令,否则,发送反向传播指令。本发明提供的方案能够有效地提高机载目标识别的准确率。

Description

机载目标识别模型构建平台、机载目标识别方法及设备
技术领域
本发明涉及图像目标识别技术领域,尤其涉及一种机载目标识别模型构建平台、机载目标识别方法及设备。
背景技术
目前,在机载资源受限平台如无人机的下视目标识别中,基本上是利用模板匹配方法通过人工进行辅助判别。模板匹配方法主要是利用目标的特性构建特性模板,比如:以汽车的四个轮子为特征构建汽车特性模板,以树木的树叶和枝干为特征构建树木特性模板等等,通过将构建的特性模板与目标进行匹配,以确定目标。此传统方法的判别准确率严重依赖于特征选择与特性建模的准确性,受到人工经验限制。
因此,针对以上不足,需要提供一种能够提高识别准确率的机载目标识别模型构建平台、机载目标识别方法及设备。
发明内容
本发明要解决的技术问题在于,针对现有技术中的缺陷,提供一种能够提高识别准确率的机载目标识别模型构建平台、机载目标识别方法及设备。
为了解决上述技术问题,本发明提供了一种机载目标识别模型构建平台,包括:存储服务器、训练服务器及识别服务器,其中,
所述存储服务器,用于获取实测数据和特性数据,并将所述实测数据和所述特性数据存储至对应的分类训练数据集;
所述训练服务器,用于将所述分类训练数据集中的每一个样本输入到预先部署的深度学习网络,进行特征训练,当接收到所述生成指令时,为特征训练的结果生成机载目标识别模型;当接收到所述反向传播指令时,将特征训练的结果反向输入到所述深度学习网络,进行特征训练;
所述识别服务器,用于对特征训练的结果进行识别测试,并针对识别测试结果,统计识别率,当所述识别率不小于预设的识别基准值时,发送模型生成指令给所述训练服务器,否则,发送反向传播指令给所述训练服务器。
可选地,
所述深度学习网络,包括:多尺度目标检测网络;
所述训练服务器,进一步用于部署不同尺寸的卷积模型,针对每一个所述分类训练数据集,利用不同尺寸的所述卷积模型对每一个样本进行特征提取,将提取到的所述训练数据集中所有样本的特征输入到所述多尺度目标检测网络,进行特征训练,以确定所述训练数据集对应的初级目标识别模型,当接收到所述生成指令时,确定所述初级目标识别模型为机载目标识别模型;当接收到所述反向传播指令时,将所述初级目标识别模型及偏差通过反向传播的方式输入到所述多尺度目标检测网络,进行特征训练;
所述识别服务器,进一步用于当所述识别率小于预设的识别基准值时,计算初级目标识别模型的识别测试结果与预设的期望结果之间的偏差,并发送所述偏差及反向传播指令给所述训练服务器。
可选地,
所述识别率,包括:识别查全率和识别查准率;
所述识别服务器,用于利用下述识别查全率计算公式和识别查准率计算公式,分别统计识别查全率和识别查准率,当所述计识别查全率不小于80%,且所述识别查准率不小于85%时,发送模型生成指令给所述训练服务器,否则,发送反向传播指令给所述训练服务器;
识别查全率计算公式:
R=TP/(TP+FN)
识别查准率计算公式:
P=TP/(TP+FP)
其中,R表征识别查全率;P表征识别查准率;TP表征针对识别测试结果来说,预测识别测试结果为正,实际识别测试结果为正的个数;TN表征针对识别测试结果来说,预测识别测试结果为负,实际识别测试结果为负的个数;FP表征针对识别测试结果来说,预测识别测试结果为正,实际识别测试结果为负的个数;FN表征针对识别测试结果来说,预测识别测试结果为负,实际识别测试结果为正的个数。
可选地,
所述训练服务器,用于根据下述偏差计算公式,计算初级目标识别模型的识别测试结果与预设的期望结果之间的偏差;
偏差计算公式:
Y=FP+FN
其中,Y表征偏差;FP表征针对识别测试结果来说,预测识别测试结果为正的个数,实际识别测试结果为负;FN表征针对识别测试结果来说,预测识别测试结果为负,实际识别测试结果为正的个数。
本发明还提供了一种机载目标识别方法,其特征在于:利用上述任一所述的外部机载目标识别模型构建平台构建机载目标识别模型,将所述机载目标识别模型加载到至少三个嵌入式GPU;还包括:
通过一个嵌入式ARM型CPU获取外部发送的视频信息,并对所述视频信息进行预处理;
按照预先在所述嵌入式ARM型CPU上设置的storm调度策略,将预处理后的视频信息和任务分配给所述至少三个嵌入式GPU;
按照所述任务,每一个所述嵌入式GPU通过调用所述机载目标识别模型的一部分对所述视频信息进行目标识别;
通过所述ARM型CPU对目标识别的结果进行汇总和存储。
可选地,
在所述将预处理后的视频信息分配给所述至少三个嵌入式GPU之后,在所述每一个所述嵌入式GPU通过调用所述机载目标识别模型对所述视频信息进行目标识别之前,进一步包括:
将识别候选框的比例调整到目标大小;
通过所述识别候选框选定所述视频信息中的目标;
所述调用所述机载目标识别模型的一部分对所述视频信息进行目标识别,包括:
调用所述机载目标识别模型对选定的所述目标进行目标识别。
可选地,
所述storm调度策略,包括:
通过所述嵌入式ARM型CPU作为Nimbus分配任务给所述至少三个嵌入式GPU并监控状态,还作为Spout将获取到的视频信息流喷发到所述至少三个嵌入式GPU;
每一个所述嵌入式GPU作为Supervisor根据需要启动或关闭工作进程,并完成所述Nimbus分配的任务,还作为Bolt利用所述机载目标识别模型对从所述Spout中获取的视频信息流进行处理。
本发明还提供了一种机载识别设备,包括:交换机一个嵌入式ARM型CPU和至少三个嵌入式GPU,其中,
所述交换机,用于构建所述嵌入式ARM型CPU与每一个所述嵌入式GPU之间的连接,并为所述嵌入式ARM型CPU和所述每一个所述嵌入式GPU之间进行信息传输;
所述嵌入式ARM型CPU,用于预先设置的storm调度策略,获取外部发送的视频信息,并对所述视频信息进行预处理;按照所述storm调度策略,将预处理后的视频信息和任务分配给所述至少三个嵌入式GPU,对目标识别的结果进行汇总和存储;
每一个所述嵌入式GPU,用于加载外部机载目标识别模型构建平台构建的机载目标识别模型,当接收到所述预处理后的视频信息和所述任务时,按照所述任务,通过调用所述机载目标识别模型对所述预处理后的视频信息进行目标识别。
可选地,
每一个所述嵌入式GPU,进一步用于将识别候选框的比例调整到目标大小,通过所述识别候选框选定所述视频信息中的目标,并调用所述机载目标识别模型对选定的所述目标进行目标识别。
可选地,
所述storm调度策略,包括:
通过所述嵌入式ARM型CPU作为Nimbus分配任务给所述至少三个嵌入式GPU并监控状态,还作为Spout将获取到的视频信息流喷发到所述至少三个嵌入式GPU;
每一个所述嵌入式GPU作为Supervisor根据需要启动或关闭工作进程,并完成所述Nimbus分配的任务,还作为Bolt利用所述机载目标识别模型对从所述Spout中获取的视频信息流进行处理。
实施本发明的,具有以下有益效果:
1、本发明通过存储服务器获取实测数据和特性数据,并将所述实测数据和所述特性数据存储至对应的分类训练数据集,通过训练服务器将所述分类训练数据集中的每一个样本输入到预先部署的深度学习网络,进行特征训练,当接收到所述生成指令时,为特征训练的结果生成机载目标识别模型;当接收到所述反向传播指令时,将特征训练的结果反向输入到所述深度学习网络,进行特征训练;通过识别服务器对特征训练的结果进行识别测试,并针对识别测试结果,统计识别率,当所述识别率不小于预设的识别基准值时,发送模型生成指令给所述训练服务器,否则,发送反向传播指令给所述训练服务器。由于深度学习网络进行特征训练的过程实际是自动挖掘目标深层的特征属性,使特征属性更加完整和准确,另外,通过测试识别服务器对特征训练的结果进行测试,以进一步保证特征训练获得的机载目标识别模型更加准确,因此,基于机载目标识别模型进行目标识别能够有效提高识别的准确率。
2、深度学习网络选用多尺度目标检测网络;训练服务器通过部署不同尺寸的卷积模型,针对每一个分类训练数据集,利用不同尺寸的卷积模型对每一个样本进行特征提取,该过程可以尽可能的保证将不同尺寸的目标的特征提取出来,解决小物体漏检的问题;将提取到的训练数据集中所有样本的特征输入到多尺度目标检测网络,进行特征训练,以确定训练数据集对应的初级目标识别模型,当接收到生成指令时,确定初级目标识别模型为机载目标识别模型;当接收到反向传播指令时,将初级目标识别模型及偏差通过反向传播的方式输入到所述多尺度目标检测网络,进行特征训练;识别服务器,进一步用于当所述识别率小于预设的识别基准值时,计算初级目标识别模型的识别测试结果与预设的期望结果之间的偏差,并发送所述偏差及反向传播指令给所述训练服务器,通过上述过程使得特征训练获得的机载目标识别模型能够对不同尺寸的目标进行识别,使基于机载目标识别模型进行目标识别能够进一步提高识别的准确率。
3、通过机载目标识别模型构建平台构建机载目标识别模型,将所述机载目标识别模型加载到至少三个嵌入式GPU;通过一个嵌入式ARM型CPU获取外部发送的视频信息,并对所述视频信息进行预处理;按照预先在所述嵌入式ARM型CPU上设置的storm调度策略,将预处理后的视频信息和任务分配给所述至少三个嵌入式GPU;按照所述任务,每一个所述嵌入式GPU通过调用所述机载目标识别模型的一部分对所述视频信息进行目标识别;通过所述ARM型CPU对目标识别的结果进行汇总和存储,整个机载目标识别的过程,由于基于机载目标识别模型进行,其本身能够自主的识别目标,而无须人工参与,因此,本发明提供的机载目标识别方法实现了自主化、智能化。
4、本发明提供的机载目标识别设备通过交换机、一个嵌入式ARM型CPU和至少三个嵌入式GPU来完成目标识别,该嵌入式分布式架构结构简单,使得机载目标识别设备具备低功耗、小型化的优点。同时,其通过storm调度策略,使各个嵌入式GPU能够相互协调和同步的进行目标识别,使得机上自主识别具有快速高效的优点,达到了实时目标识别的目的。
5、本发明提供的机载目标识别模型构建平台通过深度学习的高效计算,获得机载目标识别模型;而嵌入式分布式架构的机载识别设备基于机载目标识别模型进行目标识别,保证目标识别准确性的同时,又能够快速高效完成机上自主识别。
附图说明
图1是本发明一个实施例提供的一种机载目标识别模型构建平台的结构示意图;
图2是本发明实施例提供的多尺寸卷积模型提取图像特征的过程;
图3是本发明一个实施例提供的一种机载目标识别方法的流程图;
图4是本发明一个实施例提供的一种机载目标识别设备的结构示意图。
图中:101:存储服务器;102:训练服务器;103:识别服务器;401:交换机;402:嵌入式ARM型CPU;403:嵌入式GPU。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明一个实施例,如图1所示,本发明实施例提供的一种机载目标识别模型构建平台,其特征在于:包括:存储服务器101、训练服务器102及识别服务器103,其中,
所述存储服务器101,用于获取实测数据和特性数据,并将所述实测数据和所述特性数据存储至对应的分类训练数据集;
所述训练服务器102,用于将所述分类训练数据集中的每一个样本输入到预先部署的深度学习网络,进行特征训练,当接收到所述生成指令时,为特征训练的结果生成机载目标识别模型;当接收到所述反向传播指令时,将特征训练的结果反向输入到所述深度学习网络,进行特征训练;
所述识别服务器103,用于对特征训练的结果进行识别测试,并针对识别测试结果,统计识别率,当所述识别率不小于预设的识别基准值时,发送模型生成指令给所述训练服务器102,否则,发送反向传播指令给所述训练服务器102。
需要说明的是,为了提高存储服务器、训练服务器及识别服务器的运行速率,存储服务器、训练服务器及识别服务器均以集群形式存在,即存储服务器为存储集群,训练服务器为训练处理服务集群、识别服务器为识别处理器集群。
使用时,存储服务器、训练服务器及识别服务器通过硬件层、数据层、算法层以及应用层之间有机结合,相互支撑来完成机载目标识别模型的构建。其中,存储服务器的硬件层为数据层提供Hadoop分布式(HDF模式)的存储管理服务,训练服务器的硬件层为算法层训练深层网络提供高性能计算资源支撑,识别服务器的硬件层为应用层的识别测试和识别率统计功能提供服务。数据层具有实测数据和红外/电磁特性数据,为算法层提供海量训练样本。算法层通过深度学习网络自动学习挖掘图像数据中的关键目标特性特征,弥补传统模板匹配方法提取特征不准确、效率低下的缺陷,输出的网络模型为应用层识别提供支撑。应用层可以对网络模型的识别准确率进行统计,同时新得到的测试图像及视频也可作为数据层的有效补充。
在本发明另一实施例中,所述深度学习网络,包括:多尺度目标检测网络;
所述训练服务器,进一步用于部署不同尺寸的卷积模型,针对每一个所述分类训练数据集,利用不同尺寸的所述卷积模型对每一个样本进行特征提取,将提取到的所述训练数据集中所有样本的特征输入到所述多尺度目标检测网络,进行特征训练,以确定所述训练数据集对应的初级目标识别模型,当接收到所述生成指令时,确定所述初级目标识别模型为机载目标识别模型;当接收到所述反向传播指令时,将所述初级目标识别模型及偏差通过反向传播的方式输入到所述多尺度目标检测网络,进行特征训练;
所述识别服务器,进一步用于当所述识别率小于预设的识别基准值时,计算初级目标识别模型的识别测试结果与预设的期望结果之间的偏差,并发送所述偏差及反向传播指令给所述训练服务器。
需要说明的是,对于训练服务器来说,其采用不同尺寸的卷积模型及多尺度目标检测网络进行特征训练主要包括前向传播和反向传播两个阶段。前向传播主要是前向的特征提取及分类。反向传播就是误差的反向反馈和网络模型参数更新。
其中,前向传播过程主要是,对所有层上的神经元进行初始化操作。不同尺寸的卷积模型实现图像特征的提取和映射,即不同尺寸的卷积模型进行多个卷积过程,如图2所示。多尺度目标检测网络进行的多层的提取过程能够从图像中提取到有用的信息。特征提取完成后将提取到的特征前向反馈到多尺度目标检测网络的全连接层。全连接层包含多个隐含层。通过隐含层对数据信息的处理,将结果反馈到输出层即识别服务器。识别服务器将测试结果与预期结果进行对比,如果相符合,则输出分类的结果。
反向传播过程主要是,如果测试结果与预期结果不符合则需要将多尺度网络模型参数和偏差反向传播至训练服务器中的多尺度网络模型网络,即从输出层即识别服务器依次向后传递到多尺度网络模型网络中的全连接层和卷积模型,直到每一层都得到自己的梯度。然后进行网络模型参数更新的操作,开始新一轮的训练过程,直至得到最优的神经网络。该不同尺寸的卷积模型及多尺度网络模型网络能够对不同尺寸的物体提取特征,解决小物体漏检的问题,从而达到高精度目标检测。不同尺寸的卷积模型主要利用现有的卷积滤波器,设计不同卷积滤波器的尺寸,使提取的特征更加细致,从而减小图像中密集小物体漏检的概率。
在本发明又一实施例中,所述识别率,包括:识别查全率和识别查准率;
所述识别服务器103,用于利用下述识别查全率计算公式和识别查准率计算公式,分别统计识别查全率和识别查准率,当所述计识别查全率不小于80%,且所述识别查准率不小于85%时,发送模型生成指令给所述训练服务器,否则,发送反向传播指令给所述训练服务器;
识别查全率计算公式:
R=TP/(TP+FN)
识别查准率计算公式:
P=TP/(TP+FP)
其中,R表征识别查全率;P表征识别查准率;TP表征针对识别测试结果来说,预测识别测试结果为正,实际识别测试结果为正的个数;TN表征针对识别测试结果来说,预测识别测试结果为负,实际识别测试结果为负的个数;FP表征针对识别测试结果来说,预测识别测试结果为正,实际识别测试结果为负的个数;FN表征针对识别测试结果来说,预测识别测试结果为负,实际识别测试结果为正的个数。
在本发明又一实施例中,所述训练服务器103,用于根据下述偏差计算公式,计算初级目标识别模型的识别测试结果与预设的期望结果之间的偏差;
偏差计算公式:
Y=FP+FN
其中,Y表征偏差;FP表征针对识别测试结果来说,预测识别测试结果为正的个数,实际识别测试结果为负;FN表征针对识别测试结果来说,预测识别测试结果为负,实际识别测试结果为正的个数。
如图3所示,本发明实施例提供一种机载目标识别方法,包括:
步骤301:利用外部机载目标识别模型构建平台构建机载目标识别模型,将所述机载目标识别模型加载到至少三个嵌入式GPU;
步骤302:通过一个嵌入式ARM型CPU获取外部发送的视频信息,并对所述视频信息进行预处理;
步骤303:按照预先在所述嵌入式ARM型CPU上设置的storm调度策略,将预处理后的视频信息和任务分配给所述至少三个嵌入式GPU;
步骤304:按照所述任务,每一个所述嵌入式GPU通过调用所述机载目标识别模型的一部分对所述视频信息进行目标识别;
步骤305:通过所述ARM型CPU对目标识别的结果进行汇总和存储。
在本发明一个实施例中,在所述将预处理后的视频信息分配给所述至少三个嵌入式GPU之后,在所述每一个所述嵌入式GPU通过调用所述机载目标识别模型对所述视频信息进行目标识别之前,进一步包括:
将识别候选框的比例调整到目标大小;
通过所述识别候选框选定所述视频信息中的目标;
所述调用所述机载目标识别模型的一部分对所述视频信息进行目标识别,包括:
调用所述机载目标识别模型对选定的所述目标进行目标识别。
在本发明一个实施例中,所述storm调度策略,包括:
通过所述嵌入式ARM型CPU作为Nimbus分配任务给所述至少三个嵌入式GPU并监控状态,还作为Spout将获取到的视频信息流喷发到所述至少三个嵌入式GPU;
每一个所述嵌入式GPU作为Supervisor根据需要启动或关闭工作进程,并完成所述Nimbus分配的任务,还作为Bolt利用所述机载目标识别模型对从所述Spout中获取的视频信息流进行处理。
如图4所示,本发明实施例提供一种机载识别设备,包括:交换机401、一个嵌入式ARM型CPU402和至少三个嵌入式GPU403,其中,
所述交换机401,用于构建所述嵌入式ARM型CPU402与每一个所述嵌入式GPU403之间的连接,并为所述嵌入式ARM型CPU402和所述每一个所述嵌入式GPU403之间进行信息传输;
所述嵌入式ARM型CPU402,用于预先设置的storm调度策略,获取外部发送的视频信息,并对所述视频信息进行预处理;按照所述storm调度策略,将预处理后的视频信息和任务分配给所述至少三个嵌入式GPU403,对目标识别的结果进行汇总和存储;
每一个所述嵌入式GPU403,用于加载外部机载目标识别模型构建平台构建的机载目标识别模型,当接收到所述预处理后的视频信息和所述任务时,按照所述任务,通过调用所述机载目标识别模型对所述预处理后的视频信息进行目标识别。
在本发明另一实施例中,每一个所述嵌入式GPU403,进一步用于将识别候选框的比例调整到目标大小,通过所述识别候选框选定所述视频信息中的目标,并调用所述机载目标识别模型对选定的所述目标进行目标识别。
在本发明又一实施例中,所述storm调度策略,包括:
通过所述嵌入式ARM型CPU作为Nimbus分配任务给所述至少三个嵌入式GPU并监控状态,还作为Spout将获取到的视频信息流喷发到所述至少三个嵌入式GPU;
每一个所述嵌入式GPU作为Supervisor根据需要启动或关闭工作进程,并完成所述Nimbus分配的任务,还作为Bolt利用所述机载目标识别模型对从所述Spout中获取的视频信息流进行处理。
为了能够清楚地说明机载目标识别方法,下面以安装有上述机载识别设备(该机载识别设备包含一个嵌入式ARM型CPU和三个嵌入式GPU)的无人机拍摄街景为例,进行说明,其具体步骤包括:
步骤501:利用外部机载目标识别模型构建平台构建机载目标识别模型,将所述机载目标识别模型加载到无人机上的机载目标识别设备中;
该步骤加载到无人机上的机载目标识别设备中,其本质为加载到机载目标识别设备中的三个嵌入式GPU,以方便后续对目标识别模型的调用;
步骤502:无人机通过摄像头拍摄街景视频;
步骤503:通过机载目标识别设备中一个嵌入式ARM型CPU获取摄像头拍摄的视频,并对所述视频信息进行预处理;
该对视频信息进行预处理包括将视频信息分解为一帧一帧的图像,后续目标识别过程是对每一帧图像中的目标进行识别。
步骤504:按照预先在所述嵌入式ARM型CPU上设置的storm调度策略,将预处理后的视频信息和任务分配给三个嵌入式GPU;
该步骤所涉及的storm调度策略,包括:
通过所述嵌入式ARM型CPU作为Nimbus分配任务给所述至少三个嵌入式GPU并监控状态,还作为Spout将获取到的视频信息流喷发到所述至少三个嵌入式GPU;
每一个所述嵌入式GPU作为Supervisor根据需要启动或关闭工作进程,并完成所述Nimbus分配的任务,还作为Bolt利用所述机载目标识别模型对从所述Spout中获取的视频信息流进行处理。
该步骤提及的任务即是调用机载目标识别模型对图像中的目标进行识别。其分配任务的原则一般为优先分配给空闲的GPU。
步骤505:将识别候选框的比例调整到目标大小;
即不同的目标对应的候选框比例有差异,比如街景拍摄的汽车、行人、楼房等,由于其在图像中的比例有所不同,按照目标大小调整识别候选框的比例能够对目标识别更加准确。
步骤506:通过所述识别候选框选定所述视频信息中的目标;
步骤507:按照所述任务,每一个所述嵌入式GPU通过调用所述机载目标识别模型的一部分对所述视频信息进行目标识别;
步骤508:通过所述ARM型CPU对目标识别的结果进行汇总和存储。
该步骤的汇总,主要是按照最初视频的时间顺序,将每一帧图像识别出来的目标按照视频流的时间顺序进行排序。
综上所述,基于机载目标识别模型进行目标识别能够有效提高识别的准确率。另外,由于基于机载目标识别模型进行,其本身能够自主的识别目标,而无须人工参与,因此,本发明提供的机载目标识别方法实现了自主化、智能化。机载目标识别设备通过交换机、一个嵌入式ARM型CPU和至少三个嵌入式GPU来完成目标识别,该嵌入式分布式架构结构简单,使得机载目标识别设备具备低功耗、小型化的优点。同时,其通过storm调度策略,使各个嵌入式GPU能够相互协调和同步的进行目标识别,使得机上自主识别具有快速高效的优点,达到了实时目标识别的目的。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (3)

1.一种机载目标识别方法,其特征在于:利用外部机载目标识别模型构建平台构建机载目标识别模型,将所述机载目标识别模型加载到至少三个嵌入式GPU;还包括:
通过一个嵌入式ARM型CPU获取外部发送的视频信息,并对所述视频信息进行预处理;
按照预先在所述嵌入式ARM型CPU上设置的storm调度策略,将预处理后的视频信息和任务分配给所述至少三个嵌入式GPU;
按照所述任务,每一个所述嵌入式GPU通过调用所述机载目标识别模型的一部分对所述视频信息进行目标识别;
通过所述ARM型CPU对目标识别的结果进行汇总和存储;
所述机载目标识别模型构建平台包括:存储服务器、训练服务器及识别服务器,其中,
所述存储服务器,用于获取实测数据和特性数据,并将所述实测数据和所述特性数据存储至对应的分类训练数据集;
所述训练服务器,用于将所述分类训练数据集中的每一个样本输入到预先部署的深度学习网络,进行特征训练,当接收到生成指令时,为特征训练的结果生成机载目标识别模型;当接收到反向传播指令时,将特征训练的结果反向输入到所述深度学习网络,进行特征训练;
所述识别服务器,用于对特征训练的结果进行识别测试,并针对识别测试结果,统计识别率,当所述识别率不小于预设的识别基准值时,发送模型生成指令给所述训练服务器,否则,发送反向传播指令给所述训练服务器;
所述深度学习网络,包括:多尺度目标检测网络;
所述训练服务器,进一步用于部署不同尺寸的卷积模型,针对每一个所述分类训练数据集,利用不同尺寸的所述卷积模型对每一个样本进行特征提取,将提取到的所述分类训练数据集中所有样本的特征输入到所述多尺度目标检测网络,进行特征训练,以确定所述分类训练数据集对应的初级目标识别模型,当接收到所述生成指令时,确定所述初级目标识别模型为机载目标识别模型;当接收到所述反向传播指令时,将所述初级目标识别模型及偏差通过反向传播的方式输入到所述多尺度目标检测网络,进行特征训练;
所述识别服务器,进一步用于当所述识别率小于预设的识别基准值时,计算初级目标识别模型的识别测试结果与预设的期望结果之间的偏差,并发送所述偏差及反向传播指令给所述训练服务器;
所述识别率,包括:识别查全率和识别查准率;
所述识别服务器,用于利用下述识别查全率计算公式和识别查准率计算公式,分别统计识别查全率和识别查准率,当所述识别查全率不小于80%,且所述识别查准率不小于85%时,发送模型生成指令给所述训练服务器,否则,发送反向传播指令给所述训练服务器;
识别查全率计算公式:
R = TP/ (TP+FN)
识别查准率计算公式:
P = TP/ (TP+FP)
其中,R表征识别查全率;P表征识别查准率;TP表征针对识别测试结果来说,预测识别测试结果为正,实际识别测试结果为正的个数;TN表征针对识别测试结果来说,预测识别测试结果为负,实际识别测试结果为负的个数;FP表征针对识别测试结果来说,预测识别测试结果为正,实际识别测试结果为负的个数;FN表征针对识别测试结果来说,预测识别测试结果为负,实际识别测试结果为正的个数;
所述训练服务器,用于根据下述偏差计算公式,计算初级目标识别模型的识别测试结果与预设的期望结果之间的偏差;
偏差计算公式:
Y=FP+FN
其中,Y表征偏差;FN表征针对识别测试结果来说,预测识别测试结果为负,实际识别测试结果为正的个数。
2.根据权利要求1所述的机载目标识别方法,其特征在于:在所述将预处理后的视频信息分配给所述至少三个嵌入式GPU之后,在所述每一个所述嵌入式GPU通过调用所述机载目标识别模型对所述视频信息进行目标识别之前,进一步包括:
将识别候选框的比例调整到目标大小;
通过所述识别候选框选定所述视频信息中的目标;
所述调用所述机载目标识别模型的一部分对所述视频信息进行目标识别,包括:
调用所述机载目标识别模型对选定的所述目标进行目标识别。
3.根据权利要求1或2所述的机载目标识别方法,其特征在于:所述storm调度策略,包括:
通过所述嵌入式ARM型CPU作为Nimbus分配任务给所述至少三个嵌入式GPU并监控状态,还作为Spout将获取到的视频信息流喷发到所述至少三个嵌入式GPU;
每一个所述嵌入式GPU作为Supervisor根据需要启动或关闭工作进程,并完成所述Nimbus分配的任务,还作为Bolt利用所述机载目标识别模型对从所述Spout中获取的视频信息流进行处理。
CN201810289335.8A 2018-04-03 2018-04-03 机载目标识别模型构建平台、机载目标识别方法及设备 Active CN108764456B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810289335.8A CN108764456B (zh) 2018-04-03 2018-04-03 机载目标识别模型构建平台、机载目标识别方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810289335.8A CN108764456B (zh) 2018-04-03 2018-04-03 机载目标识别模型构建平台、机载目标识别方法及设备

Publications (2)

Publication Number Publication Date
CN108764456A CN108764456A (zh) 2018-11-06
CN108764456B true CN108764456B (zh) 2021-06-22

Family

ID=63980821

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810289335.8A Active CN108764456B (zh) 2018-04-03 2018-04-03 机载目标识别模型构建平台、机载目标识别方法及设备

Country Status (1)

Country Link
CN (1) CN108764456B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110708567A (zh) * 2019-04-15 2020-01-17 中国石油大学(华东) 一种基于主动学习的分布式自优化视频实时解析框架
CN110288001B (zh) * 2019-05-28 2023-09-05 西南电子技术研究所(中国电子科技集团公司第十研究所) 基于目标数据特征训练学习的目标识别方法
CN110443310B (zh) * 2019-08-07 2022-08-09 浙江大华技术股份有限公司 比对分析***的更新方法、服务器及计算机存储介质
CN110764081A (zh) * 2019-11-05 2020-02-07 北京理工大学 一种精密跟踪测量雷达信号的处理***
CN112309068B (zh) * 2020-10-29 2022-09-06 电子科技大学中山学院 一种基于深度学习的森林火灾预警方法
CN113095445B (zh) * 2021-06-08 2021-10-19 中国铁塔股份有限公司湖北省分公司 一种目标识别方法及装置
CN114116567A (zh) * 2021-11-29 2022-03-01 辽宁神州北斗科技有限公司 大数据计算解析***及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096504A (zh) * 2016-05-30 2016-11-09 重庆大学 一种基于无人机机载平台的车型识别方法
CN106778472A (zh) * 2016-11-17 2017-05-31 成都通甲优博科技有限责任公司 基于深度学习的输电走廊常见侵入物目标检测与识别方法
CN107817820A (zh) * 2017-10-16 2018-03-20 复旦大学 一种基于深度学习的无人机自主飞行控制方法与***
CN107862262A (zh) * 2017-10-27 2018-03-30 中国航空无线电电子研究所 一种适用于高空侦察的快速可见光图像舰船检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096504A (zh) * 2016-05-30 2016-11-09 重庆大学 一种基于无人机机载平台的车型识别方法
CN106778472A (zh) * 2016-11-17 2017-05-31 成都通甲优博科技有限责任公司 基于深度学习的输电走廊常见侵入物目标检测与识别方法
CN107817820A (zh) * 2017-10-16 2018-03-20 复旦大学 一种基于深度学习的无人机自主飞行控制方法与***
CN107862262A (zh) * 2017-10-27 2018-03-30 中国航空无线电电子研究所 一种适用于高空侦察的快速可见光图像舰船检测方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
Toward Fast and Accurate Vehicle Detection in Aerial Images Using Coupled Region-Based Convolutional Neural Networks;Z. Deng;《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》;20170831;第3653-3662页 *
Vehicle detection in aerial imagery : A small target detection benchmark;Sebastien Razakarivony;《J. Vis. Commun. Image R.》;20151118;全文 *
Vessel detection and classification from spaceborne optical images:A literature survey;Harm Greidanus;《Remote Sensing of Environment》;20180130;全文 *
Z. Deng.Toward Fast and Accurate Vehicle Detection in Aerial Images Using Coupled Region-Based Convolutional Neural Networks.《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》.2017, *
基于Storm平台的实时视频分析***;韩杰;《计算机工程》;20151231;第2-3节 *
基于机载视觉的地面目标识别与跟踪;杨凯;《中国优秀硕士学位论文全文数据库 工程科技II辑》;20180315;全文 *
遥感图像目标多尺度特征分析;薄树奎;《微型机与应用》;20161031;摘要、第1节 *

Also Published As

Publication number Publication date
CN108764456A (zh) 2018-11-06

Similar Documents

Publication Publication Date Title
CN108764456B (zh) 机载目标识别模型构建平台、机载目标识别方法及设备
CN111784685B (zh) 一种基于云边协同检测的输电线路缺陷图像识别方法
CN109815868B (zh) 一种图像目标检测方法、装置及存储介质
KR102469261B1 (ko) 적응적 인공 신경 네트워크 선택 기법들
CN110674861B (zh) 一种输变电巡检图像智能分析方法及装置
CN111178206B (zh) 一种基于改进yolo的建筑预埋件检测方法及***
CN112990211A (zh) 一种神经网络的训练方法、图像处理方法以及装置
CN106027300A (zh) 一种应用神经网络的智能机器人参数优化***及方法
CN110222718B (zh) 图像处理的方法及装置
KR20180004898A (ko) 딥러닝 기반의 이미지 처리 기술 및 그 방법
CN112581443A (zh) 一种风力发电机叶片表面损伤轻量化识别方法
CN113128478B (zh) 模型训练方法、行人分析方法、装置、设备及存储介质
CN113361645B (zh) 基于元学习及知识记忆的目标检测模型构建方法及***
CN113284144B (zh) 一种基于无人机的隧道检测方法及装置
CN113569672A (zh) 轻量级目标检测与故障识别方法、装置及***
CN113408570A (zh) 一种基于模型蒸馏的图像类别识别方法、装置、存储介质及终端
CN111738403A (zh) 一种神经网络的优化方法及相关设备
CN113516227A (zh) 一种基于联邦学习的神经网络训练方法及设备
Castellano et al. Preliminary evaluation of TinyYOLO on a new dataset for search-and-rescue with drones
CN114332659A (zh) 基于轻量化模型下发的输电线路缺陷巡检方法和装置
CN117496350A (zh) 一种基于改进的YOLO-v5算法的飞鸟检测方法
CN112395952A (zh) 一种用于铁轨缺陷检测的无人机
CN114913330B (zh) 点云部件分割方法、装置、电子设备与存储介质
CN116206169A (zh) 一种智能煤矸石目标检测方法
CN114820755A (zh) 一种深度图估计方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant