CN115620177A - 一种基于深度学习的飞机识别与检测*** - Google Patents

一种基于深度学习的飞机识别与检测*** Download PDF

Info

Publication number
CN115620177A
CN115620177A CN202211251635.XA CN202211251635A CN115620177A CN 115620177 A CN115620177 A CN 115620177A CN 202211251635 A CN202211251635 A CN 202211251635A CN 115620177 A CN115620177 A CN 115620177A
Authority
CN
China
Prior art keywords
module
image
size
data
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211251635.XA
Other languages
English (en)
Inventor
范军华
刘贡平
杨锋
张磊磊
穆志国
贾涛
师鹏
赵烨
高洁
杨喆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AVIC Xian Aircraft Industry Group Co Ltd
Original Assignee
AVIC Xian Aircraft Industry Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AVIC Xian Aircraft Industry Group Co Ltd filed Critical AVIC Xian Aircraft Industry Group Co Ltd
Priority to CN202211251635.XA priority Critical patent/CN115620177A/zh
Publication of CN115620177A publication Critical patent/CN115620177A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/17Terrestrial scenes taken from planes or by drones
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/28Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的飞机识别与检测***,包括图像处理模块、数据集构建模块、数据获取模块、图像采集模块、深度学习数据集模块、启动模块、目标检测模块、电源模块、识别算法模块、网络连接模块、图像预处理模块、图像分割模块、图像特征提取模块、图像模型识别模块、手工标注标签模块和图像加强模块。本发明对经过预分类的图像信息先恢复处理,后续通过对像素点的增强和校正,达到增加图像清晰度的效果。识别算法模块通过网络结构模型设计和优化提升特征信息的传递效率,使用分辨率不同的遥感影像进行初次训练,采用随机改变图像尺度进行训练,实现图像的自动获取、判读和结果处理,提高飞机***的测试质量和效率。

Description

一种基于深度学习的飞机识别与检测***
技术领域
本发明属于航空测试技术领域,具体为一种基于深度学习的飞机识别与检测***。
背景技术
随着科学技术的高速发展和在航空技术领域的广泛应用,飞机越来越成为人类生活中重要的交通工具和国防力量的重要体现。尤其在当前复杂的国际政治、经济环境中,谁拥有先进技术水平的航空产品,谁就拥有在国际环境中的政治、经济、贸易等话语权。
近年来,人工智能技术的发展,使得各行各业都在提倡积极地使用机器代替重复的体力劳动,其中图像是人们在生活和工作中作为信息传递以及表达的一种形式,对图像中的目标进行识别成为人工智能(Artificial Intelligence)的一个重要的研究领域。图像识别是对图像进行处理、分析进而理解的过程,这通常需要对图像中的物体进行特征提取和匹配,确定图像中物体的种类。飞机识别***作为现代飞机的一项重要功能,主要是为了保证飞机飞行过程中远距离、大范围、高精度对地面、空中各类目标的自动、准确识别,并为空中、地面和其他一些用户提供飞行和打击侦查信息等。为了测试和验证飞机识别***的功能与可靠性,传统的飞机图像识别依靠人工进行操作,测试过程繁琐、准确性不高,无法实现自动获取、判读和结果处理,同时飞机图像处理方式单一,图像清晰度不够高,影响了后续的图像处理分析的质量。
发明内容
为了解决上述提出的问题,提供一种基于深度学习的飞机识别与检测***。本发明中,所述图像处理模块内部的图像恢复处理模块、图像增强模块、图像校正模块和图像模型降噪模块相互配合,对经过预分类的图像信息进行先恢复处理,从而提高了图像的清晰程度,后续通过对像素点的增强和校正,达到增加图像清晰度的效果,同时也保证了图像处理之后的清晰程度和质量;识别算法模块通过网络结构模型设计和优化以保证准确率不会下降,提升特征信息的传递效率,并在训练过程中改进了训练策略,使用分辨率不同的遥感影像进行初次训练,采用随机改变图像尺度进行训练,提升模型的泛化能力和鲁棒性。试验结果表明经过优化的模型,模型规模大幅缩小,检测速度是原来的2倍,高效的特征信息传递,保证了检测准确性,提高了飞机的测试质量,同时实现了飞机测试过程中图像的自动获取、判读和结果处理,缩短了飞机生产周期。
本申请解决其技术问题所采用的技术方案是:
一种基于深度学习的飞机识别与检测***,包括图像处理模块、数据集构建模块、数据获取模块、图像采集模块、深度学习数据集模块、启动模块、目标检测模块、电源模块、识别算法模块、网络连接模块、图像预处理模块、图像分割模块、图像特征提取模块、图像模型识别模块、手工标注标签模块和图像加强模块,所述启动模块的输出端连接有所述深度学习数据集模块的输入端,所述深度学习数据集模块的输出端连接有所述图像采集模块的输入端,所述图像采集模块的输出端连接有所述数据获取模块的输入端,所述数据获取模块的输出端连接有所述图像处理模块的输入端,所述图像处理模块的外部固定安装有电源模块和网络连接模块,所述图像处理模块的输出端连接有所述数据集构建模块的输入端,所述数据集构建模块的输出端连接有所述目标检测模块的输入端,所述目标检测模块的输出端连接有所述识别算法模块的输入端,通过上述模块的处理与分析,最终实现图像中飞机目标的识别与检测,具体步骤如下:
S1:启动模块启动后,电源模块为整个***提供电能;
S2:深度学习数据集模块对来源于GoogleEarth的全球影像截图、NWPUVHR-10数据集、DOTA数据集以及RSOD数据集中的图片信息进行采集,形成图像数据库;
S3:图像采集模块通过机上数据接口实时采集地面上的地物性质和状态的图像数据;
S4:图像获取模块根据步骤S2图像采集模块采集图像数据进行传输,最终将数据输入到图像预处理模块端口;
S5:图像预处理模块首先对图像进行灰度化处理,之后对图像采用平滑滤波的方法进行去噪;
S6:图像分割模块对图像进行分割,该分割方法输人图像为灰度图像,进行阈值操作后输出二值图像,进一步对分割后图像进行轮廓提取;
S7:图像特征提取模块采用灰度共生矩阵来提取能量、对比度、熵、和相关性4个参数以及图像的形状特征和不变矩特征;
S8:图像模型识别模块使用SSD算法并结合Inception V2卷积网络运算后作为飞机的目标图像识别模型;
S9:网络连接模块为整个***提供网络连接支持;
S10:手工标注标签模块对数据进行清洗和增强后,按照PASCALVOC格式对样本进行统一命名,并对图像进行手工标签标注;
S11:图像加强模块设置一个测试集对模型进行效果评估;
S12:目标检测模块对该框架的一些配置选项进行了修改,例如去掉框架中的数据增强方式,在该目标检测框架中,图像的输入大小为300×300,在卷积层之后的非线性激活函数采用ReLU6,从而实现图像目标检测;
S13:识别算法模块经过第一个卷积层Conv1之后的图像大小为120×120×64,卷积采用Same卷积第二个卷积层Conv2的原理同Conv1一样,卷积操作后产生的通道个数不变;接下来是一个池化层Pool_1,采用的是最大池化操作,Pool_1之后连着两个卷积层Conv3和Conv4,原理同前面的卷积层一样,不同之处在于将通道数改为128;接着是第二个池化层Pool_2,操作原理同前一个池化层一样,Pool_2之后连着两个卷积层Conv5和Conv6,将通道数设置为256;然后又添加了一个池化层Pool_3,Pool_3之后堆叠3个卷积层,分别是Conv7、Conv8和Conv9,这3个卷积层将通道数都设置为512;三个卷积层之后添加一个池化层Pool_4,然后再堆叠3个卷积层Conv10、Conv11和Conv12,并将其通道数设置为1024,之后添加一个池化层Pool_5;在Pool_5之后添加两个全连接层用来预测图像的类别;将第一个全连接层的神经单元设置为2048个,同时应用Dropout原理并将其值设置为0.5;将第二个全连接层的神经元个数设置为图像的类型个数,并将Dropout值设置为0.8,最后使用Softmax函数来输出预测的图像类型。
所述图像处理模块的内部设置有图像预处理模块、图像分割模块、图像特征提取模块、图像模型识别模块,所述图像预处理模块、图像分割模块、图像特征提取模块、图像模型识别模块的输出端连接有所述图像处理模块的输入端。
所述数据集构建模块的内部设置有手工标注标签模块和图像加强模块,所述手工标注标签模块和图像加强模块的输出端连接有所述数据集构建模块的输入端。
所述深度学习数据集模块为UCAS-AOD数据集,UCAS-AOD数据集是一个航空遥感图像目标检测数据集。
所述图像预处理模块的内部先灰度化处理;灰度化选择evCvColor函数对图像进行灰度化操作;所述图像预处理模块图像预处理模块的内部之后会去噪,所述图像预处理模块图像预处理模块的内部采用平滑滤波的方法进行去噪。
所述图像分割模块采用代码cvThreshold对图像进行分割。
所述图像特征提取模块提取纹理特征、形状特征和不变矩特征,纹理特征采用灰度共生矩阵来提取能量、对比度、熵、和相关性4个参数。
所述手工标注标签模块对数据进行清洗和增强后,按照PASCALVOC格式对样本进行统一命名,并对图像进行手工标签标注。
所述图像加强模块们设置一个测试集对模型进行效果评估,测试集不与训练集重合。
所述识别算法模块的算法为∶
aircraft_data为飞机原始训练数据集
learning_rate为学习率
epoch为训练迭代次数
batch_size为批量的样本大小
y_true_d为飞机真实类别标签
train size、validation size、est size分别为训练集、验证集、测试集的大小
train_acc、validation_acc、test_acc分别为训练、验证、测试的准确率输出
y_pred_cls为预测飞机标签
1)设置batch size、learning rate及图像输入维度;
2)确定train_size、validation_size、test_size的比例;
3)载入aircrafi_data,并生成飞机类别标签;
4)使用数据增强方式扩充aircraft_data;
5)搭建深度为14层卷积神经网络;
6)在卷积后的激活层使用BN+ReLU+CReLU;
7)设置softmax交叉熵损失函数及learning_rate的衰减方式;
8)for i in range(1,700)
9)从扩充后的飞机训练集中取出batch size大小的样本以及所对应的
10)y_re_cls
从validation size中取出batch_size大小的样本以及所对应的y_true_cls;
11)if i%(train size/batch size)==0
12)计算当前train ac、validation_acc;
13)if train_acc>0.9and validation_acc>0.8
14)保留当前模型;
15)从test size中取出batch size大小的样本以及所对应的y_true_cls;
16)测试当前生成的模型,计算test_ac;
17)end
18)end
19)end。
本发明具有如下有益效果:1)图像处理模块内部的图像恢复处理模块、图像增强模块、图像校正模块和图像模型降噪模块相互配合,对经过预分类的图像信息进行先恢复处理,从而提高了图像的清晰程度,后续通过对像素点的增强和校正,达到增加图像清晰度的效果,同时也保证了图像处理之后的清晰程度和质量;2)识别算法模块通过网络结构模型设计和优化以保证准确率不会下降,提升特征信息的传递效率,并在训练过程中改进了训练策略,使用分辨率不同的遥感影像进行初次训练,采用随机改变图像尺度进行训练,提升模型的泛化能力和鲁棒性。试验结果表明经过优化的模型,模型规模大幅缩小,检测速度是原来的2倍,高效的特征信息传递,保证了检测准确性,提高了飞机的测试质量,同时实现了飞机测试过程中图像的自动获取、判读和结果处理,缩短了飞机生产周期。
下面结合附图和实施例对本***进一步说明。
附图说明
图1为本发明的***框图;
图2为本发明中图像处理模块***框图;
图3为本发明中数据集构建模块***框图;
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
实施方式:参照图1-3,一种基于深度学习的飞机识别与检测***,包括图像处理模块、数据集构建模块、数据获取模块、图像采集模块、深度学习数据集模块、启动模块、目标检测模块、电源模块、识别算法模块、网络连接模块、图像预处理模块、图像分割模块、图像特征提取模块、图像模型识别模块、手工标注标签模块和图像加强模块,启动模块的输出端连接有深度学习数据集模块的输入端,深度学习数据集模块的输出端连接有图像采集模块的输入端,图像采集模块的输出端连接有数据获取模块的输入端,数据获取模块的输出端连接有图像处理模块的输入端,图像处理模块的外部固定安装有电源模块和网络连接模块,图像处理模块的输出端连接有数据集构建模块的输入端,数据集构建模块的输出端连接有目标检测模块的输入端,目标检测模块的输出端连接有识别算法模块的输入端。具体步骤如下:
S1:启动模块启动后,电源模块为整个***提供电能;
S2:深度学习数据集模块对来源于GoogleEarth的全球影像截图、NWPUVHR-10数据集、DOTA数据集以及RSOD数据集中的图片信息进行采集,形成图像数据库;
S3:图像采集模块通过机上数据接口实时采集地面上的地物性质和状态的图像数据;
S4:图像获取模块根据步骤S2图像采集模块采集图像数据进行传输,最终将数据输入到图像预处理模块端口;
S5:图像预处理模块首先对图像进行灰度化处理,之后对图像采用平滑滤波的方法进行去噪;
S6:图像分割模块对图像进行分割,该分割方法输人图像为灰度图像,进行阈值操作后输出二值图像,进一步对分割后图像进行轮廓提取;
S7:图像特征提取模块采用灰度共生矩阵来提取能量、对比度、熵、和相关性4个参数以及图像的形状特征和不变矩特征;
S8:图像模型识别模块使用SSD算法并结合Inception V2卷积网络运算后作为飞机的目标图像识别模型;
S9:网络连接模块为整个***提供网络连接支持;
S10:手工标注标签模块对数据进行清洗和增强后,按照PASCALVOC格式对样本进行统一命名,并对图像进行手工标签标注;
S11:图像加强模块设置一个测试集对模型进行效果评估。
S12:目标检测模块对该框架的一些配置选项进行了修改,例如去掉框架中的数据增强方式,在该目标检测框架中,图像的输入大小为300×300,在卷积层之后的非线性激活函数采用ReLU6,从而实现图像目标检测;
S13:识别算法模块经过第一个卷积层Conv1之后的图像大小为120×120×64,卷积采用Same卷积第二个卷积层Conv2的原理同Conv1一样,卷积操作后产生的通道个数不变;接下来是一个池化层Pool_1,采用的是最大池化操作,Pool_1之后连着两个卷积层Conv3和Conv4,原理同前面的卷积层一样,不同之处在于将通道数改为128;接着是第二个池化层Pool_2,操作原理同前一个池化层一样,Pool_2之后连着两个卷积层Conv5和Conv6,将通道数设置为256;然后又添加了一个池化层Pool_3,Pool_3之后堆叠3个卷积层,分别是Conv7、Conv8和Conv9,这3个卷积层将通道数都设置为512;三个卷积层之后添加一个池化层Pool_4,然后再堆叠3个卷积层Conv10、Conv11和Conv12,并将其通道数设置为1024,之后添加一个池化层Pool_5;在Pool_5之后添加两个全连接层用来预测图像的类别;将第一个全连接层的神经单元设置为2048个,同时应用Dropout原理并将其值设置为0.5;将第二个全连接层的神经元个数设置为图像的类型个数,并将Dropout值设置为0.8,最后使用Softmax函数来输出预测的图像类型。
图像处理模块的内部设置有图像预处理模块、图像分割模块、图像特征提取模块、图像模型识别模块,图像预处理模块、图像分割模块、图像特征提取模块、图像模型识别模块的输出端连接有图像处理模块的输入端。
数据集构建模块的内部设置有手工标注标签模块和图像加强模块,手工标注标签模块和图像加强模块的输出端连接有数据集构建模块的输入端。
深度学习数据集模块为UCAS-AOD数据集,UCAS-AOD数据集是一个航空遥感图像目标检测数据集,由中国科学院大学模式识别与智能***开发实验室标注,于2014年首次发布,2015年进行补充,主要包含有飞机和汽车两类目标;其数据来源于GoogleEarth的全球影像截图,共计有飞机图像1000幅,包含飞机目标样本7482架,汽车样本7114辆;NWPUVHR-10数据集是一个公开的10级地理空间物体检测遥感数据集;DOTA数据集为武汉大学2017年发布的用于目标检测的航拍图像数据集,图像主要来源于GoogleEarth和卫星拍摄影像,数据集含有目标15类,图像共计2806幅;武汉大学发布的另一个数据集为RSOD数据集,数据集中包含飞机、操场、立交桥以及油桶四类目标,446张飞机影像共包含飞机目标样本4993架,189张操场影像包含操场目标191个,176张立交桥图像包含立交桥180座以及165张油桶图像包含油桶目标1586个。
图像预处理模块的内部先灰度化处理;灰度化选择evCvColorsr,gray_img,CV-RGB2GRAY函数对图像进行灰度化操作;图像预处理模块图像预处理模块的内部之后会去噪,图像预处理模块图像预处理模块的内部采用平滑滤波的方法进行去噪,其主要采用滤波掩膜的方法确定的邻域像素的平均灰度值取代图像的每一个像素值,从而达到减小图像灰度的"尖锐"变化——噪声P,实现代码为∶evSmothsrc_ing,smooth_img,CV_GAUSSAN,3,1,0。
图像分割模块采用代码cvThresholdsrc,threshold_img,100,255,CV_THRESH_BINARY_INV对图像进行分割,该函数是对单通道的数字进行固定的阈值操作,输人图像为灰度图像,进行阈值操作后输出二值图像;对分割后图像进行轮廓提取,该研究采用函数evFindContours从二值图像中检索轮廓,并返回检索到的轮廓点的个数并提取轮廓。
图像特征提取模块主要提取纹理特征、形状特征和不变矩特征,纹理特征主要采用灰度共生矩阵来提取能量、对比度、熵、和相关性4个参数。
手工标注标签模块对数据进行清洗和增强后,按照PASCALVOC格式对样本进行统一命名,并对图像进行手工标签标注;PASCALVOC格式选择PASCALVOC2007格式,主要文件为VOCdevkit,在其中设置文件夹VOC2007,并在其中设置Annotations、ImageSets、JPEGImages以及Labels四个文件夹;其中Annotations文件夹主要存放xml格式的文件,即标注工具对样本进行标注之后生成的文件,其xml文件命名要求与JPEGImages文件夹中对应图片命名一致,以便模型在训练与测试时能够正确读取;JPEGImage文件夹主要用于存放训练以及测试的图像,Main文件夹中存储测试集test.txt、训练集train.txt、验证集val.txt以及训练验证集trainval.txt,这4个文件内容主要通过Python脚本生成;标注工具选择github网站提供的开源工具labelImg,labelImg是一款适用于图像检测任务的数据集制作软件,其标签存储功能使用方便,可将结果直接存储为xml文件,便于数据集统一为PASCALVOC格式;在标注之前要重新设定xml文件的保存位置,之后单击“OpenDir”打开将要标记的文件夹,默认从第一张开始标记;在进行手工标注时,设置类别名称必须为英文,标注所产生的标注框为矩形,要对标注样本中的目标进行精确标注,标注区域过大,则在目标判别时混入其他干扰信息,导致模型训练难以达到理想效果;标注区域过小,则提供模型学习信息较少,误差大,同样难以达到预期效果;只有尽可能将目标恰好置于标注框内,才能达到较好的训练效果,属于正确标注。
图像加强模块们设置一个测试集对模型进行效果评估,测试集不应与训练集重合;在深度学习中常用的数据划分方法有:留出法、交叉验证法以及自助法;留出法hold-out,首先对数据集D进行划分,划为两个互斥的集合,并将其中一个作为测试集T,另一个作为训练集S;D=S∪T,
Figure BDA0003885672080000111
其中训练集S对模型进行训练,用测试集T对其误差进行评估作为泛化误差的估计;在对数据集D进行划分时,要保持数据分布的一致,避免划分导致的误差;如对一个包含1000样本的数据集D进行分层采样,选择70%作为训练集S,其余30%作为测试集,若D中正样本与负样本各占50%,那么训练集S与测试集T中正负样本比例也应该各占50%,若训练集与测试集中样本分布差别较大,则会导致训练产生偏差,同时,训练集与测试集的划分通常按8:2的比例进行划分,若训练集所占比例太大,则所训练的模型更符合数据集D的样本,但是测试集数量太少会导致测试结果不稳定,反之,过多样本用于测试集,则导致训练出的模型偏离数据集D。
所述识别算法模块的算法为∶
aircraft_data为飞机原始训练数据集
learning_rate为学习率
epoch为训练迭代次数
batch_size为批量的样本大小
y_true_d为飞机真实类别标签
train size、validation size、est size分别为训练集、验证集、测试集的大小
train_acc、validation_acc、test_acc分别为训练、验证、测试的准确率输出
y_pred_cls为预测飞机标签
1)设置batch size、learning rate及图像输入维度;
2)确定train_size、validation_size、test_size的比例;
3)载入aircrafi_data,并生成飞机类别标签;
4)使用数据增强方式扩充aircraft_data;
5)搭建深度为14层卷积神经网络;
6)在卷积后的激活层使用BN+ReLU+CReLU;
7)设置softmax交叉熵损失函数及learning_rate的衰减方式;
8)for i in range(1,700)
9)从扩充后的飞机训练集中取出batch size大小的样本以及所对应的
10)y_re_cls
从validation size中取出batch_size大小的样本以及所对应的y_true_cls;
11)if i%(train size/batch size)==0
12)计算当前train ac、validation_acc;
13)if train_acc>0.9and validation_acc>0.8
14)保留当前模型;
15)从test size中取出batch size大小的样本以及所对应的y_true_cls;
16)测试当前生成的模型,计算test_ac;
17)end
18)end
19)end
本发明中,图像处理模块内部的图像恢复处理模块、图像增强模块、图像校正模块和图像模型降噪模块相互配合,对经过预分类的图像信息进行先恢复处理,从而提高了图像的清晰程度,后续通过对像素点的增强和校正,达到增加图像清晰度的效果,同时也保证了图像处理之后的清晰程度和质量。
本发明中,识别算法模块对模型的网络结构进行设计和优化以保证准确率不会下降,提升特征信息的传递效率,并在训练过程中改进了训练策略,使用分辨率不同的遥感影像进行初次训练,采用随机改变图像尺度进行训练,提升模型的泛化能力和鲁棒性。试验结果表明经过优化的模型,模型规模大幅缩小,检测速度是原来的2倍,高效的特征信息传递,保证了检测准确性,提高了飞机的测试质量,同时实现了飞机测试过程中图像的自动获取、判读和结果处理,缩短了飞机生产周期。
需要说明的是,在本发明中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的技术研究人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于深度学习的飞机识别与检测***,包括图像处理模块、数据集构建模块、数据获取模块、图像采集模块、深度学习数据集模块、启动模块、目标检测模块、电源模块、识别算法模块、网络连接模块、图像预处理模块、图像分割模块、图像特征提取模块、图像模型识别模块、手工标注标签模块和图像加强模块,其特征在于:所述启动模块的输出端连接有所述深度学习数据集模块的输入端,所述深度学习数据集模块的输出端连接有所述图像采集模块的输入端,所述图像采集模块的输出端连接有所述数据获取模块的输入端,所述数据获取模块的输出端连接有所述图像处理模块的输入端,所述图像处理模块的外部固定安装有电源模块和网络连接模块,所述图像处理模块的输出端连接有所述数据集构建模块的输入端,所述数据集构建模块的输出端连接有所述目标检测模块的输入端,所述目标检测模块的输出端连接有所述识别算法模块的输入端,通过上述模块的处理与分析,最终实现图像中飞机目标的识别与检测,具体步骤如下:
S1:启动模块启动后,电源模块为整个***提供电能;
S2:深度学习数据集模块对来源于GoogleEarth的全球影像截图、NWPUVHR-10数据集、DOTA数据集以及RSOD数据集中的图片信息进行采集,形成图像数据库;
S3:图像采集模块通过机上数据接口实时采集地面上的地物性质和状态的图像数据;
S4:图像获取模块根据步骤S2图像采集模块采集图像数据进行传输,最终将数据输入到图像预处理模块端口;
S5:图像预处理模块首先对图像进行灰度化处理,之后对图像采用平滑滤波的方法进行去噪;
S6:图像分割模块对图像进行分割,该分割方法输人图像为灰度图像,进行阈值操作后输出二值图像,进一步对分割后图像进行轮廓提取;
S7:图像特征提取模块采用灰度共生矩阵来提取能量、对比度、熵、和相关性4个参数以及图像的形状特征和不变矩特征;
S8:图像模型识别模块使用SSD算法并结合Inception V2卷积网络运算后作为飞机的目标图像识别模型;
S9:网络连接模块为整个***提供网络连接支持;
S10:手工标注标签模块对数据进行清洗和增强后,按照PASCALVOC格式对样本进行统一命名,并对图像进行手工标签标注;
S11:图像加强模块设置一个测试集对模型进行效果评估;
S12:目标检测模块对该框架的一些配置选项进行了修改,例如去掉框架中的数据增强方式,在该目标检测框架中,图像的输入大小为300×300,在卷积层之后的非线性激活函数采用ReLU6,从而实现图像目标检测;
S13:识别算法模块经过第一个卷积层Conv1之后的图像大小为120×120×64,卷积采用Same卷积第二个卷积层Conv2的原理同Conv1一样,卷积操作后产生的通道个数不变;接下来是一个池化层Pool_1,采用的是最大池化操作,Pool_1之后连着两个卷积层Conv3和Conv4,原理同前面的卷积层一样,不同之处在于将通道数改为128;接着是第二个池化层Pool_2,操作原理同前一个池化层一样,Pool_2之后连着两个卷积层Conv5和Conv6,将通道数设置为256;然后又添加了一个池化层Pool_3,Pool_3之后堆叠3个卷积层,分别是Conv7、Conv8和Conv9,这3个卷积层将通道数都设置为512;三个卷积层之后添加一个池化层Pool_4,然后再堆叠3个卷积层Conv10、Conv11和Conv12,并将其通道数设置为1024,之后添加一个池化层Pool_5;在Pool_5之后添加两个全连接层用来预测图像的类别;将第一个全连接层的神经单元设置为2048个,同时应用Dropout原理并将其值设置为0.5;将第二个全连接层的神经元个数设置为图像的类型个数,并将Dropout值设置为0.8,最后使用Softmax函数来输出预测的图像类型。
2.根据权利要求1所述的一种基于深度学习的飞机识别与检测***,其特征在于:所述图像处理模块的内部设置有图像预处理模块、图像分割模块、图像特征提取模块、图像模型识别模块,所述图像预处理模块、图像分割模块、图像特征提取模块、图像模型识别模块的输出端连接有所述图像处理模块的输入端。
3.根据权利要求1所述的一种基于深度学习的飞机识别与检测***,其特征在于:所述数据集构建模块的内部设置有手工标注标签模块和图像加强模块,所述手工标注标签模块和图像加强模块的输出端连接有所述数据集构建模块的输入端。
4.根据权利要求1所述的一种基于深度学习的飞机识别与检测***,其特征在于:所述深度学习数据集模块为UCAS-AOD数据集,UCAS-AOD数据集是一个航空遥感图像目标检测数据集。
5.根据权利要求1所述的一种基于深度学***滑滤波的方法进行去噪。
6.根据权利要求1所述的一种基于深度学习的飞机识别与检测***,其特征在于:所述图像分割模块采用代码cvThreshold对图像进行分割。
7.根据权利要求1所述的一种基于深度学习的飞机识别与检测***,其特征在于:所述图像特征提取模块提取纹理特征、形状特征和不变矩特征,纹理特征采用灰度共生矩阵来提取能量、对比度、熵、和相关性4个参数。
8.根据权利要求1所述的一种基于深度学习的飞机识别与检测***,其特征在于:所述手工标注标签模块对数据进行清洗和增强后,按照PASCALVOC格式对样本进行统一命名,并对图像进行手工标签标注。
9.根据权利要求1所述的一种基于深度学习的飞机识别与检测***,其特征在于:所述图像加强模块们设置一个测试集对模型进行效果评估,测试集不与训练集重合。
10.根据权利要求1所述的一种基于深度学习的飞机识别与检测***,其特征在于:所述识别算法模块的算法为∶
aircraft_data为飞机原始训练数据集
learning_rate为学习率
epoch为训练迭代次数
batch_size为批量的样本大小
y_true_d为飞机真实类别标签
train size、validation size、est size分别为训练集、验证集、测试集的大小train_acc、validation_acc、test_acc分别为训练、验证、测试的准确率输出y_pred_cls为预测飞机标签
1)设置batch size、learning rate及图像输入维度;
2)确定train_size、validation_size、test_size的比例;
3)载入aircrafi_data,并生成飞机类别标签;
4)使用数据增强方式扩充aircraft_data;
5)搭建深度为14层卷积神经网络;
6)在卷积后的激活层使用BN+ReLU+CReLU;
7)设置softmax交叉熵损失函数及learning_rate的衰减方式;
8)for iin range(1,700)
9)从扩充后的飞机训练集中取出batch size大小的样本以及所对应的
10)y_re_cls
从validation size中取出batch_size大小的样本以及所对应的y_true_cls;
11)ifi%(train size/batch size)==0
12)计算当前train ac、validation_acc;
13)if train_acc>0.9and validation_acc>0.8
14)保留当前模型;
15)从test size中取出batch size大小的样本以及所对应的y_true_cls;
16)测试当前生成的模型,计算test_ac;
17)end
18)end
19)end。
CN202211251635.XA 2022-10-12 2022-10-12 一种基于深度学习的飞机识别与检测*** Pending CN115620177A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211251635.XA CN115620177A (zh) 2022-10-12 2022-10-12 一种基于深度学习的飞机识别与检测***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211251635.XA CN115620177A (zh) 2022-10-12 2022-10-12 一种基于深度学习的飞机识别与检测***

Publications (1)

Publication Number Publication Date
CN115620177A true CN115620177A (zh) 2023-01-17

Family

ID=84863512

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211251635.XA Pending CN115620177A (zh) 2022-10-12 2022-10-12 一种基于深度学习的飞机识别与检测***

Country Status (1)

Country Link
CN (1) CN115620177A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116524017A (zh) * 2023-03-13 2023-08-01 明创慧远科技集团有限公司 一种用于矿山井下检测识别定位***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116524017A (zh) * 2023-03-13 2023-08-01 明创慧远科技集团有限公司 一种用于矿山井下检测识别定位***
CN116524017B (zh) * 2023-03-13 2023-09-19 明创慧远科技集团有限公司 一种用于矿山井下检测识别定位***

Similar Documents

Publication Publication Date Title
CN109214399B (zh) 一种嵌入SENet结构的改进YOLOV3目标识别方法
CN110390251B (zh) 一种基于多神经网络模型融合处理的图像文字语义分割方法
CN114092832B (zh) 一种基于并联混合卷积网络的高分辨率遥感影像分类方法
CN110490081B (zh) 一种基于聚焦权重矩阵与变尺度语义分割神经网络的遥感对象解译方法
CN112837315B (zh) 一种基于深度学习的输电线路绝缘子缺陷检测方法
CN110909820A (zh) 基于自监督学习的图像分类方法及***
CN112232371B (zh) 一种基于YOLOv3与文本识别的美式车牌识别方法
CN113191374B (zh) 基于金字塔注意力网络的PolSAR图像山脊线提取方法
CN113139594B (zh) 一种机载图像无人机目标自适应检测方法
CN111178451A (zh) 一种基于YOLOv3网络的车牌检测方法
CN113838064B (zh) 一种基于分支gan使用多时相遥感数据的云去除方法
CN112767423B (zh) 一种基于改进SegNet的遥感图像建筑物分割方法
CN113762269A (zh) 基于神经网络的中文字符ocr识别方法、***、介质及应用
CN112307919A (zh) 一种基于改进YOLOv3的单证图像中数字信息区域识别方法
CN111259733A (zh) 一种基于点云图像的船舶识别方法及装置
CN115222950A (zh) 一种面向嵌入式平台的轻量化目标检测方法
CN111461121A (zh) 一种基于yolov3网络的电表示数识别方法
CN115620177A (zh) 一种基于深度学习的飞机识别与检测***
CN115147632A (zh) 基于密度峰值聚类算法的图像类别自动标注方法及装置
CN117496347A (zh) 遥感影像建筑物提取方法、装置及介质
CN114418021B (zh) 模型优化方法、装置及计算机程序产品
CN114998688A (zh) 一种基于YOLOv4改进算法的大视场目标检测方法
CN111310820A (zh) 基于交叉验证深度cnn特征集成的地基气象云图分类方法
CN114998866A (zh) 一种基于改进YOLOv4的交通标志识别方法
CN115424243A (zh) 基于yolov5-shufflenetv2的车位号码识别方法、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination