CN107665351A - 基于难样本挖掘的机场检测方法 - Google Patents
基于难样本挖掘的机场检测方法 Download PDFInfo
- Publication number
- CN107665351A CN107665351A CN201710314261.4A CN201710314261A CN107665351A CN 107665351 A CN107665351 A CN 107665351A CN 201710314261 A CN201710314261 A CN 201710314261A CN 107665351 A CN107665351 A CN 107665351A
- Authority
- CN
- China
- Prior art keywords
- mrow
- network
- candidate region
- msub
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
- G06F18/2111—Selection of the most significant subset of features by using evolutionary computational techniques, e.g. genetic algorithms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Physiology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于难样本挖掘的机场检测方法，所述方法包括以下步骤：将光学遥感图像与对应标注真值作为光学遥感图像的训练数据；候选区域提取网络的训练；区域分类网络的训练；候选区域提取与区域分类网络的耦合训练；基于难样本挖掘的端到端深度卷积网络的微调；端到端深度卷积神经网络的机场检测。将深度卷积神经网络引入到遥感图像机场检测，不仅利用卷积网络提取遥感图像中目标的高层语义特征信息，通过高层语义特征筛选机场候选区域，同时还对候选区域是否为机场进行二次确认，提升遥感图像中机场检测的查全率与准确率。
Description
技术领域
本发明涉及数字图像处理技术领域，更具体的说是涉及一种基于难样本挖掘的机场检测方法。
背景技术
近年来，随着遥感成像技术的提升，遥感数据量成***式增长。针对海量的遥感数据，利用机器自动挖掘大数据中包含的关键信息，有利于将人们从繁琐重复性地判别任务中解放出来，其中针对机场检测问题，由于其在军民两方面都具有较强的应用性而受到了广泛关注。
由于遥感图像中旋转角度、尺度、光照等因素的影响，使得机场检测仍然是一个相当具有挑战性的问题。目前大多数机场检测方法都是先在全幅面的遥感图像中提取机场候选区域，然后针对候选区域提取机场特有的几何、纹理等底层特征用于确认该候选区域是否为机场。同时为了提升大幅面遥感图像中机场检测的速度与效率，部分方法将视觉中显著性检测的方法引入到机场检测中，假定机场区域在遥感图像中具有较高的显著性，从而加速机场候选区域的定位过程。
然而，当前大多数机场检测方法都是基于底层特征(如尺度不变的特征描述子SIFT等)或是基于人为设计机场特有的几何特征来进行检测，由于手动设计的特征泛化能力较差，难以满足多尺度条件下的机场检测的应用需求。
因此，如何提供一种基于难样本挖掘的机场检测方法是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于难样本挖掘的机场检测方法，本发明将深度卷积神经网络引入到遥感图像机场检测，不仅利用卷积网络提取遥感图像中目标的高层语义特征信息，通过高层语义特征筛选机场候选区域，同时还对候选区域是否为机场进行二次确认，提升遥感图像中机场检测的查全率与准确率。
为了达到上述目的，本发明采用如下技术方案：
一种基于难样本挖掘的机场检测方法，所述方法包括以下步骤：
将光学遥感图像与对应标注真值作为所述光学遥感图像的训练数据；
候选区域提取网络的训练；
区域分类网络的训练；
候选区域提取与区域分类网络的耦合训练；
基于难样本挖掘的端到端深度卷积网络的微调；
端到端深度卷积神经网络的机场检测。
优选的，在上述基于难样本挖掘的机场检测方法中，所述将光学遥感图像与对应标注真值作为所述光学遥感图像的训练数据的步骤具体包括：
对全幅面光学遥感图像进行图像标注，获取全幅面光学遥感图像中标注真值；
在标注的全幅面光学遥感图中以250个像素为步长，滑动提取固定窗口大小的图像数据，垂直、水平方向滑动次数分别记为row与col；根据全幅面光学遥感图像标注真值，记录滑动窗口截取到的机场区域图像数据的真值框坐标；
滑动窗口中真值框坐标与所述全幅面光学遥感图像中标注真值的关系表达式为：
(x′k,y′k)＝(xk-col×250,yk-row×250)，其中，(xk,yk)与(x′k,y′k)分别是所述全幅面光学遥感图像标注真值坐标与所述滑动窗口中真值框坐标，且k∈{1,2}分别表示坐标左上、右下角点。
优选的，在上述基于难样本挖掘的机场检测方法中，所述候选区域提取网络的训练步骤具体包括：
根据零均值标准差为0.01的高斯分布随机生成所述候选区域提取网络中各卷积层的权重参数；
对训练数据中的每幅图像提取高层语义特征信息；
根据高层语义特征信息计算图像中逐个候选区域的损失函数；
随机从所有候选区域的损失函数中挑选出Nbatch个进行反向传播用于更新所述候选区域提取网络中各卷积层的权重参数；
选取候选区域时正负样本比例为1:1，当图像中正样本数目不足时，则添加负样本作为候选区域。
优选的，在上述基于难样本挖掘的机场检测方法中，所述区域分类网络的训练步骤具体包括：
根据训练好的区域提取网络，对训练数据中的每幅图像提取候选区域，将提取到的候选区域的图像数据与候选区域的标注真值作为所述区域分类网络的训练数据，对所述区域分类网络进行训练。
优选的，在上述基于难样本挖掘的机场检测方法中，所述候选区域提取与区域分类网络的耦合训练步骤具体包括：
根据所述区域分类网络中前五层卷积层参数初始化所述候选区域网络中对应的前五层卷积层，实现所述候选区域提取与所述区域分类网络的共享与耦合。
优选的，在上述基于难样本挖掘的机场检测方法中，所述候选区域提取与区域分类网络的耦合训练步骤之后还包括：
固定共享的卷积层权重参数；
对所述候选区域提取网络中除共享的卷积层以外特有的卷积层权重参数进行微调；
根据微调后的所述候选区域提取网络生成不同的候选区域，再将生成的候选区域与候选区域的标注真值输入到所述区域分类网络中，对所述区域分类网络中除共享的卷积层以外特有的全连接层权重参数进行微调。
优选的，在上述基于难样本挖掘的机场检测方法中，所述基于难样本挖掘的端到端深度卷积网络的微调步骤具体包括：
利用所述区域提取网络对训练数据区分的难易程度进行评分，根据损失函数将较难区分的训练数据挑选出来，再次微调所述区域提取网络；损失函数表达式为：
Lcls(p,u)＝-logpu
其中，i表示候选区域的索引号，pi表示第i个候选区域是目标区域的概率，pi *为真值标签，取值为{0,1}，1表示候选区域为正样本，即机场区域，反之则为0，表示候选区域为负样本，即背景区域；ti表示对候选区域位置的预测值矢量，ti *表示候选区域真实位置的矢量；Lcls(p,u)表示区域分类损失函数；Lreg(t,u)表示区域回归损失函数；Ncls与Nreg分别表示待分类候选区域与回归候选区域的个数；λ为平衡因子。
优选的，在上述基于难样本挖掘的机场检测方法中，所述基于难样本挖掘的端到端深度卷积网络的微调步骤具体还包括：
根据再次微调后的所述区域提取网络得到的候选区域与候选区域的标注真值作为训练数据，对区域分类网络中的全连接层权重参数进行微调；
对候选区域正确分类的难易程度进行评分，计算各候选区域的损失函数L(Pi,Ti)，根据损失值最大的前个候选区域建立难样本集，再次微调所述区域分类网络。
优选的，在上述基于难样本挖掘的机场检测方法中，所述基于难样本挖掘的端到端深度卷积网络的微调步骤之后还包括：
将所述区域提取网络与区域分类网络进行级联，得到端到端卷积神经网络。
优选的，在上述基于难样本挖掘的机场检测方法中，所述端到端深度卷积神经网络的机场检测步骤具体包括：
将光学遥感图像输入至端到端深度卷积神经网络中，所述端到端深度卷积神经网络输出机场所在区域最小外接矩形框的左上、右下点坐标，并且评估出其为机场区域的概率。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于难样本挖掘的机场检测方法，先利用训练数据对区域提取网络进行训练，再利用区域提取网络提取的机场侯选区域与候选区域标注真值训练区域分类网络，并将区域提取网络和区域分类网络的卷积层共享，实现网络的耦合，并对区域提取网络和区域分类网络进行微调；微调后的区域提取网络和区域分类网络自动挖掘训练数据中的难样本，在自动构造的难样本集上对区域提取网络和区域分类网络进行二次微调，获取端到端深度卷积神经网络，能够提高网络对机场目标的查全率，同时降低虚警与漏检的概率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1附图为本发明基于难样本挖掘的机场检测方法的流程示意图；
图2附图为本发明基于难样本挖掘的机场检测方法的检测结果示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了一种基于难样本挖掘的机场检测方法，所述方法包括以下步骤：将光学遥感图像与对应标注真值作为光学遥感图像的训练数据；候选区域提取网络的训练；区域分类网络的训练；候选区域提取与区域分类网络的耦合训练；基于难样本挖掘的端到端深度卷积网络的微调；端到端深度卷积神经网络的机场检测。与现有技术相比，本发明提出的基于难样本挖掘的机场检测方法，先利用训练数据对区域提取网络进行训练，再利用区域提取网络提取的机场侯选区域与候选区域标注真值训练区域分类网络，并将区域分类网络的前五层卷积层权重参数初始化区域提取网络中对应的前五层卷积层，实现网络的共享和耦合，并对区域提取网络和区域分类网络进行微调；根据区域提取网络的损失函数挖掘难样本，并依此对区域提取网络进行二次微调；利用微调后的区域提取网络获取区域分类网络训练数据，再次训练区域分类网络，区域分类网络自动挖掘训练数据中的难样本，在自动构造的难样本集上对区域分类网络进行二次微调，获取端到端深度卷积神经网络，能够提高网络对机场目标的查全率与检测精度，同时降低虚警与漏检的概率。
请参阅图1，图1为本发明基于难样本挖掘的机场检测方法的流程示意图。本发明基于难样本挖掘的机场检测方法具体包括以下步骤：
步骤S101：将光学遥感图像与对应标注真值作为所述光学遥感图像的训练数据；
具体执行方法：光学遥感图像由于幅面较宽，视场较大具有更丰富的纹理信息等原因，使得其在计算机中存储所需容量也较大，然而由于显存与内存等计算机内部存储设备的容量限制，难以直接将光学遥感图像作为训练数据用于优化模型。因此本发明为了对全幅面光学遥感图像数据进行了切分，从中提取有效部分作为训练数据，主要包含以下两个步骤：
a.对全幅面光学遥感图像进行图像标注，标注图像中机场所在区域的外接矩形框，并记录该矩形框的左上、右下角点坐标分别为(x1,y1)与(x2,y2)，作为全幅面光学遥感图像标注真值；
b.在标注的全幅面光学遥感图中以250个像素为步长，设定滑动窗口大小为500×600像素，依次从右往左、从上往下滑动提取固定窗口大小的图像数据，垂直、水平方向滑动次数分别记为row与col；根据全幅面光学遥感图像标注真值，若窗口中包含机场区域，则将该窗口截取到的图像数据作为训练数据，并记录此时窗口数据中的真值框位置。滑动窗口中真值框坐标与全幅面光学遥感图像中标注真值的关系表示为：
(x′k,y′k)＝(xk-col×250,yk-row×250)
其中(xk,yk)与(x′k,y′k)分别是全幅面光学遥感图像标注真值坐标与滑动窗口中真值框的坐标，且k∈{1,2}表示左上、右下角点。
步骤S102：利用训练数据对候选区域提取网络进行训练得到初始化的区域提取网络，并提取训练数据中的机场候选区域；
具体执行方法：利用零均值标准差为0.01的高斯分布随机生成候选区域提取网络中各卷积层的权重参数，然后对训练数据中的每幅图像提取高层语义特征，并基于语义特征计算图像中逐个候选区域的损失函数；随机从所有候选区域的损失中挑选出Nbatch个进行反向传播用于更新网络中各卷积层的权重参数。选取候选区域时正负样本比例为1:1,当图像中正样本数目不足时，则添加负样本来保证挑选出固定数目的候选区域。在候选区域提取网络中所使用的损失函数L(pi,ti)由区域分类损失函数Lcls(p,u)与区域回归损失函数Lreg(t,u)两部分组成，定义如下：
Lcls(p,u)＝-logpu
其中，i表示候选区域的索引号，pi表示第i个候选区域是目标区域的概率，真值标签pi *表示候选区域是否为目标区域，取值为{0,1}，1表示候选区域为正样本，即机场区域，反之则为0，表示候选区域为负样本，即背景区域；ti表示对候选区域位置的预测值矢量，ti *表示候选区域真实位置的矢量；Lcls(p,u)表示区域分类损失函数；Lreg(t,u)表示区域回归损失函数；Ncls与Nreg分别表示待分类候选区域与回归候选区域的个数；λ为平衡因子；
针对回归损失函数Lreg(t,u)中，x，y，w，h分别表示候选区域真值框中心x轴坐标值、y轴坐标值，候选区域真值框的宽度和高度。
采用随机梯度下降算法对候选区域提取网络中各层权重参数进行迭代优化求解。计算过程为
Vt+1＝uVt-α▽L(Wt)
Wt+1＝Wt+Vt+1
其中Wt表示第t次迭代更新时的网络各卷积层的权重参数，Vt表示第t次迭代时微调更新的权值变量。
步骤S103：利用机场候选区域与标注真值训练区域分类网络，并将该网络的卷积层与区域提取网络共享；
具体执行方法：利用步骤S102中训练好的区域提取网络，对训练数据中的每幅图像提取候选区域，将提取到的候选区域与候选区域标注真值作为区域分类网络的训练数据，对区域分类网络进行训练，基于由区域分类损失函数与区域回归损失函数两部分组成的损失函数，采用随机梯度下降算法对区域分类网络中各层权重参数的优化求解，具体求解方式与步骤S102中相同；
当区域分类网络训练达到最大迭代次数或迭代截止条件后，利用区域分类网络中前五层卷积层参数初始化候选区域网络中对应的前五层卷积层，实现两类网络的共享与耦合，将候选区域提取与区域分类网络合并为一个统一的端到端深度卷积神经网络。
步骤S104：固定网络中共享的卷积层，对区域提取网络与区域分类网络进行微调；
具体执行方法：在保持区域提取网络与区域分类网络中共享的卷积层参数不变的条件下，首先对候选区域提取网络中除共享的卷积层以外的特有的卷积层权重参数进行微调，然后利用微调后的区域提取网络生成不同的候选区域，再将生成的候选区域与候选区域真值标注输入到区域分类网络中，对区域分类网络中除共享的卷积层以外的特有的全连接层权重参数进行精细调整，获取端到端的深度卷积网络。
步骤S105：利用区域提取网络对训练数据区分的难易程度进行评分，将较难区分的数据挑选出来用于区域提取网络的再训练；
具体执行方法：本发明中将难样本挖掘过程引入到了区域提取网络与区域分类网络的耦合训练中，主要针对候选区域提取与区域分类两部分进行难样本的挖掘。
首先利用上步耦合训练中得到的区域提取网络对训练数据中机场候选区域提取的难易程度进行评分，评分以损失函数为依据，损失函数值越大表示该幅图像中机场候选区域的提取越困难。
Lcls(p,u)＝-logpu
其中，各项参数取值同步骤S102中的参数取值。
由以上公式，可以发现损失函数主要关注的是输入图像中机场真实区域提取与定位的准确性。因此通过难样本的发掘过程可以从训练数据中筛选出相对较难定位提取到真实机场区域的图像，并针对该批难样本数据对候选区域提取网络进行二次微调，从而得到最终的区域提取网络。
步骤S106：针对区域提取网络得到的候选区域与候选区域标注真值，通过区域分类网络挑选其中难以正确分类的候选区域作为难样本，微调区域分类网络；
具体执行方法：区域分类网络的难样本挖掘过程分为两步，首先利用基于难样本挖掘训练得到候选区域提取网络对所有训练数据中的机场候选区域进行提取，然后以所有候选区域作为训练数据对区域分类网络中的全连接层权重参数进行微调，微调过程不改变共享卷积层任何参数；然后再次将机场候选区域输入到微调后的区域分类网络中，利用网络的前向传播过程，计算各候选区域的损失函数L(pi,ti)，并基于此损失函数对所有候选区域正确分类的难易程度进行评分。挑选出损失值最大的前个候选区域建立难样本集，在此难样本集上再对分类网络进行二次微调，提升网络在机场检测中的查全率，减少漏检错检的概率。
步骤S107：将区域提取网络与区域分类网络进行级联得到最终用于机场检测的端到端卷积神经网络。
步骤S108：通过端到端卷积神经网络对光学遥感图像中机场进行检测
具体执行方法：将光学遥感图像输入至端到端深度卷积神经网络中，端到端深度卷积神经网络输出机场所在区域最小外接矩形框的左上、右下点坐标，并且评估出其为机场区域的概率。
请参阅图2，图2为本发明基于难样本挖掘的机场检测方法的检测结果示意图。
图中第一行为未进行难样本挖掘的网络机场检测结果，第二行为挖掘难样本且针对难样本数据集进行微调后的端到端深度卷积神经网络机场检测的结果，图中蓝色框表示虚警区域，红色框表示正检区域，绿色框表示真值标注的机场区域。且未进行难样本挖掘网络与难样本挖掘训练后端到端深度卷积神经网络的平均检测精度分别为79.29％和83.02％，检测实验证明通过难样本的挖掘，并基于难样本数据集对端到端卷积神经网络进行微调能够有效提升网络的检测精度，降低虚警与漏检的概率。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种基于难样本挖掘的机场检测方法，其特征在于，所述方法包括以下步骤：
将光学遥感图像与对应标注真值作为所述光学遥感图像的训练数据；
候选区域提取网络的训练；
区域分类网络的训练；
候选区域提取与区域分类网络的耦合训练；
基于难样本挖掘的端到端深度卷积网络的微调；
端到端深度卷积神经网络的机场检测。
2.根据权利要求1所述的基于难样本挖掘的机场检测方法，其特征在于，所述将光学遥感图像与对应标注真值作为所述光学遥感图像的训练数据的步骤具体包括：
对全幅面光学遥感图像进行图像标注，获取全幅面光学遥感图像中标注真值；
在标注的全幅面光学遥感图中以250个像素为步长，滑动提取固定窗口大小的图像数据，垂直、水平方向滑动次数分别记为row与col；根据全幅面光学遥感图像标注真值，记录滑动窗口截取到的机场区域图像数据的真值框坐标；
滑动窗口中真值框坐标与所述全幅面光学遥感图像中标注真值的关系表达式为：
(x′k,y′k)＝(xk-col×250,yk-row×250)，其中，(xk,yk)与(x′k,y′k)分别是所述全幅面光学遥感图像标注真值坐标与所述滑动窗口中真值框坐标，且k∈{1,2}分别表示坐标左上、右下角点。
3.根据权利要求1所述的基于难样本挖掘的机场检测方法，其特征在于，所述候选区域提取网络的训练步骤具体包括：
根据零均值标准差为0.01的高斯分布随机生成所述候选区域提取网络中各卷积层的权重参数；
对训练数据中的每幅图像提取高层语义特征信息；
根据高层语义特征信息计算图像中逐个候选区域的损失函数；
随机从所有候选区域的损失函数中挑选出Nbatch个进行反向传播用于更新所述候选区域提取网络中各卷积层的权重参数；
选取候选区域时正负样本比例为1:1，当图像中正样本数目不足时，则添加负样本作为候选区域。
4.根据权利要求1所述的基于难样本挖掘的机场检测方法，其特征在于，所述区域分类网络的训练步骤具体包括：
根据训练好的区域提取网络，对训练数据中的每幅图像提取候选区域，将提取到的候选区域的图像数据与候选区域的标注真值作为所述区域分类网络的训练数据，对所述区域分类网络进行训练。
5.根据权利要求1所述的基于难样本挖掘的机场检测方法，其特征在于，所述候选区域提取与区域分类网络的耦合训练步骤具体包括：
根据所述区域分类网络中前五层卷积层参数初始化所述候选区域网络中对应的前五层卷积层，实现所述候选区域提取与所述区域分类网络的共享与耦合。
6.根据权利要求5所述的基于难样本挖掘的机场检测方法，其特征在于，所述候选区域提取与区域分类网络的耦合训练步骤之后还包括：
固定共享的卷积层权重参数；
对所述候选区域提取网络中除共享的卷积层以外特有的卷积层权重参数进行微调；
根据微调后的所述候选区域提取网络生成不同的候选区域，再将生成的候选区域与候选区域的标注真值输入到所述区域分类网络中，对所述区域分类网络中除共享的卷积层以外特有的全连接层权重参数进行微调。
7.根据权利要求1所述的基于难样本挖掘的机场检测方法，其特征在于，所述基于难样本挖掘的端到端深度卷积网络的微调步骤具体包括：
利用所述区域提取网络对训练数据区分的难易程度进行评分，根据损失函数将较难区分的训练数据挑选出来，再次微调所述区域提取网络；损失函数表达式为：
<mrow>
<msubsup>
<mi>L</mi>
<mrow>
<mi>h</mi>
<mi>e</mi>
<mi>m</mi>
</mrow>
<mrow>
<mi>r</mi>
<mi>p</mi>
<mi>n</mi>
</mrow>
</msubsup>
<mrow>
<mo>(</mo>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>t</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msup>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>*</mo>
</msup>
<mo>&lsqb;</mo>
<mfrac>
<mn>1</mn>
<msub>
<mi>N</mi>
<mrow>
<mi>c</mi>
<mi>l</mi>
<mi>s</mi>
</mrow>
</msub>
</mfrac>
<munder>
<mo>&Sigma;</mo>
<mi>i</mi>
</munder>
<msub>
<mi>L</mi>
<mrow>
<mi>c</mi>
<mi>l</mi>
<mi>s</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msup>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>*</mo>
</msup>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mi>&lambda;</mi>
<mfrac>
<mn>1</mn>
<msub>
<mi>N</mi>
<mrow>
<mi>r</mi>
<mi>e</mi>
<mi>g</mi>
</mrow>
</msub>
</mfrac>
<munder>
<mo>&Sigma;</mo>
<mi>i</mi>
</munder>
<msub>
<mi>L</mi>
<mrow>
<mi>r</mi>
<mi>e</mi>
<mi>g</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>t</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msup>
<msub>
<mi>t</mi>
<mi>i</mi>
</msub>
<mo>*</mo>
</msup>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
</mrow>
Lcls(p,u)＝-log pu
<mrow>
<msub>
<mi>L</mi>
<mrow>
<mi>r</mi>
<mi>e</mi>
<mi>g</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>,</mo>
<mi>u</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msub>
<mi>&Sigma;smooth</mi>
<msub>
<mi>L</mi>
<mn>1</mn>
</msub>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>t</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>u</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>smooth</mi>
<msub>
<mi>L</mi>
<mn>1</mn>
</msub>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mn>0.5</mn>
<msup>
<mi>x</mi>
<mn>2</mn>
</msup>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>|</mo>
<mi>x</mi>
<mo>|</mo>
<mo><</mo>
<mn>1</mn>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>|</mo>
<mi>x</mi>
<mo>|</mo>
<mo>-</mo>
<mn>0.5</mn>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>|</mo>
<mi>x</mi>
<mo>|</mo>
<mo>&GreaterEqual;</mo>
<mn>1</mn>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中，i表示候选区域的索引号，pi表示第i个候选区域是目标区域的概率，pi *为真值标签，取值为{0,1}，1表示候选区域为正样本，即机场区域，反之则为0，表示候选区域为负样本，即背景区域；ti表示对候选区域位置的预测值矢量，ti *表示候选区域真实位置的矢量；Lcls(p,u)表示区域分类损失函数；Lreg(t,u)表示区域回归损失函数；Ncls与Nreg分别表示待分类候选区域与回归候选区域的个数；λ为平衡因子。
8.根据权利要求7所述的基于难样本挖掘的机场检测方法，其特征在于，所述基于难样本挖掘的端到端深度卷积网络的微调步骤具体还包括：
根据再次微调后的所述区域提取网络得到的候选区域与候选区域的标注真值作为训练数据，对区域分类网络中的全连接层权重参数进行微调；
对候选区域正确分类的难易程度进行评分，计算各候选区域的损失函数L(Pi,Ti)，根据损失值最大的前个候选区域建立难样本集，再次微调所述区域分类网络。
9.根据权利要求1所述的基于难样本挖掘的机场检测方法，其特征在于，所述基于难样本挖掘的端到端深度卷积网络的微调步骤之后还包括：
将所述区域提取网络与区域分类网络进行级联，得到端到端卷积神经网络。
10.根据权利要求1所述的基于难样本挖掘的机场检测方法，其特征在于，所述端到端深度卷积神经网络的机场检测步骤具体包括：
将光学遥感图像输入至端到端深度卷积神经网络中，所述端到端深度卷积神经网络输出机场所在区域最小外接矩形框的左上、右下点坐标，并且评估出其为机场区域的概率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710314261.4A CN107665351B (zh) | 2017-05-06 | 2017-05-06 | 基于难样本挖掘的机场检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710314261.4A CN107665351B (zh) | 2017-05-06 | 2017-05-06 | 基于难样本挖掘的机场检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107665351A true CN107665351A (zh) | 2018-02-06 |
| CN107665351B CN107665351B (zh) | 2022-07-26 |
Family
ID=61122311
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710314261.4A Active CN107665351B (zh) | 2017-05-06 | 2017-05-06 | 基于难样本挖掘的机场检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107665351B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108416287A (zh) * | 2018-03-04 | 2018-08-17 | 南京理工大学 | 一种基于遗漏负样本挖掘的行人检测方法 |
| CN108549857A (zh) * | 2018-03-30 | 2018-09-18 | 国信优易数据有限公司 | 事件检测模型训练方法、装置及事件检测方法 |
| CN108960314A (zh) * | 2018-06-26 | 2018-12-07 | 北京旷视科技有限公司 | 基于难样本的训练方法、装置及电子设备 |
| CN109117786A (zh) * | 2018-08-09 | 2019-01-01 | 百度在线网络技术（北京）有限公司 | 基于神经网络模型的数据处理方法、装置及可读存储介质 |
| CN109410220A (zh) * | 2018-10-16 | 2019-03-01 | 腾讯科技（深圳）有限公司 | 图像分割方法、装置、计算机设备及存储介质 |
| CN110414587A (zh) * | 2019-07-23 | 2019-11-05 | 南京邮电大学 | 基于渐进学习的深度卷积神经网络训练方法与*** |
| CN110659680A (zh) * | 2019-09-16 | 2020-01-07 | 西安电子科技大学 | 一种基于多尺度卷积的图像patch匹配方法 |
| CN111091164A (zh) * | 2020-03-25 | 2020-05-01 | 魔视智能科技(上海)有限公司 | 基于ohem的语义分割模型训练方法及其*** |
| WO2020134010A1 (zh) * | 2018-12-27 | 2020-07-02 | 北京字节跳动网络技术有限公司 | 对图像关键点提取模型的训练及图像关键点提取 |
| CN111738081A (zh) * | 2020-05-20 | 2020-10-02 | 杭州电子科技大学 | 一种难样本重训练的深度神经网络声呐目标检测方法 |
| CN112215252A (zh) * | 2020-08-12 | 2021-01-12 | 南强智视(厦门)科技有限公司 | 一种基于在线难易样本挖掘的弱监督目标检测方法 |
| CN112733860A (zh) * | 2021-01-27 | 2021-04-30 | 上海微亿智造科技有限公司 | 一种提升二分类分割网准确率和召回率的方法及*** |
| CN113160175A (zh) * | 2021-04-23 | 2021-07-23 | 杭州迪英加科技有限公司 | 一种基于级联网络的肿瘤***浸润检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105740894A (zh) * | 2016-01-28 | 2016-07-06 | 北京航空航天大学 | 一种高光谱遥感图像的语义标注方法 |
| CN106022232A (zh) * | 2016-05-12 | 2016-10-12 | 成都新舟锐视科技有限公司 | 基于深度学习的车牌检测方法 |
| CN106250812A (zh) * | 2016-07-15 | 2016-12-21 | 汤平 | 一种基于快速r‑cnn深度神经网络的车型识别方法 |
| CN106570477A (zh) * | 2016-10-28 | 2017-04-19 | 中国科学院自动化研究所 | 基于深度学习的车型识别模型构建方法及车型识别方法 |
-
2017
- 2017-05-06 CN CN201710314261.4A patent/CN107665351B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105740894A (zh) * | 2016-01-28 | 2016-07-06 | 北京航空航天大学 | 一种高光谱遥感图像的语义标注方法 |
| CN106022232A (zh) * | 2016-05-12 | 2016-10-12 | 成都新舟锐视科技有限公司 | 基于深度学习的车牌检测方法 |
| CN106250812A (zh) * | 2016-07-15 | 2016-12-21 | 汤平 | 一种基于快速r‑cnn深度神经网络的车型识别方法 |
| CN106570477A (zh) * | 2016-10-28 | 2017-04-19 | 中国科学院自动化研究所 | 基于深度学习的车型识别模型构建方法及车型识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| JIANWEI LI ET AL: ""Ship detection in SAR images based on an improved faster R-CNN"", 《2017 SAR IN BIG DATA ERA: MODELS, METHODS AND APPLICATIONS (BIGSARDATA)》 * |
| SHAOQING REN 等: ""Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks"", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108416287A (zh) * | 2018-03-04 | 2018-08-17 | 南京理工大学 | 一种基于遗漏负样本挖掘的行人检测方法 |
| CN108549857A (zh) * | 2018-03-30 | 2018-09-18 | 国信优易数据有限公司 | 事件检测模型训练方法、装置及事件检测方法 |
| CN108960314B (zh) * | 2018-06-26 | 2022-02-11 | 北京旷视科技有限公司 | 基于难样本的训练方法、装置及电子设备 |
| CN108960314A (zh) * | 2018-06-26 | 2018-12-07 | 北京旷视科技有限公司 | 基于难样本的训练方法、装置及电子设备 |
| CN109117786A (zh) * | 2018-08-09 | 2019-01-01 | 百度在线网络技术（北京）有限公司 | 基于神经网络模型的数据处理方法、装置及可读存储介质 |
| CN109410220A (zh) * | 2018-10-16 | 2019-03-01 | 腾讯科技（深圳）有限公司 | 图像分割方法、装置、计算机设备及存储介质 |
| CN109410220B (zh) * | 2018-10-16 | 2019-12-24 | 腾讯科技（深圳）有限公司 | 图像分割方法、装置、计算机设备及存储介质 |
| US12002212B2 (en) | 2018-10-16 | 2024-06-04 | Tencent Technology (Shenzhen) Company Limited | Image segmentation method and apparatus, computer device, and storage medium |
| WO2020134010A1 (zh) * | 2018-12-27 | 2020-07-02 | 北京字节跳动网络技术有限公司 | 对图像关键点提取模型的训练及图像关键点提取 |
| CN110414587A (zh) * | 2019-07-23 | 2019-11-05 | 南京邮电大学 | 基于渐进学习的深度卷积神经网络训练方法与*** |
| CN110659680A (zh) * | 2019-09-16 | 2020-01-07 | 西安电子科技大学 | 一种基于多尺度卷积的图像patch匹配方法 |
| CN111091164A (zh) * | 2020-03-25 | 2020-05-01 | 魔视智能科技(上海)有限公司 | 基于ohem的语义分割模型训练方法及其*** |
| CN111738081A (zh) * | 2020-05-20 | 2020-10-02 | 杭州电子科技大学 | 一种难样本重训练的深度神经网络声呐目标检测方法 |
| CN112215252A (zh) * | 2020-08-12 | 2021-01-12 | 南强智视(厦门)科技有限公司 | 一种基于在线难易样本挖掘的弱监督目标检测方法 |
| CN112215252B (zh) * | 2020-08-12 | 2023-05-30 | 南强智视(厦门)科技有限公司 | 一种基于在线难易样本挖掘的弱监督目标检测方法 |
| CN112733860A (zh) * | 2021-01-27 | 2021-04-30 | 上海微亿智造科技有限公司 | 一种提升二分类分割网准确率和召回率的方法及*** |
| CN112733860B (zh) * | 2021-01-27 | 2021-09-10 | 上海微亿智造科技有限公司 | 用于二分类分割网络难样本挖掘的方法及*** |
| CN113160175A (zh) * | 2021-04-23 | 2021-07-23 | 杭州迪英加科技有限公司 | 一种基于级联网络的肿瘤***浸润检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107665351B (zh) | 2022-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107665351A (zh) | 基于难样本挖掘的机场检测方法 | |
| CN106127204B (zh) | 一种全卷积神经网络的多方向水表读数区域检测算法 | |
| CN109859171A (zh) | 一种基于计算机视觉和深度学习的楼面缺陷自动检测方法 | |
| CN100349185C (zh) | 地图生成设备、地图发送方法 | |
| CN105005764B (zh) | 自然场景多方向文本检测方法 | |
| Wang et al. | Photovoltaic panel extraction from very high-resolution aerial imagery using region–line primitive association analysis and template matching | |
| CN107451602A (zh) | 一种基于深度学习的果蔬检测方法 | |
| CN106683091A (zh) | 一种基于深度卷积神经网络的目标分类及姿态检测方法 | |
| CN107480727A (zh) | 一种sift和orb相结合的无人机影像快速匹配方法 | |
| CN106971152A (zh) | 一种基于航拍图像的检测输电线路中鸟巢的方法 | |
| CN108121991A (zh) | 一种基于边缘候选区域提取的深度学习舰船目标检测方法 | |
| CN108090911A (zh) | 一种光学遥感图像的近岸舰船分割方法 | |
| CN107633199A (zh) | 一种基于深度学习的苹果采摘机器人果实目标检测方法 | |
| CN108648169A (zh) | 高压输电塔绝缘子缺陷自动识别的方法及装置 | |
| CN102013021A (zh) | 基于颜色和区域生长的茶叶嫩芽分割和识别方法 | |
| CN112560675B (zh) | Yolo与旋转-融合策略相结合的鸟类视觉目标检测方法 | |
| CN107665498A (zh) | 基于典型示例挖掘的全卷积网络飞机检测方法 | |
| CN107169491A (zh) | 一种齿环模具编号检测方法 | |
| CN109886267A (zh) | 一种基于最优特征选择的低对比度图像显著性检测方法 | |
| CN103440510A (zh) | 一种面部图像中特征点的定位方法 | |
| CN107092871A (zh) | 基于多尺度多特征融合的遥感影像建筑物检测方法 | |
| CN106683073A (zh) | 一种车牌的检测方法及摄像机和服务器 | |
| CN110096981A (zh) | 一种基于深度学习的视频大数据交通场景分析方法 | |
| CN113191334B (zh) | 一种基于改进CenterNet的植物冠层密集叶片计数方法 | |
| CN110276279A (zh) | 一种基于图像分割的任意形状场景文本探测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |