CN110245587B - 一种基于贝叶斯迁移学习的光学遥感图像目标检测方法 - Google Patents

一种基于贝叶斯迁移学习的光学遥感图像目标检测方法 Download PDF

Info

Publication number
CN110245587B
CN110245587B CN201910457619.8A CN201910457619A CN110245587B CN 110245587 B CN110245587 B CN 110245587B CN 201910457619 A CN201910457619 A CN 201910457619A CN 110245587 B CN110245587 B CN 110245587B
Authority
CN
China
Prior art keywords
target
data set
training
remote sensing
detector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910457619.8A
Other languages
English (en)
Other versions
CN110245587A (zh
Inventor
周长胜
刘军民
郭保民
张讲社
时光
刘洋
陈琨
陈姝璇
张博文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN201910457619.8A priority Critical patent/CN110245587B/zh
Publication of CN110245587A publication Critical patent/CN110245587A/zh
Application granted granted Critical
Publication of CN110245587B publication Critical patent/CN110245587B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供的一种基于贝叶斯迁移学习的光学遥感图像目标检测方法，使用了费希尔信息矩阵来表征源数据集上预训练的目标检测子中包含的知识，并利用该费希尔信息矩阵构造了目标检测子的目标函数，在训练过程中，该项将参与目标数据集上目标检测子的学习，使之在一定程度上保留已经学习到的知识，提高了检测精度；与现有其他光学遥感图像目标检测算法相比，本发明在没有引入额外待学习参数的前提下，有效提升了光学遥感图像目标检测的精度；能够高效、准确地辅助人类判读，节省人力。

Description

一种基于贝叶斯迁移学习的光学遥感图像目标检测方法
技术领域
本发明属于图像处理技术领域，更进一步涉及光学遥感图像目标检测技术，具体是一种基于贝叶斯迁移学习的光学遥感图像目标检测方法。
背景技术
光学遥感图像目标检测就是判断一幅光学遥感图像中是否包含诸如飞机、车辆、港口等感兴趣的目标，并成功将其定位、识别出来。作为遥感图像分析领域的基本任务之一，它在环境监测、土地利用、城市规划、交通、军事等领域具有重要的应用价值。然而，受拍摄角度不一、背景成分繁杂、光照和阴影变化等外界因素的影响，在光学遥感图像上开展目标检测任务具有很大的挑战。为克服上述困难并满足应用需求，自上世纪八十年代起，研究者们就已经开展了大量的研究工作。
已有的光学遥感图像目标检测方法大体可以分为以下几个类别：(1)基于模板匹配(Template matching)的方法，如刚体(Rigid)模板匹配、可形变(Deformable)模板匹配等，前者虽然简单但对目标形状或拍摄视角十分敏感，后者在处理目标形状时比前者更有优势但计算复杂度非常高；(2)基于知识(Knowledge)的方法，如基于几何(Geometric)的方法、基于环境(Context)的方法等，这种方式实现了从粗到细的层次化检测，但先验知识和检测准则的制定过于主观；(3)基于目标的图象分析(Object-based image analysis)方法，这种方法可以有效利用图像纹理、几何、目标形状等信息，但其分割过程无法完全自动化且所需的分类准则也需主观制定；(4)基于机器学习(Machine learning)的方法，这一方法主要分为学习(训练)和预测两个步骤，大体包含体特征提取、特征融合与约简、分类三个阶段。虽然该方法在训练时需要大量的数据，但因其自动化的学习过程、较高的预测精度(Precision)等特点，这一方法早已得到了广泛的研究和应用。近几年深度学习(Deeplearning)技术的引入，也为这一方法注入了新的活力。
使用深度学习方法进行光学遥感图像目标检测，其学习过程就是解一个极大似然估计(Maximum Likelihood Estimation,MLE)问题，
Figure BDA0002077078070000021
其中，DS是训练数据集，由图像IS及对应的真实标签BS(即包含类别、宽高和位置信息的边界框(Bounding box))组成；模型集表示为F，最终学习到的模型表示为
Figure BDA0002077078070000022
这里称为目标检测子(Detector)。预测时，目标检测子接受一张待检测图像i作为输入，最终得到预测标签
Figure BDA0002077078070000023
通常来说，待检测图像与训练数据集中的图像来自同一概率分布(Probability distribution)时上述预测流程会给出比较理想的检测结果。但是，当待检测图像与训练数据集中的图像的概率分布差异较大时，这种直接预测的方式通常会表现得非常糟糕。为方便叙述，这里将训练数据集称为源数据集(Source dataset)，待检测图像所属数据集称为目标数据集(Target dataset)。
为解决目标数据集与源数据集分布差异大带来的预测结果不理想的问题，研究者们通常会搜集更多的目标数据集中的样本重新训练一个目标检测子。训练方式一般可以分为两种：一种是完全抛弃在源数据集上训练的检测子，从随机初始化(Randominitialization)开始重新训练一个目标检测子；另一种则是利用在源数据集上训练好的目标检测子的权值(Weights)进行初始化，然后使用目标数据集对权值进行微调，最终得到一个新的目标检测子。前一种方式简单直接，但往往需要大量的目标数据集样本，训练时间长；后一种方法对目标数据集样本量的需求不是很高，训练时间相对较短，最终得到的目标检测子的预测精度也比较高，这一方法已经成为该领域的主流。
很多实验研究表明，使用源数据集上训练好的目标检测子的权值进行初始化的方式对于提高预测精度是有利的。直观上理解，这些权值包含了有利于目标检测任务的知识(Knowledge)，利用这些权值进行初始化就意味着将其中包含的知识保留下来，当然可以提高最终的预测精度。但其背后是否有一种合理的数学解释？其中包含的知识是否被充分利用，也即其预测精度是否可以进一步提高？这些问题仍有待进一步研究。
发明内容
本发明的目的在于提供一种基于贝叶斯迁移学习的光学遥感图像目标检测方法，解决了现有技术中存在的不足，应用在光学遥感图像目标检测的领域，能够高效、准确地辅助人类判读，节省人力成本，产生经济效益。
为了达到上述目的，本发明采用的技术方案是：
本发明提供的一种基于贝叶斯迁移学习的光学遥感图像目标检测方法，包括以下步骤：
步骤1，将源数据集进行图片缩放和归一化处理，得到处理后的源数据集；
步骤2，在步骤1中得到的处理后源数据集上任意选取一个预训练目标检测子
Figure BDA0002077078070000031
步骤3，计算步骤2中得到的预训练目标检测子
Figure BDA0002077078070000032
在源数据集上的费希尔信息矩阵
Figure BDA0002077078070000033
步骤4，对目标数据集进行图片缩放和归一化处理，得到处理后的目标检测数据集；
步骤5，将步骤4中得到的处理后的目标检测数据集划分为训练集、验证集和测试集；
步骤6，将步骤5中得到的训练集进行数据增广处理，得到目标训练数据集；
步骤7，构建步骤6中得到的目标训练数据集的待训练目标检测子f；
步骤8，构建用于训练步骤7中得到的待训练目标检测子f的目标函数；
步骤9，利用步骤8中得到的目标函数对步骤7中得到的待训练目标检测子f进行训练，得到若干个训练目标检测子，将验证集代入训练目标检测子进行验证，之后将验证集上具有最小目标函数值的目标检测子作为最终的目标检测子
Figure BDA0002077078070000034
步骤10，利用步骤9得到的最终目标检测子
Figure BDA0002077078070000035
对测试集中的图片进行预测，最终得到光学遥感图像的检测结果。
优选地，步骤3中，计算步骤2中得到的预训练目标检测子
Figure BDA0002077078070000041
在源数据集上的费希尔信息矩阵
Figure BDA0002077078070000042
的具体方法是：
S1，选取步骤2中得到的预训练目标检测子
Figure BDA0002077078070000043
的权值w；
S2，根据S1中得到的预训练目标检测子
Figure BDA0002077078070000044
的权值w，增量式计算源数据集上的费希尔信息矩阵
Figure BDA0002077078070000045
优选地，增量式计算源数据集上的费希尔信息矩阵
Figure BDA0002077078070000046
的具体方法是：
首先，将费希尔信息矩阵
Figure BDA0002077078070000047
设为
Figure BDA0002077078070000048
其次，执行下述费希尔信息矩阵更新过程，得到
Figure BDA0002077078070000049
在源数据集上的费希尔信息矩阵：
Figure BDA00020770780700000410
Figure BDA00020770780700000411
ci＝1/i
Figure BDA00020770780700000412
其中，lS为
Figure BDA00020770780700000413
的目标函数，
Figure BDA00020770780700000414
表示权值w求偏导数。
优选地，步骤6中，对步骤5中得到的训练集进行数据增广处理的具体是：对步骤5中得到的训练集首先依次进行对比度、亮度、饱和度以及颜色的调整；之后进行随机噪声的加入；最后进行图像随机水平或垂直翻转变换。
优选地，步骤7中，构建步骤6中得到的目标训练数据集上的目标检测子的具体是包括深度神经网络结构的构建和权值的初始化，其中，构建深度神经网络结构的具体方法是：
将YOLOv3深度神经网络结构的Anchor的数量设置为12，每个Anchor的大小使用k-means算法对目标训练数据集进行聚类得到；
权值的初始化的具体方法是：选取预训练目标检测子
Figure BDA00020770780700000415
对权值进行初始化。
优选地，步骤8中，目标函数的构建：
设定用于训练待训练目标检测子的目标函数为：
lT+αlreg
其中，lT表示目标数据集上的误差项，lT由三个部分相加得到，分别为类别均衡的平滑L1损失、类别均衡的均方误差损失和类别均衡的二元交叉熵损失；α为100、10、1、0.1或0.01；lreg表示费希尔正则项，
Figure BDA0002077078070000051
优选地，步骤9中，利用步骤8中得到的目标函数对步骤7中得到的目标训练数据集的目标检测子进行训练的具体方法是：
在目标数据集上，使用自适应矩估计算法迭代500轮训练目标检测子，得到若干个训练目标检测子。
优选地，步骤10中，对测试集中的图片进行预测的具体方法，包括以下步骤：
S1，将测试集中的图片依次输入到训练好的目标检测子
Figure BDA0002077078070000052
中，得到每张图片预测的边界框、边界框包含感兴趣目标的得分，以及边界框包含感兴趣目标的所属类别的得分，之后将边界框包含感兴趣目标的得分和边界框包含感兴趣目标的所属类别的得分相乘得到边界框的得分；
S2，对边界框得分大于等于0.3的边界框使用非极大值抑制算法进行去重操作，最终得到光学遥感图像的检测结果，其中，非极大值抑制算法中的抑制阈取值为0.4。
与现有技术相比，本发明的有益效果是：
本发明提供的一种基于贝叶斯迁移学习的光学遥感图像目标检测方法，使用了费希尔信息矩阵来表征源数据集上预训练的目标检测子中包含的知识，并利用该费希尔信息矩阵构造了目标检测子的目标函数，在训练过程中，该项将参与目标数据集上目标检测子的学习，使之在一定程度上保留已经学习到的知识，提高了检测精度；与现有其他光学遥感图像目标检测算法相比，本发明在没有引入额外待学习参数的前提下，有效提升了光学遥感图像目标检测的精度；能够高效、准确地辅助人类判读，节省人力。
附图说明
图1是本发明的思想原理图。
图2是本发明在NWPUVHR-10测试集上的检测效果图。
图3是本发明在NWPUVHR-10测试集上的误差诊断图。
具体实施方式
下面结合附图，对本发明的工作原理作进一步详细说明。
本发明提供的一种基于贝叶斯迁移学习的光学遥感图像目标检测方法，包括以下步骤：
步骤1，源数据集的选取及预处理，得到处理后源数据集；
S1，选取一个自然图像数据集作为源数据集，记为DS；实施例中，本发明选取的数据集为公开的ImageNet训练数据集或COCO训练数据集；
S2，使用图片缩放方法将源数据集中的所有图片处理成大小一致的图片：源数据集为ImageNet时，本发明使用的图片缩放方法为开源软件PyTorch中的RandomResizedCrop方法，处理后的图片大小为3*224*224像素；源数据集为COCO时，本发明使用的图片缩放方法为开源软件Skimage中的Resize方法，处理后的图片大小为3*416*416像素；
S3，使用归一化方法对经过上述步骤处理后的图片进行处理，得到归一化处理后的源数据集，本发明使用的归一化公式为：
Figure BDA0002077078070000061
其中，
Figure BDA0002077078070000062
代表归一化处理后图片第i个像素值，xi代表归一化处理前图片第i个像素值；
步骤2，在步骤1中得到的处理后的源数据集上任意选取一个预训练目标检测子，记为
Figure BDA0002077078070000063
源数据集为ImageNet时，本发明选取的预训练目标检测子
Figure BDA0002077078070000064
为DarkNet53；源数据集为COCO时，本发明选取的预训练目标检测子
Figure BDA0002077078070000071
为YOLOv3；
步骤3，计算预训练目标检测子
Figure BDA0002077078070000072
在源数据集上的费希尔信息矩阵：
S1，选取预训练目标检测子
Figure BDA0002077078070000073
的一部分权值，记为w：本发明选取的w为FIMD或FIMK；
Figure BDA0002077078070000074
为Darknet53时，FIMD指的是其第75层之前所有的卷积层的权值，FIMK指的是选取其第36、61和74层的权值；
Figure BDA0002077078070000075
为YOLOv3时，FIMD指的是其第1-80、84-92、96-104层中所有的卷积层的权值，FIMD指的是其第80、92和104层的权值；
S2，增量式计算费希尔信息矩阵，记为
Figure BDA0002077078070000076
初始步，本发明将费希尔信息矩阵设为0，即
Figure BDA0002077078070000077
本发明的增量式计算指的是依次对处理好的源数据集上第i张图片Ii及其标签Bi，执行下述费希尔信息矩阵更新过程：
Figure BDA0002077078070000078
Figure BDA0002077078070000079
ci＝1/i
Figure BDA00020770780700000710
其中，lS为
Figure BDA00020770780700000711
的目标函数(Subjective function)，
Figure BDA00020770780700000712
表示对前述选定的权值求偏导数。最后可以得到
Figure BDA00020770780700000713
在源数据集上的费希尔信息矩阵；
步骤4，目标数据集的创建
S1，选取一个光学遥感图像目标检测数据集：本发明选取的为公开数据集NWPUVHR-10；
S2，使用图片缩放方法将上述数据集中的图片处理成合适大小，得到大小一致的图片：本发明使用的图片缩放方法为开源软件Skimage中的Resize方法，处理后的图片大小为3*416*416像素；
S3，使用归一化方法对经过上述步骤处理后的图片进行处理，得到归一化处理后的图片：本发明使用的归一化公式为：
Figure BDA00020770780700000714
其中，
Figure BDA0002077078070000081
代表归一化处理后图片第i个像素值，xi代表归一化处理前图片第i个像素值；
S4，使用数据增广技术对训练集中的图片进行处理，得到目标数据集，记为DT：本发明使用的数据增广技术是对归一化处理后的数据集依次进行对比度、亮度、饱和度以及颜色的调整，之后进行随机噪声的加入，最后进行图像随机水平或垂直翻转变换；
步骤5，构建目标数据集上的目标检测子，包括结构的构建和权值的初始化两个部分：
S1，结构的构建：
本发明使用的结构为YOLOv3深度神经网络结构，其中，Anchor的数量设置为12，每个Anchor的大小使用k-means算法对目标训练数据集进行聚类得到，本发明得到的12个聚类结果分别为(18，18)，(31，20)，(22，30)，(36，34)，(44，45)，(64，32)，(61，65)，(106，46)，(94，119)，(155，75)，(110，164)，(157，136)；
S2，选取预训练目标检测子
Figure BDA0002077078070000083
对权值进行初始化；实施例，当预训练目标检测子
Figure BDA0002077078070000084
为DarkNet53，本发明使用的权值初始化方式为前75层使用DarkNet53对应的权值，其余部分使用均值为0、方差为0.02的高斯分布进行随机初始化，记为Darknet53初始化；当预训练目标检测子
Figure BDA0002077078070000082
为YOLOv3时，本发明使用的权值初始化方式为第1-80、84-92、96-104层使用YOLOv3对应的权值，其余部分使用均值为0、方差为0.02的高斯分布进行随机初始化，记为YOLOv3初始化。
步骤6，设定用于训练步骤5中得到的目标检测子的目标函数为：
lT+αlreg
其中，lT表示目标数据集上的误差项，α为一个超参数，lreg表示正则项；具体来说，lT由三个部分相加得到，分别为类别均衡的平滑L1损失(Class-balanced SmoothL1Loss)，类别均衡的均方误差损失(Class-balanced MSELoss)，类别均衡的二元交叉熵损失(Class-balanced BCELoss)；α在(100，10，1，0.1，0.01)中选取一个；lreg在本发明中为费希尔正则项(Fisher Regularization，FisherReg)，即：
Figure BDA0002077078070000091
其中，f表示待训练的目标检测子；
步骤7，在目标数据集上训练目标检测子：在目标数据集上，使用自适应矩估计(Adaptive moment estimation，Adam)算法迭代500轮(Epoch)来训练目标检测子，得到若干个训练目标检测子，将验证集代入训练目标检测子进行验证，之后将验证集上具有最小目标函数值的目标检测子作为最终的目标检测子，记为
Figure BDA0002077078070000092
步骤8，对测试集中的图片进行预测：
S1，将测试集中的图片依次输入到训练好的目标检测子
Figure BDA0002077078070000093
中，得到每张图片预测的边界框、边界框包含感兴趣目标的得分、边界框包含感兴趣目标的所属类别的得分，之后将边界框包含感兴趣目标的得分和边界框包含感兴趣目标的所属类别的得分相乘得到边界框的得分；
S2，保留边界框的得分高于0.3的边界框，丢弃其他边界框；
S3，对所有保留的边界框使用非极大值抑制(Non-Maximum Suppression,NMS)算法进行去重操作，算法的抑制阈值取为0.4，最终得到光学遥感图像的检测结果。
本发明的工作原理：
本发明的基于贝叶斯迁移学习的光学遥感图像目标检测方法，基本假设是虽然源数据集与目标数据集上地概率分布不同，但在源数据集上训练好的目标检测子中包含的知识对目标数据集上检测的任务开展是有利的。
从概率角度上看，给定一个在源数据集DS上学习到的预训练目标检测子
Figure BDA0002077078070000094
和目标数据集DT，本发明的目标是基于
Figure BDA0002077078070000095
和DT学习一个新的目标检测子
Figure BDA0002077078070000096
也即解如下的极大化一个后验(Maximum A Posteriori，MAP)问题，
Figure BDA0002077078070000101
根据贝叶斯法则(Bayes'rule)易知
Figure BDA0002077078070000102
式中右端，第一项就是与源数据集上学习到的目标检测子有关的先验项，第二项则是与目标数据集有关的似然项。
对于第一项，本发明假设其服从一个高斯分布。将该项取对数并在
Figure BDA0002077078070000103
附近进行泰勒展开，可得，
Figure BDA0002077078070000104
上式两端同时取指数，可得该项的拉普拉斯逼近，
Figure BDA0002077078070000105
其中，协方差矩阵项使用源数据集上的费希尔信息矩阵的逆替换，而费希尔信息矩阵定义为，即
Figure BDA0002077078070000106
基于此，在去掉常数因子后，这一正则项最终可以表示为，
Figure BDA0002077078070000107
这就是本发明提出的费希尔正则项(FiesherReg)。
该正则项将源数据集上学习到的目标检测子中的知识表征为费希尔信息矩阵，在训练过程中，该项将参与目标数据集上目标检测子的学习，使之在一定程度上保留已经学习到的知识，以达到提高模型精度的目的。图1展示了本发明的思想原理。
下面通过一个实施例展示本发明的效果。
【数据集选取】
实施例中选择光学遥感图像目标检测领域中著名的公开数据集NWPUVHR-10。该数据集共包含800张高分辨的光学遥感图像，其中715张空间分辨为0.5-2m的图片来自谷歌地球，另外85张空间分辨率为0.08m的图片来自法伊英根(Vaihingen)数据。图片大小不一，最短边长大约为400，最长边长约为1200。该数据集共计包含十个不同的目标类别，并有大量人工标注的边界框，其中飞机757个、船舶302个、存储罐655个、棒球场390个、网球场524个、篮球场159个、田径场163个、港口224个、桥梁124个、车辆477个。
【实验设置】
实施例中将NWPUVHR-10数据集中的图片使用开源Skimage软件中的Resize方法重采样为3*416*416大小，并使用前述归一化方法进行归一化处理，然后按6：2：2的比例随机分为训练集、验证集和测试集。对训练集中的数据使用数据增广技术，具体包含：图片对比度、亮度、饱和度和颜色的扰动，随机噪声的加入，随机水平或垂直翻转。处理之后的训练集作为目标数据集。训练过程中使用的批量大小为12，共计训练500轮，优化算法使用Adam算法，学习率前450轮为1e-4，后50轮为1e-5。代码使用深度学习框架PyTorch编写完成。训练完成之后即可得到目标数据集上的目标检测子。
【对比方法】
实施例对比了前述三种不同的初始化手段：随机初始化R、Darknet53初始化以及YOLOv3初始化；实施例对比了两种正则化方法：经典的权值衰减(weight decay)正则化以及本发明的FisherReg；实施例对比了其他五种著名算法：Faster R-CNN、DeformableFaster R-CNN、RDAS512、Multi-Scale CNN和R2CNN++。
【模型评估】
实施例使用实验设置中得到的测试集进行模型评估。
将测试集中的图片依次输入到训练好的目标数据集上的目标检测子，得到每张图片的预测的边界框、边界框包含感兴趣目标的得分、边界框包含感兴趣目标的所属类别的得分，后两个得分相乘得到边界框的得分。保留边界框的得分高于0.3的边界框，丢弃其他边界框，然后使用非极大值抑制(Non-Maximum Suppression,NMS)算法进行去重操作，算法的抑制阈值取为0.4，最终得到光学遥感图像的检测结果。
模型评估指标使用平均均值精度(mean Average Precision,mAP)，评估结果展示在表1中。从表1来看，使用随机初始化R训练的模型无法检测出感兴趣的目标，这主要是由数据量较少造成的，这也是当前主流算法很少使用随机初始化方式的原因；使用Darknet53权值初始化时，不加任何正则化方式的mAP就达到了90.56％，这已经比除R2CNN++以外的其它四种方法都要好，使用正则化之后，尤其是使用本发明的FIMK方法时，mAP达到了92.14％，超过了所有其他五种方法；当使用YOLOv3权值初始化时，整体来看，结果要优于ImageNet上的初始化方式，这是因为YOLOv3的权值本身就包含了定位信息，对于目标检测任务更为有利；进一步，最优结果也是使用使用本发明的FIMD方法达到的，mAP值为92.51％。
表1：不同方法在NWPUVHR-10数据集上的对比结果。缩写含义：Init.-初始化方式，Reg.-正则化方式，R–随机，IN–ImageNet(对应Darknet53初始化)，CC–COCO(对应YOLOv3初始化)，WD–权值衰减，Pln–飞机，Shp–船舶，StTk–存储罐，BbDd–棒球场，TsCt–网球场，GdTkFd–田径场，Hbr–港口，Brg–桥梁，Vc-车辆。
Figure BDA0002077078070000131
实施例的检测效果以及误差诊断结果分别展示在图2和图3中。从图2可以看到，整体来说，本发明对各类目标的检测效果比较好，定位也比较准确；从图3可以看出，本发明仍然存在一些短板，比如检测船舶时容易将背景误识别出来，即误检，而对于有些篮球场则会被当作背景而忽略，即漏检，对于港口和桥梁类别则会出现定位不太准确的情况。
【实验结论】
在NWPUVHR-10数据集上，本发明的基于贝叶斯迁移学习的光学遥感图像目标检测方法可以得到更高的检测精度；无论使用Darknet5初始化还是使用YOLOv3初始化，本发明均可以明显改善目标检测结果；与其他五种著名算法(Faster R-CNN、Deformable FasterR-CNN、RDAS512、Multi-Scale CNN和R2CNN++)对比，本发明具有明显的精度优势。因此，在需要使用光学遥感图像进行目标检测的领域，如农业、军事、交通运输、城市规划等领域，本发明均可高效、准确地辅助人类判读，节省人力，进一步产生经济效益。

Claims (8)

1.一种基于贝叶斯迁移学习的光学遥感图像目标检测方法，其特征在于，包括以下步骤：
步骤1，将源数据集进行图片缩放和归一化处理，得到处理后的源数据集；
步骤2，在步骤1中得到的处理后的源数据集上任意选取一个预训练目标检测子
Figure FDA0003106437460000011
步骤3，计算步骤2中得到的预训练目标检测子
Figure FDA0003106437460000012
在源数据集上的费希尔信息矩阵
Figure FDA0003106437460000013
步骤4，对目标数据集进行图片缩放和归一化处理，得到处理后的目标检测数据集；
步骤5，将步骤4中得到的处理后的目标检测数据集划分为训练集、验证集和测试集；
步骤6，将步骤5中得到的训练集进行数据增广处理，得到目标训练数据集；
步骤7，构建步骤6中得到的目标训练数据集的待训练目标检测子f；
步骤8，利用步骤3中得到的费希尔信息矩阵
Figure FDA0003106437460000014
构建用于训练步骤7中得到的待训练目标检测子f的目标函数；
步骤9，利用步骤8中得到的目标函数对步骤7中得到的待训练目标检测子f进行训练，得到若干个训练目标检测子，将验证集代入训练目标检测子进行验证，之后将验证集上具有最小目标函数值的目标检测子作为最终的目标检测子
Figure FDA0003106437460000015
步骤10，利用步骤9得到的最终目标检测子
Figure FDA0003106437460000016
对测试集中的图片进行预测，最终得到光学遥感图像的检测结果。
2.根据权利要求1所述的一种基于贝叶斯迁移学习的光学遥感图像目标检测方法，其特征在于，步骤3中，计算步骤2中得到的预训练目标检测子
Figure FDA0003106437460000017
在源数据集上的费希尔信息矩阵
Figure FDA0003106437460000018
的具体方法是：
S1，选取步骤2中得到的预训练目标检测子
Figure FDA0003106437460000019
的权值w；
S2，根据S1中得到的预训练目标检测子
Figure FDA00031064374600000110
的权值w，增量式计算源数据集上的费希尔信息矩阵
Figure FDA00031064374600000111
3.根据权利要求2所述的一种基于贝叶斯迁移学习的光学遥感图像目标检测方法，其特征在于，增量式计算源数据集上的费希尔信息矩阵
Figure FDA0003106437460000021
的具体方法是：
首先，将费希尔信息矩阵
Figure FDA0003106437460000022
设为
Figure FDA0003106437460000023
其次，执行下述费希尔信息矩阵更新过程，得到
Figure FDA0003106437460000024
在源数据集上的费希尔信息矩阵：
Figure FDA0003106437460000025
Figure FDA0003106437460000026
ci＝1/i
Figure FDA0003106437460000027
其中，lS为
Figure FDA0003106437460000028
的目标函数，
Figure FDA0003106437460000029
表示权值w求偏导数；i为源数据集上图片的个数；Ii为处理好的源数据集上第i张图片；Bi为处理好的源数据集上第i张图片对应的标签；。
4.根据权利要求1所述的一种基于贝叶斯迁移学***或垂直翻转变换。
5.根据权利要求1所述的一种基于贝叶斯迁移学习的光学遥感图像目标检测方法，其特征在于，步骤7中，构建步骤6中得到的目标训练数据集上的目标检测子f的具体是，包括深度神经网络结构的构建和权值的初始化，其中，构建深度神经网络结构的具体方法是：
将YOLOv3深度神经网络结构的Anchor的数量设置为12，每个Anchor的大小使用k-means算法对目标训练数据集进行聚类得到；
权值的初始化的具体方法是：选取预训练目标检测子
Figure FDA00031064374600000210
对权值进行初始化。
6.根据权利要求1所述的一种基于贝叶斯迁移学习的光学遥感图像目标检测方法，其特征在于，步骤8中，目标函数的构建：
设定用于训练待训练目标检测子的目标函数为：
lT+αlreg
其中，lT表示目标数据集上的误差项，lT由三个部分相加得到，分别为类别均衡的平滑L1损失、类别均衡的均方误差损失和类别均衡的二元交叉熵损失；α为100、10、1、0.1或0.01；lreg表示费希尔正则项，
Figure FDA0003106437460000031
7.根据权利要求1所述的一种基于贝叶斯迁移学习的光学遥感图像目标检测方法，其特征在于，步骤9中，利用步骤8中得到的目标函数对步骤7中得到的目标训练数据集的目标检测子进行训练的具体方法是：
在目标数据集上，使用自适应矩估计算法迭代500轮训练目标检测子，得到若干个训练目标检测子。
8.根据权利要求1所述的一种基于贝叶斯迁移学习的光学遥感图像目标检测方法，其特征在于，步骤10中，对测试集中的图片进行预测的具体方法，包括以下步骤：
S1，将测试集中的图片依次输入到训练好的目标检测子
Figure FDA0003106437460000032
中，得到每张图片预测的边界框、边界框包含感兴趣目标的得分，以及边界框包含感兴趣目标的所属类别的得分，之后将边界框包含感兴趣目标的得分和边界框包含感兴趣目标的所属类别的得分相乘得到边界框的得分；
S2，对边界框得分大于等于0.3的边界框使用非极大值抑制算法进行去重操作，最终得到光学遥感图像的检测结果，其中，非极大值抑制算法中的抑制阈取值为0.4。
CN201910457619.8A 2019-05-29 2019-05-29 一种基于贝叶斯迁移学习的光学遥感图像目标检测方法 Active CN110245587B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910457619.8A CN110245587B (zh) 2019-05-29 2019-05-29 一种基于贝叶斯迁移学习的光学遥感图像目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910457619.8A CN110245587B (zh) 2019-05-29 2019-05-29 一种基于贝叶斯迁移学习的光学遥感图像目标检测方法

Publications (2)

Publication Number Publication Date
CN110245587A CN110245587A (zh) 2019-09-17
CN110245587B true CN110245587B (zh) 2021-08-13

Family

ID=67885381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910457619.8A Active CN110245587B (zh) 2019-05-29 2019-05-29 一种基于贝叶斯迁移学习的光学遥感图像目标检测方法

Country Status (1)

Country Link
CN (1) CN110245587B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110889453A (zh) * 2019-11-28 2020-03-17 华南理工大学 目标检测与追踪方法、装置、***、介质和设备
CN111209864B (zh) * 2020-01-07 2023-05-26 上海交通大学 一种电力设备目标识别方法
CN111652317B (zh) * 2020-06-04 2023-08-25 郑州科技学院 基于贝叶斯深度学习的超参数图像分割方法
US11720647B2 (en) * 2020-08-21 2023-08-08 GE Precision Healthcare LLC Synthetic training data generation for improved machine learning model generalizability

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105204007A (zh) * 2015-09-22 2015-12-30 西安电子科技大学 无辅助数据的距离扩展目标极化自适应检测方法
CN106355248A (zh) * 2016-08-26 2017-01-25 深圳先进技术研究院 一种深度卷积神经网络训练方法及装置
US11645835B2 (en) * 2017-08-30 2023-05-09 Board Of Regents, The University Of Texas System Hypercomplex deep learning methods, architectures, and apparatus for multimodal small, medium, and large-scale data representation, analysis, and applications
CN109345529B (zh) * 2018-09-30 2021-09-24 福州大学 基于改进型二次目标检测网络线夹、均压环故障识别方法
CN109559298A (zh) * 2018-11-14 2019-04-02 电子科技大学中山学院 一种基于深度学习的乳液泵缺陷检测的方法

Also Published As

Publication number Publication date
CN110245587A (zh) 2019-09-17

Similar Documents

Publication Publication Date Title
CN110245587B (zh) 一种基于贝叶斯迁移学习的光学遥感图像目标检测方法
CN111444821B (zh) 一种城市道路标志自动识别方法
CN111259930B (zh) 自适应注意力指导机制的一般性目标检测方法
CN108038846A (zh) 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及***
CN112926410B (zh) 目标跟踪方法、装置、存储介质及智能视频***
CN107633226B (zh) 一种人体动作跟踪特征处理方法
Nie et al. Pavement distress detection based on transfer learning
CN110796168A (zh) 一种基于改进YOLOv3的车辆检测方法
CN110599537A (zh) 基于Mask R-CNN的无人机图像建筑物面积计算方法及***
CN111612008A (zh) 基于卷积网络的图像分割方法
CN112464911A (zh) 基于改进YOLOv3-tiny的交通标志检测与识别方法
CN106570893A (zh) 一种基于相关滤波的快速稳健视觉跟踪方法
CN111553397A (zh) 基于区域全卷积网络和自适应的跨域目标检测方法
CN106023257A (zh) 一种基于旋翼无人机平台的目标跟踪方法
CN110647802A (zh) 基于深度学习的遥感影像舰船目标检测方法
CN106296734B (zh) 基于极限学习机和boosting多核学习的目标跟踪方法
CN112926652B (zh) 一种基于深度学习的鱼类细粒度图像识别方法
CN111310609B (zh) 基于时序信息和局部特征相似性的视频目标检测方法
CN114419151A (zh) 一种基于对比学习的多目标跟踪方法
CN112149643A (zh) 基于多级注意力机制的面向无人机平台的车辆重识别方法
CN117152503A (zh) 一种基于伪标签不确定性感知的遥感图像跨域小样本分类方法
CN108876776B (zh) 一种分类模型生成方法、眼底图像分类方法及装置
CN111008630A (zh) 一种基于弱监督学习的目标定位方法
Lou et al. Research on edge detection method based on improved HED network
CN116758421A (zh) 一种基于弱监督学习的遥感图像有向目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant