CN109255317B - 一种基于双网络的航拍图像差异检测方法 - Google Patents
一种基于双网络的航拍图像差异检测方法 Download PDFInfo
- Publication number
- CN109255317B CN109255317B CN201811015421.6A CN201811015421A CN109255317B CN 109255317 B CN109255317 B CN 109255317B CN 201811015421 A CN201811015421 A CN 201811015421A CN 109255317 B CN109255317 B CN 109255317B
- Authority
- CN
- China
- Prior art keywords
- detection
- difference
- candidate
- convolution
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 128
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000005286 illumination Methods 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 20
- 238000011176 pooling Methods 0.000 claims description 19
- 238000002372 labelling Methods 0.000 claims description 17
- 238000010586 diagram Methods 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 14
- 230000009977 dual effect Effects 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000009432 framing Methods 0.000 claims description 6
- 238000011478 gradient descent method Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000003321 amplification Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 4
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 abstract description 11
- 238000013135 deep learning Methods 0.000 abstract description 10
- 230000007547 defect Effects 0.000 abstract description 5
- 238000013461 design Methods 0.000 abstract description 3
- 238000003709 image segmentation Methods 0.000 abstract description 3
- 238000012544 monitoring process Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于双网络的航拍图像差异检测方法，包括图像采集与处理、搭建双网络模型、双网络模型训练和模型使用四个部分。本发明将深度学习加入到差异检测中，由于深度学习不需要手工设计特征，可以避免图像分割和差异检测中，难以选择有效特征描述子的问题。采用深度学习方法还可以克服在RGB图像的差异检测任务中对于光照鲁棒性不高的缺点。同时本发明采用对象检测代替传统的分割方法，更能区分单个物体对象，且对象的位置坐标更加精确、更容易表述。通过计算检测后预测框的ROI来确定两幅图的相关对象，还可以降低配准精度的要求。重要的是，本发明中，加入了对象的语义信息，有了对象类别信息，抗干扰能力更强，并且可以更好的分析差异类型。
Description
技术领域
本发明属于图像处理和机器视觉领域，涉及一种基于双网络的航拍图像的差异检测方法。
背景技术
近年来，随着无人机迅速发展，无人机航拍广泛应用在农学，地质，森林，海洋，地理测绘，军事侦察，环保等领域。我们从时间和空间两方面，前所未有地精确测量这个地球，快速精准地收集着各种数据。过去从空中获取数据，一般是利用卫星或者飞机。但相比这两者，无人机是更优越的“空中传感器”。卫星的视线受到覆盖地球2/3以上面积的云层遮挡，无人机则能更精确，更频繁地收集数据；而相比飞机，无人机成本更低，操作更容易，也更加安全。无人机能随时随地提供精度很高的俯视RGB图像。
差异检测是通过图像处理及数理模型分析同一个区域不同时刻的航拍图像，检测出图像间随着时间发生的变化。变化检测技术涉及机器视觉，图像处理，计算机科学等多学科交叉的技术，是当前无人机航拍图像分析研究的一个重要方向，可以应用于许多领域，如资源保护中森林覆盖以及河流湖泊的动态监测，城市规划中违章建筑的监测，军事侦察中可疑目标的动态监视，石油管道泄漏监测以及自然灾害评估等。
目前，差异检测主要分为像素级差异检测、特征级差异检测和对象级差异检测。其中，像素级差异检测只考虑单个像素特征，检测精度较低，对噪声敏感。并且像素级差异检测结果过于破碎，结果难以分析和描述。特征级差异检测对原始图像提取特征进行分析和检测，主要用于有特殊边缘特征和区域特征的地物差异检测，其算法以定性检测居多。而以分割手段为代表的对象级检测可以整合特征信息和空间信息，具有克服噪声、检测精度高的优点。目前，对象级检测主要有以下做法：对图片进行聚类分割，然后利用手工设计的特征比较两张图片中分割区域的特征异同来判断差异变化，但是要找到一种合适的特征描述子需要不断尝试。另一种是利用混合马尔科夫模型，比较两幅图片之间的联系，但是该模型对两张图的配准要求较高。上述两种常见的对象级检测方法，都需用到聚类分割，但是传统的分割方法很难进行实时精确的分割，且对光照比较敏感。同时，这种聚类分割更多是分割出图片中相关像素形成的像素簇，没有加入语义信息。所以，往往不能精确确定图片中对象的位置，更重要的是，没有对象的类别信息，不能很好的分析差异类型。
发明内容
随着深度学习的快速发展，其在基于大数据的特征提取及分类方面展现了无法比拟的优势。本发明将深度学习加入到差异检测中，由于深度学习不需要手工设计特征，可以避免图像分割和差异检测中，难以选择有效特征描述子的问题。此外，采用深度学习方法，还可以克服在RGB图像的差异检测任务中对于光照鲁棒性不高的缺点。同时，本发明采用对象检测的方法代替传统的分割方法，检测方法比分割的方法更能区分单个物体对象，且对象的位置坐标更加精确、更容易表述。通过计算检测后预测框的ROI来确定两幅图的相关对象，还可以降低配准精度的要求。重要的是，本发明中，加入了对象的语义信息，有了对象类别信息，抗干扰能力更强，并且可以更好的分析差异类型。
基于此，本发明提出了一种基于双网络的航拍图像差异检测方法，主要任务包含：图像中是否发生变化，确定变化区域的准确位置以及确定变化区域的所属类型。本方法提出的基于语义的对象级差异检测方法具有可以在不同场景下实时的分割出对象、抗干扰能力强、更好的分析差异结果以及变化区域的所属类型等优点。
本发明的技术方案为：
所述一种基于双网络的航拍图像差异检测方法，其特征在于：包括以下步骤：
步骤1：采用人机在不同时刻沿着同一规划路径飞行，同时利用无人机机载相机采集沿线的航拍图，得到一系列不同时刻拍摄的航拍图像；对航拍图像进行缩放处理和归一化处理后，进行图像匹配，得到若干对同一地点不同时刻的图像Tpast，Tcurrent；
步骤2：搭建双网络模型：
所述双网络模型由特征提取部分、对象检测部分、差异检测部分组成；
所述特征提取部分的两个分支结构相同且权值共享，每个分支由10层组成，依次为卷积层、池化层、卷积层、池化层、卷积层、池化层、卷积层、池化层、卷积层、池化层；
所述对象检测部分的两个分支结构相同，分别接收特征提取部分每个分支结构的输出，每个分支由检测模块组成；检测模块为一个卷积层；
所述差异检测部分接收特征提取部分和对象检测部分的输出，由CRP层、针对每个分支的卷积层、对两个分支进行信息融合的两层全连接层以及Softmax层组成；
步骤3：双网络训练：
步骤3.1：制作标签：对步骤1得到的每对差异图片进行如下标注：
分别标注每张图片中对象的所在位置以及类别：对象的位置由物体的外接矩形的中心位置(px *，py *)以及矩形的长宽(pw *,ph *)记录，每个对象描述为一个形式为(px *，py *，pw *，ph *，class)的向量，class为对象类别；
标注两张图片中存在差异的区域：差异区域位置由区域外接矩形的中心位置(qx，qy)以及矩形的长宽(qw,qh)记录，每个差异区域描述为一个形式为(qx，qy，qw，qh)的向量；
步骤3.2：对步骤2建立的模型中需要自主学习参数的部分进行初始化；
步骤3.3：网络训练：
步骤3.3.1：将两张同一地点不同时间拍摄并经过缩放处理和归一化处理后的大小为M*M的航拍图输入网络，一张图片输入一个分支，另一张图片输入另一分支；
步骤3.3.2：利用特征提取部分提取图片的深层语义特征，特征提取部分输出的图像为特征图Fmap，特征图为K*K*512的张量，其中K的取值为特征图的大小；
步骤3.3.3：将特征图Fmap输入到检测模块的卷积层，卷积后输出K*K*(5+C)的张量，其中每个1*1*(5+C)的向量记录候选框的位置和长宽，并表明其中是否含有物体以及物体的类别；
步骤3.3.4：剔除超出图片边界的候选框，然后选择与标注对象重叠度IoU>0.7的所有候选框作为检测正样本，若没有与标注对象重叠度IoU>0.7的候选框，则选择与标注对象重合度最大的候选框作为检测正样本，并建立检测正样本对应的真实标签；所述真实标签包括标注对象的位置(px *，py *，pw *，py *)，置信度p(confindence)*，以及标注对象的类别，其中标注对象的类别采用onehot编码，标注对象对应类别的编码p(Class|confindence)*为1，其余类别的编码p(Class|confindence)*为0，而置信度p(confindence)*为1；
步骤3.3.5：将与每个标注对象重叠度IoU<0.3的候选框作为检测负样本，并建立相应的真实标签，其真实标签为p(confindence)*为0；
步骤3.3.6：计算每个检测正负样本的px，py，pw，py，p(Class|confindence)，p(confindence)与对应真实标签px *，py *，pw *，py *，p(Class|confindence)*，p(confindence)*的平方差损失函数
L(w)＝λ1((px-px *)2+(py-py *)2+(pw-pw *)2+(ph-ph *)2)
+λ2(p(Class|confindence)-p(Class|confindence)*)2
+λ3(p(confindence)-p(confindence*))2
其中，λ1，λ2，λ3的取值为：
依据平方差损失函数，通过梯度下降法更新特征提取和对象检测部分的参数；
步骤3.3.7：计算检测模块输出的检测结果的mAP值；
步骤3.3.8：只保留检测结果中置信度大于设定阈值的候选框，然后对每幅图像保留下来的候选框进行非极大值抑制；
步骤3.3.9：将对象检测部分两个分支中经非极大值抑制后的候选框进行匹配，得到对应同一标注对象的一对候选框，只保留一对候选框中置信度大的一个候选框，然后将两个分支的候选框预测结果合并，最终得到一组候选框，个数为n；
步骤3.3.10：从步骤3.3.9中得到的一组候选框中，选择一个候选框；根据该候选框的位置，计算出其在特征图Fmap中相应的位置，将两个分支的特征图对应区域分别截取出来；
步骤3.3.11：将这对经过截取的区域分别通过一个卷积层进行卷积；
步骤3.3.12：将两个分支卷积后的特征同时与一个全连接层相连，进行信息融合；
步骤3.3.13：再经历一个全连接层和一个Softmax层，得到该候选框是差异区域的概率Ytrue和不是差异区域的概率Yfalse；
步骤3.3.14：若该候选框与标注差异区域的重叠度IoU>0.8，则该候选框为判断差异正样本，真实标签Ylabel为1；若与标注差异区域的重叠度IoU<0.3，则该候选框为判断差异负样本，真实标签Ylabel为0；
步骤3.3.15：计算当前候选框差异检测部分的输出概率Ytrue以及Yfalse与真实的标签Ylabel的交叉熵损失函数：
L(w)＝YlabellogYtrue+(1-Ylabel)logYfalse
步骤3.3.16：循环执行3.10～3.15，直到计算出步骤3.3.9中得到的每一个候选框与真实标签的交叉熵损失函数；利用梯度下降法更新整个网络的参数；
步骤3.3.17：计算差异判断的准确率：
如果Ytrue＞Yfalse，则y＝1；反之，y＝0；进一步计算
步骤3.3.18：循环执行步骤3.3.1～3.3.17，直至mAP大于70％且P大于95％时或者循环次数达到设定次数时退出循环；
步骤4：将新采集的一对航拍图像Tpast，Tcurrent经过缩放处理和归一化处理后输入步骤3训练后的模型中，得到框选区域坐标、框选对象的类别以及差异结果；将框选部分结果在航拍图Tcurrent中画出，并标注对象的类别，得到差异检测图；所述框选部分即此地点在当前时间与以往拍摄中的差异。
进一步的优选方案，所述一种基于双网络的航拍图像差异检测方法，其特征在于：步骤1中的具体过程为：
步骤1.1：数据采集：
无人机在不同时刻沿着同一规划路径飞行，同时利用无人机机载相机采集沿线的航拍图，得到一系列不同时刻拍摄的航拍图像；
步骤1.2、对无人机载相机采集的图像进行缩放处理：
根据神经网络输入大小，将采集的图像统一缩放到相同的大小；当需要进行放大处理时，在放大过程中对图像进行图像插值处理；
步骤1.3、根据以下公式
对缩放后的图像进行归一化；其中Xk为图片每个位置的像素值，Xmin为该幅图片中最小的像素值，Xmax为该幅图片中最大的像素值；
步骤1.4、图像匹配：
利用图片自身GPS信息，进行坐标匹配，得到若干对在同一地点不同时刻的图像Tpast，Tcurrent；如果图片没有记录GPS信息，则利用特征点匹配方法得到若干对同一地点不同时刻下的图片。
进一步的优选方案，所述一种基于双网络的航拍图像差异检测方法，其特征在于：步骤2中特征提取部分每个分支的具体10层结构为第一卷积层、池化层、第二卷积层、池化层、第三卷积层、池化层、第四卷积层、池化层、第五卷积层、池化层；其中第一卷积层为32个卷积核、卷积核大小为3*3，第二卷积层为64个卷积核、卷积核为3*3，第三卷积层为128个卷积核、卷积核为3*3，第四卷积层为256个卷积核、卷积核为3*3，第五卷积层为512个卷积核、卷积核为3*3。
进一步的优选方案，所述一种基于双网络的航拍图像差异检测方法，其特征在于：步骤2中检测模块的卷积层为5+C个卷积核、卷积核为3*3，C代表设定的检测种类数。
进一步的优选方案，所述一种基于双网络的航拍图像差异检测方法，其特征在于：在步骤3.3.1中对两张图片人工加入光照噪声进行数据增强后再输入网络。
有益效果
相较于像素级差异检测容易受噪声影响、特征级差异检测只能进行定性分析的不足，本发明采用对象级差异检测可以更好的克服噪声且检测精度高。
相较于传统对象级差异检测的方法，需要不断尝试、手工设计特征、光照鲁棒性差的缺点，本发明采用深度学习的方法，可以避免图像分割和差异检测中，难以选择有效特征描述子的问题。同时，在网络训练时通过数据增强手段，使得网络具有光照不变性。这样消除了不同时间光照变化对目标差异检测的干扰，增强了方法的鲁棒性，提高了差异检测的准确度。
相较于利用分割手段的差异检测中，分割位置难以描述、对配准精度要求高等缺点。本发明采用检测的方法，检测方法比分割的方法更能区分单个物体对象，且对象的位置坐标更加精确、更容易表述。并且，通过计算检测后预测框的ROI来确定两幅图的相关对象，还可以降低配准精度的要求。
更重要的是，本发明引入了对象的语义信息，使得可以更好的分析差异结果，判断变化区域的变化类型，将分类结果进行编码记录，可以为导航、地图构建等工程做数据参考。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1双网络模型示意图
图2特征提取部分示意图
图3特征图示意图
图4检测过程示意图
图5差异检测流程示意图
具体实施方式
下面详细描述本发明的实施例，所述实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
本实施例中的一种基于双网络的航拍图像差异检测方法，包括以下步骤：
一、数据采集和处理
神经网络对其输入的数据比较敏感，所以在深度学习领域，对原始数据的处理就显得尤为重要。经过正确处理的数据不仅可以加快网络训练时的收敛速度，还可以取得更好的训练结果。以下介绍本发明中的数据处理过程：
1、数据采集
无人机在不同时刻沿着同一规划路径飞行，同时利用无人机机载相机采集沿线的航拍图。这样就得到一系列不同时刻拍摄的航拍图像。
2、无人机载相机采集的图像进行缩放处理
根据神经网络输入大小，将采集的图像统一缩放到相同的大小，以适应神经网络输入大小。本实施例中将将采集的图像统一缩放到418*418像素。当需要进行放大处理时，部分小分辨率的图片在放大过程中，要进行图像插值，常用的插值法：最邻近、双线性、基于像素区域、立方插值和兰索斯插值等。考虑到插值效果与算法时间复杂度。本实施例中使用双线性插值。
3、根据以下公式
对缩放后的图像进行归一化(像素为0～1的值)，以减小光线不均匀造成的干扰。其中：Xk为图片每个位置的像素值，Xmin为整幅图片中最小的像素值，Xmax为整幅图片中最大的像素值。
4、图像匹配
通过上述方法，可以获得不同时刻沿线航拍图。但还需要找出哪两张图片是在同一地点进行拍摄的。利用图片自身GPS信息，进行坐标匹配，可以得到一对在同一地点不同时刻的图像Tpast，Tcurrent。
如果图片没有记录GPS信息，可以利用特征点匹配的方法得到一对同一地点不同时刻下的图片，最常用的是利用SIFT特征进行图片的匹配。
二、搭建双网络模型
本发明中提出一种可以对差异进行检测的双网络模型，该模型主要由特征提取部分、对象检测部分、差异检测部分组成。参照图1，具体网络模型包括特征提取部分、对象检测部分和差异检测部分；
特征提取部分提取图片的深层语义特征，通过神经网络学习更普适、更鲁棒的特征描述子，为后面做对象检测、差异判断做准备；特征提取部分的两个分支结构相同且权值共享，每个分支由10层组成(如图2)。依次为卷积层(32个卷积核、卷积核大小为3*3)、池化层、卷积层(64个卷积核、卷积核为3*3)、池化层、卷积层(128个卷积核、卷积核为3*3)、池化层、卷积层(256个卷积核、卷积核为3*3)、池化层、卷积层(512个卷积核、卷积核为3*3)、池化层。第10层池化后的输出图像为特征图Fmap，记录着图片深层次的语义信息。
对象检测部分利用提取的特征，找出所要检测的目标对象。对象检测部分的两个分支结构相同，分别接收特征提取部分每个分支结构的输出，每个分支由检测模块组成。检测模块为一个卷积层(5+C个卷积核、卷积核为3*3)。C代表设定的检测种类数。将特征图Fmap输入到检测层，检测后的输出为K*K*(5+C)的张量，包含了根据特征图Fmap预测的对象位置、类别和置信度信息；每个1*1*(5+C)的向量记录着候选框的位置和长宽，并判断其中是否含有物体以及物体的类别。其中K的取值为特征图的大小；乘以5是因为要预测每个候选框的中心坐标(px，py)、候选框的长和宽(pw，ph)以及此框是否包含物体的置信度p(confindence)；C代表设定的检测种类数，记录检测对象属于每类的概率值p(Class|confidence)。根据输出的张量计算出预测框的位置以及框选对象的所属类别。
差异检测部分接收特征提取部分和对象检测部分的输出，由CRP层、针对每个分支的卷积层(32个卷积核、卷积核为3*3)、对两分支进行信息融合的两层全连接层以及Softmax层组成。
CRP层全名叫Change Region Proposal(变化区域推荐层)，该层的作用是产生差异区域和区域特征提取。CRP层中只保留检测结果中置信度大于某个阈值的框选结果，然后将每幅航拍图剩余的候选框分别进行非极大值抑制，进一步减少不必要的候选框数量，避免了不同候选框检测相同物体的情况。将两个分支经非极大值抑制后的候选框预测结果匹配遍历，只保留两个候选框中IoU大于某一阈值的一个候选框，然后将两个分支的候选框预测结果合并。将特征图Fmap中与最终保留下的候选框结果对应位置的部分截取出来。即得到两幅图在框选部分的特征。
将两幅图经过CRP层截取的区域特征分别通过一个卷积层卷积：得到更具表达性的语义，同时也起到了降维的作用，避免全连接层参数过多的可能。将两个分支卷积后的特征同时与一个全连接层相连，进行信息融合。然后再经历一个全连接层和一个Softmax层，得到框选部分是否为差异区域的概率Ytrue、Yfalse。
三、双网络训练
1、制作标签：
针对第一步得到的每一对差异图片进行如下标注：
1.1、分别标注每张图片中对象的所在位置以及类别。对象的位置由物体的外接矩形的中心位置(px *，py *)以及矩形的长宽(pw *,ph *)记录。每个对象可以描述为一个形式为(px *，py *，pw *，ph *，class)的向量，class为对象类别。
1.2、标注两张图片中存在差异的区域。差异区域位置由区域外接矩形的中心位置(qx，qy)以及矩形的长宽(qw,qh)记录。每个差异区域可以描述为一个形式为(qx，qy，qw，qh)的向量。
2、对第二步建立的模型进行初始化：对模型中需要自主学习参数的部分(卷积层、全连接层)进行初始化。为了使网络中每层输出方差尽可能相等，本方法采用Xavier方法进行参数初始化。
3、网络训练
3.1、对输入网络的两张同一地点不同时间大小为M*M的航拍图，人工加入光照噪声进行数据增强，使训练后的网络具有一定的光照不变性。
3.2、将经过数据增强后的一对图片输入网络，一张照片输入一个分支，另一张照片输入另一分支；利用特征提取部分提取图片的深层语义特征。特征提取部分输出的图像为特征图Fmap。特征图为K*K*512的张量。(其中，K＝M/32)
3.3、将特征图Fmap输入到检测模块的卷积层，卷积后的输出为K*K*(5+C)的张量。每个1*1*(5+C)的向量记录着候选框的位置和长宽，并判断其中是否含有物体以及物体的类别。
其中K的取值为特征图的大小；5是因为要预测每个候选框的中心坐标(px，py)、候选框的长和宽(pw，ph)以及此框是否包含物体的置信度p(confindence)；C代表设定的检测种类数，记录检测对象属于每类的概率值p(Class|confidence)。
3.4、剔除超出图片边界的候选框。然后选择与标注对象重叠度IoU>0.7的所有候选框作为检测正样本，若没有与标注对象重叠度IoU>0.7的候选框，则选择与标注对象重合度最大的候选框作为检测正样本，并建立检测正样本对应的真实标签；所述真实标签包括标注对象的位置(px *，py *，pw *，py *)，置信度p(confindence)*，以及标注对象的类别，其中标注对象的类别采用onehot编码，标注对象对应类别的编码p(Class|confindence)*为1，其余类别的编码p(Class|confindence)*为0，而置信度p(confindence)*为1。
3.5、将与每个标注对象重叠度IoU<0.3的候选框作为检测负样本，并建立相应的真实标签，其真实标签为p(confindence)*为0。
3.6、计算每个检测正负样本的px，py，pw，py，p(Class|confindence)，p(confindence)与对应真实标签px *，py *，pw *，py *，p(Class|confindence)*，p(confindence)*的平方差损失函数
L(w)＝λ1((px-px *)2+(py-py *)2+(pw-pw *)2+(ph-ph *)2)
+λ2(p(Class|confindence)-p(Class|confindence)*)2
+λ3(p(confindence)-p(confindence*))2
其中，λ1，λ2，λ3的取值为：
由于定位和分类的维度不同、正负样本的个数不同，所以使用不同的参数可以保证网络在训练时稳定收敛。依据平方差损失函数，通过梯度下降法更新特征提取和对象检测部分的参数。
3.7、计算检测结果(检测模块输出的K*K*(5+C)的张量)的mAP(平均精度均值)值。
3.8、只保留检测结果中置信度大于某个阈值(60％)的候选框，然后将两幅中的每幅航拍图保留下来的候选框进行非极大值抑制，进一步减少不必要的候选框数量，避免了不同候选框检测相同物体的情况。
3.9、将对象检测部分两个分支经非极大值抑制后的候选框进行匹配，得到在两个分支的候选框中对应同一标注对象的一对候选框，只保留两个候选框中置信度大的一个候选框，然后将两个分支的候选框预测结果合并，最终得到一组候选框，个数为n。
3.10、从3.9中得到的一组候选框中，选择一个候选框。根据候选框的位置，计算出其在特征图Fmap中相应的位置，将两个分支的特征图对应区域分别截取出来。
3.11、将这对航拍图经过截取的区域特征分别通过一个卷积层(32个卷积核、卷积核为3*3)卷积：得到更具表达的语义，同时也起到了降维的作用，避免全连接层参数过多的可能。
3.12、将两个分支卷积后的特征同时与一个全连接层相连，进行信息融合。
3.13、然后再经历一个全连接层和一个Softmax层，得到此候选框是差异区域的概率Ytrue和不是差异区域的概率Yfalse。
3.14、若此候选框与标注差异区域的重叠度IoU>0.8，则此候选框为判断差异正样本，真实标签Ylabel为1；若与标注差异区域的重叠度IoU<0.3，则此候选框为判断差异负样本，真实标签Ylabel为0。
3.15、计算当前候选框差异检测部分的输出Ytrue以及Yfalse与真实的标签Ylabel的交叉熵损失函数：
L(w)＝YlabellogYtrue+(1-Ylabel)logYfalse
3.16、循环执行3.10～3.15，直到计算出3.9中得到的每一个候选框与真实标签的交叉熵损失函数。利用梯度下降法更新整个网络的参数。使得网络可以学习到如何判断两幅图片在同一区域中的对象是否相同。
3.17、计算差异判断的准确率
如果Ytrue＞Yfalse则y＝1；反之，y＝0。
计算
其中，
3.18、循环执行步骤3.1～3.17，直至mAP大于70％且P大于95％时或者迭代次数达到设定次数时退出循环。
四、模型的使用
根据上面得到的对差异进行检测的双网络模型。使用该模型可以得到基于语义的对象差异结果，便于为导航、地图构建等工程做数据参考；同时可以得到差异标注图，可视化变化差异，方便人员查看不同时刻的差异变化。如图5，具体使用方法如下：
1、将经处理后的一对航拍图像Tpast，Tcurrent输入双网络。
2、通过本发明提出的对差异进行检测的双网络模型，得到框选区域坐标、框选对象的类别以及差异结果。
2.1将CRP层得到的候选区域中，被差异检测部分判定为差异的框选结果保留。
2.2在对象检测部分的结果中，找到框选结果在两个分支上对应的分类结果。
2.3将分类结果进行编码记录，可以为导航、地图构建等工程做数据参考。
3、将框选部分结果在航拍图Tcurrent中画出，并标注对象的类别，得到差异检测图。框选部分即此地点在当前时间与以往拍摄中的差异。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (5)
1.一种基于双网络的航拍图像差异检测方法，其特征在于：包括以下步骤：
步骤1：采用无人机在不同时刻沿着同一规划路径飞行，同时利用无人机机载相机采集沿线的航拍图，得到一系列不同时刻拍摄的航拍图像；对航拍图像进行缩放处理和归一化处理后，进行图像匹配，得到若干对同一地点不同时刻的图像Tpast，Tcurrent；
步骤2：搭建双网络模型：
所述双网络模型由特征提取部分、对象检测部分、差异检测部分组成；
所述特征提取部分的两个分支结构相同且权值共享，每个分支由10层组成，依次为卷积层、池化层、卷积层、池化层、卷积层、池化层、卷积层、池化层、卷积层、池化层；
所述对象检测部分的两个分支结构相同，分别接收特征提取部分每个分支结构的输出，每个分支由检测模块组成；检测模块为一个卷积层；
所述差异检测部分接收特征提取部分和对象检测部分的输出，由Change RegionProposal层、针对每个分支的卷积层、对两个分支进行信息融合的两层全连接层以及Softmax层组成；
步骤3：双网络训练：
步骤3.1：制作标签：对步骤1得到的每对差异图片进行如下标注：
分别标注每张图片中对象的所在位置以及类别：对象的位置由对象的外接矩形的中心位置(px *，py *)以及矩形的长宽(pw *,ph *)记录，每个对象描述为一个形式为(px *，py *，pw *，ph *，class)的向量，class为对象类别；
标注两张图片中存在差异的区域：差异区域位置由区域外接矩形的中心位置(qx，qy)以及矩形的长宽(qw,qh)记录，每个差异区域描述为一个形式为(qx，qy，qw，qh)的向量；
步骤3.2：对步骤2建立的模型中需要自主学习参数的部分进行初始化；
步骤3.3：网络训练：
步骤3.3.1：将两张同一地点不同时间拍摄并经过缩放处理和归一化处理后的大小为M*M的航拍图输入网络，一张图片输入一个分支，另一张图片输入另一分支；
步骤3.3.2：利用特征提取部分提取图片的深层语义特征，特征提取部分输出的图像为特征图Fmap，特征图为K*K*512的张量，其中K的取值为特征图的大小；
步骤3.3.3：将特征图Fmap输入到检测模块的卷积层，卷积后输出K*K*(5+C)的张量，其中每个1*1*(5+C)的向量记录候选框的位置和长宽，并表明其中是否含有对象以及对象的类别，C代表设定的检测种类数；
步骤3.3.4：剔除超出图片边界的候选框，然后选择与标注对象重叠度IoU>0.7的所有候选框作为检测正样本，若没有与标注对象重叠度IoU>0.7的候选框，则选择与标注对象重合度最大的候选框作为检测正样本，并建立检测正样本对应的真实标签；所述真实标签包括标注对象的位置(px *，py *，pw *，py *)，置信度p(confindence)*，以及标注对象的类别，其中标注对象的类别采用onehot编码，标注对象对应类别的编码p(Class|confindence)*为1，其余类别的编码p(Class|confindence)*为0，而置信度p(confindence)*为1；
步骤3.3.5：将与每个标注对象重叠度IoU<0.3的候选框作为检测负样本，并建立相应的真实标签，其真实标签为p(confindence)*为0；
步骤3.3.6：计算每个检测正负样本的px，py，pw，py，p(Class|confindence)，p(confindence)与对应真实标签px *，py *，pw *，py *，p(Class|confindence)*，p(confindence)*的平方差损失函数
L(w)＝λ1((px-px *)2+(py-py *)2+(pw-pw *)2+(ph-ph *)2)+λ2(p(Class|confindence)-p(Class|confindence)*)2+λ3(p(confindence)-p(confindence*))2
其中，(px，py)表示候选框的中心坐标，(pw，ph)表示候选框的长和宽，p(confindence)表示候选框包含物体的置信度，p(Class|confindence)表示检测对象属于每个类别的概率值；λ1，λ2，λ3的取值为：
依据平方差损失函数，通过梯度下降法更新特征提取和对象检测部分的参数；
步骤3.3.7：计算检测模块输出的检测结果的mAP值；
步骤3.3.8：只保留检测结果中置信度大于设定阈值的候选框，然后对每幅图像保留下来的候选框进行非极大值抑制；
步骤3.3.9：将对象检测部分两个分支中经非极大值抑制后的候选框进行匹配，得到对应同一标注对象的一对候选框，只保留一对候选框中置信度大的一个候选框，然后将两个分支的候选框预测结果合并，最终得到一组候选框，个数为n；
步骤3.3.10：从步骤3.3.9中得到的一组候选框中，选择一个候选框；根据该候选框的位置，计算出其在特征图Fmap中相应的位置，将两个分支的特征图对应区域分别截取出来；
步骤3.3.11：将这对经过截取的区域分别通过一个卷积层进行卷积；
步骤3.3.12：将两个分支卷积后的特征同时与一个全连接层相连，进行信息融合；
步骤3.3.13：再经历一个全连接层和一个Softmax层，得到该候选框是差异区域的概率Ytrue和不是差异区域的概率Yfalse；
步骤3.3.14：若该候选框与标注差异区域的重叠度IoU>0.8，则该候选框为判断差异正样本，真实标签Ylabel为1；若与标注差异区域的重叠度IoU<0.3，则该候选框为判断差异负样本，真实标签Ylabel为0；
步骤3.3.15：计算当前候选框差异检测部分的输出概率Ytrue以及Yfalse与真实的标签Ylabel的交叉熵损失函数：
L(w)＝YlabellogYtrue+(1-Ylabel)logYfalse
步骤3.3.16：循环执行3.10～3.15，直到计算出步骤3.3.9中得到的每一个候选框与真实标签的交叉熵损失函数；利用梯度下降法更新整个网络的参数；
步骤3.3.17：计算差异判断的准确率：
如果Ytrue＞Yfalse，则y＝1；反之，y＝0；进一步计算
步骤3.3.18：循环执行步骤3.3.1～3.3.17，直至mAP大于70％且P大于95％时或者循环次数达到设定次数时退出循环；
步骤4：将新采集的一对航拍图像Tpast，Tcurrent经过缩放处理和归一化处理后输入步骤3训练后的模型中，得到框选区域坐标、框选对象的类别以及差异结果；将框选部分结果在航拍图Tcurrent中画出，并标注对象的类别，得到差异检测图；所述框选部分即此地点在当前时间与以往拍摄中的差异。
2.根据权利要求1所述一种基于双网络的航拍图像差异检测方法，其特征在于：步骤1中的具体过程为：
步骤1.1：数据采集：
无人机在不同时刻沿着同一规划路径飞行，同时利用无人机机载相机采集沿线的航拍图，得到一系列不同时刻拍摄的航拍图像；
步骤1.2、对无人机载相机采集的图像进行缩放处理：
根据神经网络输入大小，将采集的图像统一缩放到相同的大小；当需要进行放大处理时，在放大过程中对图像进行图像插值处理；
步骤1.3、根据以下公式
对缩放后的图像进行归一化；其中Xk为图片每个位置的像素值，Xmin为该幅图片中最小的像素值，Xmax为该幅图片中最大的像素值；
步骤1.4、图像匹配：
利用图片自身GPS信息，进行坐标匹配，得到若干对在同一地点不同时刻的图像Tpast，Tcurrent；如果图片没有记录GPS信息，则利用特征点匹配方法得到若干对同一地点不同时刻下的图片。
3.根据权利要求2所述一种基于双网络的航拍图像差异检测方法，其特征在于：步骤2中特征提取部分每个分支的具体10层结构为第一卷积层、池化层、第二卷积层、池化层、第三卷积层、池化层、第四卷积层、池化层、第五卷积层、池化层；其中第一卷积层为32个卷积核、卷积核大小为3*3，第二卷积层为64个卷积核、卷积核为3*3，第三卷积层为128个卷积核、卷积核为3*3，第四卷积层为256个卷积核、卷积核为3*3，第五卷积层为512个卷积核、卷积核为3*3。
4.根据权利要求3所述一种基于双网络的航拍图像差异检测方法，其特征在于：步骤2中检测模块的卷积层为5+C个卷积核、卷积核为3*3，C代表设定的检测种类数。
5.根据权利要求4所述一种基于双网络的航拍图像差异检测方法，其特征在于：在步骤3.3.1中对两张图片人工加入光照噪声进行数据增强后再输入网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811015421.6A CN109255317B (zh) | 2018-08-31 | 2018-08-31 | 一种基于双网络的航拍图像差异检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811015421.6A CN109255317B (zh) | 2018-08-31 | 2018-08-31 | 一种基于双网络的航拍图像差异检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109255317A CN109255317A (zh) | 2019-01-22 |
| CN109255317B true CN109255317B (zh) | 2021-06-11 |
Family
ID=65050484
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811015421.6A Active CN109255317B (zh) | 2018-08-31 | 2018-08-31 | 一种基于双网络的航拍图像差异检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109255317B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4303827A1 (en) * | 2022-07-06 | 2024-01-10 | The Boeing Company | Automated change assessment of target objects during a dynamic isr mission |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110135424B (zh) * | 2019-05-23 | 2021-06-11 | 阳光保险集团股份有限公司 | 倾斜文本检测模型训练方法和票证图像文本检测方法 |
| CN110188776A (zh) * | 2019-05-30 | 2019-08-30 | 京东方科技集团股份有限公司 | 图像处理方法及装置、神经网络的训练方法、存储介质 |
| CN110263705B (zh) * | 2019-06-19 | 2023-07-07 | 上海交通大学 | 面向遥感技术领域两期高分辨率遥感影像变化检测*** |
| CN112188217B (zh) * | 2019-07-01 | 2022-03-04 | 四川大学 | 结合dct域和像素域学习的jpeg压缩图像去压缩效应方法 |
| CN112696372A (zh) * | 2019-10-22 | 2021-04-23 | 佛山市云米电器科技有限公司 | 风扇调节方法、风扇和存储介质 |
| CN111582043B (zh) * | 2020-04-15 | 2022-03-15 | 电子科技大学 | 基于多任务学习的高分辨率遥感影像地物变化检测方法 |
| CN111751380B (zh) * | 2020-07-08 | 2021-08-31 | 中国水利水电科学研究院 | 一种基于轻小型无人机的混凝土坝裂缝检查方法 |
| CN112085036A (zh) * | 2020-09-17 | 2020-12-15 | 广东电网有限责任公司 | 一种区域识别方法、装置、设备及介质 |
| CN112818966B (zh) * | 2021-04-16 | 2021-07-30 | 武汉光谷信息技术股份有限公司 | 多模态遥感影像数据检测方法及*** |
| CN113627413B (zh) * | 2021-08-12 | 2024-06-04 | 杭州海康威视数字技术股份有限公司 | 数据标注方法、图像比对方法及装置 |
| CN114627329A (zh) * | 2022-02-24 | 2022-06-14 | 海信集团控股股份有限公司 | 一种视觉敏感信息检测模型训练方法、装置和设备 |
| CN114581690B (zh) * | 2022-03-14 | 2023-03-24 | 昆明理工大学 | 基于编码-解码端的图像对差异描述方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7596242B2 (en) * | 1995-06-07 | 2009-09-29 | Automotive Technologies International, Inc. | Image processing for vehicular applications |
| CN106778867A (zh) * | 2016-12-15 | 2017-05-31 | 北京旷视科技有限公司 | 目标检测方法和装置、神经网络训练方法和装置 |
| CN107871119A (zh) * | 2017-11-01 | 2018-04-03 | 西安电子科技大学 | 一种基于目标空间知识和两阶段预测学习的目标检测方法 |
| CN108062753A (zh) * | 2017-12-29 | 2018-05-22 | 重庆理工大学 | 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法 |
| CN108319949A (zh) * | 2018-01-26 | 2018-07-24 | 中国电子科技集团公司第十五研究所 | 一种高分辨率遥感图像中多朝向舰船目标检测与识别方法 |
-
2018
- 2018-08-31 CN CN201811015421.6A patent/CN109255317B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7596242B2 (en) * | 1995-06-07 | 2009-09-29 | Automotive Technologies International, Inc. | Image processing for vehicular applications |
| CN106778867A (zh) * | 2016-12-15 | 2017-05-31 | 北京旷视科技有限公司 | 目标检测方法和装置、神经网络训练方法和装置 |
| CN107871119A (zh) * | 2017-11-01 | 2018-04-03 | 西安电子科技大学 | 一种基于目标空间知识和两阶段预测学习的目标检测方法 |
| CN108062753A (zh) * | 2017-12-29 | 2018-05-22 | 重庆理工大学 | 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法 |
| CN108319949A (zh) * | 2018-01-26 | 2018-07-24 | 中国电子科技集团公司第十五研究所 | 一种高分辨率遥感图像中多朝向舰船目标检测与识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| Dual-channel convolutional neural network for change detection of multitemporal SAR images;Tao Liu et al.;《2016 International Conference on Orange Technologies (ICOT)》;20180205;60-63 * |
| 基于双模全卷积网络的行人检测算法(特邀);罗海波 等;《红外与激光工程》;20180225;第47卷(第2期);10-17 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4303827A1 (en) * | 2022-07-06 | 2024-01-10 | The Boeing Company | Automated change assessment of target objects during a dynamic isr mission |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109255317A (zh) | 2019-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109255317B (zh) | 一种基于双网络的航拍图像差异检测方法 | |
| CN111259809B (zh) | 基于DANet的无人机海岸线漂浮垃圾巡检*** | |
| Chen et al. | Vehicle detection in high-resolution aerial images via sparse representation and superpixels | |
| CN108319964B (zh) | 一种基于混合特征和流形学习的火灾图像识别方法 | |
| CN105930819B (zh) | 基于单目视觉和gps组合导航***的实时城区交通灯识别*** | |
| CN107133569B (zh) | 基于泛化多标记学习的监控视频多粒度标注方法 | |
| CN112633231B (zh) | 一种火灾识别的方法和装置 | |
| CN108734143A (zh) | 一种巡检机器人的基于双目视觉的输电线路在线检测方法 | |
| Han et al. | Aerial image change detection using dual regions of interest networks | |
| Hormese et al. | Automated road extraction from high resolution satellite images | |
| CN113111947B (zh) | 图像处理方法、装置和计算机可读存储介质 | |
| CN114612835A (zh) | 一种基于YOLOv5网络的无人机目标检测模型 | |
| Ji et al. | RGB-D SLAM using vanishing point and door plate information in corridor environment | |
| Han et al. | Research on remote sensing image target recognition based on deep convolution neural network | |
| CN115909096A (zh) | 无人机巡航管道隐患分析方法、装置及*** | |
| CN114332644B (zh) | 一种基于视频卫星数据的大视场交通密度获取方法 | |
| CN110245566B (zh) | 一种基于背景特征的红外目标远距离追踪方法 | |
| CN115100497A (zh) | 基于机器人的通道异常物体巡检方法、装置、设备及介质 | |
| Kumar et al. | Saliency based shape extraction of objects in unconstrained underwater environment | |
| KR102416714B1 (ko) | 3차원 이미지 및 딥러닝을 활용한 도시 규모 나무 지도 작성 시스템 및 방법 | |
| CN114821500A (zh) | 基于点云的多源特征融合的重定位方法及装置 | |
| CN114581440A (zh) | 一种基于图像识别快速定位泄漏点的方法 | |
| Yan et al. | Building Extraction at Amodal-Instance-Segmentation Level: Datasets and Framework | |
| CN114140698A (zh) | 一种基于FasterR-CNN的水系信息提取算法 | |
| Widyaningrum et al. | Tailored features for semantic segmentation with a DGCNN using free training samples of a colored airborne point cloud |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |