CN110070018A - 一种结合深度学习的地震灾害场景识别方法 - Google Patents
一种结合深度学习的地震灾害场景识别方法 Download PDFInfo
- Publication number
- CN110070018A CN110070018A CN201910295923.7A CN201910295923A CN110070018A CN 110070018 A CN110070018 A CN 110070018A CN 201910295923 A CN201910295923 A CN 201910295923A CN 110070018 A CN110070018 A CN 110070018A
- Authority
- CN
- China
- Prior art keywords
- scene
- layer
- deep learning
- earthquake
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000013135 deep learning Methods 0.000 title claims abstract description 35
- 230000004913 activation Effects 0.000 claims abstract description 14
- 230000006872 improvement Effects 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 32
- 238000012360 testing method Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 11
- 238000011156 evaluation Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000013459 approach Methods 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims description 2
- 239000010410 layer Substances 0.000 description 106
- 238000001514 detection method Methods 0.000 description 21
- 238000013403 standard screening design Methods 0.000 description 13
- 238000000605 extraction Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000003909 pattern recognition Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000013178 mathematical model Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 238000003475 lamination Methods 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 238000011410 subtraction method Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种结合深度学习的地震灾害场景识别方法，获取震后场景的遥感图像后进行切片处理，然后进行扩展得到用于深度学习的数据，使用对单点多盒探测器目标检测器方法SSD的改进方案来进行地震场景的深度学习以及识别，所述对单点多盒探测器目标检测器方法SSD的改进方案，包括对网络进行修改，将第十六层卷积层加上一个ReLU激活函数，将第十九层卷积层加上一个ReLU激活函数以及maxpooling池化层，得到修改后的模型。本发明针对地震场景复杂且种类多样的问题，将传统的地震场景识别与深度学习相结合，能够在复杂场景快速而准确地识别地震场景，满足了实际应用中的精度需求和速度需求。
Description
技术领域
本发明属于计算机视觉和灾害监测领域，特别使用一种结合深度学习的地震灾害场景识别方法的地震灾害场景识别技术。
背景技术
地震作为一种突发性、破坏性极强的自然灾害，对人类有着极大的危害。一方面，地震自身所带来的灾害以及其所引起的滑坡、堰塞湖、房屋坍塌会给人类的生命财产带来巨大隐患。另一方面，由于地震场景比较复杂，识别起来比较费时费力。
在现有科技和经济条件下，地震应急应当具有“少量投入、快速见效、显著实效”等优点，因此地震应急是世界各国普遍重视的一项工作。从理论上讲，所谓地震的应急过程，实际上就是在有限时效内所作出的一系列决策和实施过程的集合，地震应急应该具有时间紧迫、至关重要等特点。(2017参考文献1)因此，在一定的时间约束下，地震应急决策和行动是否科学合理和各种决策实施过程是否及时有效，是地震应急工作成败的关键。而地震应急决策的科学性和合理性以及决策实施的时效性和实际效用，从根本上取决于决策和决策实施过程是否能够建立在全方位、高精度、及时性的地震灾情信息的基础上(2002参考文献2，2012参考文献3)。
在深度学习出现以前，传统的目标检测识别方法主要是依据一定的先验知识，通过建立某种数学模型来完成，目前传统目标检测识别方法应用较广泛的有：帧差法(1959参考文献4)、Hough变换(1975参考文献5)、背景减除法(2005参考文献6)、光流法(1981参考文献7)、滑动窗口检测模型(2003参考文献8)、可变形部件模型(2010参考文献9)等。具体地说，帧差法、Hough变换、背景减除法以及光流法主要采用特征+数学模型的模式，利用已有数据某种特性的特征来建立相应的数学模型，求解该数学模型从而得到目标检测识别的结果；而滑动窗口检测模型方法以及可变形部件模型方法则是主要采用特征提取+分类的模式，利用手工设计特征，比如SHIFT特征提取(2004参考文献10)、HOG特征提取(2005参考文献11)、Haar特征提取(2008参考文献12)；并结合分类器进行分类，如：SVM分类器(2009参考文献13)、Adaboost分类器(2010参考文献14)，根据手工设计特征进行分类从而得到目标检测的结果。传统识别方法对于简单的场景识别效果很不错，但是地震场景具有复杂多变的特性，因此对于地震复杂多变的场景识别是一个关键问题。
目前检测识别近几年已经成为计算机视觉领域重要的研究方向以及研究热点(2014参考文献15)近年来，深度学习技术的出现革新了目标检测的模式，大幅度提升了目标检测的精度和鲁棒性。由于深度神经网络能够自主学习不同层级的深层特征，所以基于深度学习的目标检测模型，相比于传统手工设计特征+分类器检测这一方法，学习的特征更加丰富，对于特征表达能力更强(2016参考文献16)。
但是，现在地震场景识别大多数使用的是目视解译，对于传统的场景识别方法(机器学习)，其精度不能满足地震场景识别的要求。目前尚未有将深度学习用于地震场景识别的相关研究出现，难点主要在于深度学习在大数据条件下起效，而地震场景数据量通常不足，缺乏专家标注图片，以及地震场景复杂度较高。
相关背景文献：
文献1：陈子翰,窦爱霞,王晓青,et al.基于高分辨率影像的九寨沟7.0级地震道路震害评估[J].中国地震,2017.
文献2：聂高众，陈建英，李志强等，2002.地震应急基础数据库建设.地震，22(3)：105—112.
文献3：聂高众，安基文，邓砚，2012.地震应急灾情服务进展.地震地质，34(4)：782—791.
文献4：Singla N.Motion detection based on frame difference method[J].International Journal of Information&Computation Technology,2014,4(15):1559-1565
文献5：Merlin P M,Farber D J.Aparallel mechanism for detecting curvesin pictures[J].IEEE Transactions on Computers,1975,100(1):96-98.
文献6：Lee D S.Effective Gaussian mixture learning for videobackground subtraction[J].IEEE Transactions on Pattern Analysis and MachineIntelligence,2005,27(5):827-832.
文献7：Horn B K P,Schunck B G.Determining optical flow[J].ArtificialIntelligence,1981,17(1-3):185-203.
文献8：Viola P,Jones M.Rapid object detection using a boosted cascadeof simple features[C]//IEE Conference on Computer Vision and PatternRecognition,2003,1:I-511-I-518.
文献9：Felzenszwalb P F,Girshick R B,McAllester D,et al.Objectdetection with discriminatively trained part-based models[J].IEEETransactions on Pattern Analysis and Machine Intelligence,2010,32(9):1627-1645.
文献10:Lowe D G.Distinctive image features from scale-invariantkeypoints[J].International Journal of Computer Vision,2004,60(2):91-110.
文献11:Dalal N,Triggs B.Histograms of oriented gradients for humandetection[C]//Computer Vision and Pattern Recognition,IEEE Computer SocietyConference on,IEEE,2005,1:886-893.
文献12:Panning A,Al-Hamadi AK,Niese R,et al.Facial expressionrecognition based on Haar-like feature detection[J].Pattern Recognition&ImageAnalysis,2008,18(3):447-452.
文献13:Burges C J C.Atutorial on support vector machines for patternrecognition[J].Data Mining and Knowledge Discovery,1998,2(2):121-167.
文献14:Zhu J,Zou H,Rosset S,et al.Multi-class adaboost[J].Statisticsand its Interface,2009,2(3):349-360.
文献15:Erhan D,Szegedy C,Toshev A,et al.Scalable object detectionusing deep neural networks[C]//Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition,2014:2147-2154.
文献16:Kong T,Yao A,Chen Y,et al.HyperNet:towards accurate regionproposal generation and joint object detection[C]//Proceedings of the IEEEConference on Computer Vision and Pattern Recognition,2016:845-853.
发明内容
基于遥感数据，对地震灾害场景进行模型训练分类。发明旨在对传统的场景识别分类进行改进，引入深度卷积网络来进行深度学习，进一步提高分类效率，同时提高准确率。
本发明所采用的技术方案提供一种结合深度学习的地震灾害场景识别方法，获取震后场景的遥感图像后进行切片处理，然后进行扩展得到用于深度学习的数据，使用对单点多盒探测器目标检测器方法SSD的改进方案来进行地震场景的深度学习以及识别；所述对单点多盒探测器目标检测器方法SSD的改进方案，包括对网络进行修改，将第十六层卷积层加上一个ReLU激活函数，将第十九层卷积层加上一个ReLU激活函数以及maxpooling池化层，得到修改后的模型。
而且，实现过程包括以下步骤，
步骤1，数据获取，包括获取震后场景的遥感图像；
步骤2，对步骤1所获取的数据进行切片，然后进行扩展得到用于深度学习的图片数据，包括训练集和测试集；
步骤3，数据标注，将步骤2所得用于深度学习的图片数据进行数据标注，将图像中的地震场景进行分类并画框；
步骤4，数据格式转换，将步骤3所得标注好的数据转换为单点多盒探测器目标检测器方法SSD所需要的数据格式；
步骤5，基于训练集进行模型的训练，包括统一图片规格，生成Bounding Box，将图像按照修改后的模型进行卷积操作、激活函数增加鲁棒性和池化操作，进行全连接层及Softmax分类；最后初始化设定权重以及偏置，通过反向传播算法得到最优化模型，然后输出模型；
步骤6，基于测试集进行步骤5所输出模型的精度评价；
步骤7，将实时地震场景图片放入所得训练好的模型中，实现实时识别地震场景类别。
而且，步骤2中，所述扩展通过平移像素点、旋转和镜像变化实现。
而且，步骤6中，通过召回率recall、精度precision以及综合评价指标F1来评估模型可靠性。
本发明对深度学习SSD目标检测方法进行改进，在此基础上研究提供地震灾害场景识别技术，可以更好识别复杂的地震场景，提高识别的精度，缩短识别时间，模型训练以及识别简单，而且可以直接在图像中给出框住物体并给出分类结果。
附图说明
图1为本发明实施例的流程图。
图2为本发明实施例的模型训练流程图。
图3为本发明实施例的模型精度评价图。
图4为现有技术中VGG-16所用网络模型结构图
图5为本发明实施例的网络模型结构图。
具体实施方法
为了便于本领域普通技术人员理解以及实施本发明，下面结合附图及实施例对本发明作进一步阐述，应当理解，此处所述的实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明要解决的问题是：传统图像识别方法难以识别复杂多变的地震场景，并且由于地震场景复杂多变，使用传统的图像特征提取+分类方法，无法准确进行分类。针对这些问题，本发明基于遥感影像数据，使用并改进单点多盒探测器目标检测器识别方法(SSD)，进而进行地震场景识别及分类。
本发明实施例中基于遥感影像数据，使用对单点多盒探测器目标检测器方法(SSD)的改进方案来进行地震场景的深度学习以及识别。使用这种结合深度学习的地震灾害场景识别方法不仅能够快速识别复杂的地震场景，还可以提高识别的精度。
参见图1，本发明实施例提供的地震灾害场景识别方法，包括以下步骤：
步骤1：数据获取，包括获取震后场景的遥感图像。
实施例中，在地震发生后，从高分一号卫星、高分二号卫星、北京二号卫星等来源获取震后场景的数据。
步骤2：对步骤1所获取的数据进行切片，然后进行扩展得到用于深度学习的图片数据；
地震发生后，通过遥感影像获取数据后将数据进行切片处理，获取研究区内尽可能的全部覆盖的场景图像。可以将遥感影像切片，得到包含地震场景的小规模影像图，将这些图片以训练集：测试集＝4：1的比例分好，用作训练和测试。
实施例中，所获取的遥感影像数据因为范围大且数据量大，需要将有用的数据提取出来，因此将数据进行切片，提取有用的数据，将一副遥感影像图切分成众多带有地震场景的图片，建议尽量保证每个图片的分辨率大于300*300以便下一步操作。
进一步地，由于深度学***移数个像素点、旋转、镜像变化等方法来获取大量数据进行训练，比如可以平移1个像素点、2个像素点、3个像素点，加上原始数据，则将数据扩容了4倍；通过旋转90°，180°，270°又可以将数据扩容到原来的四倍；通过镜像变化，可以将数据增大两倍。将以上三种方法结合起来，再划分训练集和测试集，可以在少有的数据量情况下获得大量的训练数据以满足深度学习模型的训练。
步骤3：数据标注，将步骤2所得用于深度学习的图片数据进行数据标注，将图像中的地震场景进行分类并画框。
可以将图像中的场景标框，然后将每个框的类别分好，以便训练和测试使用。
实施例中，通过标注把地震场景框出来，将数据标注好以后生成标签格式是：
Object number//标注框个数
className x1min y1min x1max y1max//场景类别第一个框x最小值第一个框y最小值第一个框x最大值第一个框y最大值
className x2min y2min x2max y2max//场景类别第二个框x最小值第二个框y最小值第二个框x最大值第二个框y最大值
…
每个数据类别数据量要求尽量一致，可以通过数据上采样方法来避免数据不平衡导致某一类分类结果过差。
步骤4：数据格式转换，将步骤3所得标注好的数据(txt格式)转换为单点多盒探测器目标检测器方法SSD所需要的数据格式(xml)，这一步的目的是为了方便生成lmdb格式的训练集和测试集。
步骤5：基于训练集进行模型的训练，包括resize(调整大小)图片尺度，生成Bounding Box(边框)，按照修改后的模型将图像进行卷积操作，加激活函数增加鲁棒性并进行池化操作，接着进行全连接层及Softmax分类；最后初始化设定Weight(权重)以及Bias(偏置)，然后通过反向传播算法得到最优化模型，然后输出模型并用于步骤6进行精度评价。
实施例中反向传播算法采用SGD方法，训练最优化模型实现过程为，设定迭代次数和学习率，将学习到的内容使用反向传播算法中的Stochastic gradient descent(SGD,随机梯度下降)方法来调整Weight,Bias的值，然后通过Softmax分类计算loss函数的值，当loss函数收敛时，得到最优化的模型。
参见图2，实施例中，步骤5具体步骤如下：
步骤5.1：统一图片规格，将图片resize成300*300的规格，统一规格以便后续的操作。依次遍历每个图片以及xml格式的标注文件，分别创建list和data，将数据转换为lmdb格式以进行训练。
其中，
Resize指的是将图片调整尺寸；
list是一个列表格式；
data是数据存放的格式；
xml是标注文件的数据格式；
lmdb是符合SSD训练的数据格式。
因为本发明所用的SSD方法要通过深度学习进行卷积池化等一系列操作，所以要在训练之前把图像统一格式，实施例在次模型网络选用的图像为300*300；因此需要把图像统一resize成300*300，然后就是生成lmdb格式的训练集和测试集.
步骤5.2：生成Bounding Box：
1)首先进行网络的构造，
参见图4，现有技术中的VGG-16网络的结构如下：
第一层包括卷积层和ReLu层，第二层包括卷积层和ReLu层、池化层，第三层包括卷积层和ReLu层，第四层包括卷积层和ReLu层、池化层，
第五层包括卷积层和ReLu层，第六层包括卷积层和ReLu层，第七层包括卷积层和ReLu层、池化层，
第八层包括卷积层和ReLu层，第九层包括卷积层和ReLu层，第十层包括卷积层和ReLu层、池化层，
第十一层包括卷积层和ReLu层，第十二层包括卷积层和ReLu层，第十三层包括卷积层和ReLu层、池化层，
以上前十三层记为Convolution4_3，
第十四层为全连接层，第十五层为全连接层，第十六层为全连接层，最后为Softmax分类层。
参见图5，现有技术中的SSD目标检测方法基于传统VGG-16网络进行了如下改进：将VGG-16的第十四层的全连接层和第十五层的全连接层转化为卷积层，记为卷积层6(第十四层)，去掉第十六层的全连接层，新增加卷积层7(第十五层)、卷积层8_2(第十六层)、卷积层9_2(第十七层)、卷积层10_2(第十八层)、卷积层11_2层(第十九层)和全连接层(第二十层)，卷积层6(第十四层)和卷积层7(第十五层)之间设置池化函数Pool5；添加了Atrous算法(多孔算法)，将Pool5进行变换；抽取Convolution4_3(前十三层)、卷积层7(第十五层)、卷积层8_2(第十六层)、卷积层9_2(第十七层)、卷积层10_2(第十八层)、卷积层11_2层(第十九层)的feature map(图像特征)，然后分别在这些feature map层上面的每一个点构造6个不同尺度大小的Bounding Box，然后分别进行检测和分类，生成多个Bounding Box；这样的改动相对于基于VGG-16网络的目标检测方法，去掉了全连接层从而可以更快的检测出目标，增加了6个卷积层可以更加深度学习到特征从而更加准确的识别出场景，构造6个不同尺度大小的Bounding Box可以同时进行多个场景识别，但是由于地震场景具有复杂多样的特性，直接通过SSD方法训练得到的模型可能不具有很好的鲁棒性并且由于数据缺乏，直接训练可能会产生欠拟合，直接应用到本发明时通过数据增强后训练可能会产生过拟合现象。
于是本发明提出，结合地震场景的特性，结合SSD方法的优点进行以下改进使它更好的适用于地震场景之中，参见图5，：
将第十六层卷积层加上一个ReLU激活函数，将第十九层卷积层加上一个ReLU激活函数以及maxpooling池化层，得到修改后的模型。其中，maxpooling表示最大池化。
添加激活函数的目的可以更好的增加模型鲁棒性，但是这样就增加了模型的训练时间，所以本发明提出在第十九层加入maxpooling池化层，以保证能够在不改变尺寸的情况下更好的提取有用的信息并加快收敛过程，并在第二十层新加入一个全连接层以防止过拟合现象，这样可以在同等甚至更少训练时间基础上使用SSD方法的数据格式训练得到具有更好鲁棒性的模型。
2)模型改进之后，将不同feature map获得的Bounding Box结合起来，经过Nonmaximal suppression(非极大值抑制)方法来抑制掉部分重叠或者不正确的BoundingBox，最终生成检测结果。
生成最终的Bounding Box集合(即检测结果)时，生成的Bounding Box的最小尺寸smin以及最大尺寸smax由以下的公式决定。
其中m指进行预测时使用featuremap的数量。
s指第k个最终生成的Bounding Boxx大小；
smin指初步生成的Bounding Box的最小尺寸；
smax指初步生成的Bounding Box的最大尺寸；
k是用于标记预测的第k个boudingbox的标号。
步骤5.3：将图像进行卷积操作，卷积是卷积神经网络(CNN)的核心层，其作用是提取特征，将m×n的图像经过i×i的卷积层最终得到一个提取特征后的(m-i)×(n-i)的图像层
步骤5.4：根据当前层的设置，如果需要的话进行其他操作，例如第二层，在卷积后通过一层激活函数，经过了卷积和激活层以后，模型会进行Pooling(池化)操作：
目前比较常用的激活函数由Sigmoid函数，ReLU函数，Sigmoid函数的公式为ReLU函数的公式为f(x)＝max(0,x),此方法采用的是ReLU函数作为其激活函数，激活函数的作用是为了增加模型的鲁棒性，使得模型具有更好的泛化能力。
目前比较常用的Poolinglayer为maxpooling和meanpooling，由于池化层的作用是压缩图片并进一步提取特征，所以此方法只使用了maxpooling来进行池化，maxpooling通过取区域内最大值来进行下采样，可以选出分类辨识度更好的特征。
步骤5.5：判断是否是最后一个网络层(第十九层)，如果不是最后一个网络层，那么进入下一层继续重复5.3和5.4的步骤，如果是最后一层网络层，则进入下一步骤5.6。
步骤5.6：全连接层+Softmax分类，由全连接层来将学习到的特征映射到样本标记空间，然后通过Softmax方法进行分类。
本发明采用的分类器为Softmax，Softmax函数实际上是有限项离散概率分布的梯度对数归一化。因此，Softmax函数在包括多项逻辑回归，多项线性判别分析，朴素贝叶斯分类器和人工神经网络等的多种基于概率的多分类问题方法中都有着广泛应用。特别地，在多项逻辑回归和线性判别分析中，函数的输入是从K个不同的线性函数得到的结果，而样本向量x属于第j个分类的概率P(y＝j|x)为：
其中，xT指的是向量X的转置向量，wk指的是第k个分类所占的权重，e指的是数学常数。
步骤5.7：设定初始Weight(权重)以及Bias(偏置)，然后设定迭代次数和学习率，使用反向传播算法中的Stochastic gradient descent(SGD,随机梯度下降)方法，得到最优化模型后输出。随机梯度下降方法通过负梯度L(wt)和上一次得到的权重更新值vt来更新得到新的W权重，其迭代公式如下：
vt+1＝uvt-aL(wt)
wt+1＝wt+vt+1.
其中，
wt是第t-1次随机梯度下降得到的权重
wt+1是第t次随机梯度下降得到的权重
vt+1是其通过随机梯度下降得到的一个中间的权重更新值，通过vt+1与wt的和得到新的权重wt+1；
a是负梯度的学习率(base_lr)，u是上一次梯度值的权重(momentum)，用来加权之前梯度方向对现在梯度下降方向的影响，这两个参数一般根据经验来进行设定，对于学习率的设定，太大可能会导致梯度在最小值附近来回震荡，从而使模型无法收敛；而学习率太小会使模型收敛过程十分缓慢。因此实施例优选设置初始学习率0.01，而对于u的值，一般设置为0.9，初始权重可以让用随机梯度下降的深度学习方法更加稳定、快速。
模型的训练过程就是不断调整Weight,Bias的值，使得loss函数(损失函数)最小，最终得到最优化的模型，其中损失值L的计算公式如下。
其中，fw(xi)是数据xi上的loss值，r(w)是权值衰减weight_decay，是为了减弱过拟合现象；m是待求参数惩罚系数，n是样本数量。
具体实施时，可以使用loss函数曲线图将模型训练过程可视化，可更方便得到最优化参数，具有实际应用价值。
步骤6：进行步骤5所输出模型的精度评价。
本发明提出通过召回率recall、精度precision以及综合评价指标F1来评估模型可靠性。
实施例中步骤6具体实现步骤如下：
步骤6.1：基于测试集，将训练好的模型进行测试，。
步骤6.2：初始化tp＝0，fn＝0，fp＝0。
True Positive(真正，tp)：将正类预测为正类数
False Positive(假正，fp)：将负类预测为正类数误报(Type I error)
False Negative(假负，fn)：将正类预测为负类数→漏报(Type II error)
步骤6.3：将测试所得到的框与原始标注的框做对比，计算产生的候选框(candidate bound)与原标记框(ground truth bound)的交叠率，即它们的交集与并集的比值，得到Intersection-over-Union(IOU,交并比)值。
步骤6.4：对于某一类别的所有测试图片，如果IOU小于等于0.5，记该类别fn＝fn+1，否则记该类别tp＝tp+1；对于测试为某一类别的图片，如果IOU大于0.5，则判断其预测的类别和实际类别是否一致，如果是一致的，则记该类tp＝tp+1，如果不是，记fp＝fp+1.
步骤6.5：判断是否遍历了所有需遍历的图片，否则重复步骤6.3以及6.4，是则进入步骤6.6整理计算recall以及precision。
步骤6.6：根据识别得出的结果计算模型的recall(召回率)以及precision(精度)。
其中Precision其实就是在识别出来的图片中，True positives所占的比率，图中简称为P：公式如下：
其中的n代表的是True positives(将正类预测为正类数)+False positives(将负类预测为正类数误报)，也就是***一共识别出来多少照片。
Recall是被正确识别出来的个数与测试集中所有的个数的比值，图中简称为R：公式如下：
Recall的分母是True positives(将正类预测为正类数)+False negatives(将正类预测为负类数→漏报)这两个值的和。
步骤6.7：计算综合评价指标F1，Precision和Recall指标有时候会出现一个很大一个很小的情况，不能准确评价所得到的模型好坏；所以，本发明提出需要综合考虑这两个因素，最常见的方法就是F1指标，F1的公式如下：
其中P指的是Precision，R指的是Recall，如果F1指标大于0.6，则说明模型训练成功，F1指标越大，说明模型越好，对于实际场景的检测越有效，否则说明模型效果差。
参见图3，把所有的测试图片先整理，然后通过整理得到的某一类别的所有测试图片计算该类别的召回率recall；通过整理测试结果为某一类别的所有图片计算该类别的精确率precision，流程可设计两个分支，以便将这两个指标结合起来计算F1。
步骤7：将实时地震场景图片放入所得训练好的模型中，实现实时识别地震场景类别。
本发明所提供的结合深度学习的地震灾害场景识别方法，可以更好识别复杂的地震场景，提高识别的精度，缩短识别时间，模型训练以及识别简单，而且可以直接在图像中给出框住物体并给出分类结果。
具体实施时，以上技术方案可采用计算机软件技术实现自动运行，运行本方法的硬件装置也应当在本发明的保护范围内。
应当理解的是，上述针对本发明中较佳实施例的表述较为详细，但不能因此认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在本发明权利要求保护范围内，可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围以所附权利要求书为准。
Claims (4)
1.一种结合深度学习的地震灾害场景识别方法，其特征在于：获取震后场景的遥感图像后进行切片处理，然后进行扩展得到用于深度学习的数据，使用对单点多盒探测器目标检测器方法SSD的改进方案来进行地震场景的深度学习以及识别；所述对单点多盒探测器目标检测器方法SSD的改进方案，包括对网络进行修改，将第十六层卷积层加上一个ReLU激活函数，将第十九层卷积层加上一个ReLU激活函数以及maxpooling池化层，得到修改后的模型。
2.根据权利要求1所述结合深度学习的地震灾害场景识别方法，其特征在于：实现过程包括以下步骤，
步骤1，数据获取，包括获取震后场景的遥感图像；
步骤2，对步骤1所获取的数据进行切片，然后进行扩展得到用于深度学习的图片数据，包括训练集和测试集；
步骤3，数据标注，将步骤2所得用于深度学习的图片数据进行数据标注，将图像中的地震场景进行分类并画框；
步骤4，数据格式转换，将步骤3所得标注好的数据转换为单点多盒探测器目标检测器方法SSD所需要的数据格式；
步骤5，基于训练集进行模型的训练，包括统一图片规格，生成Bounding Box，将图像按照修改后的模型进行卷积操作、激活函数增加鲁棒性和池化操作，进行全连接层及Softmax分类；最后初始化设定权重以及偏置，通过反向传播算法得到最优化模型，然后输出模型；
步骤6，基于测试集进行步骤5所输出模型的精度评价；
步骤7，将实时地震场景图片放入所得训练好的模型中，实现实时识别地震场景类别。
3.根据权利要求1所述结合深度学***移像素点、旋转和镜像变化实现。
4.根据权利要求1或2或3所述结合深度学习的地震灾害场景识别方法，其特征在于：步骤6中，通过召回率recall、精度precision以及综合评价指标F1来评估模型可靠性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910295923.7A CN110070018A (zh) | 2019-04-12 | 2019-04-12 | 一种结合深度学习的地震灾害场景识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910295923.7A CN110070018A (zh) | 2019-04-12 | 2019-04-12 | 一种结合深度学习的地震灾害场景识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110070018A true CN110070018A (zh) | 2019-07-30 |
Family
ID=67367711
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910295923.7A Pending CN110070018A (zh) | 2019-04-12 | 2019-04-12 | 一种结合深度学习的地震灾害场景识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110070018A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110796152A (zh) * | 2020-01-06 | 2020-02-14 | 杭州鲁尔物联科技有限公司 | 一种基于倾斜摄影的群体建筑物震害提取方法及*** |
| CN111985355A (zh) * | 2020-08-01 | 2020-11-24 | 桂林理工大学 | 基于深度学习和云计算的遥感建筑物震害评估方法和*** |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107766934A (zh) * | 2017-10-31 | 2018-03-06 | 天津大学 | 一种基于并列卷积单元的深度卷积神经网络方法 |
| CN108711161A (zh) * | 2018-06-08 | 2018-10-26 | Oppo广东移动通信有限公司 | 一种图像分割方法、图像分割装置及电子设备 |
| CN109447979A (zh) * | 2018-11-09 | 2019-03-08 | 哈尔滨工业大学 | 基于深度学习和图像处理算法的目标检测方法 |
-
2019
- 2019-04-12 CN CN201910295923.7A patent/CN110070018A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107766934A (zh) * | 2017-10-31 | 2018-03-06 | 天津大学 | 一种基于并列卷积单元的深度卷积神经网络方法 |
| CN108711161A (zh) * | 2018-06-08 | 2018-10-26 | Oppo广东移动通信有限公司 | 一种图像分割方法、图像分割装置及电子设备 |
| CN109447979A (zh) * | 2018-11-09 | 2019-03-08 | 哈尔滨工业大学 | 基于深度学习和图像处理算法的目标检测方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110796152A (zh) * | 2020-01-06 | 2020-02-14 | 杭州鲁尔物联科技有限公司 | 一种基于倾斜摄影的群体建筑物震害提取方法及*** |
| CN111985355A (zh) * | 2020-08-01 | 2020-11-24 | 桂林理工大学 | 基于深度学习和云计算的遥感建筑物震害评估方法和*** |
| CN111985355B (zh) * | 2020-08-01 | 2022-09-27 | 桂林理工大学 | 基于深度学习和云计算的遥感建筑物震害评估方法和*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Information fusion for classification of hyperspectral and LiDAR data using IP-CNN | |
| Wang et al. | M3: Multimodal memory modelling for video captioning | |
| CN113936339B (zh) | 基于双通道交叉注意力机制的打架识别方法和装置 | |
| CN110516095B (zh) | 基于语义迁移的弱监督深度哈希社交图像检索方法和*** | |
| CN114220035A (zh) | 一种基于改进yolo v4的快速害虫检测方法 | |
| CN111444968A (zh) | 一种基于注意力融合的图像描述生成方法 | |
| CN112949647B (zh) | 三维场景描述方法、装置、电子设备和存储介质 | |
| CN110490254A (zh) | 一种基于双重注意力机制层次网络的图像语义生成方法 | |
| CN115222998B (zh) | 一种图像分类方法 | |
| CN114443899A (zh) | 视频分类方法、装置、设备及介质 | |
| Ye et al. | A joint-training two-stage method for remote sensing image captioning | |
| CN115131313A (zh) | 基于Transformer的高光谱图像变化检测方法及装置 | |
| Deng | A survey of convolutional neural networks for image classification: Models and datasets | |
| CN116824585A (zh) | 一种基于多级上下文特征融合网络的航空激光点云语义分割方法与装置 | |
| CN116206158A (zh) | 基于双超图神经网络的场景图像分类方法及*** | |
| CN110070018A (zh) | 一种结合深度学习的地震灾害场景识别方法 | |
| CN115690549A (zh) | 一种基于并联交互架构模型实现多维度特征融合的目标检测方法 | |
| CN115147601A (zh) | 基于自注意力全局特征增强的城市街道点云语义分割方法 | |
| Wang et al. | Based on the improved YOLOV3 small target detection algorithm | |
| CN111079374A (zh) | 字体生成方法、装置和存储介质 | |
| CN116543146B (zh) | 一种基于窗口自注意与多尺度机制的图像密集描述方法 | |
| Wang et al. | Action recognition using linear dynamic systems | |
| Bashmal et al. | Language Integration in Remote Sensing: Tasks, datasets, and future directions | |
| CN111768214A (zh) | 产品属性的预测方法、***、设备和存储介质 | |
| Katarki et al. | Estimating change detection of forest area using satellite imagery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190730 |
|
| RJ01 | Rejection of invention patent application after publication |