CN111291639A - 基于分层变分自编码的跨源舰船特征融合学习与识别方法 - Google Patents
基于分层变分自编码的跨源舰船特征融合学习与识别方法 Download PDFInfo
- Publication number
- CN111291639A CN111291639A CN202010063845.0A CN202010063845A CN111291639A CN 111291639 A CN111291639 A CN 111291639A CN 202010063845 A CN202010063845 A CN 202010063845A CN 111291639 A CN111291639 A CN 111291639A
- Authority
- CN
- China
- Prior art keywords
- image
- ship
- network
- coding
- encoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000004927 fusion Effects 0.000 title claims abstract description 37
- 230000003287 optical effect Effects 0.000 claims abstract description 27
- 238000009826 distribution Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 7
- 238000010801 machine learning Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 abstract description 10
- 239000010410 layer Substances 0.000 description 42
- 238000000605 extraction Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000012512 characterization method Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- 238000012795 verification Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000002356 single layer Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- WDLRUFUQRNWCPK-UHFFFAOYSA-N Tetraxetan Chemical compound OC(=O)CN1CCN(CC(O)=O)CCN(CC(O)=O)CCN(CC(O)=O)CC1 WDLRUFUQRNWCPK-UHFFFAOYSA-N 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于分层变分自编码的跨源舰船特征融合学习与识别方法，获取目标舰船的光学或合成孔径雷达待识别图像；使用训练好的分层式变分自编码网络中的第一编码器提取待识别图像中的舰船类别间差异性特征及数据源间差异性特征；使用训练好的分层式变分自编码网络中的第二编码器对舰船类别间差异性特征及数据源间差异性特征进行分析，确定待识别图像中的目标舰船的类别及待识别图像的数据源类别；本发明利用分层式变分自编码网络，从大量的无法配准的异源舰船目标图像中自动提取表示性/解释性与判别性兼具的结构化特征，实现跨源舰船特征融合学习，以及舰船目标的精准识别。
Description
【技术领域】
本发明属于遥感信息融合及目标识别技术领域，尤其涉及一种基于分层变分自编码的跨源舰船特征融合学习与识别方法。
【背景技术】
可靠的海洋监测能力，可以有效保障一个国家的海洋权益，同时也可利于海上救援、渔业管理及海上交通控制等任务的开展。而这其中的关键技术便是舰船精准识别技术。在实际的海洋监测中，舰船目标与载有成像雷达或光学遥感相机的卫星处于相对运动中，当某一舰船目标驶出当前星载雷达或相机的可视区域而进入另一星载或机载遥感设备的视野时，就需要完成多源舰船目标协同识别任务。
多源图像融合方法大体上可分为三类：像素级的融合、特征级的融合及决策集的融合。像素级融合需要首先对异源图像对进行配准，然后基于像素对图像进行融合；对于特征级融合，首先要从异源图像中提取各自的特征，然后对这些异源特征进行融合；对于决策集融合，则首先需要对各个源的数据进行单独分类，然后将其分类结果进行融合得到最终分类结果。在多源图像融合方面，像素级的融合需要异源的关于同一目标的配准图像，这在海洋目标识别问题中是很难获得的，而基于特征融合的方法虽然不一定需要配准的异源图像，但需要异源图像中的目标为同一物体，而在海洋目标识别问题中这类图像的获取代价也是十分巨大的。
传统的目标识别方法中，特征提取与分类这两部分是单独进行优化，导致提取到的特征不一定有利于后续的目标识别，即特征的判别性不足，使得目标识别准确率并不理想。
【发明内容】
本发明的目的是提供一种基于分层变分自编码的跨源舰船特征融合学习与识别方法，同时对目标图像的特征提取和特征分类进行优化，提升目标图像的识别准确率。
本发明采用以下技术方案：基于分层变分自编码的跨源舰船特征融合学习与识别方法，包括：
获取目标舰船的光学或合成孔径雷达待识别图像；
使用训练好的分层式变分自编码网络中的第一编码器提取待识别图像中的舰船类别间差异性特征及数据源间差异性特征；
使用训练好的分层式变分自编码网络中的第二编码器对舰船类别间差异性特征及数据源间差异性特征进行分析，确定待识别图像中的目标舰船的类别及待识别图像的数据源类别；
其中，分层式变分自编码网络为使用多组数据通过机器学习训练得出的，多组数据中的每组数据均包括舰船图像、表示该舰船图像的类别标签和该舰船图像数据源的标签。
进一步地，分层式变分自编码网络为两层变分自编码网络；
使用第一层变分自编码网络中的第一编码器提取待识别图像中不同的隐特征；
将不同的隐特征进行拼接组合，得到组合隐特征；
使用第二层变分自编码网络中的第二编码器对组合隐变量进行分析，得到待识别图像中的目标舰船的类别和数据源类别。
进一步地，第一层变分自编码网络由第一编码器和第一解码器组成；
第一编码器包括两层卷积网络，第一层卷积网络为1个卷积网络，第二层卷积网络为并列设置的4个卷积网络，且第一层的卷积网络分别和第二层的每个卷积网络相连；
第一解码器包括1个反卷积网络，反卷积网络用于将编码器得到的不同的隐特征进行拼接组合后对待识别图像进行重建，生成重建图像；
重建图像用于与待识别图像进行比对，以优化第一层变分自编码网络的网络参数。
进一步地，第二层变分自编码网络由第二编码器和第二解码器组成；
第二编码器包括并列设置的2个全连接网络；2个全连接网络用于根据组合隐特征生成待识别图像中的目标舰船的类别、及待识别图像的来源类别；
第二解码器包括3个全连接网络，3个全连接网络分别用于：
根据第二编码器得到的目标舰船的类别对对应的隐特征进行重构，得到重构后的隐特征；
根据第二编码器得到待识别图像的数据源类别对对应的隐特征进行重构，得到重构后的隐特征；以及
根据拼接组合后的目标舰船的类别和待识别图像的数据源类别对对应的隐特征进行重构，得到重构后的隐特征；
重构后的隐特征用于与重构前的隐特征进行比对，以优化第二层变分自编码网络的网络参数。
进一步地，分层式变分自编码网络的损失函数
为：
其中，
为输入图像的重构误差函数，x为训练图像集X中的图像，c1234表示“c1,c2,c3,c4”，q(c1234|x)、p(x|c1234)、q(c1|x)、p(c1)、q(c2|x)、p(c2|l)、q(c3|x)、p(c3|d)、q(c4|x)、p(c4|d,l)、q(c234|x)均服从高斯分布，α和β为权重，c1、c2、c3、c4分别为不同的隐特征，c234表示“c2,c3,c4”，d为图像数据源类别标签，l为图像中目标舰船的类别标签，γ为和θ为权重，q(d|c34)、p(d)、q(l|c24)、p(l)、q(d,l|c234)均服从Concrete分布，c34表示“c3,c4”，c24表示“c2,c4”。
本发明的有益效果是：本发明利用分层式变分自编码网络，从大量的无法配准的异源舰船目标图像中自动提取表示性/解释性与判别性兼具的结构化特征，实现跨源舰船特征融合学习，以及舰船目标的精准识别。
【附图说明】
图1为本发明实施例的流程图；
图2为本发明实施例中的分层变分自编码网络结构示意图；
图3为本发明实施例中隐特征c1生成效果图；
图4为本发明实施例中隐特征d生成效果图；
图5为本发明实施例中隐特征l生成效果图；
图6为本发明验证实施例的分类结果比较图。
【具体实施方式】
下面结合附图和具体实施方式对本发明进行详细说明。
本发明公开了一种基于分层变分自编码的跨源舰船特征融合学习与识别方法。在实际应用中，合成孔径雷达(Synthetic Aperture Radar，SAR)具有不受天气和光照等条件干扰、可连续监测海洋环境中的目标等优势，但其图像不宜被人眼判别；而采用被动式成像的光学遥感相机，尽管容易受云层、光照等条件干扰，但成像内容丰富，目标特征直观，故这两种异源图像均被广泛用于舰船目标识别任务中。光学图像可以提供丰富的关于目标外观方面(如颜色等)的频谱信息，SAR图像则可以很好的反映目标结构(如棱角等)信息，故两数据源信息存在互补性，如何能够对光学及SAR图像中的舰船目标进行融合学习与识别是亟待解决的难题。
在目标识别方面，传统的目标识别方法由两部分组成：特征提取器及分类器，特征提取器通常为人工设计，用于从原始传感器数据中提取如目标特征，而分类器则负责对这些特征进行分类，得到预测目标类别。这些方法在实施过程中，特征提取与分类这两部分单独进行优化。
随着深度学习的发展，判别式网络如深度卷积神经网络等被广泛应用于目标识别，其采用端到端的方法对特征提取器与分类器进行联合优化，目标识别准确率大大提高。但其特征由于为网络自动提取，相比于传统的手工提取方法存在可解释性差等缺陷，识别过程难以被人理解。
在特征融合学习方面，作为生成式模型的变分自编码网络(VariationalAutoEncoder，VAE)由于引入了可编辑的隐特征，使得特征的解释性加强，joint变分自编码(jointVAE)进一步实现了对类别标签等这类离散隐特征的学习。
单层的变分自编码网络假设隐特征各维度之间是相互独立的，而现实的情况很有可能是隐特征可以被分为几组，各组之间相互独立，但组内不独立，即关于目标的不同特征之间存在一定的依赖关系。因此采用单层的自编码网络并不能充分表示这种非独立现象，即网络的表示能力不足，同时这也限制了目标识别准确率的提升。
因此，本发明公开了一种基于分层变分自编码的跨源舰船特征融合学习与识别方法，属于深度学习和目标识别技术领域，跨源的多维异构目标观测数据分布于不同空间，这使得当前主流的用于单模态数据深度特征学习模型无法对异源目标找到对应的特征分布流形，本发明利用分层式变分自编码网络挖掘、分离异源数据间的共享特征及源特有特征和不同类别舰船间的共享特征及差异性特征，实现对异源舰船数据的融合学习与识别。
本发明方法如图1所示，具体包括：
获取目标舰船的光学或合成孔径雷达待识别图像；使用训练好的分层式变分自编码网络中的第一编码器提取待识别图像中的舰船类别间差异性特征及数据源间差异性特征；使用训练好的分层式变分自编码网络中的第二编码器对舰船类别间差异性特征及数据源间差异性特征进行分析，确定待识别图像中的目标舰船的类别及待识别图像的数据源类别；其中，分层式变分自编码网络为使用多组数据通过机器学习训练得出的，多组数据中的每组数据均包括舰船图像、表示该舰船图像的类别标签和该舰船图像数据源的标签。
通过本发明的分层式变分自编码网络，从大量的无法配准的异源舰船目标图像中自动提取表示性/解释性与判别性兼具的结构化特征，实现跨源舰船特征融合学习，以及舰船目标的精准识别。
另外，使用训练好的分层式变分自编码网络中的第二解码器及第一解码器，对舰船目标类别及改变后的图像数据源类别进行解义，还可以实现舰船图像的跨源生成。
在本实施例中，分层式变分自编码网络为两层变分自编码网络；使用第一层变分自编码网络中的第一编码器提取待识别图像中不同的隐特征；将不同的隐特征进行拼接组合，得到组合隐特征；使用第二层变分自编码网络中的第二编码器对组合因变量进行分析，得到待识别图像中的目标舰船的类别和数据源类别。
具体的，如图2所示，本实施例中变分自编码网络由编码器及解码器组成，编码器负责从输入图像中学习隐特征，隐特征是描述图像的高层语义，本发明认为图像的生成过程是由这部分隐特征控制的，例如，某个/些隐特征控制了目标舰船的类别，通过改变该隐特征便可改变图像中目标舰船的类别。而解码器则负责利用编码得到的隐特征来对输入图像进行重构或者基于输入图像生成新的图像，再利用重构或新的图像与原图像进行比较，进一步优化变分自编码网络的网络参数，使该网络的分类精度进一步提高。
作为一种可能的实现方式，第一层变分自编码网络由第一编码器和第一解码器组成；
第一编码器包括两层卷积网络，第一层卷积网络为1个卷积网络，第二层卷积网络为并列设置的4个卷积网络，且第一层的卷积网络分别和第二层的每个卷积网络相连。第一解码器包括1个反卷积网络，反卷积网络用于将编码器得到的不同的隐特征进行拼接组合后对待识别图像进行重建，生成重建图像；重建图像用于与待识别图像进行比对，以优化第一层变分自编码网络的网络参数。
第二层变分自编码网络由第二编码器和第二解码器组成；第二编码器包括并列设置的2个全连接网络；2个全连接网络用于根据组合隐特征生成待识别图像中的目标舰船的类别、及待识别图像的来源类别；第二解码器包括3个全连接网络，3个全连接网络分别用于：
根据第二编码器得到的目标舰船的类别对对应的隐特征进行重构，得到重构后的隐特征；根据第二编码器得到待识别图像的来源类别对对应的隐特征进行重构，得到重构后的隐特征；以及根据拼接组合后的目标舰船的类别和待识别图像的来源类别对对应的隐特征进行重构，得到重构后的隐特征。重构后的隐特征用于与重构前的隐特征进行比对，以优化第二层变分自编码网络的网络参数。
在本实施例中，为了试验发明的技术效果，如图1所示，利用分层式变分自编码网络，从异源舰船图像X(光学遥感图像及SAR图像)中学习四类特征：
1)不同图像数据源(光学、SAR)间的相似性特征(数据源间相似性特征)；
2)不同图像数据源间的差异性特征(即数据源间差异性特征)；
3)不同类别舰船间的相似性特征(即类别间相似性特征)；
4)不同类别舰船间的差异性特征(即类别间差异性特征)。
然后，利用数据源间的差异性特征对舰船图像的数据源类别进行识别，利用舰船类别间的差异性特征对舰船类别进行识别。
因此，为了对上述四类特征进行建模，利用第一层变分自编码网络完成从异源舰船图像X(光学及SAR)中提取四个隐特征c1、c2、c3、c4。其中，c1控制着一些与图像数据源及舰船类别均无关的隐特征，例如有两张舰船图片：一张为货船的SAR图片，一张为渔船的光学图片，但两张图中船的方向角是相同的，而c1便可为关于方向角的隐特征。类似的，c2表示与图像数据源无关但与舰船类别有关的隐特征，例如，渔船中均具有渔网，***都具有跑道等特征。c3表示与舰船类别无关但与图像数据源有关的隐特征，例如，SAR图像都有相干斑，光学图像会有云等特征。c4表示与图像数据源及舰船类别均有关的隐特征，例如，既具有相干斑且具有跑道的特征。
故上述的特征1)便可由隐特征c1、c2共同表征；特征2)可由隐特征c3、c4共同表征；特征3)可由隐特征c1、c3共同表征；特征4)可由隐特征c2、c4共同表征。
对于第二层变分自编码网络中，其负责完成从隐特征c1、c2、c3、c4到舰船类别标签l及图像数据源标签d的学习和识别。其中，舰船类别l从特征4)即隐特征c2、c4中推断出，而图像数据源d则从特征2)即隐特征c3、c4中推断出。
再具体的，在分层变分自编码网络训练中，SAR及光学舰船图像X输入网络后，首先经过第一层中共享的卷积网络，然后经过4个并行的卷积网络分别得到隐特征c1、c2、c3、c4各自的参数(μ，log(σ))，并利用重参数化(reparameterization)技巧得到各自的高斯分布
经过采样后分别得到隐特征c1、c2、c3、c4，其中，μ及σ分别为高斯分布的均值和标准差。
上述五个卷积网络组成第一层变分自编码网络的编码器，采样得到四个隐变量c1、c2、c3、c4后，利用concat操作将其拼接在一起并输入由反卷积网络组成的第一层自编码网络的解码器，对输入SAR及光学船只图像进行重建得到X'，通过X'和X进行比较计算，进行参数优化。
同时，在第二层变分自编码网络中，采样得到的c2和c4会被拼在一起并输入全连接网络得到舰船类别标签l的参数al，而c1和c3也会被拼在一起并输入到另外一全连接网络得到图像数据源标签d的参数ad。这两个全连接网络组成了第二层变分自编码网络的编码器。利用重参数化技巧分别由al及ad得到两个分布Concrete(al)及Concrete(ad)并从两个概率分布上采样得到l和d，然后分别输入两个全连接网络对隐特征进行重构得到c2'、c3'，为了对c4进行重构，首先将l和d拼在一起，然后输入全连接网络来得到c4'，这三个全连接网络组成了第二层变分自编码网络的解码器。
网络搭建完成后，还需要对网络进行参数优化。
网络整体的证据下界(Evidence Lower BOund,ELBO)为：
其中，为了简便，用c1234表示“c1,c2,c3,c4”，其余也类似，p(x|c1234)、q(c1|x)、p(c1)、q(c2|x)、p(c2|l)、q(c3|x)、p(c3|d)、q(c4|x)、p(c4|d,l)均服从高斯分布。设z服从高斯分布
则其概率密度函数为：
而q(d|c34)、p(d)、q(l|c24)、p(l)均服从Concrete分布，Concrete变量为单纯形离散变量的连续化松弛近似。n维Concrete随机变量y＝(y1,y2,...,yn)T满足：
y可通过如下过程采样得到：
其中，a＝(a1,a2,...,an)T为概率向量，满足ai≥0且
λ>0用于控制松弛度，当其趋向0时，Concrete变量将趋向于单纯形变量，gi为Gumbel分布的采样，即gi～Gumbel(0,1)。
若y～Concrete(a,λ)，则其概率密度函数为：
因此，本实施例中的分层式变分自编码网络的损失函数
为：
其中，
为输入图像的重构误差函数，x为训练图像集X中的图像，c1234表示“c1,c2,c3,c4”，q(c1234|x)、p(x|c1234)、q(c1|x)、p(c1)、q(c2|x)、p(c2|l)、q(c3|x)、p(c3|d)、q(c4|x)均服从高斯分布，α、β、γ和θ均为权重，c1、c2、c3、c4分别为不同的隐特征，c234表示“c2,c3,c4”，d为图像来源类别标签，l为图像中目标舰船的类别标签，q(d|c34)、p(d)、q(l|c24)、p(l)、p(c4|d,l)均服从Concrete分布，c34表示“c3,c4”，c24表示“c2,c4”。网络采用Adam优化器进行优化，参数设置为默认。
本发明采用基于分层变分自编码的跨源舰船特征融合学习与识别方法实现对光学及SAR舰船特征的融合及舰船目标的识别，引入分层的思想通过从原始异源舰船图像中提取不同数据源间的相似性和差异性特征及不同类别舰船间的相似性及差异性特征，实现了可解释的结构化特征的提取，并将此特征用于舰船目标的识别。
另外，通过利用跨源数据，该实施例不仅可以提取各个数据源中独有的具有判别性的舰船特征，还可以提取所有数据源共有的具有判别性的舰船特征，使得特征提取的更充分，因此，可以提高图像中舰船识别的准确率。
验证实施例：
为了进行验证，首先需要收集光学遥感及SAR舰船图像。本实施例中，SAR舰船图像取自上海交通大学公开的SAR舰船识别数据集OpenSARShip，首先对其中所有的单视复型影像(SLC)的VV和VH极化方式的图像进行求模运算得到模值图像，然后从其中选出宽和高均不超过32像素的图片，并通过在四周填充0，得到大小为32×32像素的图片。由于某些类别的舰船目标只有2张图片，故进行如下的样本扩充来扩大至原先的8倍：将每张图片旋转90°、180°、270°及水平翻转，最终得到了包含了11类舰船目标的共5840张SAR图像。具体信息如表1所示。
光学遥感舰船图像取自武汉大学公开的遥感目标舰船数据集DOTA中。首先将其中所有的“船”这一类目标图像裁剪出，然后从其中选出宽和高均不大于32像素的图片，并通过在四周填充0，得到大小为32×32像素的图片，最终得到了6087张无类别标签的光学舰船图像。具体信息如表1所示。
表1验证过程中所使用的数据集的基本信息
为了验证方法的有效性，对隐特征、l及d进行了生成验证，即每次只改变一个隐特征的某一维度的值而保持其他维度不变，来直观显示利用这些隐变量生成的图像效果。
图3显示了隐特征c1的生成效果，其中，每一行对应隐特征c1的一维元素。例如，首先将一张光学船只图像输入网络，通过编码得到长度为5的隐特征c1及其他隐特征c234。保持c1的后4维值不变，只改变第1维元素的值(如在区间[-5,5]中等间隔取11个值)，这样就可得到一些只有第1维元素取值不同的隐特征c1，将这些c1依次连同隐特征c234输入解码网络，生成各自对应的舰船图像，即对应于图3(a)中的第一行图像，其余各行与此类似。由图可知，对于光学和SAR图像，通过改变c1，其均可成功改变生成舰船图像的方向角、长度等特征，故网络确实可成功利用c1提取与数据源和舰船类别均无关的特征。
图4显示了d的生成效果，其生成过程如下：首先将舰船图像输入网络，通过编码得到隐特征c1、l及d，其中，d为长度为2的向量。将d的取值分别设置为[0,1]及[1,0]，从而得到两个不同的d，将两个d分别连同编码得到l输入到第二层变分自编码网络的由全连接层组成的解码器中，得到两组隐特征c234，然后再分别将两组c234连同编码得到的隐变量c1输入到第一层变分自编码网络由反卷积层组成的解码器中，得到两张舰船图像。
如图4所示，第1行为光学舰船图像的生成过程，第2行为SAR舰船图像的生成过程，第1-3列逐层显示了反卷积层的部分特征图。由图可知，从左到右，光学与SAR舰船图像的底层特征(第1列)是相似的，对底层特征进行不同的组合便可得到不同数据源的舰船图像，即通过改变d，确实可以实现舰船图像的跨源转换，故网络确实可成功提取不同数据源间的差异性特征。
图5显示了l的生成效果，其生成过程如下：首先将舰船图像输入网络，通过编码得到隐特征c1、l及d，其中l为长度为11的向量。然后依次将l中的某一个元素取值置为1而将其余元素设为0，这样共可得到11个不同的l，将11个l依次连同隐特征c1及d输入编码网络，生成11张舰船图像。图5中第1行为真实的11类不同舰船的SAR图像示例，第2行为通过改变l生成的不同类别的SAR舰船图像，通过比较可见，生成的各类舰船SAR舰船图像确实与真实的各类舰船SAR图像相似。故通过改变l，确实可以实现舰船图像的跨类别转换，故网络确实可成功提取不同类别舰船间的差异性特征。
为了验证方法的高效性，将本实施例(OSNet)与目前最先进的目标识别算法进行了对比。对于本实施例，为了确定参数α、β、γ、θ，通过网格搜索及交叉验证，确定当α＝0.1，β＝0.001，γ＝1.0，θ＝1.0时，网络在测试集上的舰船分类准确率5次平均值为94.74％。
如图6所示，利用K近邻(k-Nearest Neighbors,KNN)、基于主成分分析的支持向量机分类器(Principal Component Analysis-Support Vector Machine，PCA-SVM)、基于稀疏表示的分类器(Sparse Representations Classification，SRC)、深度卷积神经网络(Convolutional Neural Network，CNN)、VGG-16网络及joint变分自编码(jointVAE)在相同的SAR舰船数据上进行了试验，结果表明，在测试集上，本实施例的方法平均分类准确率可以比其它所有方法均至少高出8.5％，这充分说明了本实施例的方法在舰船目标识别方面的高效性。
通过上述验证可知，本发明采用基于分层变分自编码的跨源舰船特征融合学习与识别方法，通过引入分层的思想来自动提取可解释的四部分结构化特征：不同图像数据源间的相似性和差异性特征及不同类别舰船间的相似性特征和差异性特征，既增强了模型的表示能力与特征的可解释性，实现对光学及SAR舰船的特征融合，又使得特征的判别性尽可能完备，实现对舰船目标的精准识别。因为通过利用跨源数据，该发明不仅可以提取各个数据源中独有的具有判别性的舰船特征，还可以挖掘所有数据源共有的具有判别性的舰船特征，通过融合使得舰船特征的判别性更充分。
同时，该发明通过对异源舰船特征的融合学习，将数据源间差异性特征的分离，可实现异源舰船图像之间的跨源生成。此外，该发明对异源舰船图像的融合属于特征级的融合，既不需要配准的异源图像对，也不需要异源图像中的舰船目标为同一物体，这极大地扩大了该发明的适用范围。
本发明采用分层(两层)的变分自编码网络，利用四个隐特征c1、c2、c3、c4来对不同图像数据源间的相似性和差异性特征及不同类别舰船间的相似性及差异性特征进行建模，使得网络提取的特征表示性/解释性更强。其中，c1控制着一些与图像数据源及舰船类别均无关的隐特征，例如有两张舰船图片：一张为货船的SAR图片，一张为渔船的可见光图片，但两张图中船的方向角是相同的，而c1便可为关于方向角的隐特征；类似的，c2表示与图像数据源无关但与舰船类别有关的隐特征；c3表示与舰船类别无关但与图像数据源有关的隐特征；c4表示与图像数据源及舰船类别均有关的隐特征。故不同图像数据源间的相似性特征便可由隐特征c1、c2共同表征，不同图像数据源间的差异性特征可由隐特征c3、c4共同表征，不同类别舰船目标间相似性特征可由隐特征c1、c3共同表征，不同类别舰船目标间的差异性特征可由隐特征c2、c4共同表征。
本发明通过提取表示性与判别性兼具的舰船特征，可实现舰船图像跨源生成与目标识别一体化。即通过不同数据源间差异性特征的分离，对于给定的光学/SAR舰船图像，利用本发明可以估计出其对应的SAR/光学图像，实现跨源生成。同时，该发明不仅可以提取各个数据源中独有的具有判别性的舰船特征，还可以挖掘所有数据源共有的具有判别性的舰船特征，通过融合使得舰船特征的判别性更充分，故可对舰船图像进行精准识别。
Claims (5)
1.基于分层变分自编码的跨源舰船特征融合学习与识别方法，其特征在于，包括：
获取目标舰船的光学或合成孔径雷达待识别图像；
使用训练好的分层式变分自编码网络中的第一编码器提取所述待识别图像中的舰船类别间差异性特征及数据源间差异性特征；
使用训练好的分层式变分自编码网络中的第二编码器对所述舰船类别间差异性特征及数据源间差异性特征进行分析，确定所述待识别图像中的目标舰船的类别及待识别图像的数据源类别；
其中，所述分层式变分自编码网络为使用多组数据通过机器学习训练得出的，所述多组数据中的每组数据均包括舰船图像、表示该舰船图像的类别标签和该舰船图像数据源的标签。
2.如权利要求1所述的基于分层变分自编码的跨源舰船特征融合学习与识别方法，其特征在于，所述分层式变分自编码网络为两层变分自编码网络；
使用第一层变分自编码网络中的第一编码器提取所述待识别图像中不同的隐特征；
将所述不同的隐特征进行拼接组合，得到组合隐特征；
使用第二层变分自编码网络中的第二编码器对所述组合隐变量进行分析，得到所述待识别图像中的目标舰船的类别和数据源类别。
3.如权利要求1所述的基于分层变分自编码的跨源舰船特征融合学习与识别方法，其特征在于，第一层变分自编码网络由第一编码器和第一解码器组成；
所述第一编码器包括两层卷积网络，第一层所述卷积网络为1个卷积网络，第二层卷积网络为并列设置的4个卷积网络，且第一层的卷积网络分别和第二层的每个卷积网络相连；
所述第一解码器包括1个反卷积网络，所述反卷积网络用于将编码器得到的不同的隐特征进行拼接组合后对所述待识别图像进行重建，生成重建图像；
所述重建图像用于与待识别图像进行比对，以优化所述第一层变分自编码网络的网络参数。
4.如权利要求3所述的基于分层变分自编码的跨源舰船特征融合学习与识别方法，其特征在于，所述第二层变分自编码网络由第二编码器和第二解码器组成；
所述第二编码器包括并列设置的2个全连接网络；2个所述全连接网络用于根据所述组合隐特征生成所述待识别图像中的目标舰船的类别、及待识别图像的数据源类别；
所述第二解码器包括3个全连接网络，所述3个全连接网络分别用于：
根据第二编码器得到的目标舰船的类别对对应的隐特征进行重构，得到重构后的隐特征；
根据第二编码器得到待识别图像的数据源类别对对应的隐特征进行重构，得到重构后的隐特征；以及
根据拼接组合后的所述目标舰船的类别和待识别图像的数据源类别对对应的隐特征进行重构，得到重构后的隐特征；
所述重构后的隐特征用于与重构前的隐特征进行比对，以优化所述第二层变分自编码网络的网络参数。
5.如权利要求2或3或4所述的基于分层变分自编码的跨源舰船特征融合学习与识别方法，其特征在于，所述分层式变分自编码网络的损失函数l为：
其中，
为输入图像的重构误差函数，x为训练图像集X中的图像，c1234表示“c1,c2,c3,c4”，q(c1234|x)、p(x|c1234)、q(c1|x)、p(c1)、q(c2|x)、p(c2|l)、q(c3|x)、p(c3|d)、q(c4|x)、p(c4|d,l)、q(c234|x)均服从高斯分布，α和β为权重，c1、c2、c3、c4分别为不同的隐特征，c234表示“c2,c3,c4”，d为图像来源类别标签，l为图像中目标舰船的类别标签，γ为权重，θ为权重，q(d|c34)、p(d)、q(l|c24)、p(l)、q(d,l|c234)均服从Concrete分布，c34表示“c3,c4”，c24表示“c2,c4”。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010063845.0A CN111291639B (zh) | 2020-01-20 | 2020-01-20 | 基于分层变分自编码的跨源舰船特征融合学习与识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010063845.0A CN111291639B (zh) | 2020-01-20 | 2020-01-20 | 基于分层变分自编码的跨源舰船特征融合学习与识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111291639A true CN111291639A (zh) | 2020-06-16 |
| CN111291639B CN111291639B (zh) | 2023-05-16 |
Family
ID=71026877
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010063845.0A Active CN111291639B (zh) | 2020-01-20 | 2020-01-20 | 基于分层变分自编码的跨源舰船特征融合学习与识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111291639B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111753786A (zh) * | 2020-06-30 | 2020-10-09 | 中国矿业大学 | 一种基于全尺度特征融合和轻量级生成式对抗网络的行人重识别方法 |
| CN112926505A (zh) * | 2021-03-24 | 2021-06-08 | 重庆大学 | 基于dtc-vae神经网络的旋转机械健康指标构建方法 |
| CN113111706A (zh) * | 2021-03-04 | 2021-07-13 | 西北工业大学 | 一种面向方位角连续缺失的sar目标特征解缠与识别方法 |
| CN113516056A (zh) * | 2021-06-15 | 2021-10-19 | 电子科技大学 | 一种sar图像中舰船目标航向估计的方法 |
| CN114266977A (zh) * | 2021-12-27 | 2022-04-01 | 青岛澎湃海洋探索技术有限公司 | 基于超分辨可选择网络的多auv的水下目标识别方法 |
| CN114332636A (zh) * | 2022-03-14 | 2022-04-12 | 北京化工大学 | 极化sar建筑物区域提取方法、设备和介质 |
| CN115034257A (zh) * | 2022-05-09 | 2022-09-09 | 西北工业大学 | 一种基于特征融合的跨模态信息目标识别方法及装置 |
| CN115630288A (zh) * | 2022-12-20 | 2023-01-20 | 中国电子科技集团公司第十四研究所 | 一种多源特征多层次综合识别处理架构 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170200265A1 (en) * | 2016-01-11 | 2017-07-13 | Kla-Tencor Corporation | Generating simulated output for a specimen |
| WO2018209932A1 (zh) * | 2017-05-17 | 2018-11-22 | 清华大学 | 多量化深度二值特征学习方法及装置 |
| CN110610207A (zh) * | 2019-09-10 | 2019-12-24 | 重庆邮电大学 | 一种基于迁移学习的小样本sar图像舰船分类方法 |
-
2020
- 2020-01-20 CN CN202010063845.0A patent/CN111291639B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170200265A1 (en) * | 2016-01-11 | 2017-07-13 | Kla-Tencor Corporation | Generating simulated output for a specimen |
| WO2018209932A1 (zh) * | 2017-05-17 | 2018-11-22 | 清华大学 | 多量化深度二值特征学习方法及装置 |
| CN110610207A (zh) * | 2019-09-10 | 2019-12-24 | 重庆邮电大学 | 一种基于迁移学习的小样本sar图像舰船分类方法 |
Non-Patent Citations (2)
| Title |
|---|
| 闵雷;杨平;许冰;刘永;: "变分贝叶斯框架中的多帧图像盲超分辨" * |
| 马啸;邵利民;金鑫;徐冠雷;: "舰船目标识别技术研究进展" * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111753786A (zh) * | 2020-06-30 | 2020-10-09 | 中国矿业大学 | 一种基于全尺度特征融合和轻量级生成式对抗网络的行人重识别方法 |
| CN113111706A (zh) * | 2021-03-04 | 2021-07-13 | 西北工业大学 | 一种面向方位角连续缺失的sar目标特征解缠与识别方法 |
| CN113111706B (zh) * | 2021-03-04 | 2024-02-02 | 西北工业大学 | 一种面向方位角连续缺失的sar目标特征解缠与识别方法 |
| CN112926505A (zh) * | 2021-03-24 | 2021-06-08 | 重庆大学 | 基于dtc-vae神经网络的旋转机械健康指标构建方法 |
| CN113516056A (zh) * | 2021-06-15 | 2021-10-19 | 电子科技大学 | 一种sar图像中舰船目标航向估计的方法 |
| CN114266977A (zh) * | 2021-12-27 | 2022-04-01 | 青岛澎湃海洋探索技术有限公司 | 基于超分辨可选择网络的多auv的水下目标识别方法 |
| CN114332636A (zh) * | 2022-03-14 | 2022-04-12 | 北京化工大学 | 极化sar建筑物区域提取方法、设备和介质 |
| CN115034257A (zh) * | 2022-05-09 | 2022-09-09 | 西北工业大学 | 一种基于特征融合的跨模态信息目标识别方法及装置 |
| CN115630288A (zh) * | 2022-12-20 | 2023-01-20 | 中国电子科技集团公司第十四研究所 | 一种多源特征多层次综合识别处理架构 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111291639B (zh) | 2023-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111291639B (zh) | 基于分层变分自编码的跨源舰船特征融合学习与识别方法 | |
| CN107609601A (zh) | 一种基于多层卷积神经网络的舰船目标识别方法 | |
| CN102507592B (zh) | 表面缺陷仿蝇视觉在线检测装置及检测方法 | |
| Nussbaum et al. | Object-based image analysis and treaty verification: new approaches in remote sensing-applied to nuclear facilities in Iran | |
| CN109934163A (zh) | 一种基于场景先验和特征再融合的航空图像车辆检测方法 | |
| CN109146831A (zh) | 基于双支深度学习网络的遥感图像融合方法及*** | |
| CN114758081A (zh) | 基于神经辐射场的行人重识别三维数据集构建方法和装置 | |
| CN115690479A (zh) | 一种基于卷积Transformer的遥感图像分类方法及*** | |
| Lu et al. | P_SegNet and NP_SegNet: New neural network architectures for cloud recognition of remote sensing images | |
| CN113538347B (zh) | 基于高效双向路径聚合注意力网络的图像检测方法及*** | |
| CN115713679A (zh) | 基于多源信息融合、热红外和三维深度图的目标检测方法 | |
| CN115035361A (zh) | 基于注意力机制和特征交叉融合的目标检测方法及*** | |
| CN109977968A (zh) | 一种深度学习分类后比较的sar变化检测方法 | |
| CN112287983A (zh) | 一种基于深度学习的遥感图像目标提取***和方法 | |
| Baraldi | Fuzzification of a crisp near-real-time operational automatic spectral-rule-based decision-tree preliminary classifier of multisource multispectral remotely sensed images | |
| CN116485867A (zh) | 一种面向自动驾驶的结构化场景深度估计方法 | |
| Patil et al. | Semantic segmentation of satellite images using modified U-Net | |
| CN114943902A (zh) | 基于多尺度特征感知网络的城市植被无人机遥感分类方法 | |
| Chai et al. | Enhanced Cascade R-CNN for Multi-scale Object Detection in Dense Scenes from SAR Images | |
| CN115861756A (zh) | 基于级联组合网络的大地背景小目标识别方法 | |
| CN113971760B (zh) | 基于深度学习的高质量准稠密互补特征提取方法 | |
| Saxena et al. | An Optimized Technique for Image Classification Using Deep Learning | |
| Liu et al. | Underwater image saliency detection via attention-based mechanism | |
| Liu et al. | Peaks fusion assisted early-stopping strategy for overhead imagery segmentation with noisy labels | |
| Papadopoulos et al. | Modelling of material ageing with generative adversarial networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |