CN101894275A - 一种弱监督的sar图像分类方法 - Google Patents

Abstract

本发明提供一种弱监督的SAR图像分类方法，这种技术方案能同时利用图像的数据信息，图像与图像之间的相关性息和图像在多个尺度上的相关信息，因而很好的克服了SAR图像分类中的一些局部不确定性问题。另一封面，该方法可以从少量的弱信息，即从关键词标注的训练数据中学习SAR图像的分类模型，可以大幅度的减少获取精确训练数据的难度。

Description

一种弱监督的SAR图像分类方法

技术领域

本发明涉及图像分类领域，更具体地涉及一种弱监督的SAR图像分类方法。

背景技术

在过去的十年内，我们目睹了大量的星载和机载SAR***的诞生和发展。大量的高分辨率SAR图像可以被用来支持精确的地表观测和制图应用。然而，如何利用计算机有效的处理这些大量的数据仍然是一个未被解决的难题。现有的很多SAR图像分类算法都需要精确的手动标注数据来进行训练，这些方法往往需要大量的人力物力，并且很难扩展到新的数据，新的类别和新的应用中。

语义模型最初是用来描述和分析文本的产生过程。语义模型采用多个(K个)“隐变量”或者“主题”，来描述文本和单词之间的关系。在很多应用中，这些语义变量是通过一些诸如聚类的非监督方法获得的。在图像处理应用中，文本则变成了图像或者子图像，单词则变成了“视觉单词”，也就是局部特征的聚类量化中心。通常这些“视觉单词”是通过一些像K-means的聚类算法对图像中的局部特征进行聚类获得的。尽管子图像级的语义信息被引入，单一尺度上的特征表示对高分辨率SAR图像分类任务来说仍然是不够的。多尺度信息可以有效的解决一些局部的分类歧义并且可以在较大的尺度上传播这种语义信息。

虽然SAR图像监督分类算法可以取得不错的分类效果。但是在实际应用中，人们往往发现获取真实的全标注训练数据是非常困难的。因此，研究一个可以直接从关键词标注的训练数据中学习的弱监督SAR图像分类算法是很有必要的。

发明内容

本发明目的是针对现有图像分类技术的不足和缺陷，提出了一种弱监督的SAR图像分类方法。

本发明提供的弱监督SAR图像分类方法包括以下具体步骤：

步骤1，分割图像，即先将SAR图像分割成多个子图像，然后将各子图像格网划分成互不重叠的矩形区域；

步骤2，建树，即将每个矩形区域采用一个建立在多尺度信息上的局部四叉树描述，局部四叉树的叶子节点为矩形区域中的一个图像块；

步骤3，建模，即通过建立分级的马尔科夫主题模型，一个子图像中的所有矩形区域被它们共享的语义模型联系在一起，这些语义模型将子图像作为一个整体来描述其地物分类概率；步骤4，训练与推理，即根据对步骤1中所得的子图像中一部分的预先关键词标注，基于步骤3构建的分级马尔科夫主题模型进行学习训练，然后用训练后所得分级马尔科夫主题模型对剩下的子图像进行语义标注。

本发明技术方案能同时利用图像的数据信息，图像与图像之间的相关性息和图像在多个尺度上的相关信息，因而很好的克服了SAR图像分类中的一些局部不确定性问题。另一方面，该方法可以从少量的弱信息，即从关键词标注的训练数据中学习SAR图像的分类模型，可以大幅度的减少获取精确训练数据的难度。

附图说明

图1为实施例的弱监督SAR图像分类流程。

图2为实施例的TerraSAR-X图像分类精度随训练数据比例变化而变化的曲线图。

具体实施方式

下面对弱监督的SAR图像分类方法的基本原理和相关概念加以说明。

(1)语义模型

语义模型最初是用来描述和分析文本的产生过程。语义模型采用多个(K个)“隐变量”或者“主题”，z＝{1，...，K}，来描述文本和单词之间的关系。在很多应用中，这些语义变量是通过一些诸如聚类的非监督方法获得的。这里，我们通过将这些隐变量和地物场景类别的等价使得我们可以以一种监督的方式来训练语义模型。令D＝{d₁，...，d_N}为文本集合，则基本的语义模型假设每一个文本d_i中的每一个词语w_j都拥有一个关联的隐语义模型z_j，而且此文本可以通过从一个文本相关的混合分布P(z|d_i)中采样隐语义变量z_j，又从这些隐语义变量z_j和单词之间的概率分布P(w|z)中采样每一个单词来产生整个文本。基于此，每个文本都可以被看做是一组从下式中采样而来的，词与词之间相互独立的单词包：

$P\left(w_j\right|d_i)=\underset{z=1}{\overset{K}{\mathrm{\Σ}}}P\left(w_j\right|z)P\left(z\right|d_i)$

于是，整个文本集合产生的概率可以被描述为：

$\log P\left(D\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{w=1}{\overset{V}{\mathrm{\Σ}}}{n}_{\mathrm{wi}}\log \underset{z=1}{\overset{K}{\mathrm{\Σ}}}P\left(w\right|z)P\left(z\right|d_i)$

其中，n_wi是单词w在文本d_i中出现的频率，V是整个词典的大小。

文本和隐语义标号之间的产生概率P(z|d)对于每个输入的文本都要进行估计。在最基本的概率隐语义模型中(Probabilisic Latent Semantic Aspect，PLSA)中，这些参数的估计没有任何约束。然而，其Bayesian扩展Latent Di richlet Allocation(LDA)则在被估计的参数中加入了Dirichlet分布的先验知识。Dirichlet先验促使语义模型具有更加稀疏的参数从而获得更加明确的分类结果。实际应用中，除了在训练数据很少的情形下，PLSA往往获得和LDA差不多的效果。但LDA的运算量却远远大于PLSA。因此，本文选用PLSA来对SAR图像进行分类。

PLSA可以通过期望最大化算法(Expectation Maximization，EM)来训练。整个训练分为不断迭代的两步：期望估计：

P(z|w，d_i)∝P(w|z)P(z|d_i)

对P(w|z)和P(z|d_i)的重新估计(M步)。给定P(z|d_i)，M步的估计如下：

$P\left(w\right|z)\∝\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{n}_{\mathrm{wi}}P\left(z\right|w,d_i)$

$P\left(z\right|d_i)\∝\underset{w=1}{\overset{V}{\mathrm{\Σ}}}{n}_{\mathrm{wi}}P\left(z\right|w,d_i)$

上述三式的估计每次都须进行归一化。EM算法同样用在PLSA对于新文本的推理过程中，通过不断的迭代估计P(z|w，d)和P(z|d)，而P(w|z)却始终保持为训练所得的值。

(2)基于四叉树的分级马尔科夫模型

我们的四叉树描述和Laferte等的四叉树描述非常类似。其中树的最底层是由一些大小为S*S个像素的图像块组成的网格。在四叉树的每一层中，每2*2个非重叠的“儿子”图像块合并为一个“父亲”图像块，整个过程持续到整个树具有L+1个层。“L”同时表示最精细的一层，而“0”则表示最粗糙的一层。每一个层次的图像块都被重新下采到S*S个像素大小的图像块并单独提取图像特征。同时，每一层的图像特征都单独进行量化。总之，一副SAR图像分割成多个子图像，一个子图像分成多个矩形区域，一个矩形区域分为多个图像块，具体实施时分割数目根据实际情况而定。

令B表示四叉树中的所有节点，给定一个特定的节点b∈B，其父节点如果存在则被表示为b^-，同样其四个子节点集合如果存在被表示为b⁺。d(b)被用来表示包括b以及b的所有“后代”，并且

表示所有其它的节点集合。同时令y表示四叉树中的观察数据，也就是量化后的视觉单词，x表示一个对应的未知类别标号。

具备了上面的符号定义，我们定义一个具有如下形式的分级马尔科夫模型：

$P\left(x\right)={\mathrm{\Π}}_{b\∈B}P\left(x_b\right|x_{b^{-}})$

P(y|x)＝∏_b∈BP(y_b|x_b)

其中，传递概率是一个被整个四叉树共享的自由参数。下文中，我们将概率

约束为一个Potts模型并利用隐语义模型来帮助学习P(y_b|x_b)。

关于标号x的推理则采用标准的树结构信息传播算法，这一算法通过连接上下的信息通道来为每一个节点推理其边缘概率P(x_b|y)。因为

所以有：

$P\left(x_{b^{-}}\right|y)\∝P\left(y\right|x_{b^{-}})P\left(x_{b^{-}}\right)$

$P(x_b,x_{b^{-}}|y)\∝P\left(y\right|x_b,x_{b^{-}})P\left(x_b\right|x_{b^{-}})P\left(x_{b^{-}}\right)$

同时因为知道了x_b或者

就可以将y分解为在x_b节点的项和位于x_b下的一项，

$P\left(y\right|x_{b^{-}})=P\left(y_{d\left(b\right)}\right|x_{b^{-}})P\left(y_{\stackrel{\‾}{d}\left(b\right)}\right|x_{b^{-}})$

$P\left(y\right|x_b,x_{b^{-}})=P\left(y_{d\left(b\right)}\right|x_b)P\left(y_{\stackrel{\‾}{d}\left(b\right)}\right|x_{b^{-}})$

通过上式的分解方式，P(y_d(b)|x_b)可以通过一个自底向上的迭代方式来定义：

$P\left(y_{d\left(b\right)}\right|x_b)=P\left(y_b\right|x_b){\mathrm{\Π}}_{c\∈b^{+}}P\left(y_{d\left(c\right)}\right|x_b)$

这里的来自“儿子”节点传向“父亲”节点的消息定义为

$P\left(y_{d\left(c\right)}\right|x_b)={\mathrm{\Σ}}_{x_c}P\left(y_{d\left(c\right)}\right|x_c)P\left(x_c\right|x_b)$

在上面的节点中，这步允许我们去计算P(y|x₀)，因此有P(x₀|y)∝P(y|x₀)P(x₀)。可以得到：

$P\left(y_{\stackrel{\‾}{d}\left(b\right)}\right|x_{b^{-}})P\left(x_{b^{-}}\right)=\frac{P\left(y\right|x_{b^{-}})P\left(x_{b^{-}}\right)}{P\left(y_{d\left(b\right)}\right|x_{b^{-}})}\∝\frac{P\left(x_{b^{-}}\right|y)}{P\left(y_{d\left(b\right)}\right|x_{b^{-}})}$

同样，我们可以得到：

$P\left(x_b\right|y)\∝{\mathrm{\Σ}}_{x_{b^{-}}}P(x_b,x_{b^{-}}|y)$

$\∝P\left(y_{d\left(b\right)}\right|x_b){\mathrm{\Σ}}_{x_{b^{-}}}\frac{P\left(x_{b^{-}}\right|y)}{y_{d\left(b\right)}|x_{b^{-}}}P\left(x_b\right|x_{b^{-}})$

基于上文的分析，不难发现消息的下传播可以保证P(x_b|y)被精确计算。需要注意的是我们需要将向上传播的信息和向下传播的消息

分开，以免重复计算y_d(b)的影响。

(3)分级马尔科夫语义模型

我们将隐语义模型的框架应用到上述的分级马尔科夫模型中。文本变成了子图像，单词w变成了y，并且隐变量z变成了节点标号x。每一个文本d关联一个隐变量的概率分布P(x|d)，这一分布可以被看成顶点x_b的一个子图像级的先验信息，这一信息和四叉树中的先验信息具有很强的互补性。具体的来讲，加入这一图像级的先验就是将数据项P(y_b|x_b)转换为P(y_b|x_b)P(x_b|d)。通过如上的调整，四叉树中的推理可以继续使用上节中所描述的信息传播算法。在EM算法中，给定当前子图像中的概率分布模型P(x|d)和总的特征分布P_l(y|x)(每一层对应一个单独的分布)，则局部的后验概率如下：

$P\left(x_b\right|y_b,d)=\frac{P(y_b,x_b|d)}{P\left(y_b\right|d)}=\frac{P\left(y_b\right|x_b)}{{\mathrm{\Σ}}_{{x_b}^{\′}}{P}_l\left(y_b\right|{x_b}^{\′})P\left({x_b}^{\′}\right|d)}$

同时，利用四叉树中的推理算法来推理相应的后验概率P(x_b|y，d)(E步)。然后，我们利用这些后验概率来重新估计概率分布P(x|d)和P_l(y|x)(M步)。最终的叶子节点的后验概率P(x_b|y，d)可以被用来做地物场景分类。为了加快整个模型的收敛速度，在整个四叉树推理之前，我们首先在树的每一层分别运行单层的隐语义模型推理，然后以此结果对分层马尔科夫语义模型进行初始化。

总之，分层马尔科夫语义模型中的局部标号x_b受如下三方面信息的影响：(1)局部观察数据y_b；(2)x_b所在四叉树内部的其他观察数据y_B\b(多尺度信息，通过马尔科夫传播)；(3)x_b所在子图像中所有数据的分布，通过EM算法来使得推理出来的标号尽量和本图像中的内容相一致。

基于以上原理和概念，本发明提供了一幅TERRASAR-X图像的弱监督分类方法实例的具体流程以供实施参考。

实验数据集合是建立在一整幅TerraSAR-X图像(48189*25255像素)上，该图像是2008年05月24日对中国广东佛山及其周边区域成像获得，图像分辨率为3米*3米。图像的真实标号是人工根据光学图像信息和相关的地理信息手动标注获得。图像的像素被标为四个语义类别或者“其他”类别。这四个类别分别为建筑区，林地，耕地，和水域。不属于这四类的像素和位于类别边界的像素被标注为“其他”类别，这类处理主要是为了方便人工手动标注。全图大约有13％的像素被标注为“其他”类别。这些像素不参与训练和测试。

参见图1，具体步骤如下：

(1)图像被切割成大小为800*800没有重叠的子图像，子图像再网格划分，分块成20*20，计算其特征向量，构建词典，然后计算其“bag of feature”即词袋表示；词袋表示中，实施例利用多个特征进行测试(包括灰度共生矩阵、GABOR滤波器、高斯马尔科夫场模型和局部直方图)，以便比较鲁棒性。

(2)挑选一部分子图像，这些子图像需要包含所分的所有类，用这些子图像训练分级马尔科夫主题模型，训练模型时，四叉树的层数设为3层，四叉树的最底层选取20*20像素的图像块，其它层的图像块也被下采样到这一大小；

(3)用刚才训练得到的分级马尔科夫主题模型对剩下的子图像进行语义标注。

在图像中选取不同比例的数据用来训练分级马尔科夫主题模型，得到不同的分类精度，如图2，横坐标为训练数据占所有数据的比例，纵坐标为分类的平均精度。然后就可以将测试数据利用分级马尔科夫主题模型进行模型推理，得到分类结果。

实验中在不同的特征下，选取了不同的分类方法与本发明中提供的弱监督分类方法比较性能，结果见表1。

表1：不同分类器利用不同特征的SAR图像分类结果(％)。

特征\分类方法	支持向量机	像素级标注的马尔科夫主题模型	关键词标注的马尔科夫主题模型	分级的像素级标注马尔科夫主题模型	分级的关键词标注马尔科夫主题模型
						灰度共生矩阵	64.5	70.3	69.1	73.4	71.9
GABOR滤波器	65.8	71.1	69.5	74.9	73.5
						高斯马尔科夫场模型	69.1	74.8	74.5	78.7	77.6
直方图	70.3	82.7	81.0	85.3	84.1

表2：本发明中提供的弱监督分类方法分别在不同类别上的分类精度(％)。

分类正确率	建筑区	林地	农田	水域
					建筑区	84.6	6.5	4.4	4.5
林地	20.0	63.7	13.1	3.0
					农田	8.0	6.6	83.4	2.0
水域	7.5	1.4	3.0	88.2

表3：不同模型的训练和测试速度。

方法	训练时间(秒/子图像)	测试时间(秒/子图像)
			最大似然方法支持向量机像素级标注的马尔科夫主题模型关键词标注的马尔科夫主题模型分级的像素级标注马尔科夫主题模型分级的关键词标注马尔科夫主题模型	-15-＜0.1＜0.050.3	＜0.01＜0.01＜0.1＜0.10.30.3

通过列表数据可知，本发明中提供的弱监督分类方法与现有技术比较，分类精度更高。

Claims (1)

1.一种弱监督的SAR图像分类方法，其特征是包括以下步骤：

步骤1，分割图像，即先将SAR图像分割成多个子图像，然后将各子图像格网划分成互不重叠的矩形区域；

步骤2，建树，即将每个矩形区域采用一个建立在多尺度信息上的局部四叉树描述，局部四叉树的叶子节点为矩形区域中的一个图像块；

步骤3，建模，即通过建立分级的马尔科夫主题模型，一个子图像中的所有矩形区域被它们共享的语义模型联系在一起，这些语义模型将子图像作为一个整体来描述其地物分类概率；步骤4，训练与推理，即根据对步骤1中所得的子图像中一部分的预先关键词标注，基于步骤3构建的分级马尔科夫主题模型进行学习训练，然后用训练后所得分级马尔科夫主题模型对剩下的子图像进行语义标注。

Images