CN106096622A - 半监督的高光谱遥感图像分类标注方法 - Google Patents

Abstract

针对高光谱遥感图像分类标注问题，本发明公开了一种半监督的高光谱遥感图像分类标注方法，该方法包括：通过人工样本采集获得少量已标注训练样本(含类别标注真值)、大量未标注训练样本和测试样本；通过直推式支持向量机构造条件随机场的关联势函数；通过改进的Potts模型构造条件随机场的交互势函数；通过遗传算法对条件随机场模型进行训练；通过训练得到的条件随机场模型对测试样本进行推断，获得其分类标注结果。本发明所得到的高光谱遥感图像分类标注结果相比于单独使用条件随机场算法或直推式支持向量机的分类标注结果，去掉了大量的孤立噪声点，具有较好的区域连续性且精度较高。

Description

半监督的高光谱遥感图像分类标注方法

技术领域

本发明属于图像处理和模式识别技术领域，尤其涉及一种半监督的高光谱遥感图像分类标注方法。

背景技术

随着遥感成像传感器的快速发展，高光谱遥感成像已经逐步成为人类探索地球的一种重要手段。大量高光谱遥感图像的有效获取，展示了人类获取遥感数据的能力，为科学研究的发展提供了完备的信息资源，同时也为高光谱遥感图像处理技术提出了更高的要求。

在遥感领域中，高光谱图像分类标注是遥感图像处理技术中最基本的问题之一，也是图像分析和解译的基础。分类标注结果应用到后续的遥感图像处理技术中，其好坏会对分析结果产生根本的影响。另外，高光谱遥感图像分类标注技术已经广泛渗入到各个地区和各种业务部门，应用研究领域涉及的领域广、类型多且作用大。例如，在测绘方面，高光谱遥感图像分类可应用于专业地图的制作、城市规划以及交通规划等；在农业方面，可应用于自然灾害预报和大气气象预测等；在资源方面，可应用于自然资源调查、土地和森林覆盖调查等；在军事方面，可以用于典型背景的确定，作为目标检测、识别的先验条件。不断高涨的应用需求正推动着高光谱遥感图像分类标注技术向高性能、高精度的方向发展。因此，高光谱遥感图像分类标注已经成为遥感领域中的研究热点。

高光谱遥感图像分类标注是将高光谱遥感图像中的所有像素按照某种属性分为若干类别的过程，其结果受到诸多因素影响，其中设计合适的分类算法尤为重要。通常情况下，监督算法在解决高光谱遥感图像分类标注问题时表现优异，例如支持向量机、条件随机场等。其中，条件随机场在近几年的高光谱遥感图像分类标注中备受关注。它是一种判别式的概率无向图模型，由关联势函数和交互势函数构成，并易于通过交互势函数引入空间信息，因此能够较好地解决遥感图像分类标注问题。但作为监督模型，条件随机场的性能需要大量的标注训练样本作为保障，然而样本的标注工作需要消耗大量人力，大多数情况下需要专业研究人员的工作。但是，如果已标注样本数量不足，则无法有效估计条件随机场模型参数，这使得条件随机场在少量标注训练样本条件下的遥感图像分类标注的应用受到限制。

发明内容

(1)发明目的：有鉴于此，本发明期望提供一种半监督的高光谱遥感图像分类标注方法，以解决在少量标注训练样本条件下的高光谱遥感图像分类标注等技术问题。

(2)技术方案：本发明实施例提供了一种半监督的高光谱遥感图像分类标注方法，应用于包含两种及以上地物类别的高光谱遥感图像，所述方法包括：

通过直推式支持向量机构造条件随机场的关联势函数；

通过改进的Potts模型构造条件随机场的交互势函数；

通过遗传算法对条件随机场模型进行训练；

通过训练得到的条件随机场模型对测试样本进行推断，获得分类标注结果。

上述方案中，所述通过直推式支持向量机构造条件随机场的关联势函数的步骤包括：

根据预设已标注样本惩罚因子C、未标注样本惩罚因子C'，及训练样本，采用一对一策略，训练多组不同类别对对应的两类直推式支持向量机，所述训练样本包含已标注训练样本集及其类别标注集和未标注训练样本集公式为：

其中，y'_j为未标注样本x'_j对应的待估计标签，在模型训练中获得；K(x_i,X)＝[K(x_i,x₁),…,K(x_i,x_n)]^T为样本x_i对应的核函数矩阵；X＝{X_l,X_u}为全部样本集；K为核函数；K(x'_j,X)＝[K(x'_j,x₁),…,K(x'_j,x_n)]^T为样本x'_j对应的核函数矩阵；θ＝{ω,b,ε,ε'}为待求解的模型参数，且有ω＝[ω₁,ω₂,…,ω_n]，θ^*＝{ω^*,b^*,ε^*,ε'^*}为待求解的模型参数θ的最优解；当类别数为L时，共需训练L×(L-1)/2个两类直推式支持向量机,n_l表示已标注训练样本数量，n_u表示未标注训练样本数量，总样本数量n＝n_l+n_u；

根据训练得到的L×(L-1)/2个两类直推式支持向量机模型计算已标注训练样本的不同类别对对应的两类类别概率，公式为：

其中，和分别为由类别对k和l对应的两类直推式支持向量机得到的样本x_i的两类类别概率，且有k,l∈{1,2,…,L}；

根据所述已标注训练样本的不同类别对对应的两类类别概率计算已标注训练样本多类别概率，公式为

其中，p_i＝(p_i1,p_i2,…,p_iL)为样本x_i对应的多类别概率；

根据所述已标注训练样本多类别概率定义关联势函数，公式为：

其中，1(·)为指示函数。

上述方案中，所述通过改进的Potts模型构造条件随机场的交互势函数的步骤包括：

使用公式(2)，根据所述训练得到的L×(L-1)/2个两类直推式支持向量机模型计算已标注训练样本x_i的空间8领域样本集合E(x_i)中所包含的未标注样本的不同类别对对应的两类类别概率；

使用公式(3)，根据所述已标注训练样本x_i的空间8领域样本集合E(x_i)中所包含的未标注样本的不同类别对对应的两类类别概率计算其多类别概率；

构建改进的Potts模型，并将其定义为条件随机场模型中的交互势函数，公式为：

其中，p_il＝max(p_i1,p_i2,…,p_iL)和p_jl＝max(p_j1,p_j2,…,p_jL)分别为样本x_i和x_j的多类别概率的最大分量；y'_j为最大分量p_jl对应的类别标签；μ为交互势函数中的待优化参数。

上述方案中，所述通过遗传算法对条件随机场模型进行训练的步骤包括：

根据所述关联势函数和交互势函数构建条件随机场模型，公式为：

其中，和φ(·)分别为由公式(4)定义的关联势函数和由公式(5)定义的交互势函数，Z(X_l)为拆分函数，λ为预设折衷系数，θ^*为L×(L-1)/2个两类直推式支持向量机模型的最优参数；

根据所述条件随机场模型，计算伪对数似然函数，其公式如下：

根据预设折衷参数λ，定义所述伪对数似然函数为适应度函数，采用遗传算法进行优化，获得交互势函数最优参数μ^*。

上述方案中，所述通过训练得到的条件随机场模型对测试样本进行推断，获得分类标注结果包括：

使用公式(2)，根据训练得到的L×(L-1)/2个两类直推式支持向量机模型计算测试样本集X_T中每个样本x_t∈X_T及其空间8领域样本集合E(x_t)中所包含样本的不同类别对对应的两类类别概率；

使用公式(3)，根据所述测试样本x_t∈X_T及其空间8领域样本集合E(x_t)所包含样本的不同类别对对应的两类类别概率计算它们对应的多类别概率；

根据所述公式(4)定义的关联势函数和公式(5)定义的交互势函数，以及最优参数θ^*、μ^*计算测试样本x_t∈X_T对应的最终多类别概率p_t＝(p_t1,p_t2,…,p_tL)及类别标签y_t，其中各分量p_tl公式为：

其中，y_t为多类别概率p_t＝(p_t1,p_t2,…,p_tL)最大分量对应的类别标签，即最终类别标注结果。

通过以上步骤，本发明实现了一种半监督的高光谱遥感图像分类标注方法。(3)优点：本发明所提供半监督的高光谱遥感图像分类标注方法。该算法在条件随机场框架的基础上，利用直推式支持向量机构建条件随机场的关联势函数，采用改进的Potts模型构建条件随机场的交互势函数，使得条件随机场模型既能够利用大量未标注样本的信息，同时也能够在标注训练样本较少的情况下充分融合空间信息，有效地解决高光谱遥感图像分类标注问题。本发明所得到的高光谱遥感图像分类标注结果相比于单独使用条件随机场算法或直推式支持向量机的分类标注结果，去掉了大量的孤立噪声点，具有较好的区域连续性且精度较高。

附图说明

图1为本发明实施例提供的半监督的高光谱遥感图像分类标注方法流程图；

图2为高光谱遥感图像分类效果图。其中，(a)为ROSIS传感器拍摄的真实多光谱图像；(b)为类别真值图；(c)为类别-颜色对照表；(d)为传统条件随机场的分类标注结果，(e)为直推式支持向量机的分类标注结果；(f)本发明的分类标注结果。

为了能明确实现本发明实施例的结构，在图中标注了特定的样本数量和空间领域范围等，但这仅为示意需要，并非意图将本发明限定在该特定的样本数量和空间领域范围中。

具体实施方式

在以下的描述中，将描述本发明的多个不同方面。然而，对于本领域内的专业技术人员而言，可以仅仅利用本发明的一些或者全部结构或者流程来实施本发明。为了解释的明确性，阐述了特定样本数量和空间领域范围，但是很明显，在没有这些特定细节的情况下也可以实施本发明。在其他情况下，为了不混淆本发明，对于一些众所周知的特征将不再进行详细阐述。

本发明提供了一种半监督的高光谱遥感图像分类标注方法。该方法在条件随机场框架的基础上，利用直推式支持向量机构建条件随机场的关联势函数，采用改进的Potts模型构建条件随机场的交互势函数，使得条件随机场模型既能够利用大量未标注样本的信息，同时也能够在标注训练样本较少的情况下充分融合空间信息，有效地解决高光谱遥感图像分类标注问题。

为了更好地理解本发明的技术方案，下面结合真实拍摄的高光谱遥感图像详细介绍本发明。如图1所示，所述方法包含以下步骤：

步骤S101：通过人工样本采集获得少量已标注训练样本(含类别标注真值)、大量未标注训练样本和测试样本。

本实施例所述的高光谱遥感图像由ROSIS传感器拍摄的意大利Pavia大学的地表覆盖图像，该高光谱图像拥有103个波段，空间分辨率为1.3米，其显示效果图见图2(a)。为了方便研究，专家学者将该图像分为9个类别，其类别真值图及类别-颜色对照表分别见图2(b)和(c)。

本实施例首先将高光谱遥感图像的光谱特征进行归一化处理，结合真值图随机提取已标注训练样本集(_nl表示已标注训练样本数量)、对应的类别标签集未标注训练样本集(_nu表示未标注训练样本数量)和测试样本集(_nt表示测试样本数量)，并记总样本数量为n＝n_l+n_u。其中，已标注训练样本为每类图像随机选择50个，因此n_l＝450，未标注训练样本数量为n_u＝1000，剩下的样本构成测试样本集。

步骤S102：通过直推式支持向量机构造条件随机场的关联势函数。该步骤包含以下四个子步骤，分别为：

子步骤S1021：根据预设已标注样本惩罚因子C、未标注样本惩罚因子C'，及训练样本(包含已标注训练样本集及其类别标签集和未标注训练样本集)，采用一对一策略，训练多组不同类别对对应的两类直推式支持向量机，其公式为

其中，y'_j为未标注样本x'_j对应的待估计标签，在模型训练中获得；K(x_i,X)＝[K(x_i,x₁),…,K(x_i,x_n)]^T为样本x_i对应的核函数矩阵；X＝{X_l,X_u}为全部样本集；K为核函数；K(x'_j,X)＝[K(x'_j,x₁),…,K(x'_j,x_n)]^T为样本x'_j对应的核函数矩阵；θ＝{ω,b,ε,ε'}为待求解的模型参数，且有ω＝[ω₁,ω₂,…,ω_n]，θ^*＝{ω^*,b^*,ε^*,ε'^*}为待求解的模型参数θ的最优解；当类别数为L时，共需训练L×(L-1)/2个两类直推式支持向量机；

子步骤S1022：根据训练得到的L×(L-1)/2个两类直推式支持向量机模型计算已标注训练样本的不同类别对对应的两类类别概率，其公式为：

其中，和分别为由类别对k和l对应的两类直推式支持向量机得到的样本x_i的两类类别概率，且有k,l∈{1,2,…,L}；

子步骤S1023：根据所述已标注训练样本的不同类别对对应的两类类别概率计算已标注训练样本多类别概率，其公式为

其中，p_i＝(p_i1,p_i2,…,p_iL)为样本x_i对应的多类别概率

子步骤S1024：根据所述已标注训练样本多类别概率定义关联势函数，其公式为：

其中，1(·)为指示函数。

步骤S103：通过改进的Potts模型构造条件随机场的交互势函数。该步骤包含以下三个子步骤，分别为：

子步骤S1031：根据所述步骤S102中训练得到的L×(L-1)/2个两类直推式支持向量机模型计算已标注训练样本x_i的空间8领域样本集合E(x_i)中所包含的未标注样本的不同类别对对应的两类类别概率，其公式同步骤S102中的公式(2)；

子步骤S1032：根据所述已标注训练样本x_i的空间8领域样本集合E(x_i)中所包含的未标注样本的不同类别对对应的两类类别概率计算其多类别概率，其公式同步骤S102中的公式(3)；

子步骤S1033：构建改进的Potts模型，并将其定义为条件随机场模型中的交互势函数，其公式为：

其中，p_il＝max(p_i1,p_i2,…,p_iL)和p_jl＝max(p_j1,p_j2,…,p_jL)分别为样本x_i和x_j的多类别概率的最大分量；y'_j为最大分量p_jl对应的类别标签；μ为交互势函数中的待优化参数。

步骤S104：通过遗传算法对条件随机场模型进行训练。该步骤包含以下三个子步骤，分别为：

子步骤S1041：根据所述关联势函数和交互势函数构建条件随机场模型，其公式为：

其中，和φ(·)分别为所述步骤S102和步骤S103中所定义的关联势函数(公式(4))和交互势函数(公式(5))，Z(X_l)为拆分函数，λ为预设折衷系数。在该公式中，θ^*为所述步骤S102中对应的L×(L-1)/2个两类直推式支持向量机模型的最优参数，因此该公式的待优化参数仅为μ；

子步骤S1042：根据所述条件随机场模型，计算伪对数似然函数，其公式如下：

子步骤S1043：根据预设折衷系数λ，定义所述伪对数似然函数为适应度函数，采用遗传算法进行优化，获得交互势函数最优参数μ^*。

步骤S105：通过训练得到的条件随机场模型对测试样本进行推断，获得其分类标注结果。该步骤包含以下三个子步骤，分别为：

子步骤S1051：根据所述步骤S102中所述训练得到的L×(L-1)/2个两类直推式支持向量机模型计算测试样本集X_T中每个样本x_t∈X_T及其空间8领域样本集合E(x_t)中所包含样本的不同类别对对应的两类类别概率，其计算方法同步骤S102中所述公式(2)；

子步骤S1052：根据所述测试样本x_t∈X_T及其空间8领域样本集合E(x_t)所包含样本的不同类别对对应的两类类别概率计算它们对应的多类别概率，其计算方法同步骤S102中所述公式(3)；

子步骤S1053：根据所述公式(4)定义的关联势函数和公式(5)定义的交互势函数，以及最优参数θ^*、μ^*计算测试样本x_t∈X_T对应的最终多类别概率p_t＝(p_t1,p_t2,…,p_tL)及类别标签y_t，其中各分量p_tl公式为：

其中，y_t为多类别概率p_t＝(p_t1,p_t2,…,p_tL)最大分量对应的类别标签，即最终类别标注结果。

本发明以条件随机场模型为基础，通过定义直推式支持向量机作为条件随机场模型的关联势函数，从而嵌入大量未标注样本信息，实现半监督分类，同时定义改进的Potts模型为交互势函数，使其在已标注样本较少的情况下能够充分融合空间信息。经过本发明得到的高光谱遥感图像分类标注结果精度较高，具有实际的应用效果，具有广阔的应用价值和市场前景。

Claims (5)

1.一种半监督的高光谱遥感图像分类标注方法，应用于高光谱遥感图像中地物类别的分类标注，其特征在于，所述方法包括以下步骤：

通过直推式支持向量机构造条件随机场的关联势函数；

通过改进的Potts模型构造条件随机场的交互势函数；

通过遗传算法对条件随机场模型进行训练；

通过训练得到的条件随机场模型对测试样本进行推断，获得分类标注结果。

2.根据权利要求1所述的方法，其特征在于，所述通过直推式支持向量机构造条件随机场的关联势函数的步骤包括：

根据预设已标注样本惩罚因子C、未标注样本惩罚因子C'，及训练样本，采用一对一策略，训练多组不同类别对对应的两类直推式支持向量机，所述训练样本包含已标注训练样本集及其类别标注集和未标注训练样本集公式为：

$\begin{array}{c}{\mathrm{\θ}}^{*}=\underset{\mathrm{\θ}=\left\{\mathrm{\ω},b,\mathrm{\ϵ},{\mathrm{\ϵ}}^{\′},y^{\′}\right\}}{\arg \min }\left(\frac{1}{2}{\mathrm{\ω}}^T\mathrm{\ω}+C\underset{i=1}{\overset{n_l}{\mathrm{\Σ}}}{\mathrm{\ϵ}}_i+C^{\′}\underset{j=1}{\overset{n_u}{\mathrm{\Σ}}}{\mathrm{\ϵ}}_j^{\′}\right)\\ \begin{array}{cc}sub.to:& {\∀}_{i=1}^{n_l}:y_i\left({\mathrm{\ω}}^{T}K\left(x_i,X\right)+b\right)\≥1-\mathrm{\ϵ}\\ & {\∀}_{j=1}^{n_u}:y_j^{\′}\left({\mathrm{\ω}}^{T}K\left(x_j^{\′},X\right)+b\right)\≥1-{\mathrm{\ϵ}}_j^{\′}\\ & {\∀}_{i=1}^{n_l}:{\mathrm{\ϵ}}_i>0\\ & {\∀}_{j=1}^{n_u}:{\mathrm{\ϵ}}_j^{\′}>0\\ & {\∀}_{j=1}^{n_u}:y_j^{\′}\∈\left\{+1,-1\right\}\end{array}\end{array}---\left(1\right)$

其中，y′_j为未标注样本x′_j对应的待估计标签，在模型训练中获得；K(x_i,X)＝[K(x_i,x₁),…,K(x_i,x_n)]^T为样本x_i对应的核函数矩阵；X＝{X_l,X_u}为全部样本集；K为核函数；K(x'_j,X)＝[K(x'_j,x₁),…,K(x'_j,x_n)]^T为样本x'_j对应的核函数矩阵；θ＝{ω，b,ε,ε'}为待求解的模型参数，且有ω＝[ω₁,ω₂,…,ω_n]，θ^*＝{ω^*,b^*,ε^*,ε'^*}为待求解的模型参数θ的最优解；当类别数为L时，共需训练L×(L-1)/2个两类直推式支持向量机,n_l表示已标注训练样本数量，n_u表示未标注训练样本数量，总样本数量n＝n_l+n_u；

根据训练得到的L×(L-1)/2个两类直推式支持向量机模型计算已标注训练样本的不同类别对对应的两类类别概率，公式为：

$\begin{array}{c}{p}_i^{kl}=p\left(y_i=k|k-vs-l,x_i\right)=1/1+\exp \left(-f\left(x_i\right)\right)\\ p_i^{lk}=p\left(y_i=l|k-vs-l,x_i\right)=1/1+\exp \left(f\left(x_i\right)\right)\\ f\left(x_i\right)={\left({\mathrm{\ω}}^{*}\right)}^{T}K\left(x_i,X\right)+b^{*}\end{array}---\left(2\right)$

其中，和分别为由类别对k和l对应的两类直推式支持向量机得到的样本x_i的两类类别概率，且有k,l∈{1,2,…,L}；

根据所述已标注训练样本的不同类别对对应的两类类别概率计算已标注训练样本多类别概率，公式为

$\begin{array}{cc}\underset{p_i}{min}\underset{l=1}{\overset{L}{\Σ}}\underset{k:k\≠l}{\Σ}{(p_i^{kl}{p}_{il}-p_i^{lk}{p}_{ik})}^2& s.t.\underset{l=1}{\overset{L}{\Σ}}{p}_{il}=1\end{array}---\left(3\right)$

其中，p_i＝(p_i1,p_i2,…,p_iL)为样本x_i对应的多类别概率；

根据所述已标注训练样本多类别概率定义关联势函数，公式为：

其中，1(·)为指示函数。

3.根据权利要求2所述的方法，其特征在于，所述通过改进的Potts模型构造条件随机场的交互势函数的步骤包括：

使用公式(2)，根据所述训练得到的L×(L-1)/2个两类直推式支持向量机模型计算已标注训练样本x_i的空间8领域样本集合E(x_i)中所包含的未标注样本的不同类别对对应的两类类别概率；

使用公式(3)，根据所述已标注训练样本x_i的空间8领域样本集合E(x_i)中所包含的未标注样本的不同类别对对应的两类类别概率计算其多类别概率；

构建改进的Potts模型，并将其定义为条件随机场模型中的交互势函数，公式为：

$\begin{array}{c}\begin{array}{cc}\mathrm{\φ}\left(y_i,y_j,x_i,x_j;\mathrm{\μ}\right)=t_{ij}{\mathrm{\η}}_i{\mathrm{\η}}_j\exp \left(-\mathrm{\μ}\left|\right|x_i-x_j|{|}^2\right)& x_i\∈X_l,x_j\∈E\left(x_i\right)\end{array}\\ \begin{array}{cccc}{t}_{ij}=\left\{\begin{array}{cc}+1& y_i={\tilde{y}}_j\\ -1& y_i\≠{\tilde{y}}_j\end{array}\right.& {\tilde{y}}_j=\left\{\begin{array}{cc}{y}_j& x_j\∈X_l\\ y_j^{\′}& x_j\∉X_l\end{array}\right.& {\mathrm{\η}}_i=p_{il}& {\mathrm{\η}}_j=p_{jl}\end{array}\end{array}---\left(5\right)$

其中，p_il＝max(p_i1,p_i2,…,p_iL)和p_jl＝max(p_j1,p_j2,…,p_jL)分别为样本x_i和x_j的多类别概率的最大分量；y′_j为最大分量p_jl对应的类别标签；μ为交互势函数中的待优化参数。

4.根据权利要求3所述的方法，其特征在于，所述通过遗传算法对条件随机场模型进行训练的步骤包括：

根据所述关联势函数和交互势函数构建条件随机场模型，公式为：

其中，和φ(·)分别为由公式(4)定义的关联势函数和由公式(5)定义的交互势函数，Z(X_l)为拆分函数，λ为预设折衷系数，θ^*为L×(L-1)/2个两类直推式支持向量机模型的最优参数；

根据所述条件随机场模型，计算伪对数似然函数，其公式如下：

根据预设折衷参数λ，定义所述伪对数似然函数为适应度函数，采用遗传算法进行优化，获得交互势函数最优参数μ^*。

5.根据权利要求4所述的方法，其特征在于，所述通过训练得到的条件随机场模型对测试样本进行推断，获得分类标注结果包括：

使用公式(2)，根据训练得到的L×(L-1)/2个两类直推式支持向量机模型计算测试样本集X_T中每个样本x_t∈X_T及其空间8领域样本集合E(x_t)中所包含样本的不同类别对对应的两类类别概率；

使用公式(3)，根据所述测试样本x_t∈X_T及其空间8领域样本集合E(x_t)所包含样本的不同类别对对应的两类类别概率计算它们对应的多类别概率；

根据所述公式(4)定义的关联势函数和公式(5)定义的交互势函数，以及最优参数θ^*、μ^*计算测试样本x_t∈X_T对应的最终多类别概率p_t＝(p_t1,p_t2,…,p_tL)及类别标签y_t，其中各分量p_tl公式为：

其中，y_t为多类别概率p_t＝(p_t1,p_t2,…,p_tL）最大分量对应的类别标签，即最终类别标注结果。