CN106056609B - 基于dbnmi模型实现遥感影像自动标注的方法 - Google Patents

Abstract

本发明涉及一种基于DBNMI模型实现遥感影像自动标注的方法，其中包括对初始输入遥感影像进行自适应分割，粗粒度划分遥感影像背景区域和对象区域；针对划分出的遥感影像的对象区域，利用多示例多标签技术表示；针对遥感影像的对象区域的低层视觉特征和高层语义概念间关系，基于DBNMI模型进行自动建模；定量计算标注词间共现和对立的语义关系。采用该种基于DBNMI模型实现遥感影像自动标注的方法，针对海洋遥感影像语义标注任务感兴趣的区域仅占影像很小一部分，提出一种基于DBNMI的遥感影像语义自动标注模型，有效提高影像自动标注的精度，具有更广泛的应用范围。

Description

基于DBNMI模型实现遥感影像自动标注的方法

技术领域

本发明涉及图像处理技术领域，尤其涉及海洋遥感影响标注技术领域，具体是指一种基于DBNMI模型实现遥感影像自动标注的方法。

背景技术

遥感影像语义自动标注是让机器通过学习已知语义标签的影像示例，然后使用语义概念表示一副未标注遥感影像的内容。随着多颗海洋遥感卫星的发射(如SeaStar、GEOSAT、ERS-n、HY-1到HY-3等卫星)，海洋遥感影像数量***性增长。通过遥感影像语义标注，可以实现遥感影像数据分析、索引和检索等任务，高效利用遥感影像。人工标注的方法存在主观性和不精确性，费时费力，已不能满足当今“大数据”时代。机器学习等理论的发展，使得遥感影像语义自动标注成为一大研究方向。

现有遥感影像语义标注方法主要从以下方面着手：特征提取、分类模型、高层语义划分层次等。Bratasanu等人提出一种将相同语义概念的像素组合到一起的映射方式，完成无语义底层特征到光谱语义索引映射再到人类理解的高层语义的映射。Liénou等人对每个概念给定一个训练集，利用最大似然方法给未知图像分配概率，基于潜在狄利克雷分配模型(Latent Dirichlet Allocation,简称LDA)模型进行学习。Chen等人在第一层利用多示例多标签学习(multi-instance multi-label learning,MIML)框架进行高分辨率遥感影像标注，第二层采用多尺度分层语义信息模拟示例在MIML的空间关系，第三层利用非参数概率模型合并可能的类。杨阳等人提出改进的深度学习模型，将图像的标注信息视为图像的类别信息，对图像特征关注不足。由于语义鸿沟的存在，影像语义的自动标注性能亟待提高。

遥感影像具有丰富的空间结构信息和地理特征信息，而海洋遥感影像语义标注任务感兴趣的区域仅占影像很小一部分。一副遥感影像的不同区域对语义相似性度量的贡献程度不同，海洋遥感影像中“对象区域”比“背景区域”的贡献要大很多，现有工作对海洋遥感影像结构的复杂性考虑不多。遥感影像标注词汇之间存在着多种多样的语义层次和关系，包括相近、对立、包容等。比如，一副遥感影像已被标注为“轮船”、“海水”等词汇后，“港口”作为该影像标注词汇的概率就会相应提升。

发明内容

本发明的目的是克服了上述现有技术的缺点，提供了一种能够实现针对海洋遥感影像语义标注任务感兴趣的区域仅占影像很小一部分、提高了海洋遥感影像自动标注的精度的基于DBNMI模型实现遥感影像自动标注的方法。

为了实现上述目的，本发明具有如下构成：

该基于DBNMI模型实现遥感影像自动标注的方法，其主要特点是，所述的方法包括以下步骤：

(1)对初始输入遥感影像进行自适应分割，粗粒度划分遥感影像背景区域和对象区域；

(2)针对划分出的遥感影像的对象区域，利用多示例多标签技术表示；

(3)针对遥感影像的对象区域的低层视觉特征和高层语义概念间关系，基于DBNMI模型进行自动建模；

(4)定量计算标注词间共现和对立的语义关系。

较佳地，所述的遥感影像为海洋遥感影像。

较佳地，所述的步骤(1)，包括以下步骤：

(1-1)利用小波变换产生多分辨率影像的金字塔形式；

(1-2)自适应构建不同尺度的影像信息等级结构；

(1-3)根据影像场景复杂性选择合适的分割尺度，对遥感影像进行分割。

较佳地，所述的步骤(2)，包括以下步骤：

(2-1)采用(X_i,L_i)表示一幅遥感影像，其中X_i＝{x_i ¹,x_i ²,…,x_i ^m}表示示例空间，m是示例个数，L_i＝{l_i ¹,l_i ²,…,l_i ⁿ}表示标签集，n标签个数，其中，i表示第i层的遥感影像，表示第i层的遥感影像的第m个示例，表示第i层的遥感影像的第n个标签；

(2-2)每幅遥感影像在不同空间尺度中作为一个包，相关的分割区域视为示例，其中第i层用包B_i＝{x_i1,x_i2,…,x_im}表示，其中，i表示第i层遥感影像，m表示分割区域，x_im表示第i层遥感影像的第m个分割区域；

(2-3)设置阈值t，计算背景区域与对象区域相似度s，判断s和t的大小关系，如果s大于预设阈值t时，则第i层包需要继续划分，否则第i层包不需要继续划分。

较佳地，所述的步骤(3)，包括以下步骤：

(3-1)对遥感影像的对象区域进行特征提取，将提取出的特征作为DBN模型的第一层，即输入层；

(3-2)DBN模型对输入数据进行逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间；

(3-3)通过受限玻尔兹曼机获得从底层特征到高层语义表达最佳的权值，利用反向传播网络对深度信念网络进行调优。

较佳地，所述的步骤(4)，包括以下步骤：

(4-1)当F(B_i,L)＝1时，表示标注词间共现关系，其中B_i为第i个包，L代表语义标签集，表示包B_i中含有标签l，则该包可以选择该标签所属语义标签集L中的其他标签；

(4-2)当F(B_i,L₁,L₂)＝1时，Count(B_i,l₁)≥1,Δ(B_i,l₂)＝0，表示标注词间对立关系，其中语义标签集L₁,L₂属于对立关系，包B_i中含有标签l₁，则该包可以选择该标签所属语义标签集L₁中的其他标签，但不能选择语义标签集L₂中的标签，l₂表示标签集L₂中的任意一个标签。

较佳地，所述的方法在Matlab实验平台上进行。

采用了该发明中的基于DBNMI模型实现遥感影像自动标注的方法，针对海洋遥感影像语义标注任务感兴趣的区域仅占影像很小一部分，提出一种基于DBNMI(深度信念网络多示例)的遥感影像语义自动标注模型，对初始输入遥感影像进行自适应分割，粗粒度划分海洋遥感影像背景区域和对象区域，针对影像对象区域的低层视觉特征和高层语义概念间关系，基于受限玻尔兹曼机的深度信念网络模型进行自动建模，定量计算标注词间共现和对立的语义关系，有效提高影像自动标注的精度，具有更广泛的应用范围。

附图说明

图1为本发明的各个分割区域的示意图。

图2为本发明的利用反向传播网络对深度信念网络进行调优的流程图。

图3为本发明的通过学习到的标注模型完成新影像的语义标注的流程图。

图4为本发明的遥感影像自动标注的方法的流程图。

具体实施方式

为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。

本发明解决上述问题所采用的技术方案是，具体步骤如下：

步骤一，对初始输入海洋遥感影像进行自适应分割，粗粒度划分遥感影像背景区域和对象区域；

步骤二，针对划分出的海洋遥感影像的对象区域，利用多示例表示；

步骤三，针对遥感影像对象区域的低层视觉特征和高层语义概念间关系，基于DBNMI模型进行自动建模；

步骤四，定量计算标注词间共现和对立的语义关系。

在一种较佳的实施方式中，步骤一中利用小波变换产生多分辨率影像的金字塔形式，自适应构建不同尺度的影像信息等级结构，实现遥感影像信息在不同尺度层之间的传递。其实现方式如下，

根据影像场景复杂性选择合适的分割尺度，简单场景选择大的尺度，复杂场景选择小的尺度；

小波变换能提供影像在不同分辨率下的表达，实现影像按照不同尺度和位移的分解。

在一种较佳的实施方式中，步骤二中利用多示例多标签(MIML)技术表示海洋遥感影像对象区域，其实现方式如下，

采用(X_i,L_i)表示一幅遥感影像，其中X_i＝{x_i ¹,x_i ²,...,x_i ^m}表示示例空间，m是示例个数，L_i＝{l_i ¹,l_i ²,...,l_i ⁿ}表示标签集，n标签个数，其中，i表示第i层的遥感影像，表示第i层的遥感影像的第m个示例，表示第i层的遥感影像的第n个标签；

每幅影像在不同空间尺度中作为一个包(bag)，相关的分割区域视为示例(instances)，其中第i层用包B_i＝{x_i1,x_i2,...,x_im}。自适应设置阈值t，计算背景区域与对象区域相似度s，若s大于预设阈值t时，第i层包需要继续划分，小于阈值t时则不需要，其中，i表示第i层遥感影像，m表示分割区域，x_im表示第i层遥感影像的第m个分割区域。

而且，步骤三中针对影像对象区域的低层视觉特征和高层语义概念间关系，基于DBNMI模型进行自动建模，其实现方式如下，

对通过小波变换生成的遥感影像对象区域进行特征提取，将提取出的特征作为DBN的第一层，即输入层；

DBN模型对输入数据进行逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间；

通过受限玻尔兹曼机获得从底层特征到高层语义表达最佳的权值，利用反向传播网络对深度信念网络进行调优，实现基于受限玻尔兹曼机的深度信念网络模型自动标注。

在一种较佳的实施方式中，步骤四中定量计算标注词间共现和对立的语义关系，其实现方式如下，

当F(B_i,L)＝1时，表示标注词间共现关系。其中B_i为第i个包，L代表语义标签集。表示包B_i中含有标签l，则该包可以选择该标签所属语义标签集L中的其他标签；

当F(B_i,L₁,L₂)＝1时，Count(B_i,l₁)≥1,Δ(B_i,l₂)＝0，表示标注词间对立关系。其中语义标签集L₁,L₂属于对立关系，包B_i中含有标签l₁，则该包可以选择该标签所属语义标签集L₁中的其他标签，但不能选择语义标签集L₂中的标签，l₂表示标签集L₂中的任意一个标签。

下面以一个具体实施例来进一步介绍本发明：

本发明在Matlab2013a实验平台上进行实现，主要包括三个步骤，具体如下：

每幅遥感影像利用小波金字塔方法进行3层分辨率预处理，得到不同分辨率尺度下的影像；

在不同空间尺度上对遥感影像进行粗粒度分割，影像视为包，相关的分割区域视为示例，每个包由2-10个示例组成，如图1所示。其中第i层用包B_i＝{x_i1,x_i2,...,x_im}表示。设置阈值t，计算背景区域与对象区域相似度s，若s大于预设阈值t时，第i层包需要继续划分，小于阈值t时则不需要。

训练集每一幅遥感影像用(X_i,L_i)表示，其中X_i＝{x_i ¹,x_i ²,...,x_i ^m}表示示例空间，m是示例个数，L_i＝{l_i ¹,l_i ²,…,l_i ⁿ}表示标签集，n标签个数。旨在从训练集中得到一个函数：f_MIML:2^x→2^l，这里输入是一幅遥感影像产生的示例空间X_i，输出是该幅遥感影像对应的标签集L_i。

将每一幅遥感影像提取出的特征数据，组合成一维向量。所有训练集影像特征数据组合成矩阵，每一行代表一副遥感影像的提取的特征。将矩阵所有值按行归一化至[0,1]范围，作为DBN模型的第一层，即输入层。

当给定可见层节点的状态时，各个隐含层节点的激活状态之间是相互独立的，即：当给定隐含层节点的状态时，各个可见层节点的激活状态之间是相互独立的，即：受限玻尔兹曼机的可见层输入为v∈{0,1}二元变量，假设每个神经元遵循伯努利分布，定义该模型的能量函数如下：其中θ＝{a,b,W}是模型的参数。可得到(v,h)的联合概率分布为P(v,h)＝e^-E(v,h)/Z，其中，Z为归一化常数。

对输入数据进行逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间；通过受限玻尔兹曼机获得从底层特征到高层语义表达最佳的权值，利用反向传播网络对深度信念网络进行调优，采用迭代的方式进行训练，目标在于学习出参数θ＝{a,b,W}的值，如图2所示。

对任意两个标注词同时出现的概率进行定量计算，用B_i表示第i个包，L表示语义标签集，通过标注F(B_i,L)＝1，表示标注词间具有共现关系，即表示包B_i中含有标签l，则该包可以选择该标签所属语义标签集L中的其他标签；

对任意两个标注词不会同时出现的概率进行定量计算，用B_i表示第i个包，语义标签集L₁,L₂属于对立关系，通过标注F(B_i,L₁,L₂)＝1，表示标注词间具有对立关系，即Count(B_i,l₁)≥1,Δ(B_i,l₂)＝0，包B_i中含有标签l₁，则该包可以选择该标签所属语义标签集L₁中的其他标签，但不能选择语义标签集L₂中的标签。本发明提出一种基于深度信念网络多示例(DBNMI)的遥感影像语义自动标注模型，旨在提高标注的精度。实现过程如图3所示，利用训练集影像对低层视觉特征和高层语义概念关系进行自动建模，通过学习到的标注模型完成新影像的语义标注。

采用了该发明中的基于DBNMI模型实现遥感影像自动标注的方法，针对海洋遥感影像语义标注任务感兴趣的区域仅占影像很小一部分，提出一种基于深度信念网络多示例的遥感影像语义自动标注模型，对初始输入遥感影像进行自适应分割，粗粒度划分海洋遥感影像背景区域和对象区域，针对影像对象区域的低层视觉特征和高层语义概念间关系，基于受限玻尔兹曼机的深度信念网络模型进行自动建模，定量计算标注词间共现和对立的语义关系，有效提高影像自动标注的精度，具有更广泛的应用范围。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (6)

1.一种基于DBNMI模型实现遥感影像自动标注的方法，其特征在于，所述的DBNMI即为深度信念网络多示例，所述的方法包括以下步骤：

(1)对初始输入遥感影像进行自适应分割，粗粒度划分遥感影像背景区域和对象区域；

(2)针对划分出的遥感影像的对象区域，利用多示例多标签技术表示；

(3)针对遥感影像的对象区域的低层视觉特征和高层语义概念间关系，基于DBNMI模型进行自动建模；

(4)定量计算标注词间共现和对立的语义关系，具体包括以下步骤：

(4-1)当F(B_i,L)＝1时，表示标注词间共现关系，其中B_i为第i个包，L代表语义标签集，表示包B_i中含有标签l，则该包可以选择该标签所属语义标签集L中的其他标签；

(4-2)当F(B_i,L₁,L₂)＝1时，Count(B_i,l₁)≥1,Δ(B_i,l₂)＝0，表示标注词间对立关系，其中语义标签集L₁,L₂属于对立关系，包B_i中含有标签l₁，则该包可以选择该标签所属语义标签集L₁中的其他标签，但不能选择语义标签集L₂中的标签，l₂表示标签集L₂中的任意一个标签。

2.根据权利要求1所述的基于DBNMI模型实现遥感影像自动标注的方法，其特征在于，所述的遥感影像为海洋遥感影像。

3.根据权利要求1所述的基于DBNMI模型实现遥感影像自动标注的方法，其特征在于，所述的步骤(1)，包括以下步骤：

(1-1)利用小波变换产生多分辨率影像的金字塔形式；

(1-2)自适应构建不同尺度的影像信息等级结构；

(1-3)根据影像场景复杂性选择合适的分割尺度，对遥感影像进行分割。

4.根据权利要求1所述的基于DBNMI模型实现遥感影像自动标注的方法，其特征在于，所述的步骤(2)，包括以下步骤：

(2-1)采用(X_i,L_i)表示一幅遥感影像，其中X_i＝{x_i ¹,x_i ²,…,x_i ^m}表示示例空间，m是示例个数，L_i＝{l_i ¹,l_i ²,…,l_i ⁿ}表示标签集，n标签个数，其中，i表示第i层的遥感影像，表示第i层的遥感影像的第m个示例，表示第i层的遥感影像的第n个标签；

(2-2)每幅遥感影像在不同空间尺度中作为一个包，相关的分割区域视为示例，其中第i层用包B_i＝{x_i1,x_i2,…,x_im}表示，其中，i表示第i层遥感影像，m表示分割区域，x_im表示第i层遥感影像的第m个分割区域；

(2-3)设置阈值t，计算背景区域与对象区域相似度s，判断s和t的大小关系，如果s大于预设阈值t时，则第i层包需要继续划分，否则第i层包不需要继续划分。

5.根据权利要求1所述的基于DBNMI模型实现遥感影像自动标注的方法，其特征在于，所述的步骤(3)，包括以下步骤：

(3-1)对遥感影像的对象区域进行特征提取，将提取出的特征作为DBN模型的第一层，即输入层；

(3-2)DBN模型对输入数据进行逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间；

(3-3)通过受限玻尔兹曼机获得从底层特征到高层语义表达最佳的权值，利用反向传播网络对深度信念网络进行调优。

6.根据权利要求1所述的基于DBNMI模型实现遥感影像自动标注的方法，其特征在于，所述的方法在Matlab实验平台上进行。