CN106909902B - 一种基于改进的层次化显著模型的遥感目标检测方法 - Google Patents

Abstract

本发明涉及一种基于改进的层次化显著模型的遥感目标检测方法，其步骤为：①将输入图像进行超像素分割；②提取输入图像中每个超像素的底层特征，构造全局信息集与背景信息集；③学习每个超像素与背景信息集间的特征相似度，提取出潜在目标特征图；④生成机场和油罐目标的目标特征图；⑤融合潜在目标特征图和目标特征图生成层级显著图；⑥利用LDA定义自适应学习的结束准则，若满足条件执行⑧，否则执行⑦；⑦利用层级间的反馈机制，将层级显著图作为增强因子对当前层输入图像进行增强，将增强后的图像作为下一层学习的输入图像，执行①，开始新一层的学习；⑧将步骤⑤当前层的层级显著图作为最终显著图，确定目标位置及类别标签，完成遥感目标检测。

Description

一种基于改进的层次化显著模型的遥感目标检测方法

技术领域

本发明属于遥感图像处理与场景理解的应用领域，涉及一种在低分辨率遥感图像中利用改进的层次化增强学习模型同时检测多个感兴趣遥感目标的方法。

背景技术

随着高分辨率遥感卫星应用技术的蓬勃发展，典型遥感目标检测技术无论在军事还是民用领域都具有至关重要的意义。特别是在军事领域中，要求在背景复杂的大幅面遥感图像中，能够精确、快速地获得目标位置信息，为准确制导提供技术支撑。在图像处理和模式识别理论飞速发展的推动下，对遥感图像丰富信息的深度挖掘与智能处理成为了研究的热点和难点。遥感图像信息丰富，数据量较大，不仅包括复杂多变的地面环境和形状各异的人造目标，而且光照不均与云层遮挡所引起的模糊和大气折射与大气湍流所造成的目标变形与失真也对图像质量产生影响。遥感图像获取的过程中也受成像设备与天气的影响，当光照变化、雨雪、烟尘和浓雾干扰时，获得遥感图像清晰度下降，而积水造成的折射会改变目标的外貌、纹理等信息，进而改变目标的形状和灰度等特征，同时，当光照发生变化时摄像设备由于过度或者不足曝光而导致目标部分重要信息丢失，也会对目标的检测造成极大的干扰，甚至导致检测失败。另外，遥感图像中的目标形状多样、颜色各异、结构多变，也对检测造成干扰，目标除了桥梁与机场等在空间上呈二维分布，其他大部分目标呈三维状态，表现为目标的阴影，对于目标检测来说，难度增大。遥感图像中目标存在被植被或者其他障碍物遮挡的情况，故其形状具有不完整性，由于航拍的图像是随机获取的，因此目标的位置具有不确定性。正是由于复杂的外在环境给遥感图像中的目标检测带来了难度，因此采用合适的方法将遥感目标从背景复杂、环境多样和信息量丰富的遥感图像中检测出来成为诸多学者研究的重点。

目前典型目标的检测识别算法主要包括：基于聚类的方法，基于特征匹配的方法和基于分类器的方法等。基于聚类的方法是一种无监督的算法，虽然此类方法不需要训练样本，减少了用于人工标注和样本训练的时间，但由于遥感图像中存在目标失真与变形的情况，则采用非监督的方法会造成错检和漏检，具有较大的局限性，在遥感图像的目标检测中很难被广泛应用。基于特征匹配的方法通常利用低层特征比如纹理特征、局部特征描述子等与模板特征匹配来实现检测，运算量较大，自适应能力较差。基于分类器的方法采用的分类器主要有支持向量机(SVM)、特征袋模型、Adaboost分类器、神经网络分类器等。这些方法首先需要足够数量的训练样本来训练分类器，其次需要选择合适有效的特征来进行分类，并且需要人工标定大量的样本标签，时间开销较大。

专利CN103729848A提出了一种基于光谱显著性的高光谱遥感图像小目标检测方法，该方法选取图像的光谱信息和空间信息构造特征向量，应用改进的Itti模型和改进的进化规划方法局部显著图和全局显著图，最终生成总的视觉显著图，作为最终的目标检测结果。该方法只能检测出目标区域的大致位置，而不能得到目标精确的边界信息，对于复杂背景下的目标检测问题，该方法的适应性较差。

专利CN102214298A提出一种基于选择性视觉注意机制的遥感图像机场目标快速检测和识别的方法，该方法利用改进的注意力选择模型(GBVS)得到遥感图像的显著区域，然后根据区域上的SIFT特性结合HDR树达到机场目标识别的目的。专利CN104156722A提出了一种基于高分辨率遥感图像的机场目标检测方法，该方法检测图像中的平行直线作为机场跑道，对图像拍摄过程中的扭曲，遮挡等不确定因素鲁棒性较差。

专利201610247053.2提出了一种基于层次化增强学习的显著性检测模型，用于检测低分辨率遥感图像中的机场目标。但该方法仅能针对机场目标完成单一目标的检测任务，对其他遥感目标的检测问题却无能为力，因此，在该专利的基础上，本发明提出了一种改进的层次化显著模型的遥感目标检测方法，能够在复杂背景的遥感图像中实现机场和油罐目标的准确检测。

发明内容

本发明技术解决问题：针对低分辨率遥感图像中的遥感目标检测问题，提出一种改进的层次化显著模型的遥感目标检测方法，能够准确、高效地解决大幅面低分辨率条件下遥感图像中的目标检测问题。

本发明技术解决方案：一种基于改进的层次化显著模型的遥感目标检测方法，所述遥感目标主要针对机场和油罐两类目标，包括如下步骤：

步骤1：将待检测的输入图像利用简单线性迭代聚类算法SLIC(Simple LinearIterative Clustering,SLIC)进行超像素分割，将所述图像中近邻区域内具有颜色相似性的像素聚类，然后采用超像素来表示聚为一类的区域，从而得到超像素分割后的图像；

步骤2：将分割后的图像中每个超像素的颜色特征作为底层特征，构建全局信息集，同时，提取位于分割后的图像边界位置的所有超像素的底层特征构建背景信息集；

步骤3：采用基于最小距离的相似性测量算子LDSM(Least Distance SimilarityMeasure operator,LDSM)，学习每个超像素和背景信息集之间的特征相似度，所述特征相似度用LDSM的学习系数表征，所述学习系数的取值与每个超像素和背景信息集之间的特征相似度呈正相关，利用所述学习系数构建出潜在目标特征图，所述潜在目标特征图可以反映出每个超像素区域与背景信息集之间的特征差异，包含所有候选显著目标区域；

步骤4：从待检测的输入图像中自顶向下地提取出机场和油罐目标的先验特征，分别生成目标特征图；对于机场目标，利用直线检测算子LSD(Line Segment Detector，LSD)对待检测的输入图像进行直线检测，得到直线检测结果；然后利用步骤1中超像素分割后的图像，统计其每个超像素区域中位于检测到的直线上的像素点数目，生成直线密度图作为机场目标的目标特征图；对于油罐目标，利用Hough变换方法，对待检测的输入图像进行圆检测，得到圆的检测结果，再利用投票机制，为检测到的圆的内部点和非内部点分配不同的权值，生成圆特征图，将圆特征图作为油罐目标的目标特征图；

步骤5：将步骤3中所述潜在目标特征图与步骤4中所述机场目标特征图和油罐目标特征图，即三幅图像进行融合，生成层级显著图；层级显著图中的显著区域包括学习过程中每一层获得的潜在目标特征图中的候选显著目标区域，机场目标区域和油罐目标区域；

步骤6：利用潜在主题语义模型LDA(Latent Dirichlet Allocation topicmodel，LDA)定义自适应学习结束准则，并用所述准则来判断步骤5所述当层级显著图中的显著区域与机场和油罐目标之间的特征相似度，以此来判断是否应该结束当前的学习过程，若学习过程没有结束，则执行步骤7；若学习过程已经结束，则执行步骤8；

步骤7：采用多层学习框架，相邻层级间利用反馈机制，将每一层获得的层级显著图反馈至当前层的输入图像中，实现逐层背景压制，即，将步骤5中所述经过融合得到的层级显著图作为增强因子，作用于当前层的输入图像，对当前层经过超像素分割后的图像进行增强，并将增强后得到的新图像作为下一层学习的输入图像，执行步骤1，开始新一层的学习过程；如此反复，通过多层学习，逐步将目标区域突显出来；

步骤8：停止学习后，将当前层中步骤5所述的层级显著图作为最终显著图，提取最终显著图中的显著区域作为目标区域，在待检测图像中标注出目标区域以及目标的类别标签，即机场目标或油罐目标，从而获得遥感目标检测的最终结果。

所述步骤1中，利用SLIC算法进行超像素分割具体步骤为：

对待检测的输入图像I，以彩色图像的颜色特征以及各像素点的位置信息为约束，采用K-means聚类算法进行聚类，提取图像CIELab(CIE(Commission Internationale deL'Eclairage)：国际照明委员会，CIELab是CIE的一个颜色***，该色彩空间的坐标是分别L,a和b，因此称为CIELab颜色空间，)颜色空间的颜色特征，将局部的具有相似颜色特征的像素点用超像素来代表，从而完成图像的超像素分割过程，选取整幅图像总的超像素分割个数为k，则分割后的图像I包含k个超像素区域。

所述步骤2中，构建全局信息集与背景信息集的具体步骤如下：

(1)已知超像素分割后的图像中含有的总的超像素个数为k，选取每个超像素的颜色特征构造底层特征，即将图像变换到CIELab颜色空间，分别求取每个超像素中所有像素在CIELab颜色空间三个颜色通道的值，取每个超像素中所有像素点在每个颜色通道的均值，作为该超像素的底层特征，即第i个超像素的底层特征p_i表示为：

p_i＝(ll_i,la_i,lb_i) (1)

其中，ll_i，la_i，lb_i分别表示在CIELab颜色空间的第i个超像素中的所有像素点在三个颜色通道取值的均值，则所有超像素的特征集为P＝{p₁,p₂,…,p_k}，定义P为全局信息集；其中p₁，p₂，…,p_k分别表示分割后的图像中第1，2，…,k个超像素区域的底层特征；1≤i≤k，i表示全局信息集中任意一个超像素，k表示总的超像素个数；

(2)对于全局信息集P＝{p₁,p₂,…,p_k}，设有n个超像素位于图像边界上，将位于边界的n个超像素提取出来，组成背景信息集，n则表示总的背景超像素个数，背景信息集B表示为：

B＝{b₁,b₂,…,b_n}，0<n<k (2)

b_j＝(ll_j,la_j,lb_j)，1≤j≤n (3)

其中j表示背景信息集中的任意一个超像素，b_j表示背景信息集中超像素区域的底层特征，ll_j，la_j，lb_j分别表示位于CIELab颜色空间的第j个超像素中的所有像素点在三个颜色通道取值的均值。

所述步骤3中，利用学习系数构建潜在目标特征图，具体如下：

定义超像素数据集(p_i,b_j)，其中p_i表示全局特征集中超像素区域的底层特征，b_j表示背景信息集中超像素区域的底层特征，即p_i∈P,b_j∈B，应用LDSM算子求取每个全局信息集中超像素区域的底层特征，即p_i，与每个背景信息集中超像素区域的底层特征b_j之间的相似性系数α_ij，如下式所示：

通过求解公式(4)，得到相似性测量的学习系数α_ij，当p_i与b_j相近时，α_ij近似为1；当p_i与b_j完全相等时，α_ij等于1；当p_i与b_j相差较大时，α_ij远离1；由于p_i与b_j的相似性表述为α_ij偏离1的程度，将相似性学习系数α_ij按公式(5)规范化为β_ij，则

其中，

表示将|a_ij-1|的取值范围归一化到区间[0,1]，归一化后的学习系数β_ij越接近于0，则表示全局超像素区域的底层特征p_i越接近于背景超像素区域的底层特征b_j；

通过求解以上最优化问题，得到一组规范化后的学习系数，如下式所示：

i表示公式(6)中矩阵的任意一行，第i行表示用特征集中第i个超像素去学习所有背景超像素所得到的学习系数，对每行中各元素取均值，定义潜在特征β_i的计算公式为：

其中n为总的背景超像素个数，β_ij表示公式(6)矩阵中的任意一个元素，由公式(7)得到潜在目标特征图F＝(β₁,β₂,…,β_k)，k表示总的超像素个数。

所述步骤4中，提取机场和油罐目标的目标特征图，实现如下：

(1)提取机场目标特征图

对于待检测的输入图像I，应用LSD直线检测算子初步获取整幅图像的直线信息，然后对应当前层的超像素分割结果，计算直线密度特征，分子为每个超像素区域中位于直线上的像素点的数目，分母为相应区域的面积。用公式(8)表示对于任意一个超像素区域i，对应的直线密度特征d_i为：

其中Num_L表示位于直线上的像素点数目，Num为总的像素数，region(i)表示第i个超像素区域，由此得到基于机场目标的目标特征图，即直线密度图D＝(d₁,d₂,…,d_k)，其中d₁，d₂，…,d_k分别表示第1，2，…,k个超像素区域的直线密度特征，k表示总的超像素个数；

(2)提取油罐目标特征图

圆特征是油罐目标典型的区域特征，对待检测的输入图像利用Hough变换进行圆检测，然后将圆检测结果转化为特征图，并将该特征图作为油罐目标特征图；

利用Hough变换进行圆检测时，对圆心位置(a,c)和圆半径r组成的(a,c,r)进行投票，其中a为圆心横坐标，c为圆心纵坐标；投票结果中的局部峰值即为存在的圆心位置坐标和圆的半径，将投票结果作为圆特征的权重值，满足公式(9)的所有点应该共享与对应的(a,c,r)相同的权重值，即

(x-a)²+(y-c)²≤r² (9)

其中(x,y)为目标特征图中任一位置的坐标，而其他非圆内的点则保留原有的权重值，得到油罐目标的目标特征图C。

所述步骤5融合生成层级显著图，具体如下：

首先将机场目标的目标特征图D和油罐目标的目标特征图C进行加法融合，即取并集运算，得到加法融合后的图像；再将潜在目标特征图F与前述加法融合后的图像再次进行融合，融合过程采用对应像素点间相乘的方式，即取交集运算，则融合方式表述为：

S＝(D+C)·F (10)

其中，S表示在每层学习过程经过融合生成的显著图，即层级显著图。

所述步骤6中，定义自适应的学习结束准则，判断是否应该结束当前的学习过程，具体包括：

(1)首先从数据库中获取机场目标与油罐目标的样本图像，应用机场目标的样本和油罐目标的样本分别训练LDA模型，得到机场与油罐目标的主题模型，同时训练背景的主题模型，得到机场和油罐目标与背景的主题模型。在LDA模型训练过程中，所有训练样本的特征选择为CIELab颜色空间的颜色特征；经过LDA模型训练后，得到背景主题模型p(z|bg)，机场主题模型p(z|fg₁)和油罐主题模型p(z|fg₂)；

(2)对于每一层的层级显著图，设定阈值0.6。当超像素区域的取值大于0.6时，认为该超像素区域为显著区域，否则，认为该超像素区域不显著；计算第i个显著区域的主题模型p(z|s_i)，其中s_i表示第i个超像素显著区域，计算主题模型p(z|s_i)与p(z|bg)，p(z|fg₁)，p(z|fg₂)之间的距离，取距离最小的主题模型对应的类型标签，类型标签分别为机场目标、油罐目标或背景三者中的一个，给显著区域s_i标注同样的标签，当所有显著区域的类型标签都为目标的类型标签时，结束学习，并输出每个显著区域的位置及其类型标签值，否则，继续下一层的增强学习过程；在计算主题模型之间的距离时，采用两向量之间的余弦距离。

所述步骤7中，采用多层学习框架，相邻层级间利用反馈机制，将每一层的层级显著图反馈至当前层的输入图像中，实现逐层的背景压制，具体包括：

当学习到的当前层的层级显著图S不满足学习结束条件时，首先利用拉伸函数对层级显著图S进行拉伸，公式如下：

R＝f(S) (11)

其中，f表示作用于层级显著图S的拉伸函数，所述拉伸函数选择二次函数；将拉伸后的矩阵R定义为增强矩阵，并应用增强矩阵对输入图像进行增强。则第一层的图像增强公式如下：

I₂＝I·R₁ (12)

R₁是学习过程中第一层的增强矩阵，由待检测的输入图像I通过层级间反馈得到第一层的增强图像I₂，将I₂作为第二层增强学习过程的输入图像，对I₂进行前述的特征提取步骤，得到第二层学习过程的层级显著图，以此类推，则层级间的反馈表达式为：

I_t+1＝I_t·R_t (13)

其中，I_t和I_t+1分别表示第t层和第t+1层的输入图像，R_t为第t层的增强矩阵，通过公式(13)的层级间反馈过程，第t+1层的输入图像I_t+1目标区域的显著性得到保持而背景区域被压制；

在第t次的学习过程中，对于当前层的输入图像I_t，应用SLIC算法对其进行超像素分割，将图像分割为k_t个超像素区域；采用的超像素分割数目满足以下条件：

k₁≥k₂≥k₃≥…≥k_t≥…，t＝1,2,3,… (14)

即采用由精到粗的分割模式，最初的精细分割能够准确地保留图像的边缘特征，后续的粗分割可以适当减少运算量；

更新后的图像I_t+1将作为下一层的输入图像开始新一层的学习，执行步骤1。

所述步骤8中，在最终显著图中获取目标区域以及目标的类别标签，具体包括：

在学习过程中，如果当前层的层级显著图满足自适应学习结束准则时，则结束学习过程；当前层所在的层数T则表示为总的学习层数，也是学习过程的迭代次数；将当前层的层级显著图作为最终的显著图，即最终显著图S_final表示为：

S_final＝S_T (15)

S_T表示在第T层学习过程中得到的层级显著图S。

设s为最终显著图S_final中的任一显著区域，根据自适应学习结束准则所确定的该区域的标签，即机场目标或油罐目标，在待检测的输入图像中标注机场目标或油罐目标的位置，完成遥感目标的检测任务。

本发明具有如下的优点和有益效果：

(1)本发明是采用最小距离的相似性测量算子进行特征向量的相似性测量，其对应每个超像素可得到一个相似性测量系数，作为该超像素的潜在目标特征，从而学习出每个超像素与背景信息集间的特征差异。

(2)本发明采用层次化增强的结构框架自适应学习潜在目标特征。在图像的每层学习更新过程中，都使得目标区域的特征表示更加显著，同时压制背景区域的特征表示，使得显著目标逐步被突显出来。

(3)本发明自适应决定学习层数。该模型当层级显著图中的目标区域足够显著时，可以自动控制结束学习过程，从而自适应地决定学习的层数，减少了人工干预，这使得该算法对不同的输入图像具有很好的适应性。

(4)本发明采用由精到粗的超像素分割方法。在层次化学习中进行超像素分割时先进行精细分割再进行粗分割。首先进行精细分割，可以提高分割的准确性，便于得到图像中目标物体的精确边界信息，再进行粗分割，可以在保证准确度的基础上提高算法的快速性。

(5)在改进层次化增强学习模型时，提出了一种将自顶向下的目标特征图与自底向上的底层潜在目标特征图相融合的方式，这样既能够在大幅遥感图像中提取出颜色、纹理相对显著的候选显著区域，同时也能够根据目标检测的任务驱动，在候选显著区域中筛选出符合检测目标任务需求的显著区域，使构建出的显著性检测模型更具有针对性和灵活性。

(6)本发明应用LDA主题模型作为学习结束的判决条件，由于LDA主题模型可以提取任何目标的主题特征，所以该方法可以处理多目标的检测问题，使得该方法在确定显著区域的同时，可以确定目标类别。

本发明提出的改进的层次化显著模型的遥感目标检测方法，可以准确检测出不同尺寸和光照条件下低分辨率遥感图像中的机场和油罐目标，具有较好的鲁棒性。

附图说明

图1为本发明针对改进的层次化显著模型的遥感目标检测方法流程图详解；

图2为本发明中遥感目标检测算法在多种尺度和光照条件下的机场检测效果图；其中a是对小尺寸机场目标的检测效果图，b是对大尺寸机场目标的检测效果图，c是在光照不充足的条件下对机场目标的检测效果图；

图3为本发明中遥感目标检测算法对于机场和油罐混合目标的检测结果示意图，其中a是对机场目标的检测结果，b是对油罐目标的检测结果。

具体实施方式

参见图1所示，本发明基于改进的层次化显著模型的遥感目标检测方法，具体实施方式以机场和油罐混合目标为例进行说明，其具体实施步骤如下：

步骤1：将待检测的输入图像利用简单线性迭代聚类算法SLIC进行超像素分割，将所述图像中近邻区域内具有颜色相似性的像素聚类，采用超像素来表示聚为一类的区域，得到超像素分割后的图像；

对待检测的输入图像I，以彩色图像的颜色特征以及各像素点的位置信息为约束，采用K-means聚类算法进行聚类，提取图像CIELab颜色空间的颜色特征，将局部的具有相似颜色特征的像素点用超像素来代表，从而完成图像的超像素分割过程，选取整幅图像总的超像素分割个数为k，则分割后的图像I包含k个超像素区域。

步骤2：将分割后的图像中每个超像素的颜色特征作为底层特征，构建全局信息集，同时，提取位于分割后的图像边界位置的所有超像素的底层特征构造背景信息集；

(1)已知超像素分割后的图像中含有的总的超像素个数为k，选取每个超像素的颜色特征构造底层特征，即将图像变换到CIELab颜色空间，分别求取每个超像素中所有像素在CIELab颜色空间三个颜色通道的值，取每个超像素中所有像素点在每个颜色通道的均值，作为该超像素的底层特征，即第i个超像素的底层特征p_i表示为：

p_i＝(ll_i,la_i,lb_i) (1)

其中，ll_i，la_i，lb_i分别表示在CIELab颜色空间的第i个超像素中的所有像素点在三个颜色通道取值的均值，则所有超像素的特征集为P＝{p₁,p₂,…,p_k}，定义P为全局信息集；其中p₁，p₂，…,p_k分别表示分割后的图像中第1，2，…,k个超像素区域的底层特征；1≤i≤k，i表示全局信息集中任意一个超像素，k表示总的超像素个数；

(2)对于全局信息集P＝{p₁,p₂,…,p_k}，设有n个超像素位于图像边界上，将位于边界的n个超像素提取出来，组成背景信息集，n则表示总的背景超像素个数，背景信息集B表示为：

B＝{b₁,b₂,…,b_n}，0<n<k (2)

b_j＝(ll_j,la_j,lb_j)，1≤j≤n (3)

其中j表示背景信息集中的任意一个超像素，b_j表示背景信息集中超像素区域的底层特征，ll_j，la_j，lb_j分别表示位于CIELab颜色空间的第j个超像素中的所有像素点在三个颜色通道取值的均值。

步骤3：采用基于最小距离的相似性测量算子LDSM，学习每个超像素和背景信息集之间的特征相似度，所述特征相似度用LDSM的学习系数表征，所述学习系数的取值与每个超像素和背景信息集之间的特征相似度呈正相关，利用所述学习系数构建出潜在目标特征图，所述的潜在目标特征图可以反映出每个超像素区域与背景信息集之间的特征差异，包含所有候选显著目标区域；

定义超像素数据集(p_i,b_j)，其中p_i表示全局特征集中超像素区域的底层特征，b_j表示背景信息集中超像素区域的底层特征，即p_i∈P,b_j∈B，应用LDSM算子求取每个全局信息集中超像素区域的底层特征，即p_i，与每个背景信息集中超像素区域的底层特征b_j之间的相似性系数α_ij，如下式所示：

通过求解公式(4)，得到相似性测量的学习系数α_ij，当p_i与b_j相近时，α_ij近似为1；当p_i与b_j完全相等时，α_ij等于1；当p_i与b_j相差较大时，α_ij远离1；由于p_i与b_j的相似性表述为α_ij偏离1的程度，将相似性学习系数α_ij按公式(5)规范化为β_ij，则

其中，

表示将|a_ij-1|的取值范围归一化到区间[0,1]，归一化后的学习系数β_ij越接近于0，则表示全局超像素区域的底层特征p_i越接近于背景超像素区域的底层特征b_j；

通过求解以上最优化问题，得到一组规范化后的学习系数，如下式所示：

i表示公式(6)中矩阵的任意一行，第i行表示用特征集中第i个超像素去学习所有背景超像素所得到的学习系数，对每行中各元素取均值，定义潜在特征β_i的计算公式为：

其中n为总的背景超像素个数，β_ij表示公式(6)矩阵中的任意一个元素，由公式(7)得到潜在目标特征图F＝(β₁,β₂,…,β_k)，k表示总的超像素个数。

步骤4：从待检测的输入图像中自顶向下地提取出机场和油罐目标的先验特征，分别生成目标特征图。对于机场目标，利用LSD(Line Segment Detector，直线检测算子)对待检测的输入图像进行直线检测，得到直线检测结果，然后利用步骤1中超像素分割后的图像，统计其每个超像素区域中位于检测到的直线上的像素点数目，生成直线密度图作为机场目标的目标特征图；对于油罐目标，利用Hough变换方法，对待检测的输入图像进行圆检测，得到圆的检测结果，再利用投票机制，为检测到的圆的内部点和非内部点分配不同的权值，生成圆特征图，将圆特征图作为油罐目标的目标特征图；

(1)提取机场目标特征图

对于待检测的输入图像I，应用LSD直线检测算子初步获取整幅图像的直线信息，然后对应当前层的超像素分割结果，计算直线密度特征，分子为每个超像素区域中位于直线上的像素点的数目，分母为相应区域的面积。用公式(8)表示对于任意一个超像素区域i，对应的直线密度特征d_i为：

其中Num_L表示位于直线上的像素点数目，Num为总的像素数，region(i)表示第i个超像素区域，由此得到基于机场目标的目标特征图，即直线密度图D＝(d₁,d₂,…,d_k)，其中d₁，d₂，…,d_k分别表示第1，2，…,k个超像素区域的直线密度特征，k表示总的超像素个数；

(2)提取油罐目标特征图

圆特征是油罐目标典型的区域特征，对待检测的输入图像利用Hough变换进行圆检测，然后将圆检测结果转化为特征图，并将该特征图作为油罐目标特征图；

利用Hough变换进行圆检测时，对圆心位置(a,c)和圆半径r组成的(a,c,r)进行投票，其中a为圆心横坐标，c为圆心纵坐标；投票结果中的局部峰值即为存在的圆心位置坐标和圆的半径，将投票结果作为圆特征的权重值，满足公式(9)的所有点应该共享与对应的(a,c,r)相同的权重值，即

(x-a)²+(y-c)²≤r² (9)

其中(x,y)为目标特征图中任一位置的坐标，而其他非圆内的点则保留原有的权重值，得到油罐目标的目标特征图C。

步骤5：将步骤3中所述潜在目标特征图F与步骤4中所述机场目标特征图D和油罐目标特征图C，将这三幅特征图进行融合，生成层级显著图；层级显著图中的显著区域包括学习过程中每一层获得的潜在目标特征图中的候选显著目标区域，机场目标区域和油罐目标区域。

首先将机场目标的目标特征图D和油罐目标的目标特征图C进行加法融合，即取并集运算，得到加法融合后的图像；再将潜在目标特征图F与前述加法融合后的图像再次进行融合，融合过程采用对应像素点间相乘的方式，即取交集运算，则融合方式表述为：

S＝(D+C)·F (10)

其中，S表示在每层学习过程经过融合生成的显著图，即层级显著图。

步骤6：利用LDA主题模型来定义自适应学习结束准则，并用此准则判断步骤5所述当层级显著图中的显著区域与机场和油罐目标之间的特征相似度，以此来判断是否应该结束当前的学习过程。若学习过程没有结束，则执行步骤7；若学习过程已经结束，则执行步骤8；

(1)首先从数据库中获取机场目标与油罐目标的样本图像，应用机场目标的样本和油罐目标的样本分别训练LDA模型，得到机场与油罐目标的主题模型，同时训练背景的主题模型，得到机场和油罐目标与背景的主题模型。在LDA模型训练过程中，所有训练样本的特征选择为CIELab颜色空间的颜色特征；经过LDA模型训练后，得到背景主题模型p(z|bg)，机场主题模型p(z|fg₁)和油罐主题模型p(z|fg₂)；

(2)对于每一层的层级显著图，设定阈值0.6。当超像素区域的取值大于0.6时，认为该超像素区域为显著区域，否则，认为该超像素区域不显著；计算第i个显著区域的主题模型p(z|s_i)，其中s_i表示第i个超像素显著区域，计算主题模型p(z|s_i)与p(z|bg)，p(z|fg₁)，p(z|fg₂)之间的距离，取距离最小的主题模型对应的类型标签，类型标签分别为机场目标、油罐目标或背景三者中的一个，给显著区域s_i标注同样的标签，当所有显著区域的类型标签都为目标的类型标签时，结束学习，并输出每个显著区域的位置及其类型标签值，否则，继续下一层的增强学习过程；在计算主题模型之间的距离时，采用两向量之间的余弦距离。

步骤7：采用多层学习框架，相邻层级间利用反馈机制，将每一层获得的层级显著图反馈至当前层的输入图像中，实现逐层背景压制。即，将步骤5中所述经过融合得到的层级显著图作为增强因子，作用于当前层的输入图像，对当前层经过超像素分割后的图像进行增强，并将增强后得到的新图像作为下一层学习的输入图像，执行步骤1，开始新一层的学习过程；如此反复，通过多层学习，可逐步将目标区域突显出来；

当学习到的当前层的层级显著图S不满足学习结束条件时，首先利用拉伸函数对层级显著图S进行拉伸，公式如下：

R＝f(S) (11)

其中，f表示作用于层级显著图S的拉伸函数，所述拉伸函数选择二次函数；将拉伸后的矩阵R定义为增强矩阵，并应用增强矩阵对输入图像进行增强。则第一层的图像增强公式如下：

I₂＝I·R₁ (12)

R₁是学习过程中第一层的增强矩阵，由待检测的输入图像I通过层级间反馈得到第一层的增强图像I₂，将I₂作为第二层增强学习过程的输入图像，对I₂进行前述的特征提取步骤，得到第二层学习过程的层级显著图，以此类推，则层级间的反馈表达式为：

I_t+1＝I_t·R_t (13)

其中，I_t和I_t+1分别表示第t层和第t+1层的输入图像，R_t为第t层的增强矩阵，通过公式(13)的层级间反馈过程，第t+1层的输入图像I_t+1目标区域的显著性得到保持而背景区域被压制；

在第t次的学习过程中，对于当前层的输入图像I_t，应用SLIC算法对其进行超像素分割，将图像分割为k_t个超像素区域；采用的超像素分割数目满足以下条件：

k₁≥k₂≥k₃≥…≥k_t≥…，t＝1,2,3,… (14)

即采用由精到粗的分割模式，最初的精细分割能够准确地保留图像的边缘特征，后续的粗分割可以适当减少运算量；

更新后的图像I_t+1将作为下一层的输入图像开始新一层的学习，执行步骤1。

步骤8：停止学习后，将当前层中步骤5所述的层级显著图作为最终显著图，提取最终显著图中的显著区域作为目标区域，在待检测图像中标注目标区域以及目标的类别标签，即机场目标或油罐目标，从而获得遥感目标检测的最终结果。

在学习过程中，如果当前层的层级显著图满足自适应学习结束准则时，则结束学习过程；当前层所在的层数T则表示为总的学习层数，也是学习过程的迭代次数；将当前层的层级显著图作为最终的显著图，即最终显著图S_final表示为：

S_final＝S_T (15)

S_T表示在第T层学习过程中得到的层级显著图S。

设s为最终显著图S_final中的任一显著区域，根据自适应学习结束准则所确定的该区域的标签，即机场目标或油罐目标，在待检测的输入图像中标注机场目标或油罐目标的位置，完成遥感目标的检测任务。

图2是本发明中遥感目标检测算法在多种尺度和光照条件下的机场检测效果图，(a)是对小尺寸机场的检测效果图。从检测结果可以看出，本发明提出的这种遥感目标检测方法能够较好地检测出整个机场区域，并且能够很好地压制周围背景区域的干扰，检测出的机场显著区域比较完整。其中(b)是对大尺寸机场目标的检测效果图。从检测结果可以看出，在大尺度下条件，对机场目标的检测结果也很完整。(c)是在光照不充足的条件下对机场目标的检测效果图。从检测结果可以看出，当光照不足时，该目标检测模型仍能够准确地提取出机场目标所在位置。由图2可以看出，该目标检测模型对于遥感图像的地表环境、目标尺度大小以及光照变化都具有很好的自适应能力，即该算法具有应用范围广，鲁棒性好的特点。

图3是本发明中遥感目标检测算法对于机场和油罐混合目标的检测结果示意图。(a)是对机场目标的检测结果，从检测结果可以看出，本发明能够准确地检测到目标区域，对遥感目标的边缘保持性较好，而且能同时高亮整个目标区域。(b)是对油罐目标的检测结果，从检测结果可以看出，背景杂乱程度略有增加，这是由于一幅图像中通常存在多个油罐目标，因此对背景的压制没有单个目标时压制得完全。但是尽管背景略有杂乱，图中最显著区域仍然能够准确的命中目标。

Claims (1)

1.一种基于改进的层次化显著模型的遥感目标检测方法，其特征在于：所述遥感目标针对机场和油罐两类目标，包括如下步骤：

步骤1：将待检测的输入图像利用简单线性迭代聚类算法SLIC进行超像素分割，将所述图像中近邻区域内具有颜色相似性的像素聚类，然后采用超像素来表示聚为一类的区域，从而得到超像素分割后的图像；

所述步骤1中，利用SLIC算法进行超像素分割具体步骤为：

对待检测的输入图像I，以彩色图像的颜色特征以及各像素点的位置信息为约束，采用K-means聚类算法进行聚类，提取图像CIELab颜色空间的颜色特征，将局部的具有相似颜色特征的像素点用超像素来代表，从而完成图像的超像素分割过程，选取整幅图像总的超像素分割个数为k，则分割后的图像I’包含k个超像素区域；

步骤2：将分割后的图像中每个超像素的颜色特征作为底层特征，构建全局信息集，同时，提取位于分割后的图像边界位置的所有超像素的底层特征构建背景信息集；

所述步骤2中，构建全局信息集与背景信息集的具体步骤如下：

(1)已知超像素分割后的图像中含有的总的超像素个数为k，选取每个超像素的颜色特征构造底层特征，即将图像变换到CIELab颜色空间，分别求取每个超像素中所有像素在CIELab颜色空间三个颜色通道的值，取每个超像素中所有像素点在每个颜色通道的均值，作为该超像素的底层特征，即第i个超像素的底层特征p_i表示为：

p_i＝(ll_i,la_i,lb_i) (1)

其中，ll_i，la_i，lb_i分别表示在CIELab颜色空间的第i个超像素中的所有像素点在三个颜色通道取值的均值，则所有超像素的特征集为P＝{p₁,p₂,···,p_k}，定义P为全局信息集；其中p₁，p₂，···,p_k分别表示分割后的图像中第1，2，···,k个超像素区域的底层特征；1≤i≤k，i表示全局信息集中任意一个超像素，k表示总的超像素个数；

(2)对于全局信息集P＝{p₁,p₂,···,p_k}，设有n个超像素位于图像边界上，将位于边界的n个超像素提取出来，组成背景信息集，n则表示总的背景超像素个数，背景信息集B表示为：

B＝{b₁,b₂,···,b_n}，0＜n＜k (2)

b_j＝(ll_j,la_j,lb_j)，1≤j≤n (3)

其中j表示背景信息集中的任意一个超像素，b_j表示背景信息集中超像素区域的底层特征，ll_j，la_j，lb_j分别表示位于CIELab颜色空间的第j个超像素中的所有像素点在三个颜色通道取值的均值；

步骤3：采用基于最小距离的相似性测量算子LDSM，学习每个超像素和背景信息集之间的特征相似度，所述特征相似度用LDSM的学习系数表征，所述学习系数的取值与每个超像素和背景信息集之间的特征相似度呈正相关，利用所述学习系数构建出潜在目标特征图，所述潜在目标特征图反映出每个超像素区域与背景信息集之间的特征差异，包含所有候选显著目标区域；

所述步骤3中，利用学习系数构建潜在目标特征图，具体如下：

定义超像素数据集(p_i,b_j)，其中p_i表示全局特征集中超像素区域的底层特征，b_j表示背景信息集中超像素区域的底层特征，即p_i∈P,b_j∈B，应用LDSM算子求取每个全局信息集中超像素区域的底层特征，即p_i，与每个背景信息集中超像素区域的底层特征b_j之间的相似性系数α_ij，如下式所示：

通过求解公式(4)，得到相似性测量的学习系数α_ij，当p_i与b_j相近时，α_ij近似为1；当p_i与b_j完全相等时，α_ij等于1；当p_i与b_j相差较大时，α_ij远离1；由于p_i与b_j的相似性表述为α_ij偏离1的程度，将相似性学习系数α_ij按公式(5)规范化为β_ij，则

其中，

表示将|a_ij-1|的取值范围归一化到区间[0,1]，归一化后的学习系数β_ij越接近于0，则表示全局超像素区域的底层特征p_i越接近于背景超像素区域的底层特征b_j；

通过以上求解，得到一组规范化后的学习系数β_ij，如下式所示：

i表示公式(6)中矩阵的任意一行，第i行表示用特征集中第i个超像素去学习所有背景超像素所得到的学习系数，对每行中各元素取均值，定义潜在特征β_i的计算公式为：

其中n为总的背景超像素个数，β_ij表示公式(6)矩阵中的任意一个元素，由公式(7)得到潜在目标特征图F＝(β₁,β₂,···,β_k)，k表示总的超像素个数；

步骤4：从待检测的输入图像中自顶向下地提取出机场和油罐目标的先验特征，分别生成目标特征图；对于机场目标，利用直线检测算子LSD对待检测的输入图像进行直线检测，得到直线检测结果；然后利用步骤1中超像素分割后的图像，统计其每个超像素区域中位于检测到的直线上的像素点数目，生成直线密度图作为机场目标的目标特征图；对于油罐目标，利用Hough变换方法，对待检测的输入图像进行圆检测，得到圆的检测结果，再利用投票机制，为检测到的圆的内部点和非内部点分配不同的权值，生成圆特征图，将圆特征图作为油罐目标的目标特征图；

所述步骤4中，提取机场和油罐目标的目标特征图，实现如下：

(1)提取机场目标特征图

对于待检测的输入图像I，应用LSD直线检测算子初步获取整幅图像的直线信息，然后对应当前层的超像素分割结果，计算直线密度特征，分子为每个超像素区域中位于直线上的像素点的数目，分母为相应区域的面积，用公式(8)表示对于任意一个超像素区域i，对应的直线密度特征d_i为：

其中Num_L表示位于直线上的像素点数目，Num为总的像素数，region(i)表示第i个超像素区域，由此得到基于机场目标的目标特征图，即直线密度图D＝(d₁,d₂,…,d_k)，其中d₁，d₂，···,d_k分别表示第1，2，···,k个超像素区域的直线密度特征，k表示总的超像素个数；

(2)提取油罐目标特征图

圆特征是油罐目标典型的区域特征，对待检测的输入图像利用Hough变换进行圆检测，然后将圆检测结果转化为特征图，并将该特征图作为油罐目标特征图；

利用Hough变换进行圆检测时，对圆心位置(a,c)和圆半径r组成的(a,c,r)进行投票，其中a为圆心横坐标，c为圆心纵坐标；投票结果中的局部峰值即为存在的圆心位置坐标和圆的半径，将投票结果作为圆特征的权重值，满足公式(9)的所有(x,y)的值是一个以(a,c)为圆心，r为半径的圆，即满足公式(9)的所有点共享与对应的(a,c,r)相同的权重值，即：

(x-a)²+(y-c)²≤r² (9)

其中(x,y)为目标特征图中任一位置的坐标，而其他非圆内的点则保留原有的权重值，得到油罐目标的目标特征图C；

步骤5：将步骤3中所述潜在目标特征图与步骤4中所述机场目标的目标特征图和油罐目标的目标特征图，即三幅图像进行融合，生成层级显著图；层级显著图中的显著区域包括学习过程中每一层获得的潜在目标特征图中的候选显著目标区域，机场目标区域和油罐目标区域；

所述步骤5中，融合生成层级显著图具体如下：

首先将机场目标的目标特征图D和油罐目标的目标特征图C进行加法融合，即取并集运算，得到加法融合后的图像；再将潜在目标特征图F与前述加法融合后的图像再次进行融合，融合过程采用对应像素点间相乘的方式，即取交集运算，则融合方式表述为：

S＝(D+C)·F (10)

其中，S表示在每层学习过程经过融合生成的显著图，即层级显著图；

步骤6：利用潜在主题语义模型LDA定义自适应学习结束准则，并用所述准则来判断步骤5所述层级显著图中的显著区域与机场和油罐目标之间的特征相似度，以此来判断是否应该结束当前的学习过程，若学习过程没有结束，则执行步骤7；若学习过程已经结束，则执行步骤8；

所述步骤6中，定义自适应学习结束准则，判断是否应该结束当前的学习过程，具体包括：

(1)首先从数据库中获取机场目标与油罐目标的样本图像，应用机场目标的样本和油罐目标的样本分别训练LDA模型，得到机场与油罐目标的主题模型，同时训练背景的主题模型，得到机场和油罐目标与背景的主题模型，在LDA模型训练过程中，所有训练样本的特征选择为CIELab颜色空间的颜色特征；经过LDA模型训练后，得到背景主题模型p(z|bg)，机场主题模型p(z|fg₁)和油罐主题模型p(z|fg₂)，其中z为模型变量，bg为背景区域，fg₁为机场区域，fg₂为油罐区域；

(2)对于每一层的层级显著图，设定阈值0.6，当超像素区域的取值大于0.6时，认为该超像素区域为显著区域，否则，认为该超像素区域不显著；计算第i个显著区域的主题模型p(z|s_i)，其中s_i表示第i个超像素显著区域，计算主题模型p(z|s_i)与p(z|bg)，p(z|fg₁)，p(z|fg₂)之间的距离，取距离最小的主题模型对应的类型标签，类型标签分别为机场目标、油罐目标或背景三者中的一个，给显著区域s_i标注同样的标签，当所有显著区域的类型标签都为目标的类型标签时，结束学习，并输出每个显著区域的位置及其类型标签值，否则，继续下一层的增强学习过程；在计算主题模型之间的距离时，采用两向量之间的余弦距离；

步骤7：采用多层学习框架，相邻层级间利用反馈机制，将每一层获得的层级显著图反馈至当前层的输入图像中，实现逐层背景压制，即，将所述步骤5中经过融合得到的层级显著图作为增强因子，作用于当前层的输入图像，对当前层经过超像素分割后的图像进行增强，并将增强后得到的新图像作为下一层学习的输入图像，执行步骤1，开始新一层的学习过程；如此反复，通过多层学习，逐步将目标区域突显出来；

所述步骤7中，采用多层学习框架，相邻层级间利用反馈机制，将每一层的层级显著图反馈至当前层的输入图像中，实现逐层的背景压制，具体包括：

当学习到的当前层的层级显著图S不满足学习结束条件时，首先利用拉伸函数对层级显著图S进行拉伸，公式如下：

R＝f(S) (11)

其中，f表示作用于层级显著图S的拉伸函数，所述拉伸函数选择二次函数；将拉伸后的矩阵R定义为增强矩阵，并应用增强矩阵对输入图像进行增强，则第一层的图像增强公式如下：

I₂＝I·R₁ (12)

R₁是学习过程中第一层的增强矩阵，由待检测的输入图像I通过层级间反馈得到第一层的增强图像I₂，将I₂作为第二层增强学习过程的输入图像，利用步骤3和步骤4提取I₂中的特征，并利用步骤5进行图像融合，得到第二层学习过程的层级显著图，以此类推，则层级间的反馈表达式为：

I_t+1＝I_t·R_t (13)

其中，I_t和I_t+1分别表示第t层和第t+1层的输入图像，R_t为第t层的增强矩阵，通过公式(13)的层级间反馈过程，第t+1层的输入图像I_t+1目标区域的显著性得到保持而背景区域被压制；

在第t次的学习过程中，对于当前层的输入图像I_t，应用SLIC算法对其进行超像素分割，将图像分割为k_t个超像素区域；采用的超像素分割数目满足以下条件：

k₁≥k₂≥k₃≥···≥k_t≥···，t＝1,2,3,··· (14)

即采用由精到粗的分割模式，最初的精细分割能够准确地保留图像的边缘特征，后续的粗分割适当减少运算量；

更新后的图像I_t+1将作为下一层的输入图像开始新一层的学习，执行步骤1；

步骤8：停止学习后，将当前层中步骤5所述的层级显著图作为最终显著图，提取最终显著图中的显著区域作为目标区域，在待检测图像中标注出目标区域以及目标的类别标签，即机场目标或油罐目标，从而获得遥感目标检测的最终结果；

所述步骤8中，在最终显著图中获取目标区域以及目标的类别标签，具体包括：

在学习过程中，如果当前层的层级显著图满足自适应学习结束准则时，则结束学习过程；当前层所在的层数T则表示为总的学习层数，也是学习过程的迭代次数；将当前层的层级显著图作为最终的显著图，即最终显著图S_final表示为：

S_final＝S_T (15)

S_T表示在第T层学习过程中得到的层级显著图；

设s为最终显著图S_final中的任一显著区域，根据自适应学习结束准则所确定的该区域的标签，即机场目标或油罐目标，在待检测的输入图像中标注机场目标或油罐目标的位置，完成遥感目标的检测任务。

Images