CN104143102A - 在线图像数据处理方法 - Google Patents

Abstract

本发明提供了一种在线图像数据处理方法，用于识别图像中的特征，包括视觉扫描、中心***差运算、灰度显著图获取、注视点搜索、重点区域确定；采取递进式训练将重点区域的像素灰度信号直接通过已训练的网络层次模型，获取重点特征区域的本质特征直接进行识别。本发明按照视觉显著性强弱顺序串行选择和识别图像目标，提高了图像分析与识别的效率和准确性、适应性强、通用性好。

Description

在线图像数据处理方法

技术领域

本发明涉及图像处理，特别涉及一种用于环境检测的图像在线特征识别方法和装置。

背景技术

随着计算机技术、自动控制技术以及信息和软件技术迅速地引入环境保护领域，自动化、智能化已经成为遥感环境监测技术发展的重要方向。计算机视觉技术以其信息量大、精度高、检测范围大等特点，在基于遥感水质的检测领域得到了广泛的应用。而遥感图像检测的结果将作为水质分析和污染物评定的重要依据。评定遥感图像检测结果有两种方法：人工评定和计算机图像识别评定。

传统的特征检测方法主要由监测人员手工完成。目前实际生产中，主要采取的方式是人工分析遥感图像，凭经验确定有无污染及污染的类型、位置等，由此评定水质，例如海洋溢油事故。人工评定方式受人为因素及外界条件的影响，效率低、不可靠、一致性差。采用计算机图像处理技术，对遥感图像特征进行分析、检测和识别，可以较好的解决人工评定的上述问题，使水域质量评定更科学、客观。

至今，国内外学者进行了大量基于遥感图像特征检测的研究，在缺陷识别、算法分析、实验效果等方面均获得了一定的进展，但还未达到可以在生产中实际应用的水平。遥感检测图像背景不均匀、灰度起伏大，以及模糊的特征边缘、较低的对比度，且图像噪声多。以海洋环境为例，复杂的情况会对油膜的光谱特征造成影响，降低油膜识别精度。目前，对油膜波谱响应特征的识别主要基于海上试验获取的光谱数据(点数据)，利用地物光谱仪获得油在可见光近红外波段的光谱特征，分析油膜的光谱特征变化及油水反差规律。基于点的光谱数据无法提供油膜分布信息，影响海上污染应急防控水平的实质性提高。

因此，针对相关技术中所存在的上述问题，目前尚未提出有效的解决方案。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种遥感图像特征识别的有效方法。

本发明采用如下技术方案：一种在线图像数据处理方法，用于对图像中的特征进行在线识别，其特征在于，包括：

步骤一：对灰度遥感图像进行视觉扫描，搜索各扫描线的中央点，通过中心***差运算，获得遥感图像的显著图和注视点；

步骤二：根据自适应梯度门限值计算方法，利用自适应中心***差门限值和各注视点的显著性级别，确定重点特征区域；

步骤三：基于卷积神经网络构造递进式训练网络，基于该递进式训练网络将重点区域的像素灰度信号输入已训练的卷积神经网络层次模型，获取重点特征区域的递进式训练本质特征，从而得到遥感图像特征。

优选地，所述步骤一中进一步包括：

(1)对遥感图像进行逐行逐列线扫描,

(2)搜索第j列灰度曲线各局部极小峰值点h(x_i,y_j)即中央点，i＝1,2,…,n，n为中央点的数量；各中央点对应的像素坐标为(x_i,y_j),

由各中央点开始向左右两侧分别搜索离其最近的顶部，分别为h(x_iL,y_j)和h(x_iR,y_j)，i＝1,2,…,n；各顶部对应的像素点即周边点，分别为(x_iL,y_j)和(x_iR,y_j)，i＝1,2,…,n，

(3)定义目标区域N(x_i,y_j)＝{(x_im,y_j)|m∈Z,L≤m≤R}，由左右两侧周边点之间的像素组成，为可能的注视点区域；其中j＝1,2,…,k，k为图像行数，Z表示整数集、L表示目标区域左边界，R表示目标区域右边界，

计算中心***差Δh(x_iL,y_j)＝h(x_iL,y_j)-h(x_i,y_j)，Δh(x_iR,y_j)＝h(x_iR,y_j)-h(x_i,y_j)，其中i＝1,2,…,n；取Δh(x_iL,y_j)和Δh(x_iR,y_j)的较小者为中心***差Δh，

(4)计算第j行扫描线的自适应中心***差门限值T_j：T_j＝μ_Δf+kσ_Δf，其中μ_Δf为扫描线中心***差的均值；σ_Δf为扫描线中心***差的标准差；k为常系数，

(5)计算扫描线上各点显著性级别：将Δh(x_iL,y_j)和Δh(x_iR,y_j)与各扫描线的自适应中心***差门限值T_j比较，假设Δh(x_iL,y_j)≥Δh(x_iR,y_j)，将Δh(x_iL,y_j)≥T_j，则该目标区域N(x_i,y_j)显著焦点，各点在显著图中的显著性级别置为S(x_i,y_j)＝Δh(x_iL,y_j)，扫描线上其余各点显著性级别置为0，

(6)整副图像扫描完成后，合并相连的显著区域，以最大的显著性级别作为合并区域的显著性级别，得到遥感图像遥感图像图的显著图。

优选地，在步骤二的确定重点特征区域中，基于对各注视点的显著性级别的排序来顺序处理显著区域，如注视点的显著性级别S(x_i,y_j)＞T，则该注视点为重点特征区域，其中T为预设判定门限值。

优选地，所述步骤四进一步包括：

将上述步骤二获得的依显著性级别排序的重点区域作为分析对象，将灰度图像信号作为网络的输入，通过已训练的卷积神经网络层次模型，获取重点特征区域的递进式训练本质特征，通过输出层径向基网络进行识别，输出为特征类型。

相比于现有技术，本发明的技术方案的具有以下优点：

(1)利用关注机制快速聚焦于遥感图像重点特征区域，使图像数据处理量大大减少，保证了算法有较高的效率，减少无关数据干扰同时提高算法准确性；

(2)采取递进式训练，应用于图像识别，提升了准确性，而且避免了人工特征抽取的时间消耗，从而提高了计算效率，可为视觉特征检测领域研究提供新的思路。

附图说明

图1a是根据本发明实施例的遥感图像特征自动识别的方法流程图。

图1b是根据本发明实施例的遥感图像扫描线的灰度分布曲线图。

图2是根据本发明实施例的初始网络CN1结构的层次示意图。

图3是根据本发明实施例的卷积和子采样过程的示意图。

图4是根据本发明实施例的C3层与S2层神经元连接方式表。

图5是根据本发明实施例的层次网络CN1的训练过程示意图。

图6是根据本发明实施例的层次网络CN2的训练过程示意图。

图7是根据本发明实施例的层次网络CN3的训练过程示意图。

图8是根据本发明实施例的层次网络CN4的训练过程示意图。

图9是根据本发明实施例的层次网络CN3的结构层次示意图。

图10是根据本发明实施例的C3层与S2层神经元的连接方式表。

图11是根据本发明实施例的层次网络CN3的实验结果示意图。

具体实施方式

多种方式可以用于(包括实施为过程；装置；***；物质组成；在计算机可读存储介质上包括的计算机程序产品；和/或处理器(诸如如下处理器，该处理器被配置成执行在耦合到处理器的存储器上存储的和/或由该存储器提供的指令))实施本发明。在本说明书中，这些实施或者本发明可以采用的任何其他形式可以称为技术。一般而言，可以在本发明的范围内变更公开的过程的步骤顺序。除非另有明示，描述为被配置成执行任务的部件(诸如处理器或者存储器)可以实施为被临时配置成在给定时间执行该任务的一般部件或者被制造成执行该任务的具体部件。

下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描述。结合这样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本发明。

本发明的目的在于针对现有遥感图像检测存在的难点及现有技术的不足，将关注机制引入遥感图像分析中，提出一种遥感图像特征的有效方法，克服现有技术中存在的问题。

传统方法需对所有遥感图像区域同等看待、进行同等的检测与分析，但实际上所关心的重点特征区域通常仅占遥感图像整体图像中非常小的一部分，可能不到1％的比例，甚至更少。这不但造成了特征检测识别***的计算资源与计算时间的浪费，而且加重检测识别的分析难度、降低准确性。本发明将人眼选择性关注机制引入到遥感图像特征目标的检测中，通过模拟人眼视觉的扫描来进行自适应中心***差计算来直接获得显著图的方法，以迅速有效地减少图像处理的数据量，提高检测速度；更重要的是有效地消除无效数据对特征检测区域的干扰，有助于提高检测精度和准确度。并且，采取递进式训练将重点区域的像素灰度信号直接通过已训练的网络层次模型，获取重点特征区域的本质特征直接进行识别。

图1是根据本发明实施例的遥感图像特征自动识别的方法流程图。如图1所示，实施本发明的具体步骤如下：

步骤一：获取遥感图像的显著图。通过直接对灰度遥感图像进行视觉扫描，搜索各扫描线的中央点，通过中心***差运算，获得遥感图像的显著图和注视点。

人类视觉神经元对位于其感受野中央小区域的刺激最敏感，而中央区周围的更广、更弱区域内的刺激将抑制该神经元的响应。这种对局部空间具有不连续性的敏感结构特别适用于检测局部显著性较强的区域，这即是生物感受野的线性中心***操作。本发明对强度特征的计算，是通过线扫描及计算自适应中心***差门限值的方式来获得视点中央与周围部分的差值，从而实现与生物感受野类似的线性中心***操作。

在本发明的一个实施例中，图像的显著图获取方法如下：

(1)对图像进行逐行(列)线扫描。图1b是扫描线上的灰度分布曲线。

(2)搜索第j列灰度曲线各局部极小峰值点h(x_i,y_j)即中央点，i＝1,2,…,n，n为中央点的数量；各中央点对应的像素坐标为(x_i,y_j)，i＝1,2,…,n。

由各中央点开始向左右两侧分别搜索离其最近的顶部，分别为h(x_iL,y_j)和h(x_iR,y_j)，i＝1,2,…,n；各顶部对应的像素点即周边点，分别为(x_iL,y_j)和(x_iR,y_j)，i＝1,2,…,n。

(3)定义目标区域N(x_i,y_j)：N(x_i,y_j)＝{(x_im,y_j)|m∈Z,L≤m≤R}，由左右两侧周边点之间的像素组成，为可能的注视点区域。其中j＝1,2,…,k，k为图像行数，Z表示整数集、L表示目标区域左边界，R表示目标区域右边界，例如x_iL表示目标区域左边界的行坐标，x_iR表示目标区域右边界的行坐标。

中心***差Δh：Δh(x_iL,y_j)＝h(x_iL,y_j)-h(x_i,y_j)，Δh(x_iR,y_j)＝h(x_iR,y_j)-h(x_i,y_j)，其中i＝1,2,…,n；取Δh(x_iL,y_j)和Δh(x_iR,y_j)的较小者为中心***差Δh。

(4)计算第j行扫描线的自适应中心***差门限值T_j：T_j＝μ_Δf+kσ_Δf，其中μ_Δf为扫描线中心***差的均值；σ_Δf为扫描线中心***差的标准差；k为常系数，一般取3～5。

(5)扫描线上各点显著性级别：将Δh(x_iL,y_j)和Δh(x_iR,y_j)与各扫描线的自适应中心***差门限值T_j比较，假设Δh(x_iL,y_j)≥Δh(x_iR,y_j)。将Δh(x_iL,y_j)≥T_j，则该目标区域N(x_i,y_j)显著焦点，各点在显著图中的显著性级别置为S(x_i,y_j)＝Δh(x_iL,y_j)，扫描线上其余各点显著性级别置为0。

(6)整副图像扫描完成后，合并相连的显著区域，以最大的显著性级别作为合并区域的显著性级别，合并完成后得到遥感图像遥感图像图的显著图S。

步骤二：判定遥感图像重点区域。根据自适应梯度门限值计算方法，利用自适应中心***差门限值和各注视点的显著性级别，确定重点特征区域，从而对这些重点特征区域进行优先、细致的处理，提高遥感图像特征检测的效率和准确性；

具体地，根据各注视点的显著性级别排序标记，级别高的显著区域优先处理。

如注视点的显著性级别S(x_i,y_j)＞T，T为判定门限值,则该注视点为重点特征区域，需通过步骤三的递进式训练网络作进一步细致分析。

步骤三：基于卷积神经网络的递进式训练网络构造，利用卷积网络的生长方法，从初始网络开始，根据生长规则，自动生长到识别能力和检测效率都达到期望门限值。

类似于生物视觉神经网络，卷积神经网络具有层次化和局部感知区域抽取特征的特点，适当增加各层感知器的数量，能够提高网络中各层所能抽取的特征数量，提高网络的识别能力，相对于与噪音、平移和扰动的鲁棒性也会更好，但前提是在样本数量满足的情况下。如样本数量相对不足，可能造成复杂卷积网络训练不充分，而使识别能力降低；且即使样本数量充足，卷积网络规模增大，运算量也会成倍增加，可能造成识别能力提高少许，而检测效率降低很多。合适的卷积神经网络应该同时兼顾识别能力和检测速度。

有鉴于此，本发明改进了卷积网络的生长方法，从初始网络开始，根据生长规则，自动生长到识别能力和检测效率都达到期望门限值为止。初始网络结构如图2所示。

该卷积神经网络基本结构共有7层，不包含输入，每层都包含可训练参数(连接权重)。输入图像为获得的感兴趣区域，大小按比例规范为32×32。潜在的明显特征如溢油等能够出现在最高层特征监测子感受野的中心。

C1层是一个卷积层，是两个5×5卷积核卷积输入图像获得，由2个特征图构成。特征图中每个神经元与输入中5×5的邻域相连。特征图的大小为28×28。C1有52个可训练参数(每个滤波器5×5＝25个unit参数和一个bias参数，一共2个滤波器，共(5×5+1)×2＝52个参数)，共52×(28×28)个连接。

S2层是一个下采样层，是利用图像局部相关性的原理，对图像进行子抽样获得，有2个14×14的特征图。特征图中的每个单元与C1中相对应特征图的2×2邻域相连接。S2层每个单元的4个输入相加，乘以一个可训练参数，再加上一个可训练偏置。结果通过高斯函数计算。可训练系数和偏置控制着高斯函数的非线性程度。如果系数比较小，那么运算近似于线性运算，亚采样相当于模糊图像。如果系数比较大，根据偏置的大小亚采样可以被看成是有噪声的“或”运算或者有噪声的“与”运算。每个单元的2×2感受野并不重叠，因此S2中每个特征图的大小是C1中特征图大小的1/4(行和列各1/2)。S2层有4个可训练参数和共4×(14×14)个连接。

如图3所示，卷积过程包括：用一个可训练的滤波器f_x去卷积一个输入的图像(第一阶段是输入的图像，后面的阶段就是卷积特征map了)，然后加一个偏置b_x，得到卷积层C_x。子采样过程包括：每邻域四个像素求和变为一个像素，然后通过标量W_x+1加权，再增加偏置b_x+1，然后通过一个高斯激活函数，产生一个大概缩小四倍的特征映射图S_x+1。

所以从一个平面到下一个平面的映射可以看作是作卷积运算，S-层可看作是模糊滤波器，起到二次特征提取的作用。隐层与隐层之间空间分辨率递减，而每层所含的平面数递增，这样可用于检测更多的特征信息。

C3层也是一个卷积层，通过3种不同的5×5卷积核去卷积层S2，由3张10×10特征图组成，即每张含10×10个神经元。C3中的每个特征图连接到S2中的所有1个或者2个特征图，表示本层的特征图是上一层提取到的特征图的不同组合，如图4所示。由于不同的特征图有不同的输入，所以能抽取不同的特征。正如人的视觉***一样，底层的结构构成上层更抽象的结构，例如边缘构成形状或者目标的部分。

S4层是一个下采样层，由16个5×5大小的特征图构成。特征图中的每个单元与C3中相应特征图的2×2邻域相连接，跟C1和S2之间的连接一样。S4层有4个可训练参数(每个特征图1个因子和一个偏置)。

C5层是一个卷积层，有100个特征图(有输出层和F6层决定)。每个单元与S4层的全部单元的5×5邻域相连。由于S4层特征图的大小也为5×5(同卷积核一样)，故C5特征图的大小为1×1：这构成了S4和C5之间的全连接。

F6层有个50单元(由输出层的设计决定)，与C5层全相连。如同经典神经网络，F6层计算输入向量和权重向量之间的点积，再加上一个偏置。然后将其传递给高斯函数产生单元的一个状态。

输出层由欧氏径向基函数(Euclidean Radial Basis Function)单元即RBF单元组成，每类一个单元，每个有50个输入。即每个输出RBF单元计算输入向量和参数向量之间的欧氏距离。输入离参数向量越远，RBF输出的越大。RBF参数向量起着F6层目标向量的角色。这些向量的是+1或-1，这正好在F6高斯的范围内，因此可以防止高斯函数饱和。实际上，+1和-1是高斯函数的最大弯曲的点处。这使得F6单元运行在最大非线性范围内。必须避免高斯函数的饱和，因为这将会导致损失函数较慢的收敛和病态问题。

步骤四：基于递进式训练网络的遥感图像特征识别，将重点区域的像素灰度信号直接通过已训练的卷积神经网络层次模型，获取重点特征区域的递进式训练本质特征直接进行识别。

把上述步骤二获得的依显著性级别排序标记的重点区域作为重点分析对象，重点区域按比例规范为32×32的灰度图像，保证潜在的明显特征如溢油痕迹等能够出现在最高层特征监测子感受野的中心，其作为卷积神经网络的输入图像。将32×32像素点的灰度信号作为网络的输入，直接通过已训练的卷积神经网络层次模型，获取重点特征区域的50个递进式训练本质特征，通过输出层径向基网络直接进行识别，输出为特征类型。

综上所述，本发明克服了传统缺陷，可以较好的解决人工因素造成效率低、不可靠、一致性差的问题。无需其他图像预处理，克服了传统遥感特征图像检测方法适应性不强，通用性不好，效率低、难以检测微弱特征的问题。

显然，本领域的技术人员应该理解，上述的本发明的各模块或各步骤可以用通用的计算***来实现，它们可以集中在单个的计算***上，或者分布在多个计算***所组成的网络上，可选地，它们可以用计算***可执行的程序代码来实现，从而，可以将它们存储在存储***中由计算***来执行。这样，本发明不限制于任何特定的硬件和软件结合。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (4)

1.一种在线图像数据处理方法，用于对图像中的特征进行在线识别，其特征在于，包括：

步骤一：对灰度遥感图像进行视觉扫描，搜索各扫描线的中央点，通过中心***差运算，获得遥感图像的显著图和注视点；

步骤二：根据自适应梯度门限值计算方法，利用自适应中心***差门限值和各注视点的显著性级别，确定重点特征区域；

步骤三：基于卷积神经网络构造递进式训练网络，基于该递进式训练网络将重点区域的像素灰度信号输入已训练的卷积神经网络层次模型，获取重点特征区域的递进式训练本质特征，从而得到遥感图像特征。

2.根据权利要求1所述的方法，其特征在于，所述步骤一中进一步包括：

(1)对遥感图像进行逐行逐列线扫描,

(2)搜索第j列灰度曲线各局部极小峰值点h(x_i,y_j)即中央点，i＝1,2,…,n，n为中央点的数量；各中央点对应的像素坐标为(x_i,y_j),

由各中央点开始向左右两侧分别搜索离其最近的顶部，分别为h(x_iL,y_j)和h(x_iR,y_j)，i＝1,2,…,n；各顶部对应的像素点即周边点，分别为(x_iL,y_j)和(x_iR,y_j)，i＝1,2,…,n，

(3)定义目标区域N(x_i,y_j)＝{(x_im,y_j)|m∈Z,L≤m≤R}，由左右两侧周边点之间的像素组成，为可能的注视点区域；其中j＝1,2,…,k，k为图像行数，Z表示整数集、L表示目标区域左边界，R表示目标区域右边界，

计算中心***差Δh(x_iL,y_j)＝h(x_iL,y_j)-h(x_i,y_j)，Δh(x_iR,y_j)＝h(x_iR,y_j)-h(x_i,y_j)，其中i＝1,2,…,n；取Δh(x_iL,y_j)和Δh(x_iR,y_j)的较小者为中心***差Δh，

(4)计算第j行扫描线的自适应中心***差门限值T_j：T_j＝μ_Δf+kσ_Δf，其中μ_Δf为扫描线中心***差的均值；σ_Δf为扫描线中心***差的标准差；k为常系数，

(5)计算扫描线上各点显著性级别：将Δh(x_iL,y_j)和Δh(x_iR,y_j)与各扫描线的自适应中心***差门限值T_j比较，假设Δh(x_iL,y_j)≥Δh(x_iR,y_j)，将Δh(x_iL,y_j)≥T_j，则该目标区域N(x_i,y_j)显著焦点，各点在显著图中的显著性级别置为S(x_i,y_j)＝Δh(x_iL,y_j)，扫描线上其余各点显著性级别置为0，

(6)整副图像扫描完成后，合并相连的显著区域，以最大的显著性级别作为合并区域的显著性级别，得到遥感图像遥感图像图的显著图。

3.根据权利要求2所述的方法，其特征在于，在步骤二的确定重点特征区域中，基于对各注视点的显著性级别的排序来顺序处理显著区域，如注视点的显著性级别S(x_i,y_j)＞T，则该注视点为重点特征区域，其中T为预设判定门限值。

4.根据权利要求3所述的方法，其特征在于，所述步骤三进一步包括：

将上述步骤二获得的依显著性级别排序的重点区域作为分析对象，将灰度图像信号作为网络的输入，通过已训练的卷积神经网络层次模型，获取重点特征区域的递进式训练本质特征，通过输出层径向基网络进行识别，输出为特征类型。