CN104504725A - 一种快速自动语义图像分割模型方法 - Google Patents

Abstract

为了进行快速自动语义图像分割，在深入研究视觉注意模型中的相位谱四元数傅里叶变换模型(Phase Spectrum of Quaternion Fourier Transform，PQFT)和PCNN模型的基础上，本发明提出改进PQFT与简化PCNN整合模型，以在保证实时自动语义图像分割的同时，取得较好的语义图像分割效果。本发明提供一种快速自动语义图像分割模型方法，其包括如下步骤：S1、对原相位谱四元数图像傅里叶变换模型PQFT进行改进；S2、对改进后的PQFT模型与脉冲耦合神经网络PCNN整合进行语义图像分割；S3、自动输出语义图像分割结果。

Description

一种快速自动语义图像分割模型方法

技术领域

本发明涉及图像处理技术领域，涉及一种快速自动语义图像分割模型方法。

背景技术

语义图像分割是指符合人类视觉特点的基于显著目标对象的图像分割。其宗旨是把图像分割为一个或几个感兴趣区域，以便进行深入的图像分析与理解。而人们在观察一幅图像时，会选择性地将注视焦点放在自己感兴趣的区域，这与语义图像分割的目的不谋而合。视觉注意模型是为模拟人类视觉***的注意机制而提出的模型，从而可应用于图像分割。但其图像分割结果常受注视焦点这一形式的影响，而呈现出分散性与不规则性。

为了克服视觉注意模型语义图像分割的上述缺点，本发明提出利用脉中耦合神经网络(Pulse Coupled Neural Network，PCNN)来提高和改善视觉注意模型语义图像分割结果的光滑一致性和形状特性。PCNN作为第3代人工神经网络的主要代表，在图像处理尤其图像分割方面有着良好的性能。

发明内容

为了进行快速语义图像分割，在深入研究视觉注意模型中的相位谱四元数傅里叶变换模型(Phase Spectrum of Quaternion Fourier Transform，PQFT)和PCNN模型的基础上，本发明提出改进PQFT与简化PCNN整合模型，以在保证实时语义图像分割的同时，取得较好的自动语义图像分割效果。

为实现快速自动语义图像分割模型，本发明的方案包括：

一种快速自动语义图像分割模型方法，其包括如下步骤：

S1、对原相位谱四元数图像傅里叶变换模型PQFT进行改进；

S2、对改进后的PQFT模型与脉冲耦合神经网络PCNN整合进行语义图像分割；

S3、自动输出语义图像分割结果。

在本发明所述的快速自动语义图像分割模型方法中，所述步骤S1包括如下子步骤：

S11、将原四元数图像的RGB颜色空间转换为CIE Lab颜色空间；

S12、改进四元数图像的虚部；

S13、确定四元数图像像素的周围区域。

在本发明所述的快速自动语义图像分割模型方法中，所述步骤S12中改进四元数图像的虚部包括：

选择去掉冗余低频信息的L、a和b这三个通道作为四元数图像的虚部系数，具体计算方法为：

X₁＝L-L₁

X₂＝a-a₁

X₃＝b-b₁

上面三个式中，X₁、X₂和X₃分别用来代替PQFT模型中RG(t)、BY(t)以及I(t)；L、a和b是CIE Lab颜色空间三个特征通道；L₁、a₁和b₁是对应特征通道像素点周围区域的均值；若X₁、X₂和X₃为负值，则将其设为0。

在本发明所述的快速自动语义图像分割模型方法中，所述步骤S13中采用简单地利用将图像的宽和高与PCNN链接强度系数β相乘的方法；其中，β值的计算，如式所示式中，STD_ij表示像素点I(i，j)的灰度值与其8-邻域灰度值的标准方差。

在本发明所述的快速自动语义图像分割模型方法中，所述步骤S2包括如下子步骤：

S21、接收输入域：对于给定彩色输入图像，将X₁、X₂和X₃的特征融合图(I_ij)作为PCNN的输入图像，这样不仅可以增强输入图像中的显著对象，而且可以提高PCNN的抗噪能力；

S22、调制链接域：在调制链接域，对被接收进来的主输入和链接输入进行全局调制耦合；

S23、脉冲产生域：对模型产生的显著图，为了增强图像分割的泛化性能，用显著图的统计直方图的峰谷点数来表示给定图像中的显著对象个数，而峰谷之间的像素点数目占的比重作为返回抑制机制选择像素数的依据；

S24、显著区域自动判别算法：根据分割图像尺寸变化情况来自动判断并输出正确的语义图像分割结果。

在本发明所述的快速自动语义图像分割模型方法中，所述步骤S21包括：

PCNN的主输入(F)和链接输入(L)分别用来接收外界刺激和局部刺激，分别如下述两个公式所示：

F_ij[1]＝I_ij

$L_{\mathrm{ij}}\left[1\right]=\underset{k,l\∈N(i,j)}{\mathrm{\Σ}}{I}_{\mathrm{kl}}w$

以上两式中，[1]表示PCNN只需要迭代1次；N(i，j)表示外界输入刺激(I_ij)的8-邻域；W是链接权重矩阵，利用它能把外界刺激的8-邻域(I_kl)像素值按权重大小链接起来，W可根据图像当前像素到其8-邻域边界上像素的距离自动设置，如下式所示：

W_ijkl＝1/[(i-k)²+(j-l)²]。

在本发明所述的快速自动语义图像分割模型方法中，所述步骤S22包括：

在调制链接域，对被接收进来的主输入和链接输入进行全局调制耦合，如下式所示：

U_ij[1]＝F_ij[1]{1+βL_il[1]}，式中，U表示PCNN的内部活动项；β代表神经元之间的链接强度系数，可由公式自适应设置，其值越大，表示在8-邻域内的神经元对其中心神经元影响越大，反之越小。

在本发明所述的快速自动语义图像分割模型方法中，所述步骤S23包括：

根据上述机制对改进PQFT模型得到的显著图进行显著像素点的截取和输出，并进行归一化(N(·))操作，生成二值图像SM_N；

将U和SM_N进行点乘得到显著目标对象的粗略定位结果，如下式所示：

locat_U＝U_ij[1].SM_N，式中，locat_U是改进PQFT模型在PCNN内部活动项中对显著目标对象的粗分割结果；

在粗分割的基础上，显著目标物大面积的复杂背景已分割掉；此时求出locat_U的最大值max和最小值min，则选择max-(max-min)/3作为阈值，进行精细分割，如下式所示：

$Y_{\mathrm{ij}}\left[1\right]=\left\{\begin{array}{cc}1,& \mathrm{locat}\_U>\max -(\max -\min )/3\\ 0,& \mathrm{otherwise}\end{array}\right.,$ 式中，max和min分别表示locat_U的最大和最小值。

在本发明所述的快速自动语义图像分割模型方法中，所述步骤S24包括：

通过去除SM_N及其对应Y_ij的黑色边缘部分，然后判断去掉黑色边缘前后二者的尺寸大小是否相等；若相等，则所需输出的正确语义图像分割结果为SM_N-Y_ij；否则，正确语义图像分割结果为Y_ij。

之所以本发明能取得较为满意的语义图像分割结果，归功于两方面的原因。一、对PQFT四元数图像虚部系数的改进。本发明的改进方法属于简化的模拟人类视觉神经元的中央兴奋-周边抑制(侧抑制C-S)算法，可在进一步减少图像冗余幅度谱高频信息的同时，适当增加幅度谱低频信息，从而提高语义图像分割结果的光滑一致性。二、利用PCNN对PQFT模型的扩展。视觉注意模型和PCNN理论均起源于发表在《Nature》上的Gray理论。其中，视觉注意模型是在宏观生物视觉通道层次上模拟视觉信息处理机制，而PCNN则是在微观生物视觉细胞层次上利用视觉神经元的线性相加和非线性耦合特性来处理图像信息。这样，宏观生物视觉通道层次上的视觉注意模型PQFT的显著图和微观生物视觉细胞层次上的PCNN的内部活动项有机结合，则全程模拟了生物视觉信息处理过程；反映在语义图像分割结果上，则能改善其形状特性。

附图说明

图1是本发明中改进PQFT与简化PCNN整合模型的流程图。

图2是PQFT模型语义分割结果。

图3是简化PCNN神经元结构。

图4是本发明中改进PQFT与简化PCNN整合模型的框架图。

图5是locat_U的图像分割示意图。

图6是本发明模型和其他相关模型语义图像分割结果与标注图的比较。

具体实施方式

以下结合附图实施例对本发明做进一步的详细描述。

下面结合附图对本发明做进一步的详细描述。

参照图1，本发明的具体实施步骤如下：

如图1所示，本发明提供了一种快速自动语义图像分割模型，本发明中首先通过模拟生物视觉神经元侧抑制机制的C-S算法，对PQFT模型进行改进；然后，将改进后的模型和PCNN模型相结合，进行自动语义图像分割。最后，根据分割图像尺寸变化情况，来快速判断并自动输出正确的语义图像分割结果。

方法流程：

步骤1，对原PQFT模型进行改进，按照如下步骤进行：

1a)将原始自然图像从RGB颜色空间转换到Lab颜色空间；

2b)计算去掉冗余低频信息的L、a和b这三个通道，将其作为四元数图像的虚部系数。

X₁＝L-L₁

X₂＝a-a₁

X₃＝b-b₁

根据本发明计算得到的四元数虚部系数，构建原始输入图像的四元数图像，对其进行傅里叶变换和逆变换，并通过后续处理得到图像语义分割结果。原PQFT和改进后的PQFT模型得到的分割结果分别如图2和图6所示。

步骤2，改进后的PQFT模型与PCNN简化模型整合进行语义图像分割。

简化的PCNN模型，如附图3所示。

改进的PQFT模型与PCNN简化模型整合后的模型框架图见附图4。

步骤2的具体实施，按照如下步骤进行：

2a)接收输入域：对于给定彩色输入图像，将X₁、X₂和X₃的特征融合图(I_ij)作为PCNN的输入图像，这样不仅可以增强输入图像中的显著对象，而且可以提高PCNN的抗噪能力。PCNN的主输入(F)和链接输入(L)分别用来接收外界刺激和局部刺激，分别如下两式所示。

F_ij[1]＝I_ij

$L_{\mathrm{ij}}\left[1\right]=\underset{k,l\∈N(i,j)}{\mathrm{\Σ}}{I}_{\mathrm{kl}}w$

式中，[1]表示PCNN只需要迭代1次；N(i，j)表示外界输入刺激(I_ij)的8-邻域；W是链接权重矩阵，利用它能把外界刺激的8-邻域(I_kl)像素值按权重大小链接起来，W可根据图像当前像素到其8-邻域边界上像素的距离自动设置，如式所示。

W_ijkl＝1/[(i-k)²+(j-l)²]

可以看出，距离当前像素点越远的像素点的权重值越小，越近的像素点的权重值越大，这完全符合生物视觉神经元的C-S机制。按照上式，就8-邻域而言，链接权重矩阵W＝[0.5 1 0.5；1 0 1；0.5 1 0.5]。

2b)调制链接域：在调制链接域，对被接收进来的主输入和链接输入进行全局调制耦合，如式所示。

U_ij[1]＝F_ij[1]{1+βL_il[1]}

式中，U表示PCNN的内部活动项；β代表神经元之间的链接强度系数，其值越大，表示在8-邻域内的神经元对其中心神经元影响越大，反之亦然。

2c)脉冲产生域：对模型得到的显著图，根据其显著性大小顺序，反复进行提取和覆盖，用以拟合返回抑制机制。本发明为了增强图像分割的泛化性能，用显著图的统计直方图的峰谷点数来表示给定图像中的显著对象个数，而峰谷之间的像素点数目占的比重作为返回抑制机制选择像素数的依据。

根据上述机制对改进PQFT模型得到的显著图进行显著像素点的截取和输出，并进行归一化(N(·))操作，生成二值图像SM_N。

将U和SM_N进行点乘得到显著目标对象的粗略定位结果，如式所示。

locat_U＝U_ij[1]SM_N

式中，locat_U是改进PQFT模型在PCNN内部活动项中对显著目标对象的粗分割结果。

在粗分割的基础上，显著目标物大面积的复杂背景已分割掉。此时求出locat_U的最大值max和最小值min，则选择max-(max-min)/3作为阈值，进行精细分割，如式所示。

$Y_{\mathrm{ij}}\left[1\right]=\left\{\begin{array}{cc}1,& \mathrm{locat}\_U>\max -(\max -\min )/3\\ 0,& \mathrm{otherwise}\end{array}\right.$

式中，max和min分别表示locat_U的最大和最小值。

选取locat_U的max-(max-min)/3作为阈值进行语义图像分割的原理示意图见附图5。

2d)显著区域自动判别算法：本发明根据分割图像尺寸变化情况来自动判断并输出正确的语义图像分割结果：首先去除SM_N及其对应Y_ij的黑色边缘部分，然后判断去掉黑色边缘部分后二者的尺寸大小是否相等。若相等，则所需输出的正确语义图像分割结果为SM_N-Y_ij；否则，正确语义图像分割结果为Y_ij

步骤3：输出语义图像分割结果，具体方法如下：

将步骤2中的2d)获得的二值掩码图与原始输入图像点乘，即可得到最终语义图像分割结果。

图6给出了整合模型和其他模型在视觉上的结果对比图。

从图6的实验结果来看，本发明中整合模型能够忽略背景点，并且能较精确地分割出图像中的显著对象。虽然分割出的显著目标的形状特征存在过分割现象，但与其他模型相比，语义分割结果和手工标注的Ground-truth图最为接近。究其原因，整合模型能够准确地分割出显著目标对象应归功于：PCNN良好的图像分割能力、四元数图像虚部系数的合理选择。

表1给出了相关模型的平均Recall、Precision、F值以及均方差(σ)等性能指标的对比结果。

从表1可以看出，本发明中方法的AUC值、平均召回率、平均查找率以及F值均取得最大值。本文整合模型和原PQFT模型相比，其AUC值提高了29.9％，均方差反而降低了6.5％，这表明整合模型具有较好的语义图像分割能力；整合模型的F值比PQFT提高了44.2％，均方差也有所降低，这意味着整合模型的图像分割结果有较好的光滑一致性性。这些性能指标实验结果，也从侧面验证了视觉效果实验结果的正确性。

表2给出了相关模型的平均运行时间比较结果。

从表2可以看出，整合模型处理一幅图像的平均时间相比MSSS模型减少很多，仅为33.90ms，完全能够满足实时处理的要求。究其原因，这应归因于整合模型中的频域视觉注意模型PQFT模型、简化PCNN、均值阈值以及分割图像尺寸变化情况的计算等均是结构非常简单、运算速度极快的缘故。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能性一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应超过本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机储存器、内存、只读存储器、电可编程ROM、电可檫除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其他形式的存储介质中。

可以理解的是，对于本领域的普通技术人员来说，可以根据本发明的技术构思做出其它各种相应的改变与变形，而所有这些改变与变形都应属于本发明权利要求的保护范围。

Claims (9)

1.一种快速自动语义图像分割模型方法，其特征在于，其包括如下步骤：

S1、对原相位谱四元数图像傅里叶变换模型PQFT进行改进；

S2、对改进后的PQFT模型与脉冲耦合神经网络PCNN整合进行语义图像分割；

S3、自动输出语义图像分割结果。

2.如权利要求1所述的快速自动语义图像分割模型方法，其特征在于，所述步骤S1包括如下子步骤：

S11、将原四元数图像的RGB颜色空间转换为Lab颜色空间；

S12、改进四元数图像的虚部；

S13、确定四元数图像像素点的周围区域。

3.如权利要求2所述的快速自动语义图像分割模型方法，其特征在于，所述步骤S12中改进四元数图像的虚部包括：

选择去掉冗余低频信息的L、a和b这三个通道作为四元数图像的虚部系数，具体计算方法为：

X₁＝L-L₁

X₂＝a-a₁

X₃＝b-b₁

上面三个式中，X₁、X₂和X₃分别用来代替PQFT模型中RG(t)、BY(t)以及I(t)；L、a和b是CIE Lab颜色空间三个特征通道；L₁、a₁和b₁是对应特征通道像素点周围区域的均值；若X₁、X₂和X₃为负值，则将其设为0。

4.如权利要求2所述的快速自动语义图像分割模型方法，其特征在于，所述步骤S13中采用简单地利用将图像的宽和高与PCNN链接强度系数β相乘的方法；其中，β值的计算，如式所示式中，STD_ij表示像素点I(i，j)的灰度值与其8-邻域灰度值的标准方差。

5.如权利要求1所述的快速自动语义图像分割模型方法，其特征在于，所述步骤S2包括如下子步骤：

S21接收输入域：对于给定彩色输入图像，将X₁、X₂和X₃的特征融合图(I_ij)作为PCNN的输入图像，这样不仅可以增强输入图像中的显著对象，而且可以提高PCNN的抗噪能力；

S22、调制链接域：在调制链接域，对被接收进来的主输入和链接输入进行全局调制耦合；

S23、脉冲产生域：对模型产生的显著图，为了增强图像分割的泛化性能，用显著图的统计直方图的峰谷点数来表示给定图像中的显著对象个数，而峰谷之间的像素点数目占的比重作为返回抑制机制选择像素数的依据；

S24、显著区域自动判别算法：根据分割图像尺寸变化情况，来判断并自动输出正确的语义图像分割结果。

6.如权利要求5所述的快速自动语义图像分割模型方法，其特征在于，所述步骤S21包括：

PCNN的主输入(F)和链接输入(L)分别用来接收外界刺激和局部刺激，分别如下述两个公式所示：

F_ij[1]＝I_ij

$L_{\mathrm{ij}}\left[1\right]=\underset{k,l\∈N(i,j)}{\mathrm{\Σ}}{I}_{\mathrm{kl}}w$

以上两式中，[1]表示PCNN只需要迭代1次；N(i，j)表示外界输入刺激(I_ij)的8-邻域；W是链接权重矩阵，利用它能把外界刺激的8-邻域(I_kl)像素值按权重大小链接起来，W可根据图像当前像素到其8-邻域边界上像素的距离自动设置，如下式所示：

W_ijkl＝1/[(i-k)²+(j-l)²]。

7.如权利要求5所述的快速自动语义图像分割模型方法，其特征在于，所述步骤S22包括：

在调制链接域，对被接收进来的主输入和链接输入进行全局调制耦合，如下式所示：

U_ij[1]＝F_ij[1]{1+βL_ij[1]}，式中，U表示PCNN的内部活动项；β代表神经元之间的链接强度系数，可由公式自适应设置，其值越大，表示在8-邻域内的神经元对其中心神经元影响越大，反之越小。

8.如权利要求5所述的快速自动语义图像分割模型方法，其特征在于，所述步骤S23包括：

根据上述机制对改进PQFT模型得到的显著图，按照其对应的统计直方图，进行显著像素点的截取和输出，并进行归一化(N(·))操作，生成二值图像SM_N；

将U和SM_N进行点乘得到显著目标对象的粗略定位结果，如下式所示：

locat_U＝U_ij[1].SM_N，式中，locat_U是改进PQFT模型在PCNN内部活动项中对显著目标对象的粗分割结果；

在粗分割的基础上，显著目标物大面积的复杂背景已分割掉；此时求出locat_U的最大值max和最小值min，则选择max-(max-min)/3作为阈值，进行精细分割，如下式所示：

$Y_{\mathrm{ij}}\left[1\right]=\left\{\begin{array}{cc}1,& \mathrm{locat}\_U>\max -(\max -\min )/3\\ 0,& \mathrm{otherwise}\end{array},,\right.$ 式中，max和min分别表示locat_U的最大和最小值。

9.如权利要求5所述的快速自动语义图像分割模型方法，其特征在于，所述步骤S24包括：

首先去除SM_N及其对应Y_ij的黑色边缘部分，然后判断去掉黑色边缘部分后二者的尺寸大小是否相等；若相等，则所需输出的正确语义图像分割结果为SM_N-Y_ij；否则，正确语义图像分割结果为Y_ij。