CN109949313A - 一种图像实时语义分割方法 - Google Patents

Abstract

本发明公开了一种图像实时语义分割方法，包括：选取视频中的一帧图片作为当前原始图像，并对其进行N×N区域划分；将当前子图像同时输入低层次特征提取网络进行低层次特征提取并输出子图像特征图；将子图像特征图输入关键帧提取网络进行训练，判断当前子图像是否被选为下一个关键子图像；如果当前子图像被选为下一个关键子图像，则将当前子图像输入高精度语义分割网络；如果当前子图像不被选为下一个关键子图像，则将当前子图像输入快速语义分割网络；经过处理后得到的N²张语义分割图进行拼接，输入到显示设备上进行显示。本发明充分利用了一段视频中相邻帧图片之间在时间和空间上的冗余性，对语义分割的处理速度进行大幅度提高的效。

Description

一种图像实时语义分割方法

技术领域

本发明属于计算机视觉领域，特别涉及一种基于关键帧提取网络的街景物体实时语义分割方法。

背景技术

图像分类、物体检测和语义分割是计算机视觉领域的三大核心研究问题。其中图像语义分割是计算机视觉领域最关键且最具挑战性的难点之一，其被广泛应用到无人驾驶、医疗影像分析、增强现实和机器人等领域中。图像语义分割技术是指利用计算机实现自动识别图像中的不同物体，并对图像中的每个像素都进行类别标注，做到像素级别上的场景理解。

在深度学习应用到图像语义分割领域之前，已经存在许多传统基于图划分的经典分割方法比如Normalized cut(归一化切割)方法和Grab cut(图割)方法。传统基于图划分的语义分割方法都是将图像抽象为图的形式，然后利用图理论中的理论和算法进行图像的语义分割。但是这类方法只是利用了图像像素自身的低阶视觉信息来进行图像的分割，计算复杂度不高，但在较困难的分割任务上，其分割效果并不能令人满意。

随着神经网络的发展，当前图像语义分割的主流方法均采用了卷积神经网络作为其主要框架。比如全卷积神经网络，作为深度学习在图像语义分割任务上的开创性工作，实现像素级别端到端的语义分割。全卷积神经网络是基于深度卷积神经网络模型来实现的，将传统的分类网络的全连接层换成卷积层，直接得到分割好的图像。

为了达到分割精度较高的目标，卷积层数比较多且网络框架的结构往往很复杂，因此需要大量的运算时间和成本，很难在实际中应用。此外，为了优化深度神经网络得到的语义分割结果，往往会在后端加入条件随机场等概率模型进行优化处理。这些都会给图像语义分割在自动驾驶等对实时性要求高的领域中的应用带来阻碍，因此需要一种能够提高运行速度的图像语义分割方法。

发明内容

发明目的：为了解决了现有图像语义分割方法在运行成本上消耗大量资源、运行时间过长而导致无法应用到高实时性要求的街景物体实时语义分割中的问题，本发明提供一种图像实时语义分割方法。

技术方案：本发明提供的一种图像实时语义分割方法，包括如下步骤：

(1)选取视频中的一帧图片作为当前原始图像，并对其进行N×N(N取1到4之间的正整数)区域划分，得到N²张相同大小且无重叠的当前子图像；

(2)将N²张当前子图像同时输入低层次特征提取网络进行低层次特征提取并输出子图像特征图；

(3)将子图像特征图输入关键帧提取网络进行训练，判断当前子图像是否被选为下一个关键子图像；如果当前子图像被选为下一个关键子图像，则将当前子图像输入高精度语义分割网络，并得到当前子图像的语义分割图；如果当前子图像不被选为下一个关键子图像，则将当前子图像输入快速语义分割网络，并得到当前子图像的语义分割图；

(4)将当前原始图像的N²张子图像经过步骤(3)处理后得到的N²张语义分割图进行拼接，并进行标签编码，输入到显示设备上进行显示。

进一步，在步骤(1)中对视频中的图像大小进行预处理，其图像像素统一调整为A×B(A取1到3000之间的正整数，B取1到3000之间的正整数)。

进一步，所述的低层次特征提取网络由三层卷积层组成，对子图像中像素点间的信息特征进行提取。

进一步，将所述的当前子图像的低层次特征图和相邻帧的上一个关键子图像的低层次特征图作差，将其得到的差值作为关键帧提取网络的输入。

进一步，所述的快速语义分割网络包括：一层关联层、若干层卷积层、反卷积层和拼接层；其中，关联层将关键子图像的低层次特征图和当前子图像的低层次特征图进行关联计算；卷积层对图像进行特征提取，并得到图像的局部特征；反卷积层则是卷积层的逆过程，将特征提取后的结果作为输入，进行反卷积，恢复特征提取前的原始图像；拼接层将多个层的结果进行拼接。

进一步，在步骤(3)中，将所述的当前子图像的低层次特征图和相邻帧的上一个关键子图像的低层次特征图作为快速语义分割网络的输入。

进一步，在步骤(4)中，对拼接后的语义分割图中的不同的物体类别用不同的颜色来标注。

有益效果：本发明通过对原始彩色图片进行区域划分，并对各个子区域的图像进行并行地语义分割处理，可以极大地降低计算成本，减少处理时间，提高实时语义分割的运行效率。利用连续帧在不同区域随时间变化的差异性，避免在整个视频帧上执行复杂的高精确度语义分割，即若当前子图像较其对应的上一个关键子图像的变化不明显，则对其进行快速语义分割处理，进而达到对图像语义分割处理进行加速的目标。本发明可用于判断当前子图像是否为关键子图像的关键帧提取网络，通过关键帧提取网络来预测当前子图像的语义分割结果与其对应的上一个关键子图像的语义分割结果之间的偏差，解决了固定时间间隔设置关键帧方法带来的无法根据具体帧间变化程度来选择性能不同的语义分割网络的问题。

附图说明

图1是本发明的方法流程图；

图2是本发明的输入原始图像；

图3是本发明的对原始图像进行子图像划分图；

图4是本发明的关键帧与当前帧中子图像变化图；

图5是本发明的低层次特征提取网络图；

图6是本发明的关键帧提取网络训练与测试框图；

图7是本发明的快速语义分割网络图；

图8是本发明的高精度语义分割网络图；

图9是本发明的输出语义分割图像；

图10是本发明的网络框架图。

具体实施方式

下面结合附图与具体实施方式对本发明进一步详细描述：

本发明提供一种图像实时语义分割方法，充分利用了一段视频中相邻帧图片之间在时间和空间上的冗余性，实现了对语义分割处理速度的提高。如图1所示，所述的分割方法包括如下步骤：

步骤1：将视频拍摄时的当前帧作为输入的原始图像，并对其进行N×N(N取1到4之间的正整数)子区域划分，得到N²张相同大小且无重叠的子图像。对其图像大小进行预处理，其图像像素统一调整为A×B(A取1到3000之间的正整数，B取1到3000之间的正整数)。如图1所示，原始图像的大小为1024×2048(其中，高为1024，宽为2048)然后对该原始图像进行2×2的子区域划分如图2所示，得到的每一张子图像的大小需要根据划分方式来计算：每一张子图像的高为1024/2＝512，每一张子图像的宽为2048/2＝1024，即各个子图像的大小均为512×1024。

步骤2：将每张子图像作为低层次特征提取网络的输入；低层次特征提取网络由三层卷积层组成，实现对图像中像素点间的信息特征进行提取。本实施例均以对单张子图像的语义分割处理为例。以在时间t处的视频帧和在时间(t-10)处的视频帧为例，如图3所示，不同区域处的子图像在时间t处和时间(t-10)处之间的变化存在较大差异。其中，记区域1在时间t处对应的子图像为记区域1在时间(t-10)处对应的子图像为记为区域1处子图像对。从图3中可以观察到，区域1处子图像对的变化明显大于区域2处子图像对的变化。由此，考虑将性能不同的图像语义分割网络应用到不同的区域，即若当前子图像较其对应的上一个关键子图像变化较大时，对当前子图像采用精确度高的高精确度语义分割网络，并将当前子图像选为下一个关键子图像；若当前子图像较其对应的上一个关键子图像变化较小时，对当前子图像采用处理速度较快的快速语义分割网络。将当前子图像的语义分割结果和其对应的上一个关键子图像语义分割结果之间的偏差表示为dev(k,c)，其中，k表示关键子图像，c表示当前子图像。因此，需要设计出一种关键帧提取网络，能够对该语义分割结果偏差值进行预测，并与预先给定的阈值进行比较，判断当前子图像是否被选为下一个关键子图像。

步骤3：基于步骤2，计算语义分割结果偏差值需要利用当前子图像的语义分割结果，利用当前子图像的低层次特征图和其对应的上一个关键子图像的低层次特征图来对分割偏差值进行预测。

本实施例以区域1处子图像对为例，这里假设区域1在时间t处对应的子图像为当前子图像，并将当前子图像输入卷积层数较少的低层次特征提取网络，如图4所示，进行卷积特征提取生成当前子图像的低层次特征图(其中，l表示低层次的特征提取，c表示当前子图像，F_l ^c表示当前子图像的低层次特征图)。

假设区域1在时间(t-10)处对应的子图像为当前子图像对应的上一个关键子图像，并将当前子图像对应的上一个关键子图像输入卷积层数较少的低层次特征提取网络进行卷积特征提取生成当前子图像对应的上一个关键子图像的低层次特征图F_l ^k(其中，l表示低层次的特征提取，k表示关键子图像，F_l ^k表示关键子图像的低层次特征图)。然后将的低层次特征图和的低层次特征图作差，得到差值(F_l ^k-F_l ^c)，并将该差值(F_l ^k-F_l ^c)，作为一个小型卷积神经网络的输入，对语义分割结果偏差值进行预测，即该小型卷积神经网络的输出就是语义分割结果偏差值。将预测得到的语义分割结果偏差值和预先设定的阈值进行比较，判断当前子图像和其对应的上一个关键子图像之间是否发生明显的变化。

如果预测得到的语义分割结果偏差值小于预先设定的阈值，则表示当前子图像和其对应的上一个关键子图像之间没有发生明显的变化，那么当前子图像不被选为下一个关键子图像；如果预测得到的语义分割结果偏差值大于阈值，则表示当前子图像和其对应的上一个关键子图像之间发生了明显的变化，那么当前子图像将被选为下一个关键子图像。

步骤4：基于步骤3，用于对语义分割结果偏差值进行预测的小型卷积神经网络就是关键帧提取网络。关键帧提取网络是一个轻量级的卷积神经网络模型，其中包括一个256通道的卷积层和三个全连接层。关键帧提取网络的训练与测试框图，如图5所示。将当前子图像的低层次特征图和其对应的上一个关键子图像的低层次特征图作差，得到差值(F_l ^k-F_l ^c)，该差值(F_l ^k-F_l ^c)就是关键帧提取网络的输入。

在训练阶段，关键帧提取网络的目标是学习如何预测当前子图像和其对应的上一个关键子图像之间的语义分割结果偏差值dev(k,c)，并使预测得到的当前子图像和其对应的上一个关键子图像之间的语义分割结果偏差值dev(k,c)尽可能接近当前子图像的真实语义分割结果和其对应的上一个关键子图像的真实语义分割结果之间的差值。记当前子图像的真实语义分割结果和其对应的上一个关键子图像的真实语义分割结果之间的差值为真实语义分割结果偏差值ground_truth dev(k,c)(由方程(1)导出)，其中ground_truth表示真实值，k表示关键子图像，c表示当前子图像。这里，真实语义分割结果偏差值ground_truth dev(k,c)的数学形式被定义为：

其中，P是子图像中像素个数的总数，p是像素的索引，S^c(p)是当前子图像中像素p的真实种类标签，S^k(p)是关键子图像中像素p的真实种类标签，C(u,v)是仅当u不等于v时才输出1的函数，否则输出为0。

将预测得到的当前子图像和其对应的上一个关键子图像之间的语义分割结果偏差值dev(k,c)与当前子图像和其对应的上一个关键子图像之间的真实语义分割结果偏差值ground_truth dev(k,c)进行比较，以计算均方误差损失。然后将均方误差损失函数通过优化器，来对关键帧提取网络模型中的参数进行更新。

在预测阶段，当前子图像和其对应的上一个关键子图像之间的真实语义分割结果偏差值ground_truth dev(k,c)是无法知道的。将当前子图像的低层次特征图F_l ^c和其对应的上一个关键子图像的低层次特征图F_l ^k进行作差，得到差值(F_l ^k-F_l ^c)，然后将该差值(F_l ^k-F_l ^c)输入关键帧提取网络，得到预测的当前子图像和其对应的上一个关键子图像之间的语义分割结果偏差值dev(k,c)。

利用关键帧提取网络预测得到的当前子图像和其对应的上一个关键子图像之间的语义分割结果偏差值和预先设定的阈值进行比较。如果当前子图像和其对应的上一个关键子图像之间的语义分割结果偏差值小于预先设定的阈值，那么当前子图像不被选为下一个关键子图像。如果当前子图像和其对应的上一个关键子图像之间的语义分割结果偏差值大于预先设定的阈值，那么当前子图像应被选为下一个关键子图像。

步骤5：基于步骤4可以判断当前子图像是否被选为下一个关键子图像。如果当前子图像不被选为下一个关键子图像，则将其输入快速语义分割网络。如图6所示的快速语义分割网络图，快速语义分割网络以步骤2中的特征提取结果作为输入，由一层关联层、若干层卷积层、反卷积层和拼接层组成。其中关联层的作用是将关键子图像的低层次特征图和当前子图像的低层次特征图进行关联计算，实现关键子图像的低层次特征图和当前子图像的低层次特征图之间的匹配。卷积层的作用是对图像进行特征提取，得到图像的局部特征。反卷积层则是卷积层的逆过程，将特征提取后的结果作为输入，进行反卷积，恢复特征提取前的原始图像。拼接层的作用是将多个层的结果进行拼接。快速语义分割网络以步骤3中得到的当前子图像对应的上一个关键子图像的低层次特征图F_l ^k和当前子图像的低层次特征图F_l ^c作为输入，然后进行关联层的匹配操作，并经过多层卷积得到当前子图像与其对应的上一个关键子图像之间的空间变化权重值(其中，i表示某一像素点在当前子图像的水平方向上的位置，j表示该像素点在当前子图像的垂直方向上的位置，k表示关键子图像，c表示当前子图像，表示当前子图像在(i,j)位置上的像素点到其对应的上一个关键子图像上的像素点之间的空间变化权重值)。然后利用该空间变化权重值进行空间变化卷积来传播当前子图像对应的上一个关键子图像的语义分割结果S^k(其中，k表示关键子图像，S^k表示关键子图像的语义分割结果)，得到当前子图像的语义分割结果S^c(其中，c表示当前子图像，S^c表示当前子图像的语义分割结果)。那么将当前子图像对应的上一个关键子图像的语义分割结果S^k传播到当前子图像的语义分割结果S^c，此传播过程可以表示为：

其中，假设的大小为H×H，△＝H/2，S^c(l,i,j)是S^c中第l个通道上的位置(i,j)处的语义分割结果。

步骤6：基于步骤4可以判断出当前子图像是否被选为下一个关键子图像。若当前子图像被选为下一个关键子图像，则将其输入高精度语义分割网络。如图7所示的高精度语义分割网络图，该高精度语义分割网络由若干卷积层、池化层、批标准化层、线性整流函数层以及空洞卷积层组成。其中卷积层的作用是对图像进行特征提取，得到图像的局部特征。池化层的作用是对特征图进行压缩，提取图片的主要特征，从而简化网络计算的复杂度。批标准化层的作用是迫使特征数据的分布往标准正态分布靠近，这样有助于深层神经网络训练过程中的收敛。线性整流函数层是激活函数层中的一种，其作用是给网络加入非线性作用，增加网络模型的表达能力。空洞卷积层的作用是在保持卷积层中卷积核参数大小不变的同时，增加卷积的视野，从而在不丢失信息的情况下，恢复出原始图像的尺寸。高精度语义分割网络模型以当前子图像(未经过低层次特征提取)作为输入，其输出是每个像素的类别得分，然后根据不同类别的得分比较，判定每个像素的所属类别，即得到当前子图像经过高精度语义分割网络处理后的语义分割结果，并将当前子图像设置为下一个关键子图像。

步骤7：基于以上步骤得到一张原始图像划分出的四张子图像R¹,R²,R³,R⁴(其中，Rⁱ表示区域i处对应的子图像，i取1到4之间的正整数)的语义分割结果分别为S¹,S²,S³,S⁴(其中，Sⁱ表示区域i处对应的子图像的语义分割结果，i取1到4之间的正整数)。按照原图剪切的方式对四张子图像的语义分割结果S¹,S²,S³,S⁴进行拼接，恢复出与输入的原始图像相对应的包含各个像素标签的语义分割结果图。

步骤8：基于步骤7，对输入的原始图像的语义分割语义结果图进行标签编码，实现语义分割结果的可视化，即不同的物体类别用不同的颜色来标注，进而得到输入的原始图像的语义分割可视化结果图，如图8所示，并将其输入到显示设备上进行显示。

Claims (7)

1.一种图像实时语义分割方法，其特征在于，包括如下步骤：

(1)选取视频中的一帧图片作为当前原始图像，并对其进行N×N(N取1到4之间的正整数)区域划分，得到N²张相同大小且无重叠的当前子图像；

(2)将N²张当前子图像同时输入低层次特征提取网络进行低层次特征提取并输出子图像特征图；

(3)将子图像特征图输入关键帧提取网络进行训练，判断当前子图像是否被选为下一个关键子图像；如果当前子图像被选为下一个关键子图像，则将当前子图像输入高精度语义分割网络，并得到当前子图像的语义分割图；如果当前子图像不被选为下一个关键子图像，则将当前子图像输入快速语义分割网络，并得到当前子图像的语义分割图；

(4)将当前原始图像的N²张子图像经过步骤(3)处理后得到的N²张语义分割图进行拼接，并进行标签编码，输入到显示设备上进行显示。

2.根据权利要求1所述的图像实时语义分割方法，其特征在于：在步骤(1)中对视频中的图像大小进行预处理，其图像像素统一调整为A×B(A取1到3000之间的正整数，B取1到3000之间的正整数)。

3.根据权利要求1所述的图像实时语义分割方法，其特征在于：所述的低层次特征提取网络由三层卷积层组成，对子图像中像素点间的信息特征进行提取。

4.根据权利要求1所述的图像实时语义分割方法，其特征在于：在步骤(3)中，将所述的当前子图像的低层次特征图和相邻帧的上一个关键子图像的低层次特征图作差，将其得到的差值作为关键帧提取网络的输入。

5.根据权利要求1所述的图像实时语义分割方法，其特征在于：所述的高精度语义分割网络包括：若干卷积层、池化层、批标准化层、线性整流函数层以及空洞卷积层；其中，卷积层对图像进行特征提取，并得到图像的局部特征；池化层的该对特征图进行压缩，提取图片的主要特征；批标准化层的使特征数据的分布往标准正态分布靠近，线性整流函数层给网络加入非线性作用；空洞卷积层在保持卷积层中卷积核参数大小不变的同时，增加卷积的视野。

6.根据权利要求1所述的图像实时语义分割方法，其特征在于：在步骤(3)中，将所述的当前子图像的低层次特征图和相邻帧的上一个关键子图像的低层次特征图作为快速语义分割网络的输入。

7.根据权利要求1所述的图像实时语义分割方法，其特征在于：在步骤(4)中，对拼接后的语义分割图中的不同的物体类别用不同的颜色来标注。