CN111783673A - 一种基于osvos的视频分割改进方法 - Google Patents

Abstract

针对OSVOS中因光照、颜色等因素造成的分割目标缺失，目标标记不精确的问题，提出了一种基于OSVOS的视频分割改进方法，在形态学的理论下，通过计算出视频图像的颜色分量并将其与标准库进行对比，分为光强光弱两种情况。同时通过计算颜色相似度，将其与阈值相比较后分为相似和不相似两种情况，两种影响因素对应四种情况，再对这四种情况采用不同的处理方法，包括对OSVOS的分割结果的目标缺失部分进行孔洞填充，并去除非目标的连通区域等，从而提高分割结果的质量和准确度。

Description

一种基于OSVOS的视频分割改进方法

技术领域

本发明涉及计算机视觉领域以及底层的视频分割技术，具体涉及一种基于OSVOS的视频分割改进方法。

背景技术

深度学习的发展促进了计算机视觉的发展，并成功提高了相关应用如目标识别、视频检测、视频分割等的发展，尤其是视频分割技术。视频分割在人们日常生活中被广泛应用于医学影像、智能交通管理、网络教育、视频监控等领域。同时神经网络的发展进一步提高目标分割技术的性能。视频分割技术大致可分为两类，根据初始化方式的不同，分为半监督和无监督的分割方法。半监督分割指的是标记第一帧或若干帧，并在视频帧序列中传递目标标记，经典算法有OSVOS，MaskTrack等。无监督分割则无需人工操作，根据视频序列本身的特征属性完成目标的分割，经典算法有同时考虑视频分割和光流估计的VSVOF(videosegmentation via object flow)算法等。根据使用方法的不同，分为传统方法和深度学习方法。在本发明中，我们主要工作是提高半监督的视频分割方法OSVOS的分割性能，在一定程度上降低其受光照色彩等因素的影响。

OSVOS是一种基于全卷积神经网络，对目标对象进行分割的算法。OSVOS将视频当做静止的图像进行一帧一帧的单独分割这一特点决定了它在光照正常，目标与背景色差明显的情况下能够完成很好的分割，但当光线过强时，会出现大范围颜色失真，局部出现亮斑；当光线过弱时，整体会偏暗，导致目标对象与背景模糊，易产生部分区域缺失。另一方面，当目标对象的颜色与背景图像的颜色相近时，OSVOS算法会误将部分背景图像判断为目标，从而使结果图多出了非目标连通区域，这些情况都会造成分割质量的下降。

发明内容

针对上述情况，本发明提出一种改进方法，在形态学的理论下，判断出视频图像所存在的问题，对OSVOS的分割结果的目标缺失部分进行孔洞填充，并去除非目标的连通区域，从而提高分割结果的质量和准确度。

一种基于OSVOS的视频分割改进方法，包括如下方法：

步骤1，对视频帧图像进行光照强度判断，色彩相似度分析的预处理；

步骤2，将视频帧图像按光照强度以及色彩相似度的情况进行归类，并根据情况类型进入后续步骤进行后续处理；

步骤3，输入视频帧图像及其标记图，执行OSVOS算法，输出二值图；

步骤4，基于二值图判断并删除非目标连通区域，输出处理后的图像；

步骤5，对图像执行基于孔洞算法的目标缺失区域填充，得到处理后的图像。

进一步地，步骤1中，根据两种不同的光照情况，建立对应的光照强度类型的标准库，即拍摄n组光强条件下的视频和n组光弱条件下的视频，分别计算两类视频的颜色特征值分量平均值(R_q,G_q,B_q)和(R_r,G_r,B_r)作为标准数据，之后计算出视频帧图像的颜色特征分量(R_s,G_s,B_s)，通过最小欧氏距离法分别计算出该视频帧图像颜色特征值分量与(R_q,G_q,B_q),(R_r,G_r,B_r)的欧式距离d₁,d₂，若d₁＜d₂，则为光强情况，若d₁＞d₂，则为光弱的情况。

进一步地，步骤1中，设输入的视频帧中选定的目标对象的平均颜色为(R₁,G₁,B₁)，设输入的视频帧中除去目标对象后的背景的平均颜色为(R₂,G₂,B₂)，根据下列公式计算出(R₀,G₀,B₀):

上面式子得到的(R₀,G₀,B₀)是计算相似度s的必要条件；相似度s是判断两组颜色相似程度的一个参数，相似度s的取值范围是0≤s＜1，s最大值为1，证明两组色彩完全一致，相似度越小，证明颜色越不相近；如果相似度大于百分之50，即相似度s大于0.5，则定义为相似，其他情况则定义为不相似；

相似度的计算公式如下：

进一步地，步骤2具体如下：

如果光强且色彩相近，则依次进入步骤3和步骤4，步骤4执行后结束并输出最终分割结果；

如果光强且色彩不相近，则进入步骤3，步骤3执行后结束并输出最终分割结果；

如果光弱且色彩相近，则依次进入步骤3、步骤4和步骤5，步骤5执行后结束并输出最终分割结果；

如果光弱且色彩不相近，则依次进入步骤3和步骤5，步骤5执行后结束并输出最终分割结果。

进一步地，步骤4中，基于步骤3得到的二值图，通过二值图与其图像质心之间的距离进行判断连通域的个数，之后生成一个与连通域个数相同的空数组来记录需要删除的区域，计算各个区域的面积，将面积从大到小排序，再找出连通域的各种属性，进行比较，最后保留面积最大的连通图，其他区域全部删除。

进一步地，步骤5中，步骤5具体操作如下：

步骤5-1，判断视频帧图像左上角第一个像素点[0,0]是否属于目标缺失区域，若不是则可将此像素点作为初始种子点，执行步骤5-3；若[0,0]像素点属于目标缺失区域，则执行步骤5-2；

步骤5-2，若判断出[0,0]像素点属于目标缺失区域，则采用扩充图像的方法，在原图像的上下左右分别增加一行或一列像素，使原图像尺寸产生相应变化：

将增加的像素左上角第一个像素点[0,0]作为种子点，进入步骤5-3；

步骤5-3，以种子点为起点，在其上下左右四个方向进行膨胀操作，膨胀是将与该像素点接触的所有非目标缺失区域合并在一起，使边界向外部扩张，将非目标缺失区域全部填充完；

步骤5-4，非目标缺失区域填充结束后，对步骤5-3得到的二值图像取反得到新的二值图像；

步骤5-5，将步骤5-3得到的二值图像与原二值图像相融合得到填充目标缺失区域的结果；

步骤5-6，得到处理后的图像。

本发明达到的有益效果为：提出一种改进方法，在形态学的理论下，判断出视频图像所存在的问题，对OSVOS的分割结果的目标缺失部分进行孔洞填充，并去除非目标的连通区域，从而提高分割结果的质量和准确度。

附图说明

图1是本发明实施例中所述方法的整体实现流程图。

图2是本发明实施例中步骤5的算法流程图。

图3是本发明实施例中视频中的一帧进行OSVOS算法后的分割结果示意图。

图4是本发明实施例中采用本方法后的分割结果。

图5是本发明实施例中孔洞及非目标连通区域的标识图。

具体实施方式

下面结合说明书附图对本发明的技术方案做进一步的详细说明。

本发明方法的总体流程图如图1所示。具体实施步骤如下:

步骤1，计算行驶汽车第一帧的颜色特征分量平均值标准值，将视频帧图像进行光照强度，色彩相似度分析等预处理。

RGB颜色空间模型是众多颜色模型中最具代表性的颜色模型，其中R,G,B分别代表颜色空间红色、绿色和蓝色数值。通过分析图像的颜色特征，可以发现在不同的光照条件下，R,G,B这些颜色分量会产生明显变化。R,G,B颜色分量计算公式如下：

根据两种不同的光照情况，建立对应的光照类型(光强和光弱)的标准库，即拍摄n组光强条件下的视频和n组光弱条件下的视频，分别计算两类视频的颜色特征值分量平均值(R_q,G_q,B_q)和(R_r,G_r,B_r)作为标准数据。之后计算出视频帧图像的颜色特征分量(R_s,G_s,B_s)，通过最小欧氏距离法分别计算出该视频帧图像颜色特征值分量与(R_q,G_q,B_q),(R_r,G_r,B_r)的欧式距离d₁,d₂，若d₁＜d₂，则为光强情况，若d₁＞d₂，则为光弱的情况。

设目标对象的平均颜色为(R₁,G₁,B₁)，设背景的平均颜色为(R₂,G₂,B₂)，然后根据下列公式计算出(R₀,G₀,B₀)：

上面式子得到的(R₀,G₀,B₀)是计算相似度s的必要条件。相似度s是判断两组颜色相似程度的一个参数，相似度s的取值范围是0≤s＜1，s最大值为1，证明两组色彩完全一致，相似度越小，证明颜色越不相近。如果相似度大于百分之50，即相似度s大于0.5，则定义为相似，其他情况则定义为不相似。

相似度的计算公式如下：

计算出s＝0.745>0.5，判断为颜色相似。

步骤2，根据步骤1，发现汽车行驶视频属于光弱且色彩相近的情况，采用发明说明中的第三种情况，即如果光弱且色彩相近，则进入步骤3，步骤4，步骤5，完成执行步骤。

步骤3，执行OSVOS算法。配置好相关环境，输入视频帧图像及其标记图，执行OSVOS算法，输出二值图。

步骤4，删除非目标连通区域。基于步骤3得到的二值图，通过图像与质心之间的距离进行判断连通域的个数，之后生成一个与连通域个数相同的空数组来记录需要删除的区域，计算各个区域的面积，将面积从大到小排序，再找出连通域的各种属性，进行比较，最后保留面积最大的连通图，其他区域全部删除；。

步骤5，基于孔洞算法执行目标缺失区域填充，具体操作如下：方法判断出，汽车行驶的左上角的第一个像素点[0,0]不属于目标缺失区域。将此像素点作为初始种子点。以种子点为起点，之后使用形态学膨胀算法，此次膨胀采取四连通结构元，即膨胀方向为该像素点的上下左右四个方向，该步骤可以将非目标缺失区域全部填充完。非目标缺失区域填充结束后，对得到的二值图像取反得到新的二值图像。将新的二值图像与原二值图像相融合得到填充目标缺失区域的结果，最后得到处理后的结果。

图3为OSVOS处理后的结果，图4为采用本方法后得到的行驶车的结果中的某一帧。实践表明，通过以上5个步骤可以解决OSVOS算法在光照强度，色彩差异造成的视频分割结果与正确标注有较大差距的问题，提高了视频分割的的正确率，改善了分割效果。

以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。

Claims (6)

1.一种基于OSVOS的视频分割改进方法，其特征在于：包括如下方法：

步骤1，对视频帧图像进行光照强度判断，色彩相似度分析的预处理；

步骤2，将视频帧图像按光照强度以及色彩相似度的情况进行归类，并根据情况类型进入后续步骤进行后续处理；

步骤3，输入视频帧图像及其标记图，执行OSVOS算法，输出二值图；

步骤4，基于二值图判断并删除非目标连通区域，输出处理后的图像；

步骤5，对图像执行基于孔洞算法的目标缺失区域填充，得到处理后的图像。

2.根据权利要求1所述的一种基于OSVOS的视频分割改进方法，其特征在于：步骤1中，根据两种不同的光照情况，建立对应的光照强度类型的标准库，即拍摄n组光强条件下的视频和n组光弱条件下的视频，分别计算两类视频的颜色特征值分量平均值(R_q,G_q,B_q)和(R_r,G_r,B_r)作为标准数据，之后计算出视频帧图像的颜色特征分量(R_s,G_s,B_s)，通过最小欧氏距离法分别计算出该视频帧图像颜色特征值分量与(R_q,G_q,B_q),(R_r,G_r,B_r)的欧式距离d₁,d₂，若d₁＜d₂，则为光强情况，若d₁＞d₂，则为光弱的情况。

3.根据权利要求1所述的一种基于OSVOS的视频分割改进方法，其特征在于：步骤1中，设输入的视频帧中选定的目标对象的平均颜色为(R₁,G₁,B₁)，设输入的视频帧中除去目标对象后的背景的平均颜色为(R₂,G₂,B₂)，根据下列公式计算出(R₀,G₀,B₀):

上面式子得到的(R₀,G₀,B₀)是计算相似度s的必要条件；相似度s是判断两组颜色相似程度的一个参数，相似度s的取值范围是0≤s＜1，s最大值为1，证明两组色彩完全一致，相似度越小，证明颜色越不相近；如果相似度大于百分之50，即相似度s大于0.5，则定义为相似，其他情况则定义为不相似；

相似度的计算公式如下：

调和均值

算数均值

相似度

4.根据权利要求1所述的一种基于OSVOS的视频分割改进方法，其特征在于：步骤2具体如下：

如果光强且色彩相近，则依次进入步骤3和步骤4，步骤4执行后结束并输出最终分割结果；

如果光强且色彩不相近，则进入步骤3，步骤3执行后结束并输出最终分割结果；

如果光弱且色彩相近，则依次进入步骤3、步骤4和步骤5，步骤5执行后结束并输出最终分割结果；

如果光弱且色彩不相近，则依次进入步骤3和步骤5，步骤5执行后结束并输出最终分割结果。

5.根据权利要求1所述的一种基于OSVOS的视频分割改进方法，其特征在于：步骤4中，基于步骤3得到的二值图，通过二值图与其图像质心之间的距离进行判断连通域的个数，之后生成一个与连通域个数相同的空数组来记录需要删除的区域，计算各个区域的面积，将面积从大到小排序，再找出连通域的各种属性，进行比较，最后保留面积最大的连通图，其他区域全部删除。

6.根据权利要求1所述的一种基于OSVOS的视频分割改进方法，其特征在于：步骤5中，步骤5具体操作如下：

步骤5-1，判断视频帧图像左上角第一个像素点[0,0]是否属于目标缺失区域，若不是则可将此像素点作为初始种子点，执行步骤5-3；若[0,0]像素点属于目标缺失区域，则执行步骤5-2；

步骤5-2，若判断出[0,0]像素点属于目标缺失区域，则采用扩充图像的方法，在原图像的上下左右分别增加一行或一列像素，使原图像尺寸产生相应变化：

将增加的像素左上角第一个像素点[0,0]作为种子点，进入步骤5-3；

步骤5-3，以种子点为起点，在其上下左右四个方向进行膨胀操作，膨胀是将与该像素点接触的所有非目标缺失区域合并在一起，使边界向外部扩张，将非目标缺失区域全部填充完；

步骤5-4，非目标缺失区域填充结束后，对步骤5-3得到的二值图像取反得到新的二值图像；

步骤5-5，将步骤5-3得到的二值图像与原二值图像相融合得到填充目标缺失区域的结果；

步骤5-6，得到处理后的图像。

Images