CN109829925B - 一种在抠图任务中提取干净前景的方法及模型训练方法 - Google Patents

Abstract

本发明公开一种在抠图任务中提取干净前景的方法及模型训练方法，其模型训练方法包括：A1.采集前景的不透明度和色彩数据；A2.将前景和背景组合生成组合图像；A3.根据组合图像中前景的不透明度标签，将组合图像中的前景中完全不透明区域用白色表示，完全透明区域用黑色表示，半透明区域用灰色表示；然后通过膨胀形态学操作，将半透明区域进行扩大形成未知区域，最终生成前景标记三色草图；A4.训练卷积神经网络：输入组合图像原图以及相应的前景标记三色草图，输出前景的不透明度估计和背景的色彩估计，将输出与组合图像中的真值标签进行比对并根据比对结果对卷积神经网络模型的参数不断调整，以获得训练好的卷积神经网络模型。

Description

一种在抠图任务中提取干净前景的方法及模型训练方法

技术领域

本发明涉及图像处理领域，尤其涉及一种在抠图任务中提取干净前景的方法及模型训练方法。

背景技术

抠图，即在原始图像中提取出前景物体，通常应用于新背景替换并在图像处理领域，如：证件照处理、商业广告于海报等处理中有着重要的作用。推广到在视频的背景替换中也有着诸多的应用。

对于场景图像I，其中的前景物体的色彩F一般认为具有不透明度的属性α，和背景B依照不透明度进行叠加融合，具体表示为：

I＝αF+(1-α)B

先前的抠图方法常见的有色键抠图与不透明度抠图两类。

色键抠图是指在特定单一色彩的背景下拍摄图片并根据背景色彩情况分离前景颜色和背景颜色，从而达到提取前景的作用。该类方法现在较为常用于视频帧的抠图处理中，但限制于单色背景的需求，待处理图像的拍摄条件较为苛刻，应用场景也较为限制。

不透明度抠图是指关注前景不透明度的求取。这类方法一般可适应于较复杂的背景情况，但容易忽视前景的色彩信息，从而当前景半透明时，仅仅利用不透明度和场景图像I的场景色彩信息，提取出的前景中往往有背景色彩和纹理的遗留。

非深度学习的不透明度抠图方法在计算估计前景的不透明度过程中会有粗略的色彩信息估计，但这种估计通常是十分粗糙的，不能提取出干净的前景色彩。而深度学习方法通常只在图像修复和诸如投射反射像分离等色彩分离场景下有着不俗的表现；应用于不透明度抠图的场景时，一般完全用来估计前景物体的不透明度而不进行任何色彩信息的估计。

发明内容

为解决上述问题，本发明提出一种在抠图任务中提取干净前景的方法及模型训练方法，其能够在复杂场景中提取出干净前景。

本发明提供的一种在抠图任务中提取干净前景的模型训练方法，包含以下步骤：

A1.采集多个前景的不透明度和色彩数据；

A2.将多个前景和多个背景组合生成组合图像；

A3.根据所述组合图像中前景的不透明度标签，将组合图像中的前景中完全不透明区域用白色表示，完全透明区域用黑色表示，半透明区域用灰色表示；然后通过膨胀形态学操作，将所述半透明区域进行扩大形成未知区域，最终生成前景标记三色草图；

A4.训练卷积神经网络：输入步骤A2的组合图像原图以及相应的步骤A3的前景标记三色草图，输出前景的不透明度估计和背景的色彩估计，将上述输出与组合图像中的真值标签进行比对并根据比对结果对所述卷积神经网络模型的参数不断调整，以获得训练好的卷积神经网络模型。

优选地，所述步骤A1中通过如下步骤采集：A11.分别拍摄白色背景、带白色背景的前景、黑色背景、带黑色背景的前景这4张图片；A12.根据步骤A11中的4张图片，计算得到前景的不透明度和色彩的初始数据；A13.将步骤A12中获得的初始数据进行噪声校正和色彩增强校正，获得前景的不透明度和色彩数据。

优选地，所述步骤A2中，所述将多个前景和多个背景组合生成组合图像包括：将所述多个前景进行随机旋转和/或翻转以对前景素材进行扩增，再与多个背景组合生成组合图像。

优选地，所述步骤A2中，采用扩增后的前景素材与背景之间的匹配关系形式描述所述组合图像并进行存储。

优选地，在所述步骤A4的训练过程中，通过动态增强训练样本、增加迭代次数来提高卷积神经网络性能。

进一步优选，所述动态增强训练样本包括：对所述组合图像原图以及相应的前景标记三色草图进行同步随机裁剪，并调整至卷积神经网络训练输入的统一尺寸，以及如下步骤中的一种或多种：将所述前景标记三色草图中的未知区域进行随机膨胀处理；将组合图像中背景的色彩亮度和/或对比度进行随机调整；将组合图像中前景的色彩亮度进行随机调整。

优选地，所述卷积神经网络模型采用全卷积网络形式，所述全卷积网络对输入的组合图像原图和前景标记三色草图进行多次卷积层、激活层和池化下采样层得到特征图谱，且所述全卷积网络对于前景的不透明度估计和背景的色彩估计各具有一个解码器，通过所述卷积层、激活层和反卷积上采样层对所述特征图谱计算，以获得输入图像尺寸的前景的不透明度估计和背景的色彩估计；两个解码器之间在不同尺度空间特征下信息交换，以及和编码器对应尺度空间特征进行信息融合。

优选地，所述步骤A4中采用对样本分批训练的方式，每一批训练完成后均会更新卷积神经网络的权重，更新过程使用梯度下降法，并固定学习率。

本发明还提供一种在抠图任务中提取干净前景的方法，其特征在于，包括以下步骤：B1.获取包含待提取前景的场景图像；B2.人工将所述场景图像中的待提取前景中完全不透明区域用白色表示，完全透明区域用黑色表示，其余未知区域用灰色表示，生成前景标记三色草图；B3.将步骤B1中的场景图像原图以及相应的步骤B2中的前景标记三色草图输入到如上已训练好的卷积神经网络模型中，输出待提取前景的不透明度估计和背景色彩估计；B4.根据所述待提取前景的不透明度估计和背景色彩估计、以及组合图像，依照前景和背景叠加公式计算获得干净前景。

本发明的有益效果：本发明中通过预先采集前景的不透明度和色彩数据；然后将前景和背景组合生成组合图像，同时，根据组合图像中的真值标签，对前景进行三色标记生成前景标记三色草图；再将组合图像原图以及前景标记三色草图作为训练样本，对卷积神经网络模型进行训练以获得训练好卷积神经网络模型；通过该训练好的卷积神经网络模型，可以获得前景的不透明度估计和背景的色彩估计，进一步可以计算获得干净前景。通过该方法能够在复杂场景中提取出干净前景，特别是对于透明度高的前景。

附图说明

图1为本发明实施例中在抠图任务中提取干净前景的模型训练方法流程示意图。

图2为本发明实施例中采集前景的不透明度和色彩数据的流程示意图。

图3为本发明实施例中卷积神经网络模型进行批训练具体方法的流程图。

图4为本发明实施例中使用训练好的卷积神经网络模型进行抠图任务中提取干净前景的示意图。

具体实施方式

下面结合具体实施方式并对照附图对本发明作进一步详细说明，应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

本实施例提供一种在抠图任务中提取干净前景的方法，具体包括：模型训练方法，以及基于训练好的模型，从实际组合图像中提取干净前景的方法。

在抠图任务中提取干净前景的模型训练方法如图1所示，包括：

A1.采集多个前景的不透明度和色彩数据。

对于每一个前景的不透明度和色彩数据，主要通过相机拍摄四张图片，并经计算和人工增强获得，其具体的方法流程示意图如图2所示，包括：

A10.搭建拍摄装置环境并固定拍摄装置。

A11.分别拍摄白色背景、带白色背景的前景、黑色背景、带黑色背景的前景这四张图片。

这四张图片的拍摄顺序具体如图2所示，先对白色背景拍照，然后在白色背景中置入前景物体并拍照，再将白色背景切换为黑色背景进行拍照，最后移走前景物体对黑色背景进行拍照。

通过选用具有低饱和度特性的黑、白两色作为背景，可降低拍摄图片中前景物体受到背景光反射影响导致的色彩偏差，进而提高最终计算所得到的前景的色彩准确度；另外，因黑、白两色高对比度的特点，可在计算前景的色彩及不透明度时减少误差。

可以理解的是：也可以先对黑色背景拍照，然后再按照黑色背景-前景、白色背景-前景、白色背景的顺序进行拍照。

A12.根据步骤A11中的四张图片，计算得到前景的不透明度和色彩的初始数据。

通过如上拍照所获得的黑色背景、黑色背景-前景、白色背景-前景、白色背景四张图片，通过叠加关系方程即可获得前景的不透明度和色彩的初始数据。其叠加关系方程如下：

I₁、I₂、I₃、I₄对应A11中拍摄白色背景、带白色背景的前景、带黑色背景的前景、黑色背景这四张图片；B₁表示白色背景，B₂表示黑色背景，F表示前景物体色彩，α表示前景的不透明度。

A13.将步骤A12中获得的初始数据进行噪声校正和色彩增强校正，获得前景的不透明度和色彩数据。

由于A11中拍摄图片时切换背景色彩，实际拍摄环境中对前景物体光照将产生一定影响，以及受拍摄相机读取噪声影响，使得依照A12中方程组计算得来的前景的不透明度和色彩数据具有一定误差和噪声，需要额外进行色彩增强校正和噪声去除。

A2.将多个前景和多个背景组合生成组合图像，所述组合图像中具有所述前景的不透明度和色彩、以及所述背景的色彩的真值标签。

当用于训练的前景素材数量较少时，可以将所述多个前景进行随机旋转和/或翻转的方式来对前景素材进行扩增，然后再与多个背景随机组合生成组合图像。

为了节约存储空间并考虑后续训练过程中的训练样本的动态增强，采用扩增后的前景素材与背景之间的匹配关系形式描述所述组合图像，而非直接存储多个组合后的组合图像。更具体地，在当前步骤中使用一组前景色彩、前景不透明度以及背景色彩的真值标签描述合成图像。

A3.根据所述组合图像中前景的不透明度标签，将组合图像中的前景中完全不透明区域用白色表示，完全透明区域用黑色表示，半透明区域用灰色表示；然后通过膨胀形态学操作，将所述半透明区域进行扩大形成未知区域，最终生成前景标记三色草图。

根据步骤A2的组合图像中前景的不透明度标签，确定前景中完全不透明区域，即不透明度标签值为1处，使用白色表示；完全透明区域，即不透明度标签值为0处，使用黑色表示；半透明区域，即不透明度标签大于0且小于1处，使用灰色表示。该步骤根据前景的不透明度标签由程序自动完成。

然后，通过膨胀形态学操作，对如上的半透明区域进行扩大，表示关注的未知区域，从而得到场景中近似人工标记效果的前景标记三色草图。

A4.训练卷积神经网络：输入步骤A2的组合图像原图以及步骤A3的前景标记三色草图，输出前景的不透明度估计和背景的色彩估计，将上述输出与组合图像中的真值标签进行比对并根据比对结果对所述卷积神经网络模型的参数不断调整，以获得训练好的卷积神经网络模型。

训练卷积神经网络的过程为：构建卷积神经网络；输入前景与背景融合的组合图像原图和前景标记三色草图的情况下，输出前景的不透明度估计和背景的色彩在前景标记三色草图中未知区域内的情况。

所述的构建卷积神经网络具体为：采用全卷积网络形式，结构网络具有一个编码器，对输入的前景与背景融合的组合图像以及相应的前景标记三色草图，通过多次卷积层、激活层和池化下采样层得到特征图谱。此外，卷积网络对于背景的色彩估计和前景的不透明度估计各自具有一个解码器，通过卷积层、激活层和反卷积上采样层对特征图谱计算，以获得输入图像尺寸的前景不透明度和背景色彩的预测图。其中，两个解码器网络之间在不同尺度空间特征下具有信息交换，以及和编码器对应尺度空间特征进行信息融合。

所述的训练卷积神经网络具体指：采用监督学习形式，对于网络输出的单通道不透明度图和三通道背景色彩图在前景标记三色草图中未知区域部分和相应前景不透明度图以及背景色彩图的标签值进行学习训练。

卷积神经网络采用对样本分批训练的方法，每一批图像训练完成后均会更新神经网络的权重，更新过程使用梯度下降法，并固定学习率。通过训练中动态增强训练样本、适度增加迭代次数两种方法以提高卷积神经网络性能。每一次批训练的具体流程如图3所示。

所述的动态增强训练样本具体是指：为了更好的提升卷积神经网络的鲁棒性，同时为了节约训练过程中硬盘、内存等硬件存储空间，在卷积神经网络的训练过程中对素材随机裁剪与尺度变换；然后对色彩亮度进行增强，以及对前景标记三色草图中的未知区域面积随机膨胀。

裁剪操作在素材样本的原始背景、原始前景色彩、原始前景不透明度和相应的前景标记三色草图中同步完成，裁剪后进行尺度变换。尺度变换是指将训练样本裁剪块尺度变换至训练网络时，为实现批训练而固定的输入尺寸。然后①前景色彩亮度随机调整、②背景色彩亮度随机调整、③背景色彩对比度随机调整、④前景标记三色草图中的未知区域面积随机膨胀中的一种或多种进行随机调整后重新组合。

通过如上的不断训练，可以获得训练好的卷积神经网络模型。

利用如上已训练好的卷积神经网络模型，可以从实际场景图像中提取干净前景，具体过程包括如下：

B1.获取包含待提取前景的场景图像。

B2.人工将所述场景图像中的待提取前景中完全不透明区域用白色表示，完全透明区域用黑色表示，其余未知区域用灰色表示，生成前景标记三色草图。

B3.将步骤B1中的场景图像原图以及相应的步骤B2中的前景标记三色草图输入到如上已训练好的卷积神经网络模型中，输出待提取前景的不透明度估计和背景色彩估计。

B4.根据所述待提取前景的不透明度估计和背景色彩估计、以及组合图像，依照前景和背景叠加公式计算获得干净前景。

根据步骤B3所输出的前景的不透明度估计和背景色彩估计，还不能直接输出干净的提取前景，仍需要进一步计算。具体为：利用前景标记三色草图中的未知区域中所估计的背景色彩、前景的不透明度以及原始场景图像，依照前景和背景叠加关系公式计算获得干净前景。

使用训练好的卷积神经网络模型进行抠图任务中提取干净前景的示意图如图4所示。图4中，关于卷积神经网络的输出，方便展示，关于前景的不透明度估计的输出，根据前景标记三色草图将确定为背景的区域置为0、确定为前景的部分置为1；对于背景色彩估计的输出，根据前景标记三色草图将确定为背景的区域置为输入组合图像背景区域的色彩值，而三色草图中确定为前景的区域则置为0。

考虑提取前景在叠加新背景中的应用，所述的提取前景用前景的色彩和不透明度的乘积表示。关于提取前景的计算仅在估计的前景不透明度值非0的区域内进行，关于提取干净的前景αF有关估计不透明度α、估计背景B和原输入图I的具体计算公式可表示为：

想要提取干净前景，就必须得获知前景的透明度信息和色彩信息，虽然现有技术中能够通过深度学习的方法获得前景的不透明度信息，但无法通过深度学习直接获得前景的色彩信息。本实施中通过卷积神经网络模型估计出前景的不透明度和背景的色彩情况，然后再根据提取前景的计算公式以获得前景的色彩情况或直接获得前景的色彩和不透明度乘积(即干净前景信息)。而卷积神经网络模型的训练，首先通过四张图片拍摄法计算获得前景的不透明度和色彩信息，然后将前景和不同的背景进行组合生成组合图像，同时，对组合图像中的前景进行标记获得前景标记三色草图；将组合图像原图和前景标记三色草图同时输入到卷积神经网络模型中以对模型进行训练。经由本发明中方法训练得到的神经网络模型，能够在复杂场景下更精准的估计出场景中背景色彩情况以及前景的不透明度情况。再使用提取前景的计算公式将背景色彩、纹理去除，从而实现抠图任务中提取干净前景，具有较好效果。

以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。

Claims (8)

1.一种在抠图任务中提取干净前景的模型训练方法，其特征在于，包含以下步骤：

A1.采集多个前景的不透明度和色彩数据；

A2.将多个前景和多个背景组合生成组合图像；所述组合图像中具有所述前景的不透明度和色彩、以及所述背景的色彩的真值标签；

A3.根据所述组合图像中前景的不透明度标签，将组合图像中的前景中完全不透明区域用白色表示，完全透明区域用黑色表示，半透明区域用灰色表示；然后通过膨胀形态学操作，将所述半透明区域进行扩大形成未知区域，最终生成前景标记三色草图；

A4.训练卷积神经网络：输入步骤A2的组合图像原图以及相应的步骤A3的前景标记三色草图，输出前景的不透明度估计和背景的色彩估计，将上述输出与组合图像中的真值标签进行比对并根据比对结果对所述卷积神经网络模型的参数不断调整，以获得训练好的卷积神经网络模型；

所述卷积神经网络模型采用全卷积网络形式，所述全卷积网络对输入的组合图像原图和前景标记三色草图进行多次卷积层、激活层和池化下采样层得到特征图谱，且所述全卷积网络对于前景的不透明度估计和背景的色彩估计各具有一个解码器，通过所述卷积层、激活层和反卷积上采样层对所述特征图谱计算，以获得输入图像尺寸的前景的不透明度估计和背景的色彩估计；两个解码器之间在不同尺度空间特征下信息交换，以及和编码器对应尺度空间特征进行信息融合。

2.如权利要求1所述的模型训练方法，其特征在于，所述步骤A1中通过如下步骤采集：

A11.分别拍摄白色背景、带白色背景的前景、黑色背景、带黑色背景的前景这四张图片；

A12.根据步骤A11中的四张图片，计算得到前景的不透明度和色彩的初始数据；

A13.将步骤A12中获得的初始数据进行噪声校正和色彩增强校正，获得前景的不透明度和色彩数据。

3.如权利要求1所述的模型训练方法，其特征在于，所述步骤A2中，所述将多个前景和多个背景组合生成组合图像包括：

将所述多个前景进行随机旋转和/或翻转以对前景素材进行扩增，再与多个背景组合生成组合图像。

4.如权利要求3所述的模型训练方法，其特征在于，在所述步骤A2中，采用扩增后的前景素材与背景之间的匹配关系形式描述所述组合图像并进行存储。

5.如权利要求1所述的模型训练方法，其特征在于，在所述步骤A4的训练过程中，通过动态增强训练样本、增加迭代次数来提高卷积神经网络性能。

6.如权利要求5所述的模型训练方法，其特征在于，所述动态增强训练样本包括：对所述组合图像原图以及相应的前景标记三色草图进行同步随机裁剪，并调整至卷积神经网络训练输入的统一尺寸，以及如下步骤中的一种或多种：

将所述前景标记三色草图中的未知区域进行随机膨胀处理；

将组合图像中背景的色彩亮度和/或对比度进行随机调整；

将组合图像中前景的色彩亮度进行随机调整。

7.如权利要求1所述的模型训练方法，其特征在于，所述步骤A4中采用对样本分批训练的方式，每一批训练完成后均会更新卷积神经网络的权重，更新过程使用梯度下降法，并固定学习率。

8.一种在抠图任务中提取干净前景的方法，其特征在于，包括以下步骤：

B1.获取包含待提取前景的场景图像；

B2.人工将所述场景图像中的待提取前景中完全不透明区域用白色表示，完全透明区域用黑色表示，其余未知区域用灰色表示，生成前景标记三色草图；

B3.将步骤B1中的场景图像原图以及相应的步骤B2中的前景标记三色草图输入到如权利要求1-7任一项已训练好的卷积神经网络模型中，输出待提取前景的不透明度估计和背景色彩估计；

B4.根据所述待提取前景的不透明度估计和背景色彩估计、以及场景图像，依照前景和背景叠加公式计算获得干净前景；

所述前景和背景叠加公式为：I＝αF+(1-α)B；其中，I表示场景图像，F表示场景图像中的前景物体的色彩，α表示场景图像中的前景物体的不透明度，B表示背景。

Images