CN113724282A - 图像处理方法和相关产品 - Google Patents

图像处理方法和相关产品 Download PDF

Info

Publication number
CN113724282A
CN113724282A CN202010450801.3A CN202010450801A CN113724282A CN 113724282 A CN113724282 A CN 113724282A CN 202010450801 A CN202010450801 A CN 202010450801A CN 113724282 A CN113724282 A CN 113724282A
Authority
CN
China
Prior art keywords
image
foreground
segmentation result
background segmentation
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010450801.3A
Other languages
English (en)
Inventor
黄青虬
饶安逸
何嘉民
旷章辉
张伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN202010450801.3A priority Critical patent/CN113724282A/zh
Publication of CN113724282A publication Critical patent/CN113724282A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种图像处理方法和相关产品，该方法包括：对第一图像进行处理，得到所述第一图像的前背景分割结果；基于所述前背景分割结果，确定所述第一图像中多个像素点的透明度信息；基于所述多个像素点的透明度信息和所述前背景分割结果，得到所述第一图像中的目标前景图像。本申请实施例中，基于第一图像中多个像素点的透明度信息和前背景分割结果，得到该第一图像中的目标前景图像；充分考虑了透明度，抠图效果更好。

Description

图像处理方法和相关产品
技术领域
本申请涉及计算机领域，尤其涉及一种图像处理方法和相关产品。
背景技术
随着短视频行业的快速爆发，短视频广告的重要性也在飞速上升。在短视频制作中，经常会使用到纯色幕布作为背景来拍摄，需要从拍摄的图像中提取出前景图像，然后后期再加上背景。如何从纯色幕布作为背景拍摄的图像中获得前景图像是需要研究的问题。
发明内容
本申请实施例公开了一种图像处理方法和相关产品。
第一方面，本申请实施例提供了一种图像处理方法，该方法包括：对第一图像进行处理，得到所述第一图像的前背景分割结果；基于所述前背景分割结果，确定所述第一图像中多个像素点的透明度信息；基于所述多个像素点的透明度信息和所述前背景分割结果，得到所述第一图像中的目标前景图像。
所述前背景分割结果可以包括所述第一图像的前景蒙版，即一个二值图。基于所述前背景分割结果可确定第一图像中的前景区域。基于第一图像中的多个像素点的透明度信息和前背景分割结果，得到所述第一图像中的目标前景图像；能够更准确地提取出前景图像，尤其对于前景图像的边缘以及前景图像中的半透明物体。
本申请实施例中，基于第一图像中多个像素点的透明度信息和前背景分割结果，得到该第一图像中的目标前景图像；充分考虑了透明度，抠图效果更好。
在一个可能的实现方式中，所述前背景分割结果包括：所述第一图像的前景蒙版；所述基于所述前背景分割结果，确定所述第一图像中多个像素点的透明度信息包括：基于所述前景蒙版和所述第一图像，得到所述第一图像中多个像素点的透明度信息。
在该实现方式中，基于前景蒙版和第一图像，可快速、准确地第一图像中多个像素点的透明度信息。
在一个可能的实现方式中，所述基于所述前背景分割结果，确定所述第一图像中多个像素点的透明度信息包括：将所述前背景分割结果和所述第一图像输入到神经网络模型进行处理，输出透明度结果图，所述透明度结果图包括所述多个像素点的透明度信息。
所述神经网络模型为预先训练得到的。所述透明度结果图可以是一个灰值图，所述透明度结果图与所述第一图像大小相同且相同位置的元素一一对应。示例性的，所述透明度结果图中任一元素表示该任一元素在所述第一图像中对应的像素点的前景和背景的比例。将前背景分割结果和第一图像输入到神经网络模型进行处理，该神经网络模型能够对边缘和第一图像中的变透明区域做更精细的估计。边缘是指前景区域和背景区域的交界地带。也就是说，将前背景分割结果和第一图像输入到神经网络模型进行处理，能得到更准确地透明度信息。
在该实现方式中，将前背景分割结果和第一图像输入到神经网络模型进行处理，输出透明度结果图；能够得到更准确地透明度信息。
在一个可能的实现方式中，所述基于所述多个像素点的透明度信息和所述前背景分割结果，得到所述第一图像中的目标前景图像包括：基于所述前背景分割结果对所述第一图像进行处理，得到填充图像，其中，所述填充图像中的前景区域中的多个像素点的像素值是基于所述第一图像的背景区域进行填充得到的；基于所述填充图像和所述透明度信息，得到所述目标前景图像。
示例性的，基于所述填充图像和所述透明度信息计算目标前景图像的公式如下：
Figure BDA0002507611170000021
其中，F表示所述目标前景图像，I表示所述第一图像，α表示所述透明度信息(即透明度结果图)，B表示所述填充背景。
在该实现方式中，能够实现更细致的抠图效果，即得到更细致的目标前景图像，包括处理头发、半透明物体等。
在一个可能的实现方式中，所述基于所述前背景分割结果对所述第一图像进行处理，得到填充图像包括：基于所述前背景分割结果，对所述第一图像进行处理，得到第二图像，其中，所述第二图像中与所述前景区域对应的部分的多个像素点的像素值为目标值；对所述第二图像进行卷积处理，得到所述填充图像。
在一个可能的实现方式中，所述基于所述前背景分割结果，对所述第一图像进行处理，得到第二图像，包括：将所述前背景分割结果中包含的前景蒙版与所述第一图像进行逐像素对应相乘，得到所述第二图像；或者基于所述前背景分割结果，对所述第一图像中的前景区域部分进行抠图处理，得到所述第二图像。
在该实现方式中，利用前背景分割结果，可以快速、准确地得到第二图像。
在一个可能的实现方式中，所述对第一图像进行处理，得到所述第一图像的前背景分割结果包括：在所述第一图像为在视频流中的关键帧的情况下，将所述第一图像输入至前背景分割模型进行处理，得到所述第一图像的前背景分割结果；和/或在所述第一图像为在所述视频流中的非关键帧的情况下，基于对应的关键帧的前背景分割结果对所述第一图像进行前景跟踪处理，得到所述第一图像的前背景分割结果。
所述前背景分割模型为训练得到的神经网络模型。所述第一图像对应的关键帧可以是视频中在所述第一图像之前且离所述第一图像最近的关键帧。基于对应的关键帧的前背景分割结果对所述第一图像进行前景跟踪处理，得到所述第一图像的前背景分割结果可以是基于视频中所述第一图像的前一帧图像的前背景分割结果对所述第一图像进行前景跟踪处理，得到所述第一图像的前背景分割结果。示例性的，视频中从第一帧开始，每过一定的帧数m取出一帧作为关键帧，其余的帧为非关键帧，m为可变参数，一般取10-30之间。
在该实现方式中，利用前背景分割模型对关键帧进行处理，得到关键帧的前背景分给结果；基于对应的关键帧的前背景分割结果对非关键帧进行前景跟踪处理，得到非关键帧的前背景分割结果；可以兼顾效率和准确率。
在一个可能的实现方式中，所述基于对应的关键帧的前背景分割结果对所述第一图像进行前景跟踪处理，得到所述第一图像的前背景分割结果，包括：将所述对应的关键帧的前背景分割结果和所述第一图像输入至前景跟踪模型进行处理，得到所述第一图像的前背景分割结果。
所述前景跟踪模型可以是预先训练得到的神经网络模型。
在该实现方式中，可以快速地得到第一图像的前背景分割结果。
在一个可能的实现方式中，所述对第一图像进行处理，得到所述第一图像的前背景分割结果包括：在所述第一图像为在所述视频流中的非关键帧的情况下，基于所述第一图像的前一帧图像的前背景分割结果对所述第一图像进行前景跟踪处理，得到所述第一图像的前背景分割结果。
在该实现方式中，对于任意非关键帧来说，可以基于其前一帧图像的前背景分割结果对其进行前景跟踪处理，得到其前背景分割结果。
在一个可能的实现方式中，所述方法还包括：将所述目标前景图像与目标背景图像进行融合处理，得到目标图像。
可选的，将所述目标前景图像与目标背景图像进行融合处理的过程中，可以对所述目标前景图像的色调、亮度进行自适应调整，使其和所述目标背景图像协调。
在一个可能的实现方式中，所述方法还包括：获取用户从背景库中选择的所述目标背景图像；或者获取用户上传的所述目标背景图像。
在该实现方式中，用户可以方便的获取到其所需的目标背景图像。
第二方面，本申请实施例提供了另一种图像处理方法，该方法包括：对第一图像进行处理，得到所述第一图像的前背景分割结果；基于所述前背景分割结果，对所述第一图像进行处理，得到填充图像，其中，所述填充图像中的前景区域中的多个像素点的像素值是基于所述第一图像的背景区域进行填充得到的；基于所述填充图像，得到所述第一图像中的目标前景图像。
所述填充图像可以为利用所述第一图像的背景区域对所述第一图像中的前景区域进行填充得到的。所述填充图像中的前景区域实际是所述第一图像中的前景区域，所述填充图像中的背景区域实际是所述第一图像中的背景区域。
本申请实施例中，基于第一图像的背景区域对该第一图像中的前景区域进行填充，充分考虑了相邻像素点之间的相似性，使得填充图像更加自然、逼真。
在一个可能的实现方式中，基于所述前背景分割结果，对所述第一图像进行处理，得到填充图像包括：基于所述前背景分割结果，对所述第一图像进行处理，得到第二图像，其中，所述第二图像中与所述前景区域对应的部分的多个像素点的像素值为目标值；对所述第二图像进行卷积处理，得到所述填充图像。
示例性的，对所述第二图像进行卷积处理，得到所述填充图像的满足如下公式：
Figure BDA0002507611170000031
其中，x′表示填充图像中的任一像素点的像素值；M表示卷积核的参数，可选的，M中的值都设为1；b表示偏置值，这里可取0；M为前背景分割结果包括的前景蒙版，X表示所述第二图像中与x′相对应的像素点的像素值。可以理解，X表示第二图像中当前任意像素点的像素值，x′表示对所述第二图像进行卷积处理之后的图像中该任意像素点的像素值。
在该实现方式中，对第二图像进行卷积处理以得到填充图像，充分考虑了相邻像素点之间的相似性，使得填充图像更加自然、逼真。
在一个可能的实现方式中，所述基于所述前背景分割结果，对所述第一图像进行处理，得到第二图像，包括：将所述前背景分割结果中包含的前景蒙版与所述第一图像进行逐像素对应相乘，得到所述第二图像；或者基于所述前背景分割结果，对所述第一图像中的前景区域部分进行抠图处理，得到所述第二图像。
所述前景蒙版可以是一个二值图，所述前景蒙版中的像素点与所述第一图像中的像素点一一对应。其中，所述第一图像中在所述前景蒙版中对应的像素值为第一值(例如1)的像素点属于前景图像，所述第一图像中在所述前景蒙版中对应的像素值为第二值(例如0)的像素点属于背景图像。
在该实现方式中，利用前背景分割结果可以较准确地得到第二图像。
在一个可能的实现方式中，所述基于所述填充图像，得到所述第一图像中的目标前景图像之前，所述方法还包括：基于所述前背景分割结果，确定所述第一图像中多个像素点的透明度信息；所述基于所述填充图像，得到所述第一图像中的目标前景图像包括：基于所述多个像素点的透明度信息和所述填充图像，得到所述第一图像中的所述目标前景图像。
在一个可能的实现方式中，所述第一图像的前景区域包含除预设背景之外的至少一个类别的目标对象。
第三方面，本申请实施例提供了一种图像处理装置，包括：前背景分割单元，用于对第一图像进行处理，得到所述第一图像的前背景分割结果；透明度确定单元，用于基于所述前背景分割结果，确定所述第一图像中多个像素点的透明度信息；前景确定单元，用于基于所述多个像素点的透明度信息和所述前背景分割结果，得到所述第一图像中的目标前景图像。
在一个可能的实现方式中，所述前背景分割结果包括：所述第一图像的前景蒙版；
所述透明度确定单元，具体用于基于所述前景蒙版和所述第一图像，得到所述第一图像中多个像素点的透明度信息。
在一个可能的实现方式中，所述透明度确定单元，具体用于将所述前背景分割结果和所述第一图像输入到神经网络模型进行处理，输出透明度结果图，所述透明度结果图包括所述多个像素点的透明度信息。
在一个可能的实现方式中，所述前景确定单元，具体用于基于所述前背景分割结果对所述第一图像进行处理，得到填充图像，其中，所述填充图像中的前景区域中的多个像素点的像素值是基于所述第一图像的背景区域进行填充得到的；基于所述填充图像和所述透明度信息，得到所述目标前景图像。
在一个可能的实现方式中，所述前景确定单元，具体用于基于所述前背景分割结果，对所述第一图像进行处理，得到第二图像，其中，所述第二图像中与所述前景区域对应的部分的多个像素点的像素值为目标值；对所述第二图像进行卷积处理，得到所述填充图像。
在一个可能的实现方式中，所述前景确定单元，具体用于将所述前背景分割结果中包含的前景蒙版与所述第一图像进行逐像素对应相乘，得到所述第二图像；或者基于所述前背景分割结果，对所述第一图像中的前景区域部分进行抠图处理，得到所述第二图像。
在一个可能的实现方式中，所述前背景分割单元，具体用于在所述第一图像为在视频流中的关键帧的情况下，将所述第一图像输入至前背景分割模型进行处理，得到所述第一图像的前背景分割结果；和/或在所述第一图像为在所述视频流中的非关键帧的情况下，基于对应的关键帧的前背景分割结果对所述第一图像进行前景跟踪处理，得到所述第一图像的前背景分割结果。
在一个可能的实现方式中，所述前背景分割单元，具体用于将所述对应的关键帧的前背景分割结果和所述第一图像输入至前景跟踪模型进行处理，得到所述第一图像的前背景分割结果。
在一个可能的实现方式中，所述图像处理装置还包括：图像融合单元，用于将所述目标前景图像与目标背景图像进行融合处理，得到目标图像。
在一个可能的实现方式中，所述图像处理装置还包括：获取单元，用于获取用户从背景库中选择的所述目标背景图像；或者获取用户上传的所述目标背景图像。
关于第三方面或各种可选的实施方式所带来的技术效果，可参考对于第一方面或相应的实现方式的技术效果的介绍。
第四方面，本申请实施例提供了另一种图像处理装置，包括：前背景分割单元，用于对第一图像进行处理，得到所述第一图像的前背景分割结果；图像填充单元，用于基于所述前背景分割结果，对所述第一图像进行处理，得到填充图像，其中，所述填充图像中的前景区域中的多个像素点的像素值是基于所述第一图像的背景区域进行填充得到的；前景确定单元，用于基于所述填充图像，得到所述第一图像中的目标前景图像。
在一个可能的实现方式中，所述图像填充单元，具体用于基于所述前背景分割结果，对所述第一图像进行处理，得到第二图像，其中，所述第二图像中与所述前景区域对应的部分的多个像素点的像素值为目标值；对所述第二图像进行卷积处理，得到所述填充图像。
在一个可能的实现方式中，所述图像填充单元，具体用于将所述前背景分割结果中包含的前景蒙版与所述第一图像进行逐像素对应相乘，得到所述第二图像；或者基于所述前背景分割结果，对所述第一图像中的前景区域部分进行抠图处理，得到所述第二图像。
在一个可能的实现方式中，所述图像处理装置还包括：透明度确定单元，用于基于所述前背景分割结果，确定所述第一图像中多个像素点的透明度信息；所述前景确定单元，具体用于基于所述多个像素点的透明度信息和所述填充图像，得到所述第一图像中的所述目标前景图像。
在一个可能的实现方式中，所述第一图像的前景区域包含除预设背景之外的至少一个类别的目标对象。
关于第四方面或各种可选的实施方式所带来的技术效果，可参考对于第二方面或相应的实现方式的技术效果的介绍。
第五方面，本申请实施例提供了一种电子设备，该电子设备包括：处理器和存储器，其中，所述存储器用于存储指令，所述处理器用于执行所述存储器存储的指令，使得所述处理器执行如上述第一方面以及任一种可能的实现方式的方法。
第六方面，本申请实施例提供了一种电子设备，该电子设备包括：处理器和存储器，其中，所述存储器用于存储指令，所述处理器用于执行所述存储器存储的指令，使得所述处理器执行如上述第二方面以及任一种可能的实现方式的方法。
第七方面，本申请实施例提供了一种芯片，该芯片包括数据接口和处理器，其中，所述处理器用于执行第一方面或第一方面的任意可能实现方式中的方法。
第八方面，本申请实施例提供了一种芯片，该芯片包括数据接口和处理器，其中，所述处理器用于执行第二方面或第二方面的任意可能实现方式中的方法。
第九方面，本申请实施例提供了一种计算机可读存储介质，该计算机存储介质存储有计算机程序，该计算机程序包括程序指令，该程序指令当被处理器执行时使该处理器执行上述第一方面以及任一种可选的实现方式的方法。
第十方面，本申请实施例提供了一种计算机可读存储介质，该计算机存储介质存储有计算机程序，该计算机程序包括程序指令，该程序指令当被处理器执行时使该处理器执行上述第二方面以及任一种可选的实现方式的方法。
第十一方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面以及任一种可选的实现方式的方法。
第十二方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第二方面以及任一种可选的实现方式的方法。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
图1为本申请实施例提供的一种图像处理方法流程图；
图2为本申请实施例提供的第一图像的一个示例的示意图；
图3为本申请实施例提供的一种前背景分割结果一个蒙版示例的示意图；
图4为本申请实施例提供的一种第二图像的示意图；
图5为本申请实施例提供的一种对第二图像进行卷积处理以得到填充图像的过程示意图；
图6为本申请实施例提供的另一种图像处理方法流程图；
图7为本申请实施例提供的另一种图像处理方法流程图；
图8为本申请实施例提供的另一种图像处理方法流程图；
图9为本申请实施例提供的另一种图像处理方法流程图；
图10为本申请实施例提供的另一种图像处理方法流程图；
图11为本申请实施例提供的一种图像融合处理方法流程；
图12为本申请实施例提供的一种图像处理装置的结构示意图；
图13为本申请实施例提供的另一种图像处理装置的结构示意图；
图14为本申请实施例提供的一种服务器的结构示意图；
图15为本申请实施例提供的一种终端设备的结构示意图。
具体实施方式
本申请的说明书实施例和权利要求书及上述附图中的术语“第一”、“第二”、和“第三”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如背景技术所述，如何从纯色幕布作为背景拍摄的图像中获得前景图像是需要研究的问题。本申请提供了适用于从纯色幕布作为背景拍摄的图像中获得前景图像的图像处理方法。下面分别对申请实施例提供的图像处理方法适用的场景进行简单的介绍。
场景1：用户通过终端设备(例如个人电脑)上运行的图像处理软件提取图像(例如纯色幕布作为背景拍摄的图像)中的前景图像。
场景2：用户通过终端设备(例如个人电脑)上运行的图像处理软件提取视频(例如纯色幕布作为背景拍摄的视频)中每帧图像的前景图像。
场景3：用户通过终端设备(例如个人电脑)将图像(例如纯色幕布作为背景拍摄的图像)通过网络上传至服务器，服务器提取图像中的前景图像，并将提取的前景图像发送给终端设备。
场景4：用户通过终端设备(例如个人电脑)将视频(例如纯色幕布作为背景拍摄的图像)通过网络上传至服务器，服务器提取视频中每帧图像中的前景图像，并将提取的多帧前景图像发送给终端设备。
在上述场景中，通过实施本申请实施例提供的图像处理方法，能提取出更高品质的前景图像，即抠图效果更好。
下面结合附图来介绍本申请实施例提供的图像处理方法。
请参见图1，图1为本申请实施例提供的一种图像处理方法流程图。如图1所示，该方法可包括：
101、图像处理装置对第一图像进行处理，得到上述第一图像的前背景分割结果。
上述图像处理装置可以是手机、平板电脑、可穿戴设备、笔记本电脑、台式电脑等终端设备，也可以是服务器。在一些实施例中，图像处理装置为笔记本电脑等终端设备，该图像处理装置运行的图像处理软件执行图1的方法流程。举例来说，用户将第一图像上传至图像处理装置运行的图像处理软件，或者所述图像处理软件基于用户的指示从网络或特定存储区域获取第一图像，通过该图像处理软件提取出该第一图像中的前景图像。在一些实施例中，上述图像处理装置为服务器，图像处理装置在执行步骤101之前，可接收来自终端设备(例如手机或者PC等)的第一图像或者从接收到的来自终端设备的包含所述第一图像的视频。第一图像可以是静态图像，或者是从视频流中抽取出来的图像帧，本公开实施例对第一图像的类型不作限定。
第一图像的前背景分割结果可以用于指示第一图像中的前景区域和背景区域，例如，前背景分割结果可以是区域级别的结果，例如，前背景分割结果为前景区域限定框，或者，前背景分割结果可以是像素级别的结果，前背景分割结果用于指示第一图像中的部分或所有像素点中的每个像素点属于前景区域还是背景区域，例如，前背景分割结果为二值图，该二值图中数值为第一数值(如1)的像素点属于前景区域，数值为第二数值(如0)的像素点属于背景区域。作为一个例子，前背景分割结果包括：第一图像的前景蒙版，该前景蒙版可以与第一图像大小相同，为了便于理解，下文以前背景分割结果为前景蒙版为例进行描述，但本公开实施例不限于此。
图2为本申请实施例提供的第一图像的一个示例的示意图，图3为本申请实施例提供的前背景分割结果的一个蒙版示例的示意图。如图2所示，第一图像为纯色幕布作为背景拍摄得到的图像，可选地，本公开实施例也可以应用于基于其他类型的特定背景拍摄得到的图像。对比图2和图3可知，前背景分割结果与第一图像的大小相同，且像素点一一对应；该第一图像中的前景区域为前背景分割结果中的白色区域(即像素值为1的区域)；该第一图像中的背景区域为前背景分割结果中的黑色区域(即像素值为0的区域)。背景区域是指背景图像所处的区域，前景区域是指图像中除背景区域之外的区域。在一些实施例中，图像处理装置可通过确定图像中的背景(例如纯色幕布)来划分图像中的前景区域和背景区域。举例来说，图像处理装置可确定图像中纯色幕布对应的区域为背景区域，进而确定该图像中除该背景区域之外的区域为前景区域。
应理解，利用前背景分割结果可以较为准确地确定第一图像的前景区域和背景区域，即分割前景区域和背景区域。
在一些实施例中，步骤101的一种可能的实现方式如下：将上述第一图像输入至前背景分割模型进行处理，得到上述第一图像的前背景分割结果。也就是说，用户可提取一个图像中的前景图像(对应于场景1)。
在一些实施例中，上述第一图像为图像处理装置获得的视频中的一帧图像，对应于提取视频中多帧图像中的前景图像的场景；此时，步骤101的一种可能的实现方式如下：在上述第一图像为在视频流中的关键帧的情况下，将上述第一图像输入至前背景分割模型进行处理，得到上述第一图像的前背景分割结果；和/或，在上述第一图像为在上述视频流中的非关键帧的情况下，基于对应的关键帧的前背景分割结果对上述第一图像进行前景跟踪处理，得到上述第一图像的前背景分割结果。在一个例子中，基于对应的关键帧的前背景分割结果对上述第一图像进行前景跟踪处理，得到上述第一图像的前背景分割结果可以是：将上述对应的关键帧的前背景分割结果和上述第一图像输入至前景跟踪模型进行处理，得到上述第一图像的前背景分割结果。可选地，上述前背景分割模型为预先训练得到的神经网络模型，上述前景跟踪模型为预先训练得到的神经网络模型。本申请实施例中，可采用任意方式训练得到上述前背景分割模型以及上述前景跟踪模型。本申请的重点不在于如何训练得到上述前背景分割模型以及上述前景跟踪模型，这里不再详述训练得到上述前背景分割模型以及上述前景跟踪模型的过程。
在一些实施例中，上述第一图像为图像处理装置获得的视频中的一帧图像；步骤101的一种可能的实现方式如下：在上述第一图像为在视频流中的关键帧的情况下，将上述第一图像输入至前背景分割模型进行处理，得到上述第一图像的前背景分割结果；和/或，在上述第一图像为在上述视频流中的非关键帧的情况下，基于上述第一图像的前一帧图像的前背景分割结果对上述第一图像进行前景跟踪处理，得到上述第一图像的前背景分割结果。应理解，对于任意非关键帧来说，可以基于其前一帧图像的前背景分割结果对其进行前景跟踪处理，得到其前背景分割结果。
在一些实施例中，步骤101的一种可能的实现方式如下：图像处理装置对第一图像进行处理，得到上述第一图像的初始前背景分割结果；基于用户基于上述初始前背景分割结果进行的指示进行重新分割，得到上述前背景分割结果。作为一个例子，在得到初始前背景分割结果之后，可以进行基于该初始前背景分割结果的显示，例如，显示初始前景图像，而用户可以基于显示进行指示。在一些实施例中，用户可以指示第一图像的待添加区域(即属于前景)和/或待删除区域(即属于背景)，相应地，可以基于用户指示生成至少一个热度图，并通过对上述至少一个热度图和上述第一图像进行处理，得到最终的前背景分割结果。例如，可以将上述至少一个热度图和上述第一图像输入至神经网络，得到上述第一图像的前背景分割结果。这里的神经网络也是通过大量数据训练得到，在训练的时候，我们可以模拟用户点击或其他类型的操作，随机在图像上的前景区域和背景区域上进行操作，生成不同的热度图，作为训练数据去训练这个神经网络。生成热度图的一种示例如下：以用户的点击的点为圆心，生成一个半径为R的圆(R是个可变参数，比如可以取100)。圆形覆盖区域的热度(即一个0到1之间的值)，从圆心往外递减，递减的速度符合高斯分布。这种确定图像中的前背景分割结果方式可以理解为交互式分割。交互式分割的好处是能让用户自己决定前景和背景，能够更好的满足用户的需求。
102、基于上述前背景分割结果，确定上述第一图像中多个像素点的透明度信息。
步骤102一种可能的实现方式如下：基于上述前景蒙版和上述第一图像，得到上述第一图像中多个像素点的透明度信息。
具体地，可以对第一图像和前景蒙版进行处理，得到多个像素点的透明度信息，例如，得到前景区域和背景区域的交界边缘区域的多个像素点的透明度信息，或者得到第一图像中所有像素点的透明度信息，或者得到前景区域的所有或部分特定像素点的透明度信息，
在一些实施例中，步骤102的实现方式如下：将上述前背景分割结果和上述第一图像输入到神经网络模型进行处理，输出透明度结果图，上述透明度结果图包括上述多个像素点的透明度信息。上述神经网络模型为预先训练得到的。
在一些实施例中，上述神经网络模型采用带有跨层连接的编码器解码器(Encoder-Decoder)结构。示例性的，上述神经网络模型采用ResNet-18作为网络的编码器，解码器结构与编码器类似，只是将其中的平均池化(Average Pooling)替换成最近邻上采样(Nearest Upsampling)进行上采样。
在训练过程的一个可选实现中，我们对真实的阿尔法通道(Alpha Channel)和输入图像进行数据增强，包括随机裁剪、旋转、像素值随机抖动等。阿尔法通道(也称alpha通道)是一个8位的灰度通道，该通道用256级灰度来记录图像中的透明度信息，定义透明、不透明和半透明区域，其中黑表示不透明，白表示透明，灰表示半透明。得到生成输入数据后，原图像及三值图(Trimap)被拼接起来输入到神经网络模型中。在训练中，三值图由真实的alpha通道变换得到，在测试和应用的时候，三值图由二值蒙版变换得到。得到三值图的方法是：对二值蒙版(即前景蒙版)分别进行膨胀和腐蚀操作，两者不一致的区域为未知区域，值设为0.5。两者一致的区域，则依然为原来的值(0或者1)。得到神经网络模型的输出后，我们使用L1范数损失函数来计算网络预测损失，并使用自适应矩估计(Adam)优化器进行网络的优化。L1范数损失函数，也被称为最小绝对值偏差或者最小绝对值误差。总的说来，它是把目标值与估计值的绝对差值的总和最小化。Adam优化器是计算每个参数的自适应学习率的一种方法。
103、基于上述多个像素点的透明度信息和上述前背景分割结果，得到上述第一图像中的目标前景图像。
在一些实施例中，步骤103的一种可能的实现方式如下：基于上述前背景分割结果对上述第一图像进行处理，得到填充图像，其中，上述填充图像中的前景区域中的多个像素点的像素值是基于上述第一图像的背景区域进行填充得到的；基于上述填充图像和上述透明度信息，得到上述目标前景图像。上述基于上述前背景分割结果对上述第一图像进行处理，得到填充图像可以是：基于上述前背景分割结果，对上述第一图像进行处理，得到第二图像，其中，上述第二图像中与上述前景区域对应的部分的多个像素点的像素值为目标值；对上述第二图像进行卷积处理，得到上述填充图像。基于上述前背景分割结果，对上述第一图像进行处理，得到第二图像的一种可能实现方式如下：将上述第一图像中与上述前背景分割结果中的像素值为0的像素点相对应的像素点的像素值设置为0。示例性的，将上述前背景分割结果中包含的前景蒙版与上述第一图像进行逐像素对应相乘，得到上述第二图像。基于上述前背景分割结果，对上述第一图像进行处理，得到第二图像的一种可能实现方式如下：基于上述前背景分割结果，对上述第一图像中的前景区域部分进行抠图处理，得到上述第二图像。图4为本申请实施例提供的一种第二图像的示意图。结合图2至图4可以看出，第二图像可以是将第一图像中的前景区域的像素值设置为目标值(例如0)得到的，也可以是将第一图像中的前景区域部分进行抠图处理得到的。在一些实施例中，可采用如下公式对上述第二图像进行卷积处理以得到上述填充图像：
Figure BDA0002507611170000101
其中，x′表示填充图像中的任一像素点的像素值；W表示卷积核的参数，可选的，W中的值都设为1；b表示偏置值，这里可取0；M为前背景分割结果包括的前景蒙版，X表示上述第二图像中与x′相对应的像素点的像素值，⊙表示卷积运算。可以理解，X表示第二图像中当前任意像素点的像素值，x′表示对上述第二图像进行卷积处理之后的图像中该任意像素点的像素值。图5为本申请实施例提供的一种对第二图像进行卷积处理以得到填充图像的过程示意图。如图5所示，第二图像中的黑色矩形框内对应的矩阵为X，该X中第二行第二列的元素为该第二图像中的前景区域的一个像素点，对该第二图像进行卷积处理之后该像素点的像素值为150。在一些实施例中，图像处理装置可采用类似的方式对第二图像中的每个像素点进行卷积处理以得到填充图像。因为W中的值都设为1，对第二图像中的背景区域的像素点进行卷积处理之后，各像素点的像素值保持不变。在一些实施例中，图像处理装置可采用类似的方式仅对第二图像中前景区域中的每个像素点进行卷积处理以得到填充图像，这样可减少卷积运算的次数。
在一些实施例中，基于上述填充图像和上述透明度信息，得到上述目标前景图像的实现方式如下：
Figure BDA0002507611170000102
其中，F表示上述目标前景图像，I表示上述第一图像，α表示上述透明度信息(即透明度结果图)，B表示上述填充背景。由于上述填充图像和上述第一图像为大小相同且位置相同的像素点一一对应的图像，图像处理装置可利用公式(2)分别计算目标前景图像中每个像素点的像素值。
在一些实施例中，图像处理装置在执行步骤103之后，还可执行如下操作：将上述目标前景图像与目标背景图像进行融合处理，得到目标图像。在实际应用中，图像处理装置可先获取用户从背景库中选择的上述目标背景图像或者获取用户上传的上述目标背景图像；然后，将上述目标前景图像与目标背景图像进行融合处理，得到目标图像。
本申请实施例中，基于第一图像中多个像素点的透明度信息和前背景分割结果，得到该第一图像中的目标前景图像；充分考虑了透明度，抠图效果更好。
图1描述了图像处理装置如何从图像中获得前景图像的主要方法流程。下面介绍相比于图1的方法流程更加细化和完善的方法流程。图6为本申请实施例提供的另一种图像处理方法，如图6所示，该方法包括：
601、图像处理装置获取用户上传的第一图像。
在一些实施例中，步骤601可替换为图像处理装置获取用户从视频库选择的第一图像。在一些实施例中，图像处理装置为笔记本电脑、台式电脑等终端设备，用户可通过移动设备(例如U盘)将第一图像上传至图像处理装置运行的图像处理软件，也可以将图像处理装置上已存储的第一图像上传至图像处理装置运行的图像处理软件，还可以通过其他方式使得图像处理装置获取用户上传的第一图像，本申请不作限定。可理解，在一些实施例中，图像处理装置运行的图像处理软件实现本申请实施例提供的图像处理方法。在一些实施例中，图像处理装置为服务器，用户可使用笔记本电脑、台式电脑等终端设备通过网络将第一图像上传至图像处理装置。
602、图像处理装置对第一图像进行处理，得到上述第一图像的前背景分割结果。
在一些实施例中，图像处理装置将上述第一图像输入至上述前背景分割模型进行处理，得到上述第一图像的前背景分割结果。
603、图像处理装置对第一图像中的前景区域进行抠图处理，得到第二图像。
步骤603一种可能的实现方式如下：将上述第一图像与上述第一图像的前景蒙版进行逐像素对应相乘，得到上述第二图像。上述第一图像的前景蒙版包含于上述第一图像的前背景分割结果。也就是说，第一图像与该第一图像的前景蒙版进行逐像素对应相乘，得到第二图像。
604、图像处理装置对第二图像进行卷积处理，得到填充图像。
前述实施例描述了对第二图像进行卷积处理，得到填充图像的实现方式，这里不再赘述。
605、图像处理装置将第一图像和第一图像的前背景分割结果输入至神经网络模型进行处理，输出第一图像的透明度结果图。
606、基于第一图像的透明度结果图和上述前背景分割结果，得到上述第一图像中的目标前景图像。
步骤606的实现方式可与步骤103的实现方式相同。
在一些实施例中，图像处理装置在得到第一图像中的目标前景图像之后，还可执行如下步骤：607、获取用户从背景库中选择的上述目标背景图像或者获取用户上传的上述目标背景图像；608、将第一图像与目标背景图像进行融合处理，得到目标图像。
本申请实施例中，基于第一图像中各像素点的透明度信息和前背景分割结果，得到该第一图像中的目标前景图像；充分考虑了透明度，抠图效果更好。
图1以图像为例，描述了如何得到图像中的前景图像的方法流程。下面以视频为例，介绍如何快速地得到视频中各帧图像中的前景图像。图7为本申请实施例提供的另一种图像处理方法。如图7所示，该方法可包括：
701、图像处理装置获取用户上传的第一视频。
步骤701可替换为图像处理装置获取用户从视频库选择的第一视频。在一些实施例中，图像处理装置为笔记本电脑、台式电脑等终端设备，用户可通过移动设备(例如U盘)将第一视频上传至图像处理装置运行的图像处理软件，也可以将图像处理装置上已存储的第一视频上传至图像处理装置运行的图像处理软件，还可以通过其他方式使得图像处理装置获取用户上传的第一视频，本申请不作限定。在一些实施例中，图像处理装置为服务器，用户可使用笔记本电脑、台式电脑等终端设备通过网络将第一视频上传至图像处理装置。
702、图像处理装置对第一视频中的各帧图像进行处理，得到各帧图像的前背景分割结果。
在一些实施例中，第一视频中各帧图像的前背景分割结果可以是各帧图像的前景蒙版(对应二值图)。
步骤702一种可能的实现方式如下：对于上述第一视频中的关键帧(从第一帧开始，每过一定的帧数m取出一帧作为关键帧，m为可变参数，一般取10-30之间)，利用前背景分割模型进行二值分割，将每个关键帧的前景背景分开；对于上述第一视频中的其余帧(即非关键帧)，利用前景跟踪模型对各非关键帧的前景进行跟踪，得到每一非关键帧的前景蒙版。也就是说，将任一关键帧输入至前背景分割模型进行处理，得到该关键帧的前背景分割结果。利用前背景分割模型对关键帧进行处理，可以较准确地得到关键帧的前背景分割结果，但是速度较慢。将任意非关键帧对应的关键帧的前背景分割结果或者第一视频中其前一帧的前背景分割结果和该任意非关键帧输入至前景跟踪模型进行处理，可以快速地得到任意非关键帧的前背景分割结果。通过这种方式可以兼顾提取前景图像的效率和准确性。
703、图像处理装置对第一视频中各帧图像中的前景区域进行抠图处理，得到抠图处理后的各帧图像。
步骤703一种可能的实现方式如下：将上述第一视频中各帧图像与各帧图像对应的前景蒙版进行逐像素对应相乘，得到抠图处理后的各帧图像。举例来说，第一视频中的第一图像与该第一图像的前景蒙版进行逐像素对应相乘，得到抠图处理后的第一图像。
704、图像处理装置对抠图处理后的各帧图像进行卷积处理，得到多帧填充图像。
前述实施例描述了对第二图像(即抠图处理后的第一图像)进行卷积处理，得到填充图像的实现方式。应理解，图像处理装置可采用类似的实现方式对抠图处理后的各帧图像进行卷积处理，得到多帧填充图像。
705、图像处理装置将各帧图像和各帧图像的前背景分割结果输入至神经网络模型进行处理，输出各帧图像的透明度结果图。
在一些实施例中，图像处理装置可以分别将每帧图像和该帧图像的前背景分割结果输入至神经网络模型进行处理，输出该帧图像的透明度结果图。举例来说，图像处理装置将第一图像和该第一图像的前背景分割结果输入至神经网络模型进行处理，输出该第一图像的透明度结果图，该第一图像为第一视频中的任一帧图像。
706、图像处理装置基于第一视频中各帧图像的透明度结果图和各帧图像的前背景分割结果，得到各帧图像的前景图像。
步骤103描述了基于第一图像的透明度结果图和第一图像的前背景分割结果，得到第一图像的目标前景图像的实现方式。步骤706中得到任一帧图像的前景图像的方式可与步骤103中得到第一图像的目标前景图像的方式相同，这里不再详述。
在一些实施例中，图像处理装置在得到第一视频中的各帧图像的前景图像之后，还可执行如下步骤：707、获取用户从背景库中选择的上述目标背景图像或者获取用户上传的上述目标背景图像。708、将第一视频中各帧图像的前景图像分别与目标背景图像进行融合处理，得到第二视频。
图8为本申请实施例提供的另一种图像处理方法。如图8所示，该方法可包括：
801、图像处理装置对第一图像进行处理，得到上述第一图像的前背景分割结果。
步骤801的实现方式可与步骤101的实现方式相同。
802、基于上述前背景分割结果，对上述第一图像进行处理，得到填充图像。
上述填充图像中的前景区域中的多个像素点的像素值是基于上述第一图像的背景区域进行填充得到的。步骤802一种可能的实现方式如下：基于上述前背景分割结果，对上述第一图像进行处理，得到第二图像，其中，上述第二图像中与上述前景区域对应的部分的多个像素点的像素值为目标值；对上述第二图像进行卷积处理，得到上述填充图像。由于前面在介绍步骤103时已详述步骤802的实现方式，这里不再赘述。
803、基于上述填充图像，得到上述第一图像中的目标前景图像。
在一些实施例中，图像处理装置在执行步骤803之前，可基于上述前背景分割结果，确定上述第一图像中多个像素点的透明度信息；步骤803一种可能的实现方式如下：基于上述多个像素点的透明度信息和上述填充图像，得到上述第一图像中的上述目标前景图像。
本申请实施例中，基于第一图像的背景区域对该第一图像中的前景区域进行填充，充分考虑了相邻像素点之间的相似性，使得填充图像更加自然、逼真。
前述实施例主要描述了图像处理装置对图像或视频进行图像处理的方法流程。下面结合实际场景介绍本申请实施例提供的图像处理方法的举例。
图9为本申请实施例提供的另一种图像处理方法流程。如图9所示，该方法包括：
901、图像处理装置获取用户上传的第一图像。
在一些实施例中，步骤901可替换为图像处理装置获取用户从图像处理装置的视频库中选择的第一图像。图像处理装置可以为笔记本电脑、台式电脑等终端设备，用户可通过移动设备(例如U盘)将第一图像上传至图像处理装置运行的图像处理软件，也可以将图像处理装置上已存储的第一图像上传至图像处理装置运行的图像处理软件，还可以通过其他方式使得图像处理装置获取用户上传的第一图像，本申请不作限定。在一些实施例中，图像处理装置运行的图像处理软件执行本申请实施例提供的图像处理方法，用户在上传上述第一图像之前，可通过网络登录上述图像处理软件的账号。应理解，用户通过网络登录上述图像处理软件的账号之后，如果网络断开，仍可利用图像处理软件执行本申请实施例提供的图像处理方法。也就是说，登录上述图像处理软件的账号只是为了验证上述图像处理软件的授权，即授权的图像处理软件才能执行本申请实施例提供的图像处理方法。在该实施例中，如果用户未登录已成功注册的账号，那么不能利用上述图像处理软件实现本申请实施例提供的图像处理方法。在一些实施例中，图像处理装置运行的图像处理软件执行本申请实施例提供的图像处理方法，上述图像处理软件与上述图像处理装置具有绑定关系。在该实施例中，用户在将上述图像处理软件安装于图像处理装置之后，才能利用上述图像处理软件实现本申请实施例提供的图像处理方法。
902、图像处理装置对上述第一图像进行处理，得到上述第一图像中的目标前景图像。
步骤902的实现可采用图1、图6或者图8中的方法流程。图9描述了用户利用图像处理装置获得第一图像中的目标前景图像的过程。应理解，用户可采用类似的方式获得视频中各帧图像的前景图像。
本申请实施例中，用户通过图像处理装置自身就能获得第一图像中的目标前景图像，不需要依赖其他设备。
图10为本申请实施例提供的另一种图像处理方法流程。如图10所示，该方法包括：
1001、终端设备获取用户上传的第一图像。
上述终端设备可以是手机、台式电脑、笔记本电脑、平板电脑等具有数据传输和图像显示功能的设备。
1002、终端设备将第一图像发送给服务器。
1003、服务器对上述第一图像进行处理，得到上述第一图像中的目标前景图像。
服务器(即图像处理装置)可执行图1、图6、图7以及图8中的方法流程。
1004、服务器将目标前景图像发送给终端设备。
1005、终端设备显示目标前景图像。
在一些实施例中，用户将第一图像上传至终端设备通过运行的图像处理软件，通过该图像处理软件将第一图像发送给服务器，该图像处理软件的界面显示接收的来自服务器的目标前景图像。应理解，服务器往往具备终端设备无法比拟的处理能力，因此服务器能更准确、快速地实现本申请实施例提供的图像处理方法。
本申请实施例中，终端设备借助服务器来从第一图像中获得前景图像，不需要执行负责的图像处理操作，实现简单。
由于前述实施例未详述将目标前景图像与目标背景图像进行融合处理，得到目标图像的方式。下面介绍一种可能的将前景图像和背景图像进行融合处理的实现方式。图11为本申请实施例提供的一种图像融合处理方法流程。如图11所示，该方法可包括：
1101、图像处理装置将前景图像和背景图像从RGB空间转换到Lab空间。
这里我们把前景图像的Lab通道分别记为FL,Fa,Fb，背景图像的Lab通道分别记为BL,Ba,Bb。RGB空间是指RGB颜色空间。RGB颜色空间以R(Red:红)、G(Green:绿)、B(Blue:蓝)三种基本色为基础，这三种颜色就被称为三原色。同RGB颜色空间相比，Lab是一种不常用的色彩空间。它是一种设备无关的颜色***，也是一种基于生理特征的颜色***。Lab模式既不依赖光线，也不依赖于颜料，它是国际照明委员会组织确定的一个理论上包括了人眼可以看见的所有色彩的色彩模式。这也就意味着，它是用数字化的方法来描述人的视觉感应。Lab颜色空间中的L分量用于表示像素的亮度，取值范围是[0,100]，表示从纯黑到纯白；a表示从红色到绿色的范围，取值范围是[127,-128]；b表示从黄色到蓝色的范围，取值范围是[127,-128]。
1102、计算前景图像和背景图像在Lab空间中每个通道的均值。
例如前景图像的L通道的均值记为Mean(FL)。
1103、图像处理装置更改前景图像在每个通道的值，使其接近背景图像。
例如对于前景图像的L通道，F′L＝FL+βL[Mean(BL)-Mean(FL)]，F′L表示更新后的前景图像的L通道，βL是个超参数，这里我们设置为0.5。对于ab通道也做类似的处理，但超参不同，βa＝βb＝0.1。
1104、图像处理装置对背景图像做高斯模糊。
1105、图像处理装置将前景图像贴在背景图像上，得到融合图像。
本申请实施例中，通过对调整前景图像在每个通道的值以及对背景图像做高斯模糊，使得融合得到的图像更加逼真、自然。
前面描述了本申请实施例提供的图像处理装置，下面介绍可本申请实施例提供的图像处理方法的图像处理装置的各部件的功能。图12为本申请实施例提供的一种图像处理装置的结构示意图。如图12所示，图像处理装置可包括：
前背景分割单元1201，用于对第一图像进行处理，得到上述第一图像的前背景分割结果；
透明度确定单元1202，用于基于上述前背景分割结果，确定上述第一图像中多个像素点的透明度信息；
前景确定单元1203，用于基于上述多个像素点的透明度信息和上述前背景分割结果，得到上述第一图像中的目标前景图像。
前背景分割单元1201、透明度确定单元1202、前景确定单元1203可以是相互独立的，也可以是集成在一起的，例如同一个处理器实现前背景分割单元1201、透明度确定单元1202、前景确定单元1203的功能。
在一个可能的实现方式中，上述前背景分割结果包括：上述第一图像的前景蒙版；
透明度确定单元1202，具体用于基于上述前景蒙版和上述第一图像，得到上述第一图像中多个像素点的透明度信息。
在一个可能的实现方式中，透明度确定单元1202，具体用于将上述前背景分割结果和上述第一图像输入到神经网络模型进行处理，输出透明度结果图，上述透明度结果图包括上述多个像素点的透明度信息。
在一个可能的实现方式中，前景确定单元1203，具体用于基于上述前背景分割结果对上述第一图像进行处理，得到填充图像，其中，上述填充图像中的前景区域中的多个像素点的像素值是基于上述第一图像的背景区域进行填充得到的；基于上述填充图像和上述透明度信息，得到上述目标前景图像。
在一个可能的实现方式中，前景确定单元1203，具体用于基于上述前背景分割结果，对上述第一图像进行处理，得到第二图像，其中，上述第二图像中与上述前景区域对应的部分的多个像素点的像素值为目标值；对上述第二图像进行卷积处理，得到上述填充图像。
在一个可能的实现方式中，前景确定单元1203，具体用于将上述前背景分割结果中包含的前景蒙版与上述第一图像进行逐像素对应相乘，得到上述第二图像；或者
基于上述前背景分割结果，对上述第一图像中的前景区域部分进行抠图处理，得到上述第二图像。
在一个可能的实现方式中，前背景分割单元1203，具体用于在上述第一图像为在视频流中的关键帧的情况下，将上述第一图像输入至前背景分割模型进行处理，得到上述第一图像的前背景分割结果；和/或
在上述第一图像为在上述视频流中的非关键帧的情况下，基于对应的关键帧的前背景分割结果对上述第一图像进行前景跟踪处理，得到上述第一图像的前背景分割结果。
在一个可能的实现方式中，前背景分割单元1203，具体用于将上述对应的关键帧的前背景分割结果和上述第一图像输入至前景跟踪模型进行处理，得到上述第一图像的前背景分割结果。
在一个可能的实现方式中，上述图像处理装置还包括：
图像融合单元1204，用于将上述目标前景图像与目标背景图像进行融合处理，得到目标图像。
在一个可能的实现方式中，上述图像处理装置还包括：
获取单元1205，用于获取用户从背景库中选择的上述目标背景图像；或者获取用户上传的上述目标背景图像。
图13为本申请实施例提供的一种图像处理装置的结构示意图。如图13所示，图像处理装置可包括：
前背景分割单元1301，用于对第一图像进行处理，得到上述第一图像的前背景分割结果；
图像填充单元1302，用于基于上述前背景分割结果，对上述第一图像进行处理，得到填充图像，其中，上述填充图像中的前景区域中的多个像素点的像素值是基于上述第一图像的背景区域进行填充得到的；
前景确定单元1303，用于基于上述填充图像，得到上述第一图像中的目标前景图像。
前背景分割单元1301、图像填充单元1302、前景确定单元1303可以是相互独立的，也可以是集成在一起的，例如同一个处理器实现前背景分割单元1301、图像填充单元1302、前景确定单元1303的功能。
在一个可能的实现方式中，图像填充单元1302，具体用于基于上述前背景分割结果，对上述第一图像进行处理，得到第二图像，其中，上述第二图像中与上述前景区域对应的部分的多个像素点的像素值为目标值；对上述第二图像进行卷积处理，得到上述填充图像。
在一个可能的实现方式中，图像填充单元1302，具体用于将上述前背景分割结果中包含的前景蒙版与上述第一图像进行逐像素对应相乘，得到上述第二图像；或者
基于上述前背景分割结果，对上述第一图像中的前景区域部分进行抠图处理，得到上述第二图像。
在一个可能的实现方式中，上述图像处理装置还包括：
透明度确定单元1304，用于基于上述前背景分割结果，确定上述第一图像中多个像素点的透明度信息；
前景确定单元1303，具体用于基于上述多个像素点的透明度信息和上述填充图像，得到上述第一图像中的上述目标前景图像。
在一个可能的实现方式中，上述第一图像的前景区域包含除预设背景之外的至少一个类别的目标对象。
应理解以上图像处理装置的各个单元的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。例如，以上各个单元可以为单独设立的处理元件，也可以集成同一个芯片中实现，此外，也可以以程序代码的形式存储于控制器的存储元件中，由处理器的某一个处理元件调用并执行以上各个单元的功能。此外各个单元可以集成在一起，也可以独立实现。这里的处理元件可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个单元可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。该处理元件可以是通用处理器，例如中央处理器(英文：central processing unit，简称：CPU)，还可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(英文：application-specific integrated circuit，简称：ASIC)，或，一个或多个微处理器(英文：digitalsignal processor，简称：DSP)，或，一个或者多个现场可编程门阵列(英文：field-programmable gate array，简称：FPGA)等。
图14是本申请实施例提供的一种服务器的结构示意图，该服务器1400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以***处理器(centralprocessing units，CPU)1422(例如，一个或一个以上处理器)和存储器1432，一个或一个以上存储应用程序1442或数据1444的存储介质1430(例如一个或一个以上海量存储设备)。其中，存储器1432和存储介质1430可以是短暂存储或持久存储。存储在存储介质1430的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1422可以设置为与存储介质1430通信，在服务器1400上执行存储介质1430中的一系列指令操作。服务器1400可以为本申请提供的图像处理方法。
服务器1400还可以包括一个或一个以上电源1426，一个或一个以上有线或无线网络接口1450，一个或一个以上输入输出接口1458，和/或，一个或一个以上操作***1441，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
上述实施例中由图像处理装置所执行的步骤可以基于该图14所示的服务器结构。具体的，中央处理器1422可实现图12和图13中各单元的功能。
图15为本申请实施例提供的一种终端设备的结构示意图。如图15所示，该终端设备150包括处理器1501、存储器1502和通信接口1503；该处理器1501、存储器1502和通信接口1503通过总线相互连接。图15中的终端设备可以为前述实施例中的文本识别装置。
存储器1502包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasable programmablereadonly memory，EPROM)、或便携式只读存储器(compact disc read-only memory，CDROM)，该存储器1502用于相关指令及数据。通信接口1503用于接收和发送数据。
处理器1501可以是一个或多个中央处理器(central processing unit，CPU)，在处理器1501是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。上述实施例中由图像处理装置所执行的步骤可以基于该图15所示的终端设备的结构。具体的，处理器1501可实现图12和图13中各单元的功能。
在本申请的实施例中提供一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现前述实施例所提供的图像处理方法。
本申请实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行前述实施例所提供的图像处理方法。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (32)

1.一种图像处理方法，其特征在于，包括：
对第一图像进行处理，得到所述第一图像的前背景分割结果；
基于所述前背景分割结果，确定所述第一图像中多个像素点的透明度信息；
基于所述多个像素点的透明度信息和所述前背景分割结果，得到所述第一图像中的目标前景图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述前背景分割结果包括：所述第一图像的前景蒙版；
所述基于所述前背景分割结果，确定所述第一图像中多个像素点的透明度信息包括：
基于所述前景蒙版和所述第一图像，得到所述第一图像中多个像素点的透明度信息。
3.根据权利要求1或2所述的图像处理方法，其特征在于，所述基于所述前背景分割结果，确定所述第一图像中多个像素点的透明度信息包括：
将所述前背景分割结果和所述第一图像输入到神经网络模型进行处理，输出透明度结果图，所述透明度结果图包括所述多个像素点的透明度信息。
4.根据权利要求1至3任一项所述的图像处理方法，其特征在于，所述基于所述多个像素点的透明度信息和所述前背景分割结果，得到所述第一图像中的目标前景图像包括：
基于所述前背景分割结果对所述第一图像进行处理，得到填充图像，其中，所述填充图像中的前景区域中的多个像素点的像素值是基于所述第一图像的背景区域进行填充得到的；
基于所述填充图像和所述透明度信息，得到所述目标前景图像。
5.根据权利要求4所述的图像处理方法，其特征在于，所述基于所述前背景分割结果对所述第一图像进行处理，得到填充图像包括：
基于所述前背景分割结果，对所述第一图像进行处理，得到第二图像，其中，所述第二图像中与所述前景区域对应的部分的多个像素点的像素值为目标值；
对所述第二图像进行卷积处理，得到所述填充图像。
6.根据权利要求5所述的图像处理方法，其特征在于，所述基于所述前背景分割结果，对所述第一图像进行处理，得到第二图像，包括：
将所述前背景分割结果中包含的前景蒙版与所述第一图像进行逐像素对应相乘，得到所述第二图像；或者
基于所述前背景分割结果，对所述第一图像中的前景区域部分进行抠图处理，得到所述第二图像。
7.根据权利要求1至6任一项所述的图像处理方法，其特征在于，所述对第一图像进行处理，得到所述第一图像的前背景分割结果包括：
在所述第一图像为在视频流中的关键帧的情况下，将所述第一图像输入至前背景分割模型进行处理，得到所述第一图像的前背景分割结果；和/或
在所述第一图像为在所述视频流中的非关键帧的情况下，基于对应的关键帧的前背景分割结果对所述第一图像进行前景跟踪处理，得到所述第一图像的前背景分割结果。
8.根据权利要求7所述的图像处理方法，其特征在于，所述基于对应的关键帧的前背景分割结果对所述第一图像进行前景跟踪处理，得到所述第一图像的前背景分割结果，包括：
将所述对应的关键帧的前背景分割结果和所述第一图像输入至前景跟踪模型进行处理，得到所述第一图像的前背景分割结果。
9.根据权利要求1至8任一项所述的图像处理方法，其特征在于，所述方法还包括：
将所述目标前景图像与目标背景图像进行融合处理，得到目标图像。
10.根据权利要求9所述的图像处理方法，其特征在于，所述方法还包括：
获取用户从背景库中选择的所述目标背景图像；或者
获取用户上传的所述目标背景图像。
11.一种图像处理方法，其特征在于，包括：
对第一图像进行处理，得到所述第一图像的前背景分割结果；
基于所述前背景分割结果，对所述第一图像进行处理，得到填充图像，其中，所述填充图像中的前景区域中的多个像素点的像素值是基于所述第一图像的背景区域进行填充得到的；
基于所述填充图像，得到所述第一图像中的目标前景图像。
12.根据权利要求11所述的图像处理方法，其特征在于，基于所述前背景分割结果，对所述第一图像进行处理，得到填充图像包括：
基于所述前背景分割结果，对所述第一图像进行处理，得到第二图像，其中，所述第二图像中与所述前景区域对应的部分的多个像素点的像素值为目标值；
对所述第二图像进行卷积处理，得到所述填充图像。
13.根据权利要求12所述的图像处理方法，其特征在于，所述基于所述前背景分割结果，对所述第一图像进行处理，得到第二图像，包括：
将所述前背景分割结果中包含的前景蒙版与所述第一图像进行逐像素对应相乘，得到所述第二图像；或者
基于所述前背景分割结果，对所述第一图像中的前景区域部分进行抠图处理，得到所述第二图像。
14.根据权利要求11至13任一项所述的图像处理方法，其特征在于，所述基于所述填充图像，得到所述第一图像中的目标前景图像之前，所述方法还包括：
基于所述前背景分割结果，确定所述第一图像中多个像素点的透明度信息；
所述基于所述填充图像，得到所述第一图像中的目标前景图像包括：
基于所述多个像素点的透明度信息和所述填充图像，得到所述第一图像中的所述目标前景图像。
15.根据权利要求11至14中任一项所述的图像处理方法，其特征在于，所述第一图像的前景区域包含除预设背景之外的至少一个类别的目标对象。
16.一种图像处理装置，其特征在于，包括：
前背景分割单元，用于对第一图像进行处理，得到所述第一图像的前背景分割结果；
透明度确定单元，用于基于所述前背景分割结果，确定所述第一图像中多个像素点的透明度信息；
前景确定单元，用于基于所述多个像素点的透明度信息和所述前背景分割结果，得到所述第一图像中的目标前景图像。
17.根据权利要求16所述的图像处理装置，其特征在于，所述前背景分割结果包括：所述第一图像的前景蒙版；
所述透明度确定单元，具体用于基于所述前景蒙版和所述第一图像，得到所述第一图像中多个像素点的透明度信息。
18.根据权利要求16或17所述的图像处理装置，其特征在于，
所述透明度确定单元，具体用于将所述前背景分割结果和所述第一图像输入到神经网络模型进行处理，输出透明度结果图，所述透明度结果图包括所述多个像素点的透明度信息。
19.根据权利要求16至18所述的图像处理装置，其特征在于，
所述前景确定单元，具体用于基于所述前背景分割结果对所述第一图像进行处理，得到填充图像，其中，所述填充图像中的前景区域中的多个像素点的像素值是基于所述第一图像的背景区域进行填充得到的；
基于所述填充图像和所述透明度信息，得到所述目标前景图像。
20.根据权利要求19所述的图像处理装置，其特征在于，
所述前景确定单元，具体用于基于所述前背景分割结果，对所述第一图像进行处理，得到第二图像，其中，所述第二图像中与所述前景区域对应的部分的多个像素点的像素值为目标值；
对所述第二图像进行卷积处理，得到所述填充图像。
21.根据权利要求20所述的图像处理装置，其特征在于，
所述前景确定单元，具体用于将所述前背景分割结果中包含的前景蒙版与所述第一图像进行逐像素对应相乘，得到所述第二图像；或者
基于所述前背景分割结果，对所述第一图像中的前景区域部分进行抠图处理，得到所述第二图像。
22.根据权利要求16至21任一项所述的图像处理装置，其特征在于，
所述前背景分割单元，具体用于在所述第一图像为在视频流中的关键帧的情况下，将所述第一图像输入至前背景分割模型进行处理，得到所述第一图像的前背景分割结果；和/或
在所述第一图像为在所述视频流中的非关键帧的情况下，基于对应的关键帧的前背景分割结果对所述第一图像进行前景跟踪处理，得到所述第一图像的前背景分割结果。
23.根据权利要求22所述的图像处理装置，其特征在于，
所述前背景分割单元，具体用于将所述对应的关键帧的前背景分割结果和所述第一图像输入至前景跟踪模型进行处理，得到所述第一图像的前背景分割结果。
24.根据权利要求16至23所述的图像处理装置，其特征在于，所述图像处理装置还包括：
图像融合单元，用于将所述目标前景图像与目标背景图像进行融合处理，得到目标图像。
25.根据权利要求24所述的图像处理装置，其特征在于，所述图像处理装置还包括：
获取单元，用于获取用户从背景库中选择的所述目标背景图像；或者获取用户上传的所述目标背景图像。
26.一种图像处理装置，其特征在于，包括：
前背景分割单元，用于对第一图像进行处理，得到所述第一图像的前背景分割结果；
图像填充单元，用于基于所述前背景分割结果，对所述第一图像进行处理，得到填充图像，其中，所述填充图像中的前景区域中的多个像素点的像素值是基于所述第一图像的背景区域进行填充得到的；
前景确定单元，用于基于所述填充图像，得到所述第一图像中的目标前景图像。
27.根据权利要求26所述的图像处理装置，其特征在于，
所述图像填充单元，具体用于基于所述前背景分割结果，对所述第一图像进行处理，得到第二图像，其中，所述第二图像中与所述前景区域对应的部分的多个像素点的像素值为目标值；
对所述第二图像进行卷积处理，得到所述填充图像。
28.根据权利要求27所述的图像处理装置，其特征在于，
所述图像填充单元，具体用于将所述前背景分割结果中包含的前景蒙版与所述第一图像进行逐像素对应相乘，得到所述第二图像；或者
基于所述前背景分割结果，对所述第一图像中的前景区域部分进行抠图处理，得到所述第二图像。
29.根据权利要求26至28任一项所述的图像处理装置，其特征在于，所述图像处理装置还包括：
透明度确定单元，用于基于所述前背景分割结果，确定所述第一图像中多个像素点的透明度信息；
所述前景确定单元，具体用于基于所述多个像素点的透明度信息和所述填充图像，得到所述第一图像中的所述目标前景图像。
30.根据权利要求26至29任一项所述的图像处理装置，其特征在于，所述第一图像的前景区域包含除预设背景之外的至少一个类别的目标对象。
31.一种电子设备，其特征在于，包括存储器和处理器，其中，所述存储器用于存储指令，所述处理器用于执行所述存储器存储的指令，使得所述处理器执行如权利要求1至30任一项所述的方法。
32.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被移动设备的处理器执行时，使所述处理器执行权利要求1至30任意一项所述的方法。
CN202010450801.3A 2020-05-25 2020-05-25 图像处理方法和相关产品 Withdrawn CN113724282A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010450801.3A CN113724282A (zh) 2020-05-25 2020-05-25 图像处理方法和相关产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010450801.3A CN113724282A (zh) 2020-05-25 2020-05-25 图像处理方法和相关产品

Publications (1)

Publication Number Publication Date
CN113724282A true CN113724282A (zh) 2021-11-30

Family

ID=78671715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010450801.3A Withdrawn CN113724282A (zh) 2020-05-25 2020-05-25 图像处理方法和相关产品

Country Status (1)

Country Link
CN (1) CN113724282A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113724130A (zh) * 2021-08-20 2021-11-30 深圳市飘飘宝贝有限公司 可变宽度的人像精细抠图方法、装置、设备及存储介质
CN114615443A (zh) * 2022-03-15 2022-06-10 维沃移动通信有限公司 图像处理方法及其装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113724130A (zh) * 2021-08-20 2021-11-30 深圳市飘飘宝贝有限公司 可变宽度的人像精细抠图方法、装置、设备及存储介质
CN113724130B (zh) * 2021-08-20 2022-04-19 深圳市飘飘宝贝有限公司 可变宽度的人像精细抠图方法、装置、设备及存储介质
CN114615443A (zh) * 2022-03-15 2022-06-10 维沃移动通信有限公司 图像处理方法及其装置

Similar Documents

Publication Publication Date Title
US11615559B2 (en) Methods and systems for human imperceptible computerized color transfer
US10979640B2 (en) Estimating HDR lighting conditions from a single LDR digital image
CN109493350B (zh) 人像分割方法及装置
JP6994588B2 (ja) 顔特徴抽出モデル訓練方法、顔特徴抽出方法、装置、機器および記憶媒体
CN113379775A (zh) 利用彩色化神经网络基于交互式颜色边缘生成彩色化图像
Panetta et al. Tmo-net: A parameter-free tone mapping operator using generative adversarial network, and performance benchmarking on large scale hdr dataset
AU2015201623A1 (en) Choosing optimal images with preference distributions
CN110188670B (zh) 一种虹膜识别中的人脸图像处理方法、装置和计算设备
CN112602088B (zh) 提高弱光图像的质量的方法、***和计算机可读介质
WO2022133382A1 (en) Semantic refinement of image regions
CN113724282A (zh) 图像处理方法和相关产品
Choi et al. Deep learning-based computational color constancy with convoluted mixture of deep experts (CMoDE) fusion technique
US11138693B2 (en) Attention-driven image manipulation
CN116012232A (zh) 图像处理方法、装置及存储介质、电子设备
CN112396610A (zh) 一种图像处理方法、计算机设备、存储介质
CN112788254B (zh) 摄像头抠像方法、装置、设备及存储介质
CN115967823A (zh) 视频封面生成方法、装置、电子设备及可读介质
CN112489144A (zh) 图像处理方法、图像处理装置、终端设备及存储介质
CN117315758A (zh) 面部表情的检测方法、装置、电子设备及存储介质
US20240161240A1 (en) Harmonizing composite images utilizing a semantic-guided transformer neural network
US20220398704A1 (en) Intelligent Portrait Photography Enhancement System
CN114663570A (zh) 贴图生成方法、装置、电子装置及可读存储介质
CN115761389A (zh) 图像样本的增广方法、装置、电子设备及存储介质
CN114764839A (zh) 动态视频生成方法、装置、可读存储介质及终端设备
CN111583163A (zh) 基于ar的人脸图像处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20211130