CN112258435A - 图像处理方法和相关产品 - Google Patents

Abstract

本申请实施例公开了一种图像处理方法和相关产品，该方法包括：基于第一图像和第二图像进行阴影估计处理，得到所述第一图像中目标对象的目标剪影；所述第一图像为从原始图像中获取的前景区域图像；对所述第一图像、所述第二图像以及所述目标对象的目标剪影进行图像融合处理，得到目标图像；所述目标图像中所述目标剪影作为所述第一图像中所述目标对象的阴影。本申请实施例中，对第一图像、第二图像以及目标对象的目标剪影进行图像融合处理，得到目标图像；能够得到包含目标对象的阴影的目标图像，目标图像更加真实。

Description

图像处理方法和相关产品

技术领域

本申请涉及图像处理领域，尤其涉及一种图像处理方法和相关产品。

背景技术

随着图像处理技术的发展，视频换背景以及图像换背景的应用越来越广泛。目前采用的视频换背景方案以及图像换背景方案中，图像融合效果还有待进一步加强。

发明内容

本申请实施例公开了一种图像处理方法和相关产品，能够自动生成图像中目标对象的阴影，使得图像更加真实。

第一方面，本申请实施例提供了一种图像处理方法，该方法包括：基于第一图像和第二图像进行阴影估计处理，得到所述第一图像中目标对象的目标剪影；所述第一图像为从原始图像中获取的前景区域图像；对所述第一图像、所述第二图像以及所述目标对象的目标剪影进行图像融合处理，得到目标图像；所述目标图像中所述目标剪影作为所述第一图像中所述目标对象的阴影。

本申请实施例中，对第一图像、第二图像以及目标对象的目标剪影进行图像融合处理，得到目标图像；能够得到包含目标对象的阴影的目标图像，目标图像更加真实。

在一个可能的实现方式中，所述基于第一图像和第二图像进行阴影估计处理，得到目标剪影包括：对所述第一图像进行处理，得到所述目标对象的原始剪影；所述原始剪影用于描述所述第一图像中所述目标对象的轮廓；利用第二图像进行阴影角度估计，得到目标投影角度；基于所述目标投影角度对所述第一图像的原始剪影进行仿射变换处理，得到所述目标剪影；所述目标剪影的边界框为角度为所述目标投影角度的平行四边形。

在一些实施例中，所述第一图像中所述目标对象的轮廓可理解为所述第一图像的轮廓，所述原始剪影可理解为用于描述所述第一图像的轮廓。所述原始剪影的边界框为角度为直角的矩形框。

在该实现方式中，基于目标投影角度对第一图像的原始剪影进行仿射变换处理，得到目标剪影；可以使得目标对象的阴影更加真实。

在一个可能的实现方式中，所述对所述第一图像进行处理，得到所述目标对象的原始剪影包括：将所述第一图像中的各像素点均调整为0，得到所述原始剪影。

在一个可能的实现方式中，所述利用第二图像进行阴影角度估计，得到目标投影角度包括：对所述第二图像进行深度估计以及法向量估计，得到目标平面以及所述目标平面的法向量；所述目标平面用于描述所述第二图像中的地面所在的平面；基于所述目标平面和所述法向量，确定所述目标投影角度。

在该实现方式中，可以准确、快速地得到目标投影角度。

在一个可能的实现方式中，所述基于所述目标平面和所述法向量，确定所述目标投影角度包括：将经过目标图像坐标系的原点且与所述法向量垂直的直线在所述目标图像坐标系中的投影与所述目标图像坐标系的坐标轴之间的角度，作为所述目标投影角度；所述目标图像坐标系为所述第二图像中的图像坐标系且与所述目标平面重合。

在一个可能的实现方式中，所述基于所述第一图像、所述第二图像以及所述目标剪影进行图像融合处理，得到目标图像包括：将所述第一图像作为前景图像以及所述第二图像作为背景图像进行前背景融合处理，得到中间图像；基于所述中间图像和所述目标剪影，得到所述目标图像。

在一个可能的实现方式中，所述基于所述中间图像和所述目标剪影，得到所述目标图像包括：对所述中间图像进行人物脚部定位处理，得到所述中间图像中的人物脚部区域的位置信息；基于所述人物脚部区域的位置信息，对所述目标剪影和所述中间图像进行图像融合处理，得到所述目标图像；所述目标图像中所述目标剪影中的脚部区域与所述人物脚部区域存在交叠。

所述目标剪影中的脚部区域与所述人物脚部区域存在交叠可以是所述目标剪影中的脚部区域的至少一部分与所述人物脚部区域的至少一部分重叠。

在该实现方式中，可以使得目标图像中的阴影更加自然和真实。

在一个可能的实现方式中，所述基于第一图像和第二图像进行阴影估计处理，得到所述第一图像中目标对象的目标剪影包括：将所述第一图像作为前景图像以及所述第二图像作为背景图像进行前背景融合处理，得到中间图像；对所述第二图像进行深度估计以及法向量估计，得到目标平面以及所述目标平面的法向量；所述目标平面用于描述所述第二图像中的地面所在的平面；基于所述法向量，确定所述目标平面中的标定区域映射至所述中间图像的阴影区域；所述标定区域为平行四边形区域且所述标定区域的第一边与所述中间图像中所述目标对象的边界框的第二边映射至所述目标平面的目标线段重合；基于所述阴影区域和所述第一图像，得到所述目标剪影；所述目标剪影的边界框对应的图形与所述阴影区域对应的图形相同。

在该实现方式中，可以较准确地确定中间图像中的阴影区域。

在一个可能的实现方式中，在基于所述法向量，确定所述目标平面中的标定区域映射至所述中间图像的阴影区域之前，所述方法还包括：获得所述中间图像中所述目标对象的边界框的所述第二边映射至所述目标平面的所述目标线段；所述第二边为所述目标对象的边界框中距离人物脚部最近的一条边；基于所述目标线段，得到所述目标平面中的所述标定区域；所述目标线段为所述标定区域的所述第一边。

在该实现方式中，可以较合理的确定目标平面中的标定区域，以便于基于标定区域生成的阴影区域更加真实和自然。

在一个可能的实现方式中，所述标定区域的角度为45度，和/或，所述标定区域的第三边的长度为所述中间图像中所述目标对象的边界框的第四边的长度的三分之二。

在一个可能的实现方式中，所述将所述第一图像作为前景图像以及所述第二图像作为背景图像进行前背景融合处理，得到中间图像包括；通过对所述第一图像和所述第二图像进行处理，得到所述第一图像相对于所述第二图像的目标位置；基于所述目标位置，对所述第一图像和所述第二图像进行图像融合处理，得到所述中间图像。

在该实现方式中，图像处理装置自动确定第一图像相对于第二图像的位置，确定的相对位置更加合理，以便于对第二图像和第二图像进行前背景融合得到融合效果更好的图像。

在一个可能的实现方式中，所述通过对所述第一图像和所述第二图像进行处理，得到所述第一图像相对于所述第二图像的目标位置包括：对所述第二图像进行地面识别处理，得到所述第二图像中的地面区域的位置信息；在所述第二图像中的目标分界线位于所述地面区域的情况下，确定所述第一图像相对于所述第二图像的所述目标位置为所述地面区域的第一中心区域，和/或，在所述第二图像中的所述目标分界线未位于所述地面区域的情况下，确定所述第一图像相对于所述第二图像的所述目标位置为第二图像的第二中心区域。

在该实现方式中，可以较合理地确定第一图像相对于第二图像的位置。

在一个可能的实现方式中，所述通过对所述第一图像和所述第二图像进行处理，得到所述第一图像相对于所述第二图像的目标位置包括：对所述第二图像进行地面识别处理，得到所述第二图像中的地面区域的位置信息；基于所述地面区域的位置信息，确定所述第一图像相对于所述第二图像的所述目标位置；所述目标位置的确定使得所述第一图像中的目标区域相对于所述第二图像位于所述地面区域内，所述目标区域包含在所述原始图像中与地面接触的区域。

在该实现方式中，可以使得原始图像中与地面接触的区域相对于第二图像位于地面区域内，符合真实场景。

在一个可能的实现方式中，所述通过对所述第一图像和所述第二图像进行处理，得到所述第一图像相对于所述第二图像的目标位置包括：对所述第一图像进行处理，得到所述第一图像中的参考区域的位置信息；所述参考区域为所述第一图像中的任意区域；基于所述参考区域的位置信息，得到所述第一图像相对于所述第二图像的所述目标位置；所述目标位置的确定使得所述参考区域的特定位置位于所述第二图像的平视区域内；所述平视区域包括由多个消失点得到的消失线，所述多个消失点中任一个为在现实世界中平行的两条线在所述第二图像中相交的点。可选的，所述参考区域包括所述第一图像中将所述第一图像分为高度比为一比二的两部分的分界线。所述参考区域可以是根据所述第一图像的高度确定的所述第一图像中的两条直线之间的图像区域。

在该实现方式中，可以较合理地确定第一图像相对于第二图像的位置。

在一个可能的实现方式中，所述通过对所述第一图像和所述第二图像进行处理，得到所述第一图像相对于所述第二图像的目标位置包括：对所述第一图像进行处理，得到所述第一图像中的标定线的位置信息；基于所述标定线的位置信息，得到所述第一图像相对于所述第二图像的所述目标位置；所述目标位置的确定使得所述标定线相对于所述第二图像位于所述第二图像的平视区域内；所述平视区域包括由多个消失点得到的消失线，所述多个消失点中任一个为在现实世界中平行的两条线在所述第二图像中相交的点。所述标定线可以是所述第一图像中所述将第一图像分为高度比为一比二的两部分的分界线，还可以是其他分界线，本申请实施例不作限定。

在一个可能的实现方式中，所述第二图像为目标视频中的一帧图像，所述方法还包括：识别所述目标视频是否存在镜头运动；在所述目标视频存在镜头运动的情况下，识别所述镜头运动的路径；基于所述镜头运动的路径，平移和/或缩放第三图像以得到第四图像；所述第三图像为所述目标视频中的一帧图像且所述第三图像被拍摄的时间晚于所述第二图像被拍摄的时间；对所述第一图像、所述第四图像以及所述目标对象的目标剪影进行图像融合处理，得到第五图像；所述第五图像中所述目标剪影作为所述第五图像中所述目标对象的阴影。

在该实现方式中，基于镜头运动对目标视频中的第三图像进行平移和/或缩放，可以减少对背景图像的处理操作，提高效率。

在一个可能的实现方式中，所述方法还包括：调整所述目标图像中的所述目标剪影的透明度，和/或，对所述目标图像中的所述目标剪影进行羽化处理。可选的，所述目标图像中的所述目标剪影的透明度调整为60％。

在一个可能的实现方式中，所述目标图像中所述目标剪影的高度与所述目标图像中所述前景图像的高度的比值为目标值。所述目标值可以是三分之一、四分之一等。

第二方面，本申请实施例提供了一种图像处理装置，该图像处理装置包括：阴影估计单元，用于基于第一图像和第二图像进行阴影估计处理，得到所述第一图像中目标对象的目标剪影；所述第一图像为从原始图像中获取的前景区域图像；图像融合单元，用于对所述第一图像、所述第二图像以及所述目标对象的目标剪影进行图像融合处理，得到目标图像；所述目标图像中所述目标剪影作为所述第一图像中所述目标对象的阴影。

在一个可能的实现方式中，所述阴影估计单元，具体用于对所述第一图像进行处理，得到所述目标对象的原始剪影；所述原始剪影用于描述所述第一图像中所述目标对象的轮廓；利用第二图像进行阴影角度估计，得到目标投影角度；基于所述目标投影角度对所述第一图像的原始剪影进行仿射变换处理，得到所述目标剪影；所述目标剪影的边界框为角度为所述目标投影角度的平行四边形。

在一个可能的实现方式中，所述阴影估计单元，具体用于将所述第一图像中的各像素点均调整为0，得到所述原始剪影。

在一个可能的实现方式中，所述阴影估计单元，具体用于对所述第二图像进行深度估计以及法向量估计，得到目标平面以及所述目标平面的法向量；所述目标平面用于描述所述第二图像中的地面所在的平面；基于所述目标平面和所述法向量，确定所述目标投影角度。

在一个可能的实现方式中，所述阴影估计单元，具体用于将经过目标图像坐标系的原点且与所述法向量垂直的直线在所述目标图像坐标系中的投影与所述目标图像坐标系的坐标轴之间的角度，作为所述目标投影角度；所述目标图像坐标系为所述第二图像中的图像坐标系且与所述目标平面重合。

在一个可能的实现方式中，所述图像融合单元，具体用于将所述第一图像作为前景图像以及所述第二图像作为背景图像进行前背景融合处理，得到中间图像；基于所述中间图像和所述目标剪影，得到所述目标图像。

在一个可能的实现方式中，所述图像融合单元，具体用于对所述中间图像进行人物脚部定位处理，得到所述中间图像中的人物脚部区域的位置信息；基于所述人物脚部区域的位置信息，对所述目标剪影和所述中间图像进行图像融合处理，得到所述目标图像；所述目标图像中所述目标剪影中的脚部区域与所述人物脚部区域存在交叠。

在一个可能的实现方式中，所述阴影估计单元，具体用于将所述第一图像作为前景图像以及所述第二图像作为背景图像进行前背景融合处理，得到中间图像；对所述第二图像进行深度估计以及法向量估计，得到目标平面以及所述目标平面的法向量；所述目标平面用于描述所述第二图像中的地面所在的平面；基于所述法向量，确定所述目标平面中的标定区域映射至所述中间图像的阴影区域；所述标定区域为平行四边形区域且所述标定区域的第一边与所述中间图像中所述目标对象的边界框的第二边映射至所述目标平面的目标线段重合；基于所述阴影区域和所述第一图像，得到所述目标剪影；所述目标剪影的边界框对应的图形与所述阴影区域对应的图形相同。

在一个可能的实现方式中，所述阴影估计单元，还用于获得所述中间图像中所述目标对象的边界框的所述第二边映射至所述目标平面的所述目标线段；所述第二边为所述目标对象的边界框中距离人物脚部最近的一条边；基于所述目标线段，得到所述目标平面中的所述标定区域；所述目标线段为所述标定区域的所述第一边。

在一个可能的实现方式中，所述标定区域的角度为45度，和/或，所述标定区域的第三边的长度为所述中间图像中所述目标对象的边界框的第四边的长度的三分之二。

在一个可能的实现方式中，所述图像融合单元，具体用于通过对所述第一图像和所述第二图像进行处理，得到所述第一图像相对于所述第二图像的目标位置；基于所述目标位置，对所述第一图像和所述第二图像进行图像融合处理，得到所述中间图像。

在一个可能的实现方式中，所述图像融合单元，具体用于对所述第二图像进行地面识别处理，得到所述第二图像中的地面区域的位置信息；在所述第二图像中的目标分界线位于所述地面区域的情况下，确定所述第一图像相对于所述第二图像的所述目标位置为所述地面区域的第一中心区域，和/或，在所述第二图像中的所述目标分界线未位于所述地面区域的情况下，确定所述第一图像相对于所述第二图像的所述目标位置为第二图像的第二中心区域。

在一个可能的实现方式中，所述图像融合单元，具体用于对所述第二图像进行地面识别处理，得到所述第二图像中的地面区域的位置信息；基于所述地面区域的位置信息，确定所述第一图像相对于所述第二图像的所述目标位置；所述目标位置的确定使得所述第一图像中的目标区域相对于所述第二图像位于所述地面区域内，所述目标区域包含在所述原始图像中与地面接触的区域。

在一个可能的实现方式中，所述图像融合单元，具体用于对所述第一图像进行处理，得到所述第一图像中的参考区域的位置信息；所述参考区域为所述第一图像中的任意区域；基于所述参考区域的位置信息，得到所述第一图像相对于所述第二图像的所述目标位置；所述目标位置的确定使得所述参考区域的特定位置位于所述第二图像的平视区域内；所述平视区域包括由多个消失点得到的消失线，所述多个消失点中任一个为在现实世界中平行的两条线在所述第二图像中相交的点。

在一个可能的实现方式中，所述图像融合单元，还用于识别所述目标视频是否存在镜头运动；在所述目标视频存在镜头运动的情况下，识别所述镜头运动的路径；基于所述镜头运动的路径，平移和/或缩放第三图像以得到第四图像；所述第三图像为所述目标视频中的一帧图像且所述第三图像被拍摄的时间晚于所述第二图像被拍摄的时间；对所述第一图像、所述第四图像以及所述目标对象的目标剪影进行图像融合处理，得到第五图像；所述第五图像中所述目标剪影作为所述第五图像中所述目标对象的阴影。

在一个可能的实现方式中，所述图像融合单元，还用于调整所述目标图像中的所述目标剪影的透明度，和/或，对所述目标图像中的所述目标剪影进行羽化处理。可选的，所述目标图像中的所述目标剪影的透明度调整为60。

在一个可能的实现方式中，所述目标图像中所述目标剪影的高度与所述目标图像中所述前景图像的高度的比值为目标值。所述目标值可以是三分之一、四分之一等。

关于第二方面或各种可选的实施方式所带来的技术效果，可参考对于第一方面或相应的实现方式的技术效果的介绍。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括：处理器和存储器，其中，所述存储器用于存储指令，所述处理器用于执行所述存储器存储的指令，使得所述处理器执行如上述第一方面以及任一种可能的实现方式的方法。

第四方面，本申请实施例提供了一种芯片，该芯片包括数据接口和处理器，其中，所述处理器用于执行第一方面或第一方面的任意可能实现方式中的方法。

第五方面，本申请实施例提供了一种计算机可读存储介质，该计算机存储介质存储有计算机程序，该计算机程序包括程序指令，该程序指令当被处理器执行时使该处理器执行上述第一方面以及任一种可选的实现方式的方法。

第六方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面以及任一种可选的实现方式的方法。

附图说明

为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。

图1为本申请实施例提供的一种图像处理方法流程图；

图2为本申请实施例提供一种目标图像的示例的示意图；

图3为本申请实施例提供的另一种图像处理方法流程图；

图4为本申请实施例提供的一种原始剪影的示例的示意图；

图5为本申请实施例提供一种目标图像坐标系和法向量的示例的示意图；

图6为本申请实施例提供的一种原始剪影的边界框与目标剪影的边界框的示意图；

图7为本申请实施例提供的另一种图像处理方法流程图；

图8为本申请实施例提供的一种目标平面中的标定区域和中间图像中目标对象的边界框的示例的示意图；

图9为本申请实施例提供的另一种图像处理方法流程图；

图10为本申请实施例提供的一种第二图像和第一中心区域的示例的示意图；

图11A为本申请实施例提供的一种第一图像的参考区域的示例的示意图；

图11B为本申请实施例提供的一种第二图像的平视区域的示例的示意图；

图12为本申请实施例提供的一种对目标图像中的目标剪影进行处理之后的图像的示例的示意图；

图13为本申请实施例提供的另一种图像处理方法流程图；

图14为本申请实施例提供的另一种图像处理方法流程图；

图15为本申请实施例提供的一种图像处理装置的结构示意图；

图16是本申请实施例提供的一种服务器的结构示意图；

图17为本申请实施例提供的一种终端设备的结构示意图。

具体实施方式

本申请的说明书实施例和权利要求书及上述附图中的术语“第一”、“第二”、和“第三”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

如背景技术所述，目前采用的视频换背景方案以及图像换背景方案中，为了使得融合后的图像更加逼真，用户需要手动制作融合后的图像中的至少一个对象(例如人物)的阴影，操作复杂，并且花费时间较长。因此，需要研究能自动生成融合后的图像中的至少一个对象(例如人物)的阴影的方案。本申请提供了自动生成融合后的图像中的至少一个对象(例如人物)的阴影的图像处理方法。下面分别对本申请实施例提供的图像处理方法适用的场景进行简单的介绍。

场景1：用户通过终端设备(例如个人电脑)上运行的图像处理软件对前景图像和背景图像进行图像融合处理，得到融合后的图像。其中，融合后的图像中包含至少一个对象(即前景图像中的对象)的阴影。

场景2：用户通过终端设备(例如个人电脑)上运行的图像处理软件对前景图像和视频中的各帧背景图像分别进行图像融合处理，得到融合后的视频。其中，融合后的视频中的各帧图像均包含至少一个对象(即前景图像中的对象)的阴影。

场景3：用户通过终端设备(例如个人电脑)将前景图像(或者包含前景图像的原始图像)和背景图像通过网络上传至服务器，服务器对前景图像和背景图像进行图像融合处理，并将图像融合处理得到的图像(对应于目标图像)发送给终端设备。图像融合处理得到的图像中包含至少一个对象(即前景图像中的对象)的阴影。

场景4：用户通过终端设备(例如个人电脑)将前景图像和视频通过网络上传至服务器，服务器对前景图像和视频中的各帧背景图像分别进行图像融合处理，并将图像融合处理得到的视频发送给终端设备。图像融合处理得到的视频中的各帧图像均至少一个对象(即前景图像中的对象)的阴影。

在上述场景中，通过实施本申请实施例提供的图像处理方法，可自动生成融合后的图像中的至少一个对象(例如人物)的阴影，使得融合后的图像更加真实。

下面结合附图来介绍本申请实施例提供的图像处理方法。

请参见图1，图1为本申请实施例提供的一种图像处理方法流程图。如图1所示，该方法可包括：

101、图像处理装置基于第一图像和第二图像进行阴影估计处理，得到第一图像中目标对象的目标剪影。

上述第一图像为从原始图像中获取的前景区域图像。在一些实施例中，上述目标对象为一个或多个人。在一些实施例中，上述目标对象可以包括人以及其他对象(即第一图像中所有的对象)，例如动物和任意物体。在一些实施例中，图像处理装置在执行步骤101之前，可从原始图像中获取上述第一图像。

上述图像处理装置可以是手机、平板电脑、可穿戴设备、笔记本电脑、台式电脑等终端设备，也可以是服务器。在一些实施例中，图像处理装置为笔记本电脑等终端设备，该图像处理装置运行的图像处理软件执行图1的方法流程。举例来说，用户将原始图像和第二图像上传至图像处理装置运行的图像处理软件，或者上述图像处理软件基于用户的指示从网络或特定存储区获取原始图像和第二图像，通过该图像处理软件执行图1的方法流程。在一些实施例中，上述图像处理装置为服务器，图像处理装置在执行步骤101之前，可接收来自终端设备(例如手机或者PC等)的原始图像和第二图像，并从该原始图像提取出第一图像。上述第二图像可以是静态图像，或者是从视频流中抽取出来的图像帧，本公开实施例对第二图像的类型不作限定。

102、图像处理装置对第一图像、第二图像以及目标对象的目标剪影进行图像融合处理，得到目标图像。

上述目标图像中上述目标剪影作为上述第一图像中上述目标对象的阴影。

步骤102一种可能的实现方式如下：将上述第一图像作为前景图像以及上述第二图像作为背景图像进行前背景融合处理，得到中间图像；基于上述中间图像和上述目标剪影，得到上述目标图像。在一些实施例中，基于上述中间图像和上述目标剪影，得到上述目标图像可以是：对上述中间图像进行人物脚部定位处理，得到上述中间图像中的人物脚部区域的位置信息；基于上述人物脚部区域的位置信息，对上述目标剪影和上述中间图像进行图像融合处理，得到上述目标图像；上述目标图像中上述目标剪影中的脚部区域与上述人物脚部区域存在交叠。在一些实施例中，图像处理装置对上述中间图像进行目标检测，检测出人物脚部，进而定位人物脚部区域。应理解，图像处理装置还可以采用其他方式获得上述中间图像中的人物脚部区域的位置信息，本申请不作限定。上述目标图像中目标剪影中的脚部区域与上述人物脚部区域存在交叠是指上述目标图像中目标剪影中的脚部区域的至少一部分与上述人物脚部区域的至少一部分重叠。在现实世界，人的阴影中的脚部区域与人的脚部是交叠的。图2为本申请实施例提供一种目标图像的示例的示意图。如图2所示，阴影(对应于目标剪影)中的脚部区域与人物脚部区域存在交叠。在一些实施例中，图像处理装置根据用户输入的指令确定第一图像相对于第二图像的位置，图像处理装置基于第一图像相对于第二图像的位置，对上述第一图像和上述第二图像进行图像融合处理，得到上述中间图像。在一些实施例中，图像处理装置可自动确定第一图像相对于第二图像的位置，图像处理装置基于第一图像相对于第二图像的位置，对上述第一图像和上述第二图像进行图像融合处理，得到上述中间图像。示例性的，图像处理装置通过对上述第一图像和上述第二图像进行处理，得到上述第一图像相对于上述第二图像的目标位置；基于上述目标位置，对上述第一图像和上述第二图像进行图像融合处理，得到上述中间图像。后续再详述图像处理装置确定第一图像相对于第二图像的目标位置的实现方式。

在一些实施例中，图像处理装置执行步骤102得到目标图像之后，可执行如下操作：调整上述目标图像中的上述目标剪影的透明度，和/或，对上述目标图像中的上述目标剪影进行羽化处理。举例来说，上述目标图像中的上述目标剪影的透明度调整为60％。举例来说，图像处理装置对目标图像中的目标剪影进行羽化处理时将羽化半径设置为200像素。在一些实施例中，图像处理装置还可以对目标图像中的目标剪影进行虚化。在这些实施例中，通过对目标图像中的目标剪影进行虚化、羽化以及调整透明度等处理，可以使得目标图像中的目标剪影更加真实、自然。

在一些实施例中，图像处理装置为终端设备，图像处理装置在执行步骤102得到目标图像之后，还可通过显示装置(例如显示器或显示屏)显示目标图像。在一些实施例中，图像处理装置为服务器，图像处理装置在执行步骤102得到目标图像之后，还可将目标图像向终端设备(例如手机)发送。

在一些实施例中，上述第二图像为目标视频中的一帧图像，上述方法还包括：识别上述目标视频是否存在镜头运动；在上述目标视频存在镜头运动的情况下，识别上述镜头运动的路径；基于上述镜头运动的路径，平移和/或缩放第三图像以得到第四图像；上述第三图像为上述目标视频中的一帧图像且上述第三图像被拍摄的时间晚于上述第二图像被拍摄的时间；对上述第一图像、上述第四图像以及上述目标对象的目标剪影进行图像融合处理，得到第五图像；上述第五图像中上述目标剪影作为上述第五图像中上述目标对象的阴影。在该实施例中，基于镜头运动对目标视频中的第三图像进行平移和/或缩放，可以减少对背景图像的处理操作，提高效率。

本申请实施例中，对第一图像、第二图像以及目标对象的目标剪影进行图像融合处理，得到目标图像；能够得到包含目标对象的阴影的目标图像，目标图像更加真实。

由于前述实施例未详述如何基于第一图像和第二图像进行阴影估计处理以得到目标剪影的实现方式，下面结合附图来描述基于第一图像和第二图像进行阴影估计处理以得到目标剪影的实现方式。

图3为本申请实施例提供的另一种图像处理方法流程图。图3中的方法流程为步骤101一种可能的实现方式。如图3所示，该方法包括：

301、图像处理装置对第一图像进行处理，得到第一图像中的目标对象的原始剪影。

上述原始剪影用于描述上述第一图像中上述目标对象的轮廓。在一些实施例中，对上述第一图像进行处理，得到上述目标对象的原始剪影可以是：将上述第一图像中的各像素点均调整为0，得到上述原始剪影。也就是说，图像处理装置将从原始图像抠出的第一图像中的各像素点的像素值均调整为0，得到原始剪影。在一些实施例中，对上述第一图像进行处理，得到上述目标对象的原始剪影可以是：将上述第一图像中的人物区域中的各像素点均调整为0，得到上述原始剪影。在一些实施例中，图像处理装置可对第一图像进行识别处理，得到第一图像中的人物区域；然后，将上述第一图像中的人物区域中的各像素点均调整为0，得到上述原始剪影。图4为本申请实施例提供的一种原始剪影的示例的示意图。

302、图像处理装置利用第二图像进行阴影角度估计，得到目标投影角度。

步骤302一种可能的实现方式如下：对上述第二图像进行深度估计以及法向量估计，得到目标平面以及上述目标平面的法向量；上述目标平面用于描述上述第二图像中的地面所在的平面；基于上述目标平面和上述法向量，确定上述目标投影角度。在一些实施例中，图像处理装置可利用深度学***面以及上述目标平面的法向量。

在一些实施例中，图像处理装置基于上述目标平面和上述法向量，确定上述目标投影角度可以是：将经过目标图像坐标系的原点且与上述法向量垂直的直线在上述目标图像坐标系中的投影与上述目标图像坐标系的坐标轴之间的角度，作为上述目标投影角度；上述目标图像坐标系为上述第二图像中的图像坐标系且与上述目标平面重合。图5为本申请实施例提供一种目标图像坐标系和法向量的示例的示意图。如图5所示，501表示图像坐标系的x轴，502表示图像坐标系的y轴，503表示图像坐标系的原点，504表示法向量，505表示经过目标图像坐标系的原点且与法向量垂直的直线，506表示经过目标图像坐标系的原点且与法向量垂直的直线在目标图像坐标系中的投影，507或者508表示目标投影角度。应理解，上述目标图像坐标系可理解为在上述目标平面构建的上述第二图像的图像坐标系。由深度估计(x,y,z[深度])和图像的像素(x，y)的对应关系，我们可以确定3D点(即三维坐标点)到2D点(即图像坐标点)的映射关系。由于图像坐标系是二维的，即没有z轴，因此通过使得第二图像中的图像坐标系与目标平面重合，可以将法向量与第二图像中的图像坐标系联系起来，进而计算目标投影角度。

303、图像处理装置基于目标投影角度对第一图像的原始剪影进行仿射变换处理，得到目标剪影。

上述目标剪影的边界框为角度为上述目标投影角度的平行四边形。上述原始剪影的边界框为角度为直角的矩形框。仿射变换是一种二维坐标到二维坐标的线性变换。简单来说，仿射变换，就是允许图形任意倾斜，而且允许图形在两个方向上任意伸缩。仿射变换可以通过一系列的原子变换的复合来实现，包括：平移、缩放、翻转、旋转和剪切。图6为本申请实施例提供的一种原始剪影的边界框与目标剪影的边界框的示意图。如图6所示，左边的图表示原始剪影的边界框，右边的图表示目标剪影的边界框。在一些实施例中，图像处理装置基于上述目标投影角度对上述第一图像的原始剪影进行仿射变换处理可以是：基于上述目标投影角度，得到仿射变换矩阵；计算上述第一图像的原始剪影中的每个像素点的坐标与上述仿射变换矩阵的乘积，得到上述目标剪影。可以理解，目标剪影为对原始剪影进行仿射变换处理得到的图像。

本申请实施例中，基于目标投影角度对第一图像的原始剪影进行仿射变换处理，得到目标剪影；可以使得目标对象的阴影更加真实。

图7为本申请实施例提供的另一种图像处理方法流程图。图7中的方法流程为步骤101一种可能的实现方式。如图7所示，该方法包括：

701、图像处理装置将第一图像作为前景图像以及第二图像作为背景图像进行前背景融合处理，得到中间图像。

上述第一图像为从原始图像中获取的前景区域图像。

702、图像处理装置对第二图像进行深度估计以及法向量估计，得到目标平面以及上述目标平面的法向量。

上述目标平面用于描述上述第二图像中的地面所在的平面。

703、基于上述法向量，确定上述目标平面中的标定区域映射至中间图像的阴影区域。

上述标定区域为平行四边形区域且上述标定区域的第一边与上述中间图像中上述目标对象的边界框的第二边映射至上述目标平面的目标线段重合。应理解，图像处理装置在获得法向量和原点(例如中间图像的左下角点)就可以找到地平面的表达式(即目标平面的表达式)，其中目标平面中的每一个点都可以映射到中间图像所在的图像坐标系上。也就是说，图像处理装置根据目标平面的法向量就能将目标平面上的任意点映射至中间图像的图像坐标系。因此，图像处理装置可以将目标平面中的标定区域映射至中间图像，得到阴影区域。

在一些实施例中，图像处理装置在执行步骤703之前，可执行如下操作：获得上述中间图像中上述目标对象的边界框的上述第二边映射至上述目标平面的上述目标线段；上述第二边为上述目标对象的边界框中距离人物脚部最近的一条边；基于上述目标线段，得到上述目标平面中的上述标定区域；上述目标线段为上述标定区域的上述第一边。示例性的，上述标定区域的角度为45度，和/或，上述标定区域的第三边的长度为上述中间图像中上述目标对象的边界框的第四边的长度的三分之二。本申请实施例中，标定区域的形状和大小可根据实际需要进行设置。图8为本申请实施例提供的一种目标平面中的标定区域和中间图像中目标对象的边界框的示例的示意图。如图8所示，左边的矩形表示中间图像中目标对象的边界框，右边的平行四边形表示目标平面中的标定区域，801表示目标对象的边界框中距离人物脚部最近的一条边(即第二边)，802表示标定区域的第一边(对应于目标线段)，803表示目标对象的边界框的第四边，804表示标定区域的第三边。在这些实施例中，图像处理装置可先确定中间图像中上述目标对象的边界框的第二边映射至目标平面的目标线段；然后，将目标线段作为目标平面中标定区域的一条边来构建标定区域(一个平行四边形)；最后，将目标平面中标定区域映射至中间图像，得到阴影区域。

704、基于上述阴影区域和第一图像，得到目标剪影。

上述目标剪影的边界框对应的图形与上述阴影区域对应的图形相同。在一些实施例中，图像处理装置可以基于第一图像的边界框(一个矩形框)和上述阴影区域对应的边界框进行仿射变换处理，得到目标剪影。示例性的，图像处理装置先确定将第一图像的边界框仿射变换为阴影区域对应的边界框的仿射变换公式(或者仿射变换矩阵)；然后，利用该仿射变换公式分别对第一图像中的各点进行仿射变换处理，得到目标剪影。

目标平面中的标定区域可理解为真实的阴影，因此基于目标平面中的标定区域确定的中间图像中的阴影区域可认为是拍摄得到的图像中的真实的阴影。

本申请实施例中，可以较准确地确定中间图像中的阴影区域，以便生成较真实的目标剪影。

请参见图9，图9为本申请实施例提供的另一种图像处理方法流程图。图9中的方法流程是对图1中的方法流程的细化和完善。如图9所示，该方法可包括：

901、图像处理装置对第一图像进行处理，得到第一图像中的目标对象的原始剪影。

上述原始剪影用于描述上述第一图像中上述目标对象的轮廓。步骤901的实现方式可与步骤301的实现方式相同。

902、图像处理装置利用第二图像进行阴影角度估计，得到目标投影角度。

步骤902的实现方式可与步骤302的实现方式相同。

903、图像处理装置基于目标投影角度对第一图像的原始剪影进行仿射变换处理，得到第一图像中的目标对象的目标剪影。

步骤903的实现方式可与步骤303的实现方式相同。

904、通过对第一图像和第二图像进行处理，得到第一图像相对于第二图像的目标位置。

步骤904一种可能的实现方式如下：对上述第二图像进行地面识别处理，得到上述第二图像中的地面区域的位置信息；在上述第二图像中的目标分界线位于上述地面区域的情况下，确定上述第一图像相对于上述第二图像的上述目标位置为上述地面区域的第一中心区域，和/或，在上述第二图像中的上述目标分界线未位于上述地面区域的情况下，确定上述第一图像相对于上述第二图像的上述目标位置为第二图像的第二中心区域。上述目标分界线可以是上述第二图像中的任一条水平线，例如将第二图像分为面积比为4比1的两个矩形区域的水平线。上述第一中心区域是指地面区域的中心区域，上述第二中心区域是指第二图像的中心区域。在一些实施例中，图像处理装置可利用单目深度估计来确定第二图像中地面区域的位置，得到地面区域的位置信息。图10为本申请实施例提供的一种第二图像和第一中心区域的示例的示意图。如图10所示，目标分界线为将第二图像分为两个高度比为4比1的分界线，参考分界线为将第二图像分为两个高度比为1比4的分界线，801表示第一中心区域，该第一中心区域位于目标分界线和参考分界线之间，并且第一中心区域的中心距离第二图像的左边界的距离与距离第二图像的右边界的距离相等。图10中包括两张图像，最上面的图像为彩色图像，中间的图像展示了第一中心区域，最下面的图像为深度图像(通过不同的颜色表示不同的深度)。在该实现方式中，图像处理装置可快速地确定第一图像相对于第二图像的位置，实现简单。

步骤904另一种可能的实现方式如下：对上述第二图像进行地面识别处理，得到上述第二图像中的地面区域的位置信息；基于上述地面区域的位置信息，确定上述第一图像相对于上述第二图像的上述目标位置；上述目标位置的确定使得上述第一图像中的目标区域相对于上述第二图像位于上述地面区域内，上述目标区域包含在上述原始图像中与地面接触的区域。在一些实施例中，基于上述地面区域的位置信息，确定上述第一图像相对于上述第二图像的上述目标位置可以是：基于上述目标区域、上述地面区域的位置信息以及上述第二图像中的第一分界线，确定上述第一图像相对于上述第二图像的上述目标位置；上述第一图像中的第二分界线相对于上述第二图像中的目标直线与上述第一分界线之间的距离小于距离阈值，上述第二分界线为上述第一图像中的第一子部分和第二子部分的分界线，上述第一子部分中距离上述第二分界线最远的像素点至上述第二分界线的距离与上述第二子部分中距离上述第二分界线最远的像素点至上述第二分界线的距离的比值为第一值，上述第一分界线为上述第二图像中的第三子部分和第四子部分的分界线，上述第三子部分中距离上述第一分界线最远的像素点至上述第一分界线的距离与上述第四子部分中距离上述第一分界线最远的像素点至上述第一分界线的距离的比值为第二值，上述第一值和上述第二值的差值小于第一阈值。在一些实施例中，上述第一值和上述第二值相等(例如均为二分之一)，上述第一阈值为0。在一些实施例中，上述第一值和上述第二值不相等，上述第一阈值不为0。在该实现方式中，可以使得原始图像中与地面接触的区域相对于第二图像位于地面区域内，符合真实场景。

步骤904另一种可能的实现方式如下：对上述第一图像进行处理，得到上述第一图像中的参考区域的位置信息；上述参考区域为上述第一图像中的任意区域；基于上述参考区域的位置信息，得到上述第一图像相对于上述第二图像的上述目标位置；上述目标位置的确定使得上述参考区域位于上述第二图像的平视区域内；上述平视区域包括由多个消失点得到的消失线，上述多个消失点中任一个为在现实世界中平行的两条线在上述第二图像中相交的点。可选的，上述参考区域包括上述第一图像中将上述第一图像分为高度比为一比二的两部分的分界线。图11A为本申请实施例提供的一种第一图像的参考区域的示例的示意图。上述参考区域可以是根据上述第一图像的高度确定的上述第一图像中的两条直线之间的图像区域。在实际应用中，用户可将第一图像中的任意两条直线之间的区域作为第一图像的参考区域。也就是说，第一图像中的参考区域可以根据实际需求进行配置。在一些实施例中，上述第二图像的平视区域为预设的一个区域，例如第二图像中两条直线(水平线)之间的区域。图11B为本申请实施例提供的一种第二图像的平视区域的示例的示意图。在一些实施例中，图像处理装置可将每张背景图像中的某个区域作为平视区域，参见图11B。在一些实施例中，图像处理装置可利用神经网络对上述第二图像进行平视区域估计处理，得到上述第二图像中上述平视区域的位置信息。上述神经网络可以是利用多个标注出平视区域的训练样本训练得到的网络。

步骤904另一种可能的实现方式如下：对上述第一图像进行处理，得到上述第一图像中的标定线的位置信息；基于上述标定线的位置信息，得到上述第一图像相对于上述第二图像的上述目标位置；上述目标位置的确定使得上述标定线相对于上述第二图像位于上述第二图像的平视区域内；上述平视区域包括由多个消失点得到的消失线，上述多个消失点中任一个为在现实世界中平行的两条线在上述第二图像中相交的点。上述标定线可以是上述第一图像中上述将第一图像分为高度比为一比二的两部分的分界线，还可以是其他分界线，本申请实施例不作限定。

905、基于目标位置，对第一图像和第二图像进行图像融合处理，得到中间图像。

906、对中间图像进行人物脚部定位处理，得到中间图像中的人物脚部区域的位置信息。

907、基于人物脚部区域的位置信息，对目标剪影和中间图像进行图像融合处理，得到目标图像。

上述目标图像中上述目标剪影中的脚部区域与上述人物脚部区域存在交叠。在一些实施例中，上述目标图像中上述目标剪影的高度与上述目标图像中上述前景图像的高度的比值为目标值。上述目标值可以是三分之一、四分之一等，本申请不作限定。在一些实施例中，图像处理装置在对目标剪影和中间图像进行图像融合处理之前，可先确定目标剪影相对于中间图像的位置；然后，基于目标剪影相对于中间图像的位置，对目标剪影和中间图像进行图像融合处理，得到目标图像。在一些实施例中，图像处理装置确定目标剪影相对于中间图像的位置使得上述目标图像中上述目标剪影的高度与上述目标图像中人物区域的高度的比值为目标值以及上述目标图像中上述目标剪影中的脚部区域与上述人物脚部区域存在交叠。举例来说，图像处理装置在对目标剪影和中间图像进行图像融合处理之前，先确定中间图像中的人物区域的高度；然后，对目标剪影进行缩放以使得上述目标剪影的高度与该人物区域的高度的比值为目标值。

908、调整上述目标图像中的上述目标剪影的透明度，和/或，对上述目标图像中的上述目标剪影进行羽化处理。

可选的，上述目标图像中的上述目标剪影的透明度调整为60％。在一些实施例中，图像处理装置还可以对上述目标图像中的上述目标剪影进行虚化处理。图12为本申请实施例提供的一种对目标图像中的目标剪影进行处理之后的图像的示例的示意图。图2为本申请实施例提供一种目标图像的示例的示意图。对比图2和图12可知，对目标图像中的目标剪影进行处理之后，目标图像中的目标剪影更加自然和真实。

请参见图13，图13为本申请实施例提供的另一种图像处理方法流程图。图13中的方法流程是对图1中的方法流程的细化和完善。如图13所示，该方法可包括：

1301、图像处理装置将第一图像作为前景图像以及第二图像作为背景图像进行前背景融合处理，得到中间图像。

1302、图像处理装置对第二图像进行深度估计以及法向量估计，得到目标平面以及上述目标平面的法向量。

1303、图像处理装置获得中间图像中目标对象的边界框的第二边映射至目标平面的目标线段。

上述第二边为上述目标对象的边界框中距离人物脚部最近的一条边。

1304、图像处理装置基于目标线段，得到目标平面中的标定区域。

上述目标线段为上述标定区域的一条边(即第一边)。

1305、基于上述法向量，确定上述目标平面中的标定区域映射至中间图像的阴影区域。

1306、基于上述阴影区域和第一图像，得到目标剪影。

1307、图像处理装置对目标剪影和中间图像进行图像融合处理，得到目标图像。

上述目标图像中上述目标剪影作为上述第一图像中上述目标对象的阴影。

在一些实施例中，图像处理装置还可以执行如下操作：调整上述目标图像中的上述目标剪影的透明度，和/或，对上述目标图像中的上述目标剪影进行羽化处理。

本申请实施例中，可以较准确地确定中间图像中的阴影区域，进而生成较真实的阴影。

前述实施例描述了图像处理装置独立实现前景图像和背景图像融合的方案。下面介绍服务器(即图像处理装置)和终端设备共同完成前景图像和背景图像融合的方案。

图14为本申请实施例提供的另一种图像处理方法流程图。如图14所示，该方法包括：

1401、终端设备获取原始图像和第二图像。

上述终端设备可以是手机、台式电脑、笔记本电脑、平板电脑等具有数据传输和图像显示功能的设备。终端设备获取原始图像和第二图像可以是接收用户上传的原始图像和第二图像，也可以是响应于用户输入的指令，从其他设备或者本地存储获取原始图像和第二图像；还可以通过其他方式获得原始图像和第二图像，本申请不作限定。

1402、终端设备将原始图像和第二图像发送给服务器。

1403、服务器对原始图像和第二图像进行图像融合处理，得到目标图像。

服务器(即图像处理装置)可执行图1或者图13中的方法流程。在一些实施例中，服务器可先从原始图像中提取出第一图像，然后，再执行图1或者图13的方法流程。

1404、服务器将目标图像发送给终端设备。

1405、终端设备显示目标图像。

在一些实施例中，用户将原始图像和第二图像上传至终端设备运行的图像处理软件，通过该图像处理软件将原始图像和第二图像发送给服务器，该图像处理软件的界面显示接收的来自服务器的目标图像。应理解，服务器往往具备终端设备无法比拟的处理能力，因此服务器能更准确、快速地实现本申请实施例提供的图像处理方法。

本申请实施例中，终端设备借助服务器来实现第一图像和第二图像的前背景融合，不需要执行负责的图像处理操作，实现简单。

前面描述了本申请实施例提供的图像处理方法，下面介绍可本申请实施例提供的图像处理方法的图像处理装置的各部件的功能。图15为本申请实施例提供的一种图像处理装置的结构示意图。如图15所示，图像处理装置可包括：

阴影估计单元1501，用于基于第一图像和第二图像进行阴影估计处理，得到上述第一图像中目标对象的目标剪影；上述第一图像为从原始图像中获取的前景区域图像；

图像融合单元1502，用于对上述第一图像、上述第二图像以及上述目标对象的目标剪影进行图像融合处理，得到目标图像；上述目标图像中上述目标剪影作为上述第一图像中上述目标对象的阴影。

在一个可能的实现方式中，阴影估计单元1501，具体用于对上述第一图像进行处理，得到上述目标对象的原始剪影；上述原始剪影用于描述上述第一图像中上述目标对象的轮廓；利用第二图像进行阴影角度估计，得到目标投影角度；基于上述目标投影角度对上述第一图像的原始剪影进行仿射变换处理，得到上述目标剪影；上述目标剪影的边界框为角度为上述目标投影角度的平行四边形。

在一个可能的实现方式中，阴影估计单元1501，具体用于对上述第二图像进行深度估计以及法向量估计，得到目标平面以及上述目标平面的法向量；上述目标平面用于描述上述第二图像中的地面所在的平面；基于上述目标平面和上述法向量，确定上述目标投影角度。

在一个可能的实现方式中，阴影估计单元1501，具体用于将经过目标图像坐标系的原点且与上述法向量垂直的直线在上述目标图像坐标系中的投影与上述目标图像坐标系的坐标轴之间的角度，作为上述目标投影角度；上述目标图像坐标系为上述第二图像中的图像坐标系且与上述目标平面重合。

在一个可能的实现方式中，图像融合单元1502，具体用于将上述第一图像作为前景图像以及上述第二图像作为背景图像进行前背景融合处理，得到中间图像；基于上述中间图像和上述目标剪影，得到上述目标图像。

在一个可能的实现方式中，图像融合单元1502，具体用于对上述中间图像进行人物脚部定位处理，得到上述中间图像中的人物脚部区域的位置信息；

基于上述人物脚部区域的位置信息，对上述目标剪影和上述中间图像进行图像融合处理，得到上述目标图像；上述目标图像中上述目标剪影中的脚部区域与上述人物脚部区域存在交叠。

在一个可能的实现方式中，阴影估计单元1501，具体用于将上述第一图像作为前景图像以及上述第二图像作为背景图像进行前背景融合处理，得到中间图像；对上述第二图像进行深度估计以及法向量估计，得到目标平面以及上述目标平面的法向量；上述目标平面用于描述上述第二图像中的地面所在的平面；基于上述法向量，确定上述目标平面中的标定区域映射至上述中间图像的阴影区域；上述标定区域为平行四边形区域且上述标定区域的第一边与上述中间图像中上述目标对象的边界框的第二边映射至上述目标平面的目标线段重合；基于上述阴影区域和上述第一图像，得到上述目标剪影；上述目标剪影的边界框对应的图形与上述阴影区域对应的图形相同。

在一个可能的实现方式中，阴影估计单元1501，还用于获得上述中间图像中上述目标对象的边界框的上述第二边映射至上述目标平面的上述目标线段；上述第二边为上述目标对象的边界框中距离人物脚部最近的一条边；基于上述目标线段，得到上述目标平面中的上述标定区域；上述目标线段为上述标定区域的上述第一边。

在一个可能的实现方式中，上述标定区域的角度为45度，和/或，上述标定区域的第三边的长度为上述中间图像中上述目标对象的边界框的第四边的长度的三分之二。

在一个可能的实现方式中，图像融合单元1502，具体用于通过对上述第一图像和上述第二图像进行处理，得到上述第一图像相对于上述第二图像的目标位置；

基于上述目标位置，对上述第一图像和上述第二图像进行图像融合处理，得到上述中间图像。

在一个可能的实现方式中，图像融合单元1502，具体用于对上述第二图像进行地面识别处理，得到上述第二图像中的地面区域的位置信息；

在上述第二图像中的目标分界线位于上述地面区域的情况下，确定上述第一图像相对于上述第二图像的上述目标位置为上述地面区域的第一中心区域，和/或，在上述第二图像中的上述目标分界线未位于上述地面区域的情况下，确定上述第一图像相对于上述第二图像的上述目标位置为第二图像的第二中心区域。

在一个可能的实现方式中，图像融合单元1502，具体用于对上述第二图像进行地面识别处理，得到上述第二图像中的地面区域的位置信息；

基于上述地面区域的位置信息，确定上述第一图像相对于上述第二图像的上述目标位置；上述目标位置的确定使得上述第一图像中的目标区域相对于上述第二图像位于上述地面区域内，上述目标区域包含在上述原始图像中与地面接触的区域。

在一个可能的实现方式中，图像融合单元1502，具体用于对上述第一图像进行处理，得到上述第一图像中的参考区域的位置信息；上述参考区域为上述第一图像中的任意区域；

基于上述参考区域的位置信息，得到上述第一图像相对于上述第二图像的上述目标位置；上述目标位置的确定使得上述参考区域的特定位置位于上述第二图像的平视区域内；上述平视区域包括由多个消失点得到的消失线，上述多个消失点中任一个为在现实世界中平行的两条线在上述第二图像中相交的点。

在一个可能的实现方式中，图像融合单元1502，还用于识别上述目标视频是否存在镜头运动；

在上述目标视频存在镜头运动的情况下，识别上述镜头运动的路径；

基于上述镜头运动的路径，平移和/或缩放第三图像以得到第四图像；上述第三图像为上述目标视频中的一帧图像且上述第三图像被拍摄的时间晚于上述第二图像被拍摄的时间；

对上述第一图像、上述第四图像以及上述目标对象的目标剪影进行图像融合处理，得到第五图像；上述第五图像中上述目标剪影作为上述第五图像中上述目标对象的阴影。

在一个可能的实现方式中，图像处理装置还包括：输出单元1503，用于输出目标图像。在一些实施例中，输入单元1503对应的实体为显示屏、显示器等，输出目标图像是指显示目标图像。在一些实施例中，输入单元1503对应的实体为通信接口、发送器等，输出目标图像是指将目标图像发送给其他设备。

应理解以上图像处理装置的各个单元的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。例如，以上各个单元可以为单独设立的处理元件，也可以集成同一个芯片中实现，此外，也可以以程序代码的形式存储于控制器的存储元件中，由处理器的某一个处理元件调用并执行以上各个单元的功能。此外各个单元可以集成在一起，也可以独立实现。这里的处理元件可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个单元可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。该处理元件可以是通用处理器，例如中央处理器(英文：central processing unit，简称：CPU)，还可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(英文：application-specific integrated circuit，简称：ASIC)，或，一个或多个微处理器(英文：digitalsignal processor，简称：DSP)，或，一个或者多个现场可编程门阵列(英文：field-programmable gate array，简称：FPGA)等。

图16是本申请实施例提供的一种服务器的结构示意图，该服务器1600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以***处理器(centralprocessing units，CPU)1622(例如，一个或一个以上处理器)和存储器1632，一个或一个以上存储应用程序1642或数据1644的存储介质1630(例如一个或一个以上海量存储设备)。其中，存储器1632和存储介质1630可以是短暂存储或持久存储。存储在存储介质1630的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1622可以设置为与存储介质1630通信，在服务器1600上执行存储介质1630中的一系列指令操作。服务器1600可以为本申请提供的图像处理方法。

服务器1600还可以包括一个或一个以上电源1626，一个或一个以上有线或无线网络接口1650，一个或一个以上输入输出接口1658，和/或，一个或一个以上操作***1641，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

上述实施例中由图像处理装置所执行的步骤可以基于该图16所示的服务器结构。具体的，中央处理器1622可实现图15中阴影估计单元1501和图像融合单元1502的功能，输入输出接口1658可实现图15中输出单元1503的功能。

图17为本申请实施例提供的一种终端设备的结构示意图。如图17所示，该终端设备170包括处理器1701、存储器1702和通信接口1703；该处理器1701、存储器1702和通信接口1703通过总线相互连接。图17中的终端设备可以为前述实施例中的图像处理装置。

存储器1702包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasable programmablereadonly memory，EPROM)、或便携式只读存储器(compact disc read-only memory，CDROM)，该存储器1702用于相关指令及数据。通信接口1703用于接收和发送数据。

处理器1701可以是一个或多个中央处理器(central processing unit，CPU)，在处理器1701是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。上述实施例中由图像处理装置所执行的步骤可以基于该图17所示的终端设备的结构。具体的，处理器1701可实现图15中阴影估计单元1501和图像融合单元1502的功能，通信接口1703可实现图15中输出单元1503的功能。

在本申请的实施例中提供一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现前述实施例所提供的图像处理方法。

本申请实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行前述实施例所提供的图像处理方法。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (18)

1.一种图像处理方法，其特征在于，包括：

基于第一图像和第二图像进行阴影估计处理，得到所述第一图像中目标对象的目标剪影；所述第一图像为从原始图像中获取的前景区域图像；

对所述第一图像、所述第二图像以及所述目标对象的目标剪影进行图像融合处理，得到目标图像；所述目标图像中所述目标剪影作为所述第一图像中所述目标对象的阴影。

2.根据权利要求1所述的方法，其特征在于，所述基于第一图像和第二图像进行阴影估计处理，得到目标剪影包括：

对所述第一图像进行处理，得到所述目标对象的原始剪影；所述原始剪影用于描述所述第一图像中所述目标对象的轮廓；

利用第二图像进行阴影角度估计，得到目标投影角度；

基于所述目标投影角度对所述第一图像的原始剪影进行仿射变换处理，得到所述目标剪影；所述目标剪影的边界框为角度为所述目标投影角度的平行四边形。

3.根据权利要求2所述的方法，其特征在于，所述利用第二图像进行阴影角度估计，得到目标投影角度包括：

对所述第二图像进行深度估计以及法向量估计，得到目标平面以及所述目标平面的法向量；所述目标平面用于描述所述第二图像中的地面所在的平面；

基于所述目标平面和所述法向量，确定所述目标投影角度。

4.根据权利要求3所述的方法，其特征在于，所述基于所述目标平面和所述法向量，确定所述目标投影角度包括：

将经过目标图像坐标系的原点且与所述法向量垂直的直线在所述目标图像坐标系中的投影与所述目标图像坐标系的坐标轴之间的角度，作为所述目标投影角度；所述目标图像坐标系为所述第二图像中的图像坐标系且与所述目标平面重合。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述基于所述第一图像、所述第二图像以及所述目标剪影进行图像融合处理，得到目标图像包括：

将所述第一图像作为前景图像以及所述第二图像作为背景图像进行前背景融合处理，得到中间图像；

基于所述中间图像和所述目标剪影，得到所述目标图像。

6.根据权利要求5所述的方法，其特征在于，所述基于所述中间图像和所述目标剪影，得到所述目标图像包括：

对所述中间图像进行人物脚部定位处理，得到所述中间图像中的人物脚部区域的位置信息；

基于所述人物脚部区域的位置信息，对所述目标剪影和所述中间图像进行图像融合处理，得到所述目标图像；所述目标图像中所述目标剪影中的脚部区域与所述人物脚部区域存在交叠。

7.根据权利要求1所述的方法，其特征在于，所述基于第一图像和第二图像进行阴影估计处理，得到所述第一图像中目标对象的目标剪影包括：

将所述第一图像作为前景图像以及所述第二图像作为背景图像进行前背景融合处理，得到中间图像；

对所述第二图像进行深度估计以及法向量估计，得到目标平面以及所述目标平面的法向量；所述目标平面用于描述所述第二图像中的地面所在的平面；

基于所述法向量，确定所述目标平面中的标定区域映射至所述中间图像的阴影区域；所述标定区域为平行四边形区域且所述标定区域的第一边与所述中间图像中所述目标对象的边界框的第二边映射至所述目标平面的目标线段重合；

基于所述阴影区域和所述第一图像，得到所述目标剪影；所述目标剪影的边界框对应的图形与所述阴影区域对应的图形相同。

8.根据权利要求7所述的方法，其特征在于，在基于所述法向量，确定所述目标平面中的标定区域映射至所述中间图像的阴影区域之前，所述方法还包括：

获得所述中间图像中所述目标对象的边界框的所述第二边映射至所述目标平面的所述目标线段；所述第二边为所述目标对象的边界框中距离人物脚部最近的一条边；

基于所述目标线段，得到所述目标平面中的所述标定区域；所述目标线段为所述标定区域的所述第一边。

9.根据权利要求5至8任一项所述的方法，其特征在于，所述将所述第一图像作为前景图像以及所述第二图像作为背景图像进行前背景融合处理，得到中间图像包括；

通过对所述第一图像和所述第二图像进行处理，得到所述第一图像相对于所述第二图像的目标位置；

基于所述目标位置，对所述第一图像和所述第二图像进行图像融合处理，得到所述中间图像。

10.根据权利要求9所述的方法，其特征在于，所述通过对所述第一图像和所述第二图像进行处理，得到所述第一图像相对于所述第二图像的目标位置包括：

对所述第二图像进行地面识别处理，得到所述第二图像中的地面区域的位置信息；

在所述第二图像中的目标分界线位于所述地面区域的情况下，确定所述第一图像相对于所述第二图像的所述目标位置为所述地面区域的第一中心区域，和/或，在所述第二图像中的所述目标分界线未位于所述地面区域的情况下，确定所述第一图像相对于所述第二图像的所述目标位置为第二图像的第二中心区域。

11.根据权利要求1至10任一项所述的方法，其特征在于，所述第二图像为目标视频中的一帧图像，所述方法还包括：

识别所述目标视频是否存在镜头运动；

在所述目标视频存在镜头运动的情况下，识别所述镜头运动的路径；

基于所述镜头运动的路径，平移和/或缩放第三图像以得到第四图像；所述第三图像为所述目标视频中的一帧图像且所述第三图像被拍摄的时间晚于所述第二图像被拍摄的时间；

对所述第一图像、所述第四图像以及所述目标对象的目标剪影进行图像融合处理，得到第五图像；所述第五图像中所述目标剪影作为所述第五图像中所述目标对象的阴影。

12.一种图像处理装置，其特征在于，包括：

阴影估计单元，用于基于第一图像和第二图像进行阴影估计处理，得到所述第一图像中目标对象的目标剪影；所述第一图像为从原始图像中获取的前景区域图像；

图像融合单元，用于对所述第一图像、所述第二图像以及所述目标对象的目标剪影进行图像融合处理，得到目标图像；所述目标图像中所述目标剪影作为所述第一图像中所述目标对象的阴影。

13.根据权利要求12所述的图像处理装置，其特征在于，

所述阴影估计单元，具体用于对所述第一图像进行处理，得到所述目标对象的原始剪影；所述原始剪影用于描述所述第一图像中所述目标对象的轮廓；

利用第二图像进行阴影角度估计，得到目标投影角度；

基于所述目标投影角度对所述第一图像的原始剪影进行仿射变换处理，得到所述目标剪影；所述目标剪影的边界框为角度为所述目标投影角度的平行四边形。

14.根据权利要求13所述的图像处理装置，其特征在于，

所述阴影估计单元，具体用于对所述第二图像进行深度估计以及法向量估计，得到目标平面以及所述目标平面的法向量；所述目标平面用于描述所述第二图像中的地面所在的平面；

基于所述目标平面和所述法向量，确定所述目标投影角度。

15.根据权利要求12所述的图像处理装置，其特征在于，

所述阴影估计单元，具体用于将所述第一图像作为前景图像以及所述第二图像作为背景图像进行前背景融合处理，得到中间图像；

对所述第二图像进行深度估计以及法向量估计，得到目标平面以及所述目标平面的法向量；所述目标平面用于描述所述第二图像中的地面所在的平面；

基于所述法向量，确定所述目标平面中的标定区域映射至所述中间图像的阴影区域；所述标定区域为平行四边形区域且所述标定区域的第一边与所述中间图像中所述目标对象的边界框的第二边映射至所述目标平面的目标线段重合；

基于所述阴影区域和所述第一图像，得到所述目标剪影；所述目标剪影的边界框对应的图形与所述阴影区域对应的图形相同。

16.根据权利要求15所述的图像处理装置，其特征在于，

所述阴影估计单元，还用于获得所述中间图像中所述目标对象的边界框的所述第二边映射至所述目标平面的所述目标线段；所述第二边为所述目标对象的边界框中距离人物脚部最近的一条边；

基于所述目标线段，得到所述目标平面中的所述标定区域；所述目标线段为所述标定区域的所述第一边。

17.一种电子设备，其特征在于，包括存储器和处理器，其中，所述存储器用于存储指令，所述处理器用于执行所述存储器存储的指令，使得所述处理器执行如权利要求1至11任一项所述的方法。

18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，使所述处理器执行权利要求1至11任意一项所述的方法。

Images