CN105450946A - 一种图像处理方法、装置及计算装置 - Google Patents

Abstract

本发明实施例中提供了一种图像处理方法、装置及计算装置，该方法包括：获取第一采集图像，在第一采集图像中确定出第一目标图像，得打包含第一目标图像的第一前景轮廓，然后根据第一前景轮廓以及第一背景图像得到第一输出图像，将该第一输出图像发送至背景墙进行显示，在摄像机对显示了第一输出图像的背景墙进行拍摄后，获取第二采集图像，从第二采集图像中提取出第二目标图像，将提取出的第二目标图像与第二背景图像融合生成输出至用户终端的合成图像，最后将合成图像发送至用户终端，这样即使用背景墙显示便于自然地进行精确指示的背景图像的情况下，也能够保证发送给用户终端的背景图像未经过摄像机的再次呈现。

Description

一种图像处理方法、装置及计算装置

技术领域

本发明涉及视频技术中的图像处理领域，尤其涉及一种图像处理方法、装置及计算装置。

背景技术

基于绿幕/蓝幕的抠图合成技术是一种成熟技术，也称色键技术，其基本原理是将人物等前景置于一大块绿色或者蓝色的幕布前，利用颜色的差异来找出哪一部分是前景，哪一部分是背景，之后再用事先准备好的视频图像等内容替换绿色或者是蓝色的背景。该方法的优点是成本低，只需要准备一块绿色/蓝色幕布就行了。

但是，若使用色键抠图技术，则站在幕布前的主持人实际上不能直接从幕布上看到背景图像，所以不得不通过另外一台显示器或者电视机看合成以后的画面来确定自己应该指向哪里。这个缺点使得通过绿幕/蓝幕进行指示成为一件需要经过相当的练习才能较好的完成。正因为这些缺点，目前的视频类节目的可变背景应用中，越来越多地出现另外一种技术：背景墙技术。

背景墙技术，就是直接用一个很大的屏幕来代替蓝色/绿色幕布，并且在大屏幕上呈现所需的背景图像。有了背景墙，主持人就能直接看到背景墙上所呈现的背景图像，并且可以很自然地进行精确指示。但是，利用背景墙呈现背景图像时，背景墙呈现的背景图像会通过摄像机进行采集，然后将摄像机采集到的背景图像直接发送至用户终端进行显示，由于摄像机拍摄过程中会存在失真，所以会导致最后输出给用户终端的图像质量较差。

发明内容

本发明实施例提供了一种图像处理方法、装置及计算装置，用以解决当前背景墙技术中图像呈现质量较差的问题。

其具体技术方案如下：

本发明实施例第一方面提供了一种图像处理方法，包括：

获取第一采集图像，所述第一采集图像中包含背景墙当前显示的图像；

在获取到的所述第一采集图像中确定出所述第一目标图像；

根据所述第一目标图像，得到第一前景轮廓；

根据所述第一前景轮廓和第一背景图像得到第一输出图像；

获取第二采集图像，所述第二采集图像包含所述第一输出图像，以及位于所述第一前景轮廓内的第二目标图像；

在所述第二采集图像中确定出所述第二目标图像；

将所述第二目标图像与第二背景图像进行合成，得到合成图像。

结合第一方面，在第一种可能的实现方式中，在获取到的所述第一采集图像中确定出所述第一目标图像，包括：

在具有单一颜色的背景图像的所述第一采集图像中，抠取出所述第一目标图像。

结合第一方面，在第二种可能的实现方式中，获取第一采集图像，包括：

获取具有深度值的深度图像，将所述深度图像作为所述第一采集图像，所述深度值表征了用于获取所述深度图像的设备与在所述设备的设定范围内的各物体之间的间距；

相应的，所述在获取到的所述第一采集图像中确定出所述第一目标图像，包括：

将具有第一深度值的像素点组成的图像确定为所述第一目标图像，其中，所述第一深度值小于等于阈值。

结合第一方面或者第一方面中第一种可能的实现方式或者第一方面中第二种可能的实现方式，在第三种可能的实现方式中，根据所述第一目标图像，得到第一前景轮廓；，包括：

在所述第一采集图像中，通过第一标识来标识所述第一目标图像中的每个像素点，通过第二标识来标识所述第一目标图像之外的图像所占区域中的每个像素点；

对具有所述第一标识的区域进行膨胀运算，得到所述第一前景轮廓；

相应的，根据所述第一前景轮廓和第一背景图像得到第一输出图像，包括：

在所述第一前景轮廓中填充预设颜色，并在所述第二标识所标识的区域中覆盖所述第一背景图像，得到所述第一输出图像。

结合第一方面或者第一方面中第一种可能的实现方式或者第一方面中第二种可能的实现方式或者第一方面中的第三种可能的实现方式，在第四种可能的实现方式中，在所述第二采集图像中确定出所述第二目标图像，包括：

通过对所述第一前景轮廓进行腐蚀运算，得到在所述第一前景轮廓中的抠图区域；

在所述抠图区域中确定出所述第二目标图像。

结合第一方面，在第五种可能的实现方式中，在将第二目标图像与第二背景图像进行合成处理，得到合成图像之后，所述方法还包括：

根据所述第二目标图像，得到第二前景轮廓；

在生成的所述第二前景轮廓中填充预设颜色；

根据所述第二前景轮廓以及第三背景图像得到第二输出图像。

结合第一方面或者第一方面中第一种可能的实现方式或者第一方面中第二种可能的实现方式或者第一方面中的第三种可能的实现方式或者第一方面中的第四种可能或者第一方面中的第五种可能的实现方式，在第六种可能的实现方式中，在获取第一采集图像之前，所述方法还包括：

对用于获取所述第一采集图像的设备进行标定，以使所述用于获取所述第一采集图像的设备的图像坐标系与所述背景墙的图像坐标系一致。

本发明实施例第二方面提供了一种图像处理装置，包括：

第一获取模块，用于获取第一采集图像，所述第一采集图像中包含背景墙当前显示的图像；

第一确定模块，用于在获取到的所述第一采集图像中确定出所述第一目标图像；

第一处理模块，用于根据所述第一目标图像，得到第一前景轮廓；

第二处理模块，用于根据所述第一前景轮廓和第一背景图像得到第一输出图像；

第二获取模块，用于获取第二采集图像，所述第二采集图像包含所述第一输出图像，以及位于所述第一前景轮廓内的第二目标图像；

第二确定模块，用于在所述第二采集图像中确定出所述第二目标图像；

合成模块，用于将所述第二目标图像与第二背景图像进行合成，得到合成图像。

结合第二方面，在第一种可能的实现方式中，，所述第一确定模块，具体用于在具有单一颜色的背景图像的所述第一采集图像中，抠取出所述第一目标图像。

结合第二方面，在第二种可能的实现方式中，所述第一获取模块，具体用于获取具有深度值的深度图像，将所述深度图像作为所述第一采集图像，所述深度值表征了用于获取所述深度图像的设备与在所述设备的设定范围内的各物体之间的间距；

所述第一确定模块，具体用于将具有第一深度值的像素点组成的图像确定为所述第一目标图像，其中，所述第一深度值小于等于阈值。

结合第二方面或者第二方面中第一种可能的实现方式或者第二方面中第二种可能的实现方式，在第三种可能的实现方式中，所述第一处理模块，具体用于在所述第一采集图像中，通过第一标识来标识所述第一目标图像中的每个像素点，通过第二标识来标识所述第一目标图像之外的图像所占区域中的每个像素点，对具有所述第一标识的区域进行膨胀运算，得到所述第一前景轮廓；

所述第二处理模块，具体用于在所述第一前景轮廓中填充预设颜色，并在所述第二标识所标识的区域中覆盖所述第一背景图像，得到所述第一输出图像。

结合第二方面或者第二方面中第一种可能的实现方式或者第二方面中第二种可能的实现方式或者第二方面中的第三种可能的实现方式，在第四种可能的实现方式中，所述第二确定模块，具体用于通过对所述第一前景轮廓进行腐蚀运算，得到在所述第一前景轮廓中的抠图区域，在所述抠图区域中确定出所述第二目标图像。

结合第二方面，在第五种可能的实现方式中，所述第一处理模块，还用于根据所述第二目标图像，得到第二前景轮廓；

所述第二处理模块，还用于在生成的所述第二前景轮廓中填充预设颜色，根据所述第二前景轮廓以及第三背景图像得到第二输出图像。

结合第二方面或者第二方面中第一种可能的实现方式或者第二方面中第二种可能的实现方式或者第二方面中的第三种可能的实现方式或者第二方面中的第四种可能或者第二方面中的第五种可能的实现方式，在第六种可能的实现方式中，所述装置还包括：

标定模块，用于对用于获取所述第一采集图像的设备进行标定，以使所述用于获取所述第一采集图像的设备的图像坐标系与所述背景墙的图像坐标系一致。

本发明实施例第三方面提供了一种计算装置，包括：

通讯接口，用于获取第一采集图像，所述第一采集图像中包含背景墙当前显示的图像；

处理器，用于在所述通讯接口获取到的所述第一采集图像中确定出所述第一目标图像；根据所述第一目标图像，得到第一前景轮廓；根据所述第一前景轮廓和第一背景图像得到第一输出图像；获取第二采集图像，所述第二采集图像包含所述第一输出图像，以及位于所述第一前景轮廓内的第二目标图像；在所述第二采集图像中确定出所述第二目标图像；将所述第二目标图像与第二背景图像进行合成，得到合成图像。

结合第三方面，在第一种可能的实现方式中，所述处理器，具体用于在具有单一颜色的背景图像的所述第一采集图像中，抠取出所述第一目标图像。

结合第三方面，在第二种可能的实现方式中，所述处理器，具体用于获取具有深度值的深度图像，将所述深度图像作为所述第一采集图像，所述深度值表征了用于获取所述深度图像的设备与在所述设备的设定范围内的各物体之间的间距；将具有第一深度值的像素点组成的图像确定为所述第一目标图像，其中，所述第一深度值小于等于阈值。

结合第三方面或者第三方面中第一种可能的实现方式或者第三方面中第二种可能的实现方式，在第三种可能的实现方式中，所述处理器，具体用于在所述第一采集图像中，通过第一标识来标识所述第一目标图像中的每个像素点，通过第二标识来标识所述第一目标图像之外的图像所占区域中的每个像素点；对具有所述第一标识的区域进行膨胀运算，得到所述第一前景轮廓；在所述第一前景轮廓中填充预设颜色，并在所述第二标识所标识的区域中覆盖所述第一背景图像，得到所述第一输出图像。

结合第三方面或者第三方面中第一种可能的实现方式或者第三方面中第二种可能的实现方式或者第三方面中的第三种可能的实现方式，在第四种可能的实现方式中，所述处理器，具体用于通过对所述第一前景轮廓进行腐蚀运算，得到在所述第一前景轮廓中的抠图区域；在所述抠图区域中确定出所述第二目标图像。

结合第三方面，在第五种可能的实现方式中，所述处理器，还用于根据所述第二目标图像，得到第二前景轮廓；在生成的所述第二前景轮廓中填充预设颜色；根据所述第二前景轮廓以及第三背景图像得到第二输出图像。

结合第三方面或者第三方面中第一种可能的实现方式或者第三方面中第二种可能的实现方式或者第三方面中的第三种可能的实现方式或者第三方面中的第四种可能或者第三方面中的第五种可能的实现方式，在第六种可能的实现方式中，所述处理器，还用于对用于获取所述第一采集图像的设备进行标定，以使所述用于获取所述第一采集图像的设备的图像坐标系与所述背景墙的图像坐标系一致。

本发明实施例提供了一种图像处理方法，在背景墙当前显示图像的情况下，计算装置能够在摄像机拍摄到的第一采集图像中分离出第一目标图像和背景图像，并根据第一目标图像得到包含第一目标图像的第一前景轮廓，以及得到包含第一前景轮廓以及第一背景图像的第一输出图像，将第一输出图像发送至背景墙进行显示，此时背景墙之前的目标对象可以对背景墙上显示的第一输出图像进行指示，摄像机对显示第一输出图像的背景墙进行拍摄并得到第二采集图像，在该第二采集图像中包含了第一输出图像以及第二目标图像，计算装置将直接在第二采集图像的第一前景轮廓中提取出第一目标图像，基于提取出的第二目标图像与第二背景图像生成合成图像，最后将合成图像发送至用户终端进行显示，这样在合成图像中的背景图像为第二背景图像，而非摄像机直接拍摄到的第一背景图像，这样即便是通过背景墙技术来显示便于自然地进行精确指示的第一背景图像时，也能够保证发送至用户终端的合成图像中的第二背景图像的图像质量。另外，由于发送至用户终端的合成图像中的背景部分不是摄像机直接采集到的在背景墙上显示的第一背景图像，因此也可以避免拼接式背景墙的接缝所导致的背景图像显示效果较差的问题。

附图说明

图1为本发明实施例中一种图像处理方法的流程图；

图2为本发明实施例中一种应用场景的示意图；

图3为本发明实施例中二值化的采集图像的示意图；

图4为本发明实施例中输出图像的示意图；

图5为本发明实施例中采集图像的示意图；

图6为本发明实施例中采集图像中的抠图区域的示意图；

图7为本发明实施例中抠取出的目标图像的示意图；

图8为本发明实施例中合成图像的示意图；

图9为本发明实施例中另一种输出图像的示意图；

图10为本发明实施例中另一种采集图像的示意图；

图11为本发明实施例中一种图像处理装置的结构示意图；

图12为本发明实施例中另一种图像处理装置的结构示意图；

图13为本发明实施例中一种计算装置的结构示意图。

具体实施方式

下面通过具体的实施例来对本发明的技术方案进行详细的说明。

首先说明该方法可以应用的其中一种场景，比如图2所示的***，在图2所示的***中包括了摄像机、计算装置、背景墙，摄像机与计算装置连接，背景墙也与计算装置连接，介于摄像机和背景墙之间还存在一主持人，该方法的执行主体为计算装置。

如图1所示为本发明实施例中一种图像处理方法的流程图，该方法可以应用到上述的场景中，该方法包括：

S101，获取第一采集图像；

首先摄像机会对显示有图像的背景墙以及背景墙之前的主持人进行拍摄，从而得到第一采集图像，所以在该第一采集图像中包含了背景墙当前显示的图像。

S102，在获取到的第一采集图像中确定出第一目标图像；

S103，根据第一目标图像，得到第一前景轮廓；

S104，根据第一前景轮廓和第一背景图像得到第一输出图像；

S105，获取第二采集图像；

第二采集图像包含第一输出图像，以及位于第一前景轮廓内的第二目标图像。

S106，在第二采集图像中确定出第二目标图像；

S107，将第二目标图像与第二背景图像进行合成，得到合成图像；

其中第二背景图像为对第一背景图像进行处理后得到的图像，即第二背景图像与第一背景图像具有相似性，例如第一背景图像可以为在预设地图图像上标注一些提示信息的图像，而第二背景图像就可以为对第一背景图像上标注的提示信息进行擦除后得到的预设地图图像；

可选的，在执行S101之前，可以对图2所示的***中摄像机进行标定，具体来讲，可以根据背景墙上显示的背景图像的图像参数来对摄像机进行参数校正，其目的是使摄像机采集到的采集图像与背景墙显示的背景图像标定对齐，也就是使摄像机所使用的图像坐标系与背景墙所使用的图像坐标系一致，当然最优的标定结果是采集图像与背景图像逐像素点对齐，这样能够克服由于摄像机位置变化所导致的对齐问题，或者摄像机以及用于投射预设的背景图像的投影仪的镜头畸变所造成的图像的线性或者是非线性的畸变。具体的标定对齐技术是成熟技术，在此不再赘述。

在完成摄像机标定之后，通过深度获取设备(图2中未示出)以及摄像机来获取第一采集图像，得到的第一采集图像发送至计算装置，在第一采集图像中包含了背景墙上当前显示的图像，以及位于背景墙之前的目标对象对应的第一目标图像，即：主持人的图像。

在S102中，由于采集第一采集图像的可以是深度获取设备也可以是摄像机，所以在本发明实施例中可以通过不同的方法在第一采集图像中确定出第一目标图像以及对应第一目标图像的背景图像，具体方法如下：

方法一：

在摄像机的镜头上安装深度获取设备，该深度获取设备可以获取到摄像机对应区域内的物体与摄像机之间的间距，从而得到具有深度值的深度图像，此时的深度图像就为第一采集图像。摄像机将具有深度值的深度图像发送至计算装置，计算装置根据预设的阈值在具有深度值的深度图像中大致的判定出第一目标图像以及背景图像，比如说摄像机与背景墙之间的固定间距为5m，主持人与背景墙之间的间距一般为0.5m～1m之间，所以计算装置中的预设的阈值为4.5m，这样表征与深度获取设备的间距大于4.5m的像素点组成的图像确定为第一采集图像中的背景图像，而表征与深度获取设备的间距小于等于4.5的像素点组成的图像确定为第一采集图像中的第一目标图像。

方法二：

在本发明实施例中该摄像机上还可以设置骨架识别装置，该骨架识别装置可以获取到人体的基本骨架，然后通过该骨架确定出人体的大致形状，通过确定出的人体形状，就可以在第一采集图像中确定出第一目标图像，在第一采集图像中除了第一目标图像以外的图像就被确定为第一采集图像中的背景图像。

方法三：

通过自然背景下的抠像方法在摄像机拍摄到的第一采集图像中确定出第一目标图像和背景图像，具体来讲，摄像机在自然背景下拍摄到第一采集图像之后，计算装置将对自然背景下的图像进行抠图处理，此处的抠图方法为现有技术中常见的一些自然背景图像分割方法，这里就不再赘述，通过该方法可以在第一采集图像中区分出第一目标图像以及背景图像。

方法四：

在背景墙上显示的图像为预设的背景图像，该预设的背景图像为单一颜色的背景图像，比如说绿色图像或者是蓝色图像，摄像机对显示有单一颜色的背景图像的背景墙进行拍摄，就得到包含了单一颜色的背景图像的第一采集图像，当然，在背景墙之前的主持人也被拍摄到第一采集图像中，通过色键抠图技术，就可以在第一采集图像中直接抠取出第一目标图像，将除第一目标图像以外的图像确定为第一采集图像中的背景图像。

通过上述的四种方法可以大致确定出在第一采集图像中的第一目标图像以及背景图像。

计算装置在第一采集图像中确定出第一目标图像的过程中，计算装置还可以将第一采集图像进行二值化处理，也就是在第一采集图像中确定出第一目标图像时，用第一标识来标识第一目标图像中的每个像素点，用第二标识来标识第一采集图像中的背景图像所占区域中的每个像素点，比如：用像素点1来标识确定出的第一目标图像，同时用像素点0来标识确定出的背景图像，经过二值化处理后的第一采集图像如图3所示，在图3中白色区域为第一目标图像对应的区域，黑色区域为背景图像对应的区域。这样就得到了二值化后的，并且已区分出第一目标图像和背景图像的第一采集图像。

在S103中需要确定一个能够包含第一目标图像的第一前景轮廓，因此还需要对二值化后的第一采集图像中的第一目标图像进行膨胀运算，以获取第一前景轮廓。进行膨胀运算的原因有如下三项：

首先，需要使得第一前景轮廓比第一目标图像稍大，从而第一前景轮廓的边缘就能够完全包围住第一目标图像。

其次，由于前述步骤S102中所获取的第一目标图像不可能非常精确，膨胀运算也可消除在第一采集图像中确定第一目标图像以及背景图像时所产生的边缘瑕疵，以免瑕疵在后续步骤中造成第一前景轮廓不能完全包含第一目标图像的问题。

最后，背景墙上显示的背景图像和摄像机采集到的采集图像之间的对齐不可能完全精确，因此对第一目标图像进行足够程度的膨胀运算也可消除摄像机标定不精确的影响。

简单的来讲，膨胀运算的目的就是使得第一前景轮廓在第一采集图像中所占区域要大于第一目标图像在第一采集图像中所占区域，这样保证第一前景轮廓能够完全覆盖住第一目标图像，当然第一前景轮廓的大小由膨胀参数大小决定。

在第一采集图像中生成第一前进轮廓之后，计算装置对第一采集图像进行填充处理，具体来讲，计算装置会在已二值化的第一采集图像中由像素点1组成的区域中填充预设颜色来覆盖第一目标图像，该预设颜色可以是蓝色或者绿色中的一种颜色，然后在由像素点0组成的区域中覆盖第一背景图像，该第一背景图像为用于主持人进行指示的图像。从而计算装置生成包含第一前景轮廓以及第一背景图像的第一输出图像，该第一输出图像可以是如图4所示的图像，计算装置将生成的第一输出图像发送至背景墙进行显示。

这里需要说明的是，在本发明实施例中在得到填充了预设颜色的第一前景轮廓之后，可以将第一前景轮廓直接嵌入到完整的第一背景图像中，从而生成包含第一前景轮廓以及第一背景图像的第一输出图像，当然，第一背景图像与第一采集图像为尺寸大小基本相同的图像，第一前景轮廓在第一背景图像中的位置与第一前景轮廓在第一采集图像中的位置基本相同，这样也可以直接得到用于在背景墙上进行显示的第一输出图像。

第一输出图像在背景墙上进行显示之后，摄像机将对背景墙进行第二次拍摄，由于主持人位于背景墙和摄像机之间，摄像机拍摄到的第二采集图像中将包含背景墙上显示的第一输出图像以及主持人对应的第二目标图像，如图5所示为摄像机拍摄到的第二采集图像，第二采集图像中包含背景墙上显示的第一输出图像以及主持人对应的第二目标图像，当然在第一输出图像中还包括了填充了预设颜色的第一前景轮廓，第二目标图像完全处于第一前景轮廓中。

在得到包含第二目标图像、第一背景图像、第一前景轮廓的第二采集图像之后，需要对该第二采集图像进行色键抠图处理以取得第二目标图像。但为了避免第一背景图像中所可能包含的各种颜色的内容对色键抠图的干扰，需要首先提取出一个包含第二目标图像但是不包含第一背景图像的抠图区域。理想情况下，只需要简单地将第二采集图像中与第一前景轮廓对应的部分抽取出来，即可得到抠图区域；实际上，摄像机拍摄到的第一采集图像和背景墙上显示的第一输出图像之间不能进行完美的对齐，这就使得依据简单方法抽取的抠图区域中可能会提取出第一背景图像中的一部分图像。为解决这个问题，可用计算装置对第一前景轮廓进行腐蚀运算，这里的腐蚀运算是为膨胀运算的逆运算，通过腐蚀运算可以在第一前景轮廓中确定出一个稍小的区域，即：抠图区域，该抠图区域中包含了第二目标图像，但不会包含第一背景图像中的任何图像。当然抠图区域为第一前景轮廓内的一个区域，如图6所示的线条所围成的区域就为腐蚀运算之后得到的抠图区域。

由于在第一输出图像的第一前景轮廓中已填充为蓝色或者绿色，因此确定出的抠图区域中除了第二目标图像之外都是统一的蓝色或者是绿色背景，通过色键技术就可以将第二目标图像从抠图区域中分离出来，即：将主持人图像从抠图区域中单独的分离出来，最终得到如图7所示的主持人图像。

可选的，在本发明实施例中除了通过腐蚀运算能够得到用于提取出目标图像的抠图区域之外，还可以通过在第一前景轮廓中嵌入有色线条，该有色线条可以是红色线条或者紫色线条或者其他颜色的线条，但是该有色线条的颜色和第一前景轮廓中填充的预设颜色为不同的颜色，嵌入的有色线条沿第一前景轮廓内边缘围成一个封闭的区域，即得到图6所示的图像，最后计算装置通过识别该有色线条，在摄像机采集到的第二采集图像中确定出能够提取出第二目标图像的抠图区域，最后通过色键抠图技术将第二目标图像从确定的抠图区域中提取出来，得到单独的第二目标图像，如图7所示的目标图像。

在提取出单独的第二目标图像之后，计算装置将第二目标图像与第二背景图像进行图像融合，生成包含第二目标图像以及第二背景图像的合成图像，如图8所示的图像即为合成图像，最后计算装置将生成的合成图像发送至用户终端进行显示。

通过上述的方法，在通过背景墙来显示背景图像的情况下，计算装置能够在摄像机采集到的第一采集图像中分离出第一目标图像和背景图像，根据第一目标图像生成能够包含第一目标图像的第一前景轮廓，根据第一前景轮廓以及第一背景图像生成第一输出图像，将第一输出图像发送至背景墙进行显示，此时背景墙之前的目标对象可以对第一输出图像进行指示，同时摄像机对显示第一输出图像的背景墙进行拍摄并得到第二采集图像，在该第二采集图像中包含了第一输出图像以及第二目标图像，计算装置将直接在第二采集图像的第一前景轮廓中提取出第二目标图像，最终基于提取出的第二目标图像与第二背景图像生成合成图像，将合成图像发送至用户终端进行显示，因此在合成图像中的背景图像为第二背景图像，而非摄像机直接拍摄到的第一背景图像，这样即便是通过背景墙技术来显示便于自然地进行精确指示的第一背景图像时，也能够保证发送至用户终端的合成图像中的第二背景图像的图像质量。另外，由于发送至用户终端的合成图像中的背景部分不是摄像机直接采集到的在背景墙上显示的第一背景图像，因此也可以避免拼接式背景墙的接缝所导致的背景图像显示效果较差的问题。

进一步，在将合成图像发送至用户终端时，该计算装置将根据得到的第二目标图像，生成包含目标图像的第二前景轮廓，第二前景轮廓与第一前景轮廓的生成方法相同，但是第二前景轮廓所占的区域要略大于第一前景轮廓所占的区域，这样保证主持人有微小的移动或者是动作时，该第二前景轮廓仍然能够包含目标对象对应的目标图像。

计算装置在第二前景轮廓中填充预设颜色覆盖第二前景轮廓中的第二目标图像之后，将第二前景轮廓与第三背景图像进行图像合成，生成第二输出图像。

在摄像机对显示有第二输出图像的背景墙进行拍摄时，摄像机就能够拍摄到包含第二输出图像以及第三目标图像的第三采集图像，然后计算装置将基于第三采集图像生成发送至用户终端的下一帧合成图像，根据下一帧合成图像中的第三目标图像，继续生成第三前景轮廓以及包含第三前景轮廓的第三输出图像，并依照上述的方法循环执行。

这里需要说明的是，第二输出图像中的第二前景轮廓要略大于第一输出图像中的第一前景轮廓，这样保证目标对象有产生动作或者是移动时，第二前景轮廓仍然能够完全覆盖住目标对象。

另外，在本发明实施例中除了可以生成图3所示的第一前景轮廓之外，还可以生成如图9所示的第一前景轮廓，图9所示的第一前景轮廓为矩形，矩形的第一前景轮廓的大小是通过第一目标图像的边缘决定，也就是说计算装置在第一采集图像中确定出第一目标图像之后，计算装置将第一采集图像置于平面坐标系中，在该平面坐标系中能够确定出第一目标图像的横向坐标的最大值和最小值，同时确定出第一目标图像的纵向坐标的最大值和最小值，通过横向坐标的最大值和最小值以及纵向坐标的最大值和最小值，生成一个图9所示的矩形的第一前景轮廓，当然该矩形的第一前景轮廓会随着目标对象的移动以及目标对象的动作而改变位置以及大小，使得矩形的第一前景轮廓能够实时的完全覆盖住目标对象对应的目标图像。

在该矩形的第一前景轮廓内填充预设颜色，该预设颜色可以是蓝色或者绿色中的一种颜色，当然，在矩形的第一前景轮廓内填充预设颜色之前，还需要在第一采集图像中确定出哪些区域是第一前景轮廓内的区域，哪些区域是第一前景轮廓外的区域，在本发明实施例中可以通过平面坐标来确定第一前景轮廓的内外区域，比如生成图9所示的矩形的第一前景轮廓之后，确定该矩形的第一前景轮廓的四个顶点，如图9所示的第一前景轮廓的左上顶点A(X₁，Y₁)、右上顶点B(X₂，Y₁)、左下顶点C(X₁，Y₂)、右下顶点D(X₂，Y₂)，若是某一像素点的坐标(X₀，Y₀)满足X₁≤X₀≤X₂且Y₂≤Y₀≤Y₁，则该像素点被确定为第一前景轮廓内的像素点，而不满足上述两个条件中任一一个条件的像素点就被确定为第一前景轮廓之外的像素点。

若是生成一个矩形的第一前景轮廓时，就不再需要对第一采集图像进行二值化来确定第一前景轮廓内或者是第一前景轮廓外，而是通过矩形的第一前景轮廓的四个边角点坐标来确定矩形的第一前景轮廓的内外区域。

在计算装置得到包含了矩形的第一前景轮廓的第一采集图像之后，计算装置将在第一前景轮廓中填充预设颜色，然后生成包含了第一前景轮廓以及第一背景图像的第一输出图像，并将第一输出图像发送至背景墙进行显示，这样摄像机拍摄到的第二采集图像中就包含该矩形的第一前景轮廓、第一背景图像以及位于矩形的第一前景轮廓内的第一目标图像，如图10所示为第二采集图像。然后就可以在第一前景轮廓中提取出第一目标图像。后续生成合成图像的过程与上述实施例中的方法完全相同，此处就不再赘述。

本发明实施例中还提供了一种图像处理装置，如图11所示为该图像处理装置的结构示意图，该装置包括：

第一获取模块110，用于获取第一采集图像，第一采集图像中包含背景墙当前显示的图像；

第一确定模块111，用于在获取到的第一采集图像中确定出第一目标图像；

第一处理模块112，用于根据第一目标图像，得到第一前景轮廓；

第二处理模块113，用于根据第一前景轮廓和第一背景图像得到第一输出图像；

第二获取模块114，用于获取第二采集图像，第二采集图像包含第一输出图像，以及位于第一前景轮廓内的第二目标图像；

第二确定模块115，用于在第二采集图像中确定出第二目标图像；

合成模块116，用于将第二目标图像与第二背景图像进行合成，得到合成图像。

其中，第一获取模块110和第二获取模块114可以是同一获取模块，第一确定模块111和第二确定模块115可以是同一确定模块，第一处理模块112和第二处理模块113可以是同一处理模块。

进一步，第一确定模块111，具体用于在具有单一颜色的背景图像的第一采集图像中，抠取出第一目标图像。

进一步，第一获取模块110，具体用于获取具有深度值的深度图像，将深度图像作为第一采集图像，深度值表征了用于获取深度图像的设备与在设备的设定范围内的各物体之间的间距；

第一确定模块111，具体用于将具有第一深度值的像素点组成的图像确定为第一目标图像，其中，第一深度值小于等于阈值。

进一步，第一处理模块112，具体用于在第一采集图像中，通过第一标识来标识第一目标图像中的每个像素点，通过第二标识来标识第一目标图像之外的图像所占区域中的每个像素点，对具有第一标识的区域进行膨胀运算，得到第一前景轮廓；

第二处理模块113，具体用于在第一前景轮廓中填充预设颜色，并在第二标识所标识的区域中覆盖第一背景图像，得到第一输出图像。

进一步，第二确定模块115，具体用于通过对第一前景轮廓进行腐蚀运算，得到在第一前景轮廓中的抠图区域，在抠图区域中确定出第二目标图像。

进一步，第一处理模块112,，还用于根据第二目标图像，得到第二前景轮廓；

第二处理模块113，还用于在生成的第二前景轮廓中填充预设颜色，根据第二前景轮廓以及第三背景图像得到第二输出图像。

进一步，该图像处理装置还包括：

标定模块120(如图12所示)，用于对用于获取第一采集图像的设备进行标定，以使用于获取第一采集图像的设备的图像坐标系与背景墙的图像坐标系一致。

实施例三：

本发明实施例中还提供了一种图像处理设备，如图13所示为该图像处理设备的结构示意图，该图像处理设备包括：

通讯端口130，用于获取第一采集图像，第一采集图像中包含背景墙当前显示的图像；

处理器131，用于在通讯接口获取到的第一采集图像中确定出第一目标图像；根据第一目标图像，得到第一前景轮廓；根据第一前景轮廓和第一背景图像得到第一输出图像；获取第二采集图像，第二采集图像包含第一输出图像，以及位于第一前景轮廓内的第二目标图像；在第二采集图像中确定出第二目标图像；将第二目标图像与第二背景图像进行合成，得到合成图像。

进一步，该处理器131，具体用于在具有单一颜色的背景图像的第一采集图像中，抠取出第一目标图像。

进一步，该处理器131，具体用于获取具有深度值的深度图像，将深度图像作为第一采集图像，深度值表征了用于获取深度图像的设备与在设备的设定范围内的各物体之间的间距；将具有第一深度值的像素点组成的图像确定为第一目标图像，其中，第一深度值小于等于阈值。

进一步，该处理器131，具体用于在第一采集图像中，通过第一标识来标识第一目标图像中的每个像素点，通过第二标识来标识第一目标图像之外的图像所占区域中的每个像素点；对具有第一标识的区域进行膨胀运算，得到第一前景轮廓；在第一前景轮廓中填充预设颜色，并在第二标识所标识的区域中覆盖第一背景图像，得到第一输出图像。

进一步，该处理器131，具体用于通过对第一前景轮廓进行腐蚀运算，得到在第一前景轮廓中的抠图区域；在抠图区域中确定出第二目标图像。

进一步，该处理器131，还用于根据第二目标图像，得到第二前景轮廓；在生成的第二前景轮廓中填充预设颜色；根据第二前景轮廓以及第三背景图像得到第二输出图像。

进一步，该处理器131，还用于对用于获取第一采集图像的设备进行标定，以使用于获取第一采集图像的设备的图像坐标系与背景墙的图像坐标系一致。

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (21)

1.一种图像处理方法，其特征在于，包括：

获取第一采集图像，所述第一采集图像中包含背景墙当前显示的图像；

在获取到的所述第一采集图像中确定出所述第一目标图像；

根据所述第一目标图像，得到第一前景轮廓；

根据所述第一前景轮廓和第一背景图像得到第一输出图像；

获取第二采集图像，所述第二采集图像包含所述第一输出图像，以及位于所述第一前景轮廓内的第二目标图像；

在所述第二采集图像中确定出所述第二目标图像；

将所述第二目标图像与第二背景图像进行合成，得到合成图像。

2.如权利要求1所述的方法，其特征在于，在获取到的所述第一采集图像中确定出所述第一目标图像，包括：

在具有单一颜色的背景图像的所述第一采集图像中，抠取出所述第一目标图像。

3.如权利要求1所述的方法，其特征在于，获取第一采集图像，包括：

获取具有深度值的深度图像，将所述深度图像作为所述第一采集图像，所述深度值表征了用于获取所述深度图像的设备与在所述设备的设定范围内的各物体之间的间距；

相应的，所述在获取到的所述第一采集图像中确定出所述第一目标图像，包括：

将具有第一深度值的像素点组成的图像确定为所述第一目标图像，其中，所述第一深度值小于等于阈值。

4.如权利要求1～3中任一权项所述的方法，其特征在于，根据所述第一目标图像，得到第一前景轮廓；，包括：

在所述第一采集图像中，通过第一标识来标识所述第一目标图像中的每个像素点，通过第二标识来标识所述第一目标图像之外的图像所占区域中的每个像素点；

对具有所述第一标识的区域进行膨胀运算，得到所述第一前景轮廓；

相应的，根据所述第一前景轮廓和第一背景图像得到第一输出图像，包括：

在所述第一前景轮廓中填充预设颜色，并在所述第二标识所标识的区域中覆盖所述第一背景图像，得到所述第一输出图像。

5.如权利要求1～4中任一权项所述的方法，其特征在于，在所述第二采集图像中确定出所述第二目标图像，包括：

通过对所述第一前景轮廓进行腐蚀运算，得到在所述第一前景轮廓中的抠图区域；

在所述抠图区域中确定出所述第二目标图像。

6.如权利要求1所述的方法，其特征在于，在将第二目标图像与第二背景图像进行合成处理，得到合成图像之后，所述方法还包括：

根据所述第二目标图像，得到第二前景轮廓；

在生成的所述第二前景轮廓中填充预设颜色；

根据所述第二前景轮廓以及第三背景图像得到第二输出图像。

7.如权利要求1～6任一所述的方法，其特征在于，在获取第一采集图像之前，所述方法还包括：

对用于获取所述第一采集图像的设备进行标定，以使所述用于获取所述第一采集图像的设备的图像坐标系与所述背景墙的图像坐标系一致。

8.一种图像处理装置，其特征在于，包括：

第一获取模块，用于获取第一采集图像，所述第一采集图像中包含背景墙当前显示的图像；

第一确定模块，用于在获取到的所述第一采集图像中确定出所述第一目标图像；

第一处理模块，用于根据所述第一目标图像，得到第一前景轮廓；

第二处理模块，用于根据所述第一前景轮廓和第一背景图像得到第一输出图像；

第二获取模块，用于获取第二采集图像，所述第二采集图像包含所述第一输出图像，以及位于所述第一前景轮廓内的第二目标图像；

第二确定模块，用于在所述第二采集图像中确定出所述第二目标图像；

合成模块，用于将所述第二目标图像与第二背景图像进行合成，得到合成图像。

9.如权利要求8所述的装置，其特征在于，所述第一确定模块，具体用于在具有单一颜色的背景图像的所述第一采集图像中，抠取出所述第一目标图像。

10.如权利要求8所述的装置，其特征在于，所述第一获取模块，具体用于获取具有深度值的深度图像，将所述深度图像作为所述第一采集图像，所述深度值表征了用于获取所述深度图像的设备与在所述设备的设定范围内的各物体之间的间距；

所述第一确定模块，具体用于将具有第一深度值的像素点组成的图像确定为所述第一目标图像，其中，所述第一深度值小于等于阈值。

11.如权利要求8～10中任一权项所述的装置，其特征在于，所述第一处理模块，具体用于在所述第一采集图像中，通过第一标识来标识所述第一目标图像中的每个像素点，通过第二标识来标识所述第一目标图像之外的图像所占区域中的每个像素点，对具有所述第一标识的区域进行膨胀运算，得到所述第一前景轮廓；

所述第二处理模块，具体用于在所述第一前景轮廓中填充预设颜色，并在所述第二标识所标识的区域中覆盖所述第一背景图像，得到所述第一输出图像。

12.如权利要求8～11中任一权项所述的装置，其特征在于，所述第二确定模块，具体用于通过对所述第一前景轮廓进行腐蚀运算，得到在所述第一前景轮廓中的抠图区域，在所述抠图区域中确定出所述第二目标图像。

13.如权利要求8所述的装置，其特征在于，所述第一处理模块，还用于根据所述第二目标图像，得到第二前景轮廓；

所述第二处理模块，还用于在生成的所述第二前景轮廓中填充预设颜色，根据所述第二前景轮廓以及第三背景图像得到第二输出图像。

14.如权利要求8～13中任一权项所述的方法，其特征在于，所述装置还包括：

标定模块，用于对用于获取所述第一采集图像的设备进行标定，以使所述用于获取所述第一采集图像的设备的图像坐标系与所述背景墙的图像坐标系一致。

15.一种计算装置，其特征在于，包括：

通讯接口，用于获取第一采集图像，所述第一采集图像中包含背景墙当前显示的图像；

处理器，用于在所述通讯接口获取到的所述第一采集图像中确定出所述第一目标图像；根据所述第一目标图像，得到第一前景轮廓；根据所述第一前景轮廓和第一背景图像得到第一输出图像；获取第二采集图像，所述第二采集图像包含所述第一输出图像，以及位于所述第一前景轮廓内的第二目标图像；在所述第二采集图像中确定出所述第二目标图像；将所述第二目标图像与第二背景图像进行合成，得到合成图像。

16.如权利要求15所述的装置，其特征在于，所述处理器，具体用于在具有单一颜色的背景图像的所述第一采集图像中，抠取出所述第一目标图像。

17.如权利要求15所述的装置，其特征在于，所述处理器，具体用于获取具有深度值的深度图像，将所述深度图像作为所述第一采集图像，所述深度值表征了用于获取所述深度图像的设备与在所述设备的设定范围内的各物体之间的间距；将具有第一深度值的像素点组成的图像确定为所述第一目标图像，其中，所述第一深度值小于等于阈值。

18.如权利要求15～17中任一权项所述的装置，其特征在于，所述处理器，具体用于在所述第一采集图像中，通过第一标识来标识所述第一目标图像中的每个像素点，通过第二标识来标识所述第一目标图像之外的图像所占区域中的每个像素点；对具有所述第一标识的区域进行膨胀运算，得到所述第一前景轮廓；在所述第一前景轮廓中填充预设颜色，并在所述第二标识所标识的区域中覆盖所述第一背景图像，得到所述第一输出图像。

19.如权利要求15～18中任一权项所述的装置，其特征在于，所述处理器，具体用于通过对所述第一前景轮廓进行腐蚀运算，得到在所述第一前景轮廓中的抠图区域；在所述抠图区域中确定出所述第二目标图像。

20.如权利要求15所述的装置，其特征在于，所述处理器，还用于根据所述第二目标图像，得到第二前景轮廓；在生成的所述第二前景轮廓中填充预设颜色；根据所述第二前景轮廓以及第三背景图像得到第二输出图像。

21.如权利要求15～20中任一权项所述的装置，其特征在于，所述处理器，还用于对用于获取所述第一采集图像的设备进行标定，以使所述用于获取所述第一采集图像的设备的图像坐标系与所述背景墙的图像坐标系一致。