CN103096101B - 视频合成方法、装置及电子设备 - Google Patents

Abstract

本发明提供了一种视频合成方法，应用于具有显现单元和至少两个图像采集单元的电子设备，包括：接收由至少两个所述图像采集单元采集到的图像，并利用所述图像生成第一视频的图像帧；获得所述显示单元当前显示的图像的至少一部分，生成第二视频的图像帧，合成所述第一视频的图像帧和所述第二视频的图像帧，作为第三视频的图像帧；依次重复上述步骤，直至图像采集单元停止采集图像。本发明还提供了一种与所述方法对应的装置及电子设备，包括第一视频帧生成单元、第二视频帧生成单元及视频合成单元。所述方法及装置、电子设备实现了边采集视频边将其与已有视频合成的目的，所以满足了视频合成实时性的需求。

Description

视频合成方法、装置及电子设备

技术领域

本发明涉及多媒体通信领域，尤其涉及一种视频合成方法、装置及电子设备。

背景技术

视频合成是视频制作中常见的技术，例如，为了某种需求，拍摄一段演讲者的视频，再将已有的视频作为背景，将两者合成为一段影像，由于在合成的过程中需要考虑到拍摄的视频和已有视频间的匹配，例如，拍摄的是3D影像，而已有的是2D影像，进行合成时要考虑到3D与2D的匹配，所以目前常见的做法为，先完成摄影然后再进行影像合成、后期制作等过程，这种方法只能在拍摄完成以后再进行视频的合成，而不能实现边拍摄边合成，因而不能满足实时性的需求。

发明内容

有鉴于此，本发明提供了一种视频合成方法，目的在于解决现有的视频合成方法不能满足实时性的问题。

一种视频合成方法，应用于电子设备，所述电子设备具有显示单元和至少两个图像采集单元，包括：

接收由至少两个所述图像采集单元采集到的图像，并利用所述图像生成第一视频的图像帧；

获得所述显示单元当前显示的图像的至少一部分，生成第二视频的图像帧；

合成所述第一视频的图像帧和所述第二视频的图像帧，作为第三视频的图像帧；

实时重复上述步骤直至所述图像采集单元停止采集图像，从而使得所述第一视频和所述第二视频合成为所述第三视频。

优选地，所述第一视频为3D视频。

优选地，当所述显示屏显示的图像的至少一部分为2D时，所述生成第二视频的图像帧包括：

根据接收到的预设的参数，将所述显示单元显示的图像的至少一部分设置为嵌入所述第一视频的图像帧中的格式。

优选地，当所述显示单元显示的图像的至少一部分为3D图像时，所述生成第二视频的图像帧包括：

根据预设的参数，将所述显示单元显示的图像的至少一部分设置为与所述第一视频的图像帧相同格式的图像帧。

优选地，所述接收由至少两个所述图像采集单元采集到的图像，并利用所述图像生成第一视频的图像帧，包括：

接收由两个摄像头采集到的图像，并利用所述图像生成第一视频的图像帧；所述两个摄像头设置于同一平面。

优选地，当所述显示单元当前显示的图像的至少一部分为2D图像时，所述生成第二视频的图像帧包括：

依据双摄像头测距原理，计算出所述摄像头平面与被采集物体平面间的距离；

根据所述距离及所述两个摄像头的间的距离，利用图像错切技术，将所述显示单元显示的图像的至少一部分变换成与所述第一视频的图像帧匹配的第二视频的图像帧。

一种视频合成装置，应用于电子设备，所述电子设备具有显示单元和至少两个图像采集单元，包括：

第一视频帧生成单元，用于接收由至少两个所述图像单元采集到的图像，并利用所述图像生成第一视频的图像帧；

第二视频帧生成单元，用于获得所述显示单元当前显示的图像的至少一部分，生成第二视频的图像帧；

视频合成单元，用于合成所述第一视频的图像帧和所述第二视频的图像帧，作为第三视频的图像帧，并触发第一视频帧生成单元继续接收由所述至少两个摄像头采集到的图像，并利用所述图像生成第一视频的图像帧，直至所述图像采集单元停止采集图像，从而使得所述第一视频和所述第二视频合成为所述第三视频。

优选地，所述第二视频帧生成单元包括：

根据预设的参数，将所述显示单元显示的图像的至少一部分转换为嵌入所述第二视频的图像帧中的格式或与所述第一视频的图像帧格式相同的图像帧的格式设置单元。

优选地，所述第二视频帧生成单元包括：

计算单元，用于依据双摄像头测距原理，计算出所述摄像头平面与被采集物体平面间的距离；

图像帧变换单元，用于根据所述距离及所述两个摄像头的间的距离，利用图像错切技术，将所述显示单元当前显示的图像的至少一部分变换成与所述第一视频的图像帧匹配的第二视频的图像帧。

一种电子设备，包括：

图像采集单元、显示单元；

视频合成单元，用于接收由至少两个所述图像采集单元采集到的图像，并利用所述图像生成第一视频的图像帧；获得所述显示单元当前显示的图像的至少一部分，生成第二视频的图像帧；合成所述第一视频的图像帧和所述第二视频的图像帧；并返回执行所述接收由所述至少两个摄像头采集到的图像，并利用所述图像生成第一视频的图像帧的步骤，直至所述图像采集单元停止采集图像为止，以完成所述第一视频和所述第二视频的合成。

本发明实施例提供的视频合成方法、装置及电子设备，在视频的采集过程中，只要接收到被采集视频中的一帧图像，就进行其与显示单元当前显示的视频中的图像帧的合成，而不再是等待整个视频采集结束再进行合成，实现了边采集视频边将其与已有视频合成的目的，所以满足了视频合成实时性的需求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例公开的一种视频合成方法的流程图；

图2为本发明实施例公开的一种视频合成方法中生成第二视频的图像帧的流程图；

图3为本发明实施例公开的一种视频合成装置的结构示意图；

图4为本发明实施例公开的一种视频合成装置中第二视频帧生成单元的结构示意图；

图5为本发明实施例公开的一种电子设备的结构示意图。

具体实施方式

本发明公开了一种视频合成方法，与传统的视频合成的不同之处在于，边接收视频，边将所述视频与已有的视频相合成，具体而言，合成的过程以图像帧为单位，只要接收到采集的图像帧，就将其与显示单元当前显示的视频中的图像帧进行合成，达到了边拍摄边合成的目的。与方法相对应的，本发明还公开了一种视频合成装置及电子设备，用于实时地合成视频。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明公开的一种视频合成方法，应用于电子设备，所述电子设备具有显示单元和至少两个图像采集单元，其中，显示单元至少包括显示屏，图像采集单元中至少包括摄像头和图像采集卡，如图1所示，所述方法包括：

S101：接收由至少两个所述图像采集单元采集到的图像，并利用所述图像生成第一视频的图像帧；

此步骤中，将采集第一视频的过程细化到视频中的每一帧，即采集一帧，接收一帧，而不是全部采集完以后再接收。

S102：获得所述显示单元当前显示的图像的至少一部分，生成第二视频的图像帧；

在前一步骤接收到并生成第一视频的图像帧的时刻，显示单元正在显示的图像则为将要与第一视频的图像帧合成的图像，根据需要，可以取显示单元显示的图像的一部分，也可以取全部，本实施例不做限定。取出的部分用于生成能够与第一视频的图像帧合成的第二视频的图像帧。

需要说明的是，本实施例中，与第一视频进行合成的可以是一段已有的视频，也可以是图像。如果是视频，则将其分割为与第一视频的图像帧相对应的第二视频的图像帧；如果是图像，则可以将图像生成与第一视频帧格式匹配的格式，根据视频与图像间的关系，则生成的图像同样可以看成是组成第二视频的图像帧，这时的第二视频即为由无变化的帧序列在时间轴上排列而形成的视频。

S103：合成所述第一视频的图像帧与所述第二视频的图像帧，作为第三视频的图像帧；

即将两个图像帧合成后，作为第三视频图像帧序列中的一帧。

重复S101到S103，直至所述图像采集单元停止采集图像，从而使得所述第一视频和所述第二视频合成为所述第三视频。

本实施例公开的视频合成方法，在将拍摄的第一视频与显示单元显示的图像或视频进行合成时，将合成的执行单位细化到图像帧，即接收一帧图像，合成一帧图像，实现了实时地视频合成过程。

进一步地，本实施例中，所述第一视频为3D视频。

也就是说，由至少两个图像采集单元采集的图像，不是简单地拼接合成，而是形成3D视频。在第一视频为3D视频时，根据显示单元当前显示的图像的不同，其生成第二视频的图像帧的方法也不同：

当显示单元当前显示的图像的至少一部分为2D图像时，生成第二视频的图像帧的流程包括：

根据接收到的预设的参数，将所述显示单元显示的图像的至少一部分设置为嵌入所述第一视频的图像帧中的格式。

预设的参数指的是预先设定的，用于调整当前显示的图像的至少一部分图像的参数，调整的目的在于，保持生成的第一视频的图像帧依然为2D图像，并使此2D图像适宜嵌入到第一视频的3D图像帧中。

当显示单元当前显示的图像的至少一部分为3D图像时，生成第二视频的图像帧的流程包括：

根据预设的参数，将所述显示单元显示的图像的至少一部分设置为与所述第一视频的图像帧相同的帧格式。

第一视频的图像帧是使用至少两个图像采集单元采集的图像合成的3D视频，可以是简单的由两个摄像头拍摄的3D图像，也可以是由多个摄像头拍摄的3D图像，只有设置当前显示的3D图像与第一视频的图像帧格式相同，才能将两者进行合成。可以根据预先获得的或设置好的图像采集单元中摄像头的参数来设置当前显示的3D图像的帧格式。

如前所述，本实施例中可以由多个摄像头采集图像，也可以由两个摄像头采集图像。

所以，进一步地，所述接收由至少两个所述图像采集单元采集到的图像，并利用所述图像生成第一视频的图像帧，包括：

接收由两个摄像头采集到的图像，并利用所述图像生成第一视频的图像帧；所述两个摄像头设置于同一平面。

这里限定的两个摄像头，可以包括在一个图像采集单元中，也可以分别属于不同的图像采集单元，本发明不做限定。

进一步地，当接收到的是由两个位于同一平面的摄像头采集的图像，且显示单元当前显示的图像的至少一部分为2D图像时，所述生成第二视频的图像帧，如图2所示，包括：

S201：依据双摄像头测距原理，计算出所述摄像头平面与被采集物体平面间的距离；

S202：根据所述距离及所述两个摄像头的间的距离，利用图像错切技术，将所述显示单元显示的图像的至少一部分变换成与所述第一视频的图像帧匹配的第二视频的图像帧。

这里涉及根据两个实际物理摄像头的属性如距离，角度，频率等，产生与两个摄像头一一对应的虚拟摄像头，而变换后的第二视频的图像帧相当于使用两个虚拟摄像头拍摄当前显示单元显示的图像而生成的3D图像，这就确保了产生的3D第二视频的图像帧与第一视频的图像帧最大化匹配。

与上述方法相对应的，本发明还公开了一种视频合成装置，作为实现上述方法硬件结构，也实现了视频合成的实时性。

本发明公开的一种视频合成装置，应用于电子设备，所述电子设备具有显示单元和至少两个图像采集单元，如图3所示，包括：

第一视频帧生成单元301，用于接收由至少两个所述图像单元采集到的图像，并利用所述图像生成第一视频的图像帧；

第二视频帧生成单元302，用于获得所述显示单元当前显示的图像的至少一部分，生成第二视频的图像帧；

视频合成单元303，用于合成所述第一视频的图像帧和所述第二视频的图像帧，作为第三视频的图像帧，并触发第一视频帧生成单元继续接收由所述至少两个摄像头采集到的图像，并利用所述图像生成第一视频的图像帧，直至所述图像采集单元停止采集图像，从而使得所述第一视频和所述第二视频合成为所述第三视频。

此视频合成装置的工作过程为：第一视频生成单元接收由至少两个所述图像采集单元采集的图像，并利用所述图像生成第一视频的图像帧，第二视频帧生成单元获得显示单元当前显示的图像的全部或一部分，将其生成第二视频的图像帧，视频合成单元将第一视频的图像帧和第二视频的图像帧进行合成，并触发第一视频生成单元继续生成第一视频的图像帧，第二视频单元继续生成第二视频的图像帧，直至图像采集单元停止采集图像，则视频合成单元不再触发上述过程。

本实施例中公开的视频合成装置，采用的视频帧生成单元保证了视频合成以帧为单位进行，而不是在视频全部采集完以后进行，实现了视频合成的实时性。

进一步地，本实施例中公开的第二视频帧生成单元包括：

根据预设的参数，将所述显示单元显示的图像的至少一部分设置为嵌入所述第一视频的图像帧中的格式或与所述第一视频的图像帧格式相同的图像帧的格式设置单元。

即当第一视频帧生成单元生成的第一视频为3D视频且显示单元当前显示的图像的至少一部分为2D时，此格式设置单元可以根据预设的参数，将显示单元当前显示的图像的至少一部分设置为嵌入所述第一视频的图像帧中的格式，此时生成的第二视频的图像帧为依然为2D；

当第一视频帧生成单元生成的第一视频为3D视频且显示单元当前显示的图像的至少一部分也为3D时，此格式设置单元也可以根据预设的参数，将显示单元当前显示的图像的至少一部分设置为所述第一视频的图像帧格式相同的图像帧。

由此看出，所述格式设置单元能够依据不同情况，设置不同格式的图像帧，增加了视频生成装置的灵活性。

进一步地，所述第二视频帧生成单元也可以如图4所示，包括：

计算单元401，用于依据双摄像头测距原理，计算出所述摄像头平面与被采集物体平面间的距离；

图像帧变换单元402，用于根据所述距离及所述两个摄像头的间的距离，利用图像错切技术，将所述显示单元当前显示的图像的至少一部分变换成与所述第一视频的图像帧匹配的第二视频的图像帧。

当第一视频帧生成单元接收到的是由两个处于同一平面的摄像头采集到的图像且显示单元当前显示的图像的至少一部分为2D图像时，计算单元依据双摄像头测距原理，计算出所述摄像头平面与被采集物体平面间的距离；图像帧变换单元根据所述距离及所述两个摄像头的间的距离，利用图像错切技术，将所述显示单元当前显示的图像的至少一部分变换成与所述第一视频的图像帧匹配的第二视频的图像帧。

此时生成的第二视频的图像帧实现与第一视频的图像帧最大化匹配。

除上述视频合成装置以外，本发明还公开了一种电子设备，如图5所示，包括：

图像采集单元501、显示单元502及视频合成单元503；

所述视频合成单元用于接收由至少两个所述图像采集单元采集到的图像，并利用所述图像生成第一视频的图像帧；获得所述显示单元当前显示的图像的至少一部分，生成第二视频的图像帧；合成所述第一视频的图像帧和所述第二视频的图像帧；并返回执行所述接收由所述至少两个摄像头采集到的图像，并利用所述图像生成第一视频的图像帧的步骤，直至所述图像采集单元停止采集图像为止，以完成所述第一视频和所述第二视频的合成。

本实施例中的电子设备具体可以为笔记本电脑、Phone、移动通信终端等，本实施例不做限定。所述电子设备具备在拍摄视频的同时，实时地进行视频合成的功能，使得不需要进行后期制作就可实现视频的合成。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种视频合成方法，应用于电子设备，所述电子设备具有显示单元和至少两个图像采集单元，其特征在于，包括：

依次分别接收由至少两个所述图像采集单元采集到的每一帧图像，并利用所述图像生成第一视频的图像帧；

获得所述显示单元当前显示的图像的至少一部分，生成第二视频的图像帧；所述当前显示的图像包括一帧独立的图像帧或已有视频中的至少两帧图像帧中与第一视频的图像帧相对应的一帧图像帧；

合成所述第一视频的图像帧和所述第二视频的图像帧，作为第三视频的图像帧；

实时重复上述步骤直至所述图像采集单元停止采集图像，从而使得所述第一视频和所述第二视频合成为所述第三视频；

其中，当所述显示图像为独立的一帧图像帧时，则该生成第二视频的过程包括：将图像生成与第一视频帧格式匹配的格式，根据视频与图像间的关系，确定生成的图像作为组成第二视频的图像帧，所述第二视频为由无变化的帧序列在时间轴上排列而形成的视频；

当所述显示图像为已有视频中的一帧图像时，则该生成第二视频的过程包括：将该视频分割为与第一视频的图像帧相对应的第二视频的若干图像帧。

2.根据权利要求1所述的方法，其特征在于，所述第一视频为3D视频。

3.根据权利要求2所述的方法，其特征在于，当所述显示屏显示的图像的至少一部分为2D时，所述生成第二视频的图像帧包括：

根据接收到的预设的参数，将所述显示单元显示的图像的至少一部分设置为嵌入所述第一视频的图像帧中的格式。

4.根据权利要求2所述的方法，其特征在于，当所述显示单元显示的图像的至少一部分为3D图像时，所述生成第二视频的图像帧包括：

根据预设的参数，将所述显示单元显示的图像的至少一部分设置为与所述第一视频的图像帧相同格式的图像帧。

5.根据权利要求1或2所述的方法，其特征在于，所述依次分别接收由至少两个所述图像采集单元采集到每一帧的图像，并利用所述图像生成第一视频的图像帧，包括：

接收由两个摄像头采集到的图像，并利用所述图像生成第一视频的图像帧；所述两个摄像头设置于同一平面。

6.根据权利要求5所述的方法，其特征在于，当所述显示单元当前显示的图像的至少一部分为2D图像时，所述生成第二视频的图像帧包括：

依据双摄像头测距原理，计算出所述摄像头平面与被采集物体平面间的距离；

根据所述距离及所述两个摄像头的间的距离，利用图像错切技术，将所述显示单元显示的图像的至少一部分变换成与所述第一视频的图像帧匹配的第二视频的图像帧。

7.一种视频合成装置，应用于电子设备，所述电子设备具有显示单元和至少两个图像采集单元，其特征在于，包括：

第一视频帧生成单元，用于依次分别接收由至少两个所述图像单元采集到的每一帧图像，并利用所述图像生成第一视频的图像帧；

第二视频帧生成单元，用于获得所述显示单元当前显示的图像的至少一部分，生成第二视频的图像帧；所述当前显示的图像包括一帧独立的图像帧或已有视频中的至少两帧图像帧中与第一视频的图像帧相对应的一帧图像帧；

视频合成单元，用于合成所述第一视频的图像帧和所述第二视频的图像帧，作为第三视频的图像帧，并触发第一视频帧生成单元继续接收由所述至少两个摄像头采集到的图像，并利用所述图像生成第一视频的图像帧，直至所述图像采集单元停止采集图像，从而使得所述第一视频和所述第二视频合成为所述第三视频；

其中，当所述显示图像为独立的一帧图像帧时，则该生成第二视频的过程包括：将图像生成与第一视频帧格式匹配的格式，根据视频与图像间的关系，确定生成的图像作为组成第二视频的图像帧，所述第二视频为由无变化的帧序列在时间轴上排列而形成的视频；

当所述显示图像为已有视频中的一帧图像时，则该生成第二视频的过程包括：将该视频分割为与第一视频的图像帧相对应的第二视频的若干图像帧。

8.根据权利要求7所述的装置，其特征在于，所述第二视频帧生成单元包括：

根据预设的参数，将所述显示单元显示的图像的至少一部分转换为嵌入所述第二视频的图像帧中的格式或与所述第一视频的图像帧格式相同的图像帧的格式设置单元。

9.根据权利要求7所述的装置，其特征在于，所述第二视频帧生成单元包括：

计算单元，用于依据双摄像头测距原理，计算出所述摄像头平面与被采集物体平面间的距离；

图像帧变换单元，用于根据所述距离及所述两个摄像头的间的距离，利用图像错切技术，将所述显示单元当前显示的图像的至少一部分变换成与所述第一视频的图像帧匹配的第二视频的图像帧。

10.一种电子设备，其特征在于，包括：

图像采集单元、显示单元；

视频合成单元，用于依次分别接收由至少两个所述图像采集单元采集到的每一帧图像，并利用所述图像生成第一视频的图像帧；获得所述显示单元当前显示的图像的至少一部分，生成第二视频的图像帧，所述当前显示的图像包括一帧独立的图像帧或已有视频中的至少两帧图像帧中与第一视频的图像帧相对应的一帧图像帧；合成所述第一视频的图像帧和所述第二视频的图像帧；并返回执行所述接收由所述至少两个摄像头采集到的图像，并利用所述图像生成第一视频的图像帧的步骤，直至所述图像采集单元停止采集图像为止，以完成所述第一视频和所述第二视频的合成；

其中，当所述显示图像为独立的一帧图像帧时，则该生成第二视频的过程包括：将图像生成与第一视频帧格式匹配的格式，根据视频与图像间的关系，确定生成的图像作为组成第二视频的图像帧，所述第二视频为由无变化的帧序列在时间轴上排列而形成的视频；

当所述显示图像为已有视频中的一帧图像时，则该生成第二视频的过程包括：将该视频分割为与第一视频的图像帧相对应的第二视频的若干图像帧。