CN112188228A - 直播方法及装置、计算机可读存储介质和电子设备 - Google Patents

Abstract

本公开提供了一种直播方法及装置、计算机可读存储介质和电子设备，涉及网络直播技术领域。该直播方法包括：采用第一进程获取虚拟场景信息；采用第一进程获取由第二进程确定出的真实场景信息，并从真实场景信息中提取主播人像信息；采用第一进程将虚拟场景信息与主播人像信息融合，以生成直播数据。本公开实现了使用双进程的方法实时将主播人像与虚拟场景进行融合的直播方式，增加直播场景的多样性，使主播能够在不改变真实直播场景的情况下，实现在多种不同虚拟场景中的直播。

Description

直播方法及装置、计算机可读存储介质和电子设备

技术领域

本公开涉及网络直播技术领域，具体而言，涉及一种直播方法及装置、计算机可读存储介质和电子设备。

背景技术

随着人们生活水平的不断提高，日常生活中观看直播的人也越来越多。

目前直播方式主要包括在真实场景下进行直播和在虚拟场景下进行直播两种。在真实场景下进行直播，由于主播可利用的直播场景有限，或者长时间在同样的直播场景下进行直播，直播场景单一，容易出现用户流失的情况。在虚拟场景下的直播可以根据直播内容变换直播场景，增加了直播场景的多样性，进而提高了用户留存率。例如，当主播直播内容比较文艺的时候，可以选择将直播背景设置为虚拟图书馆；当主播直播内容比较喧闹时，可以选择将直播背景设置为虚拟酒吧等。

现有的使用虚拟场景进行直播的技术，往往需要提前设计和开发虚拟场景，使用虚拟角色进行直播。然而，这种在虚拟场景中使用虚拟角色进行直播的方法，开发成本较高，虚拟对象与用户的互动太少，直播效果不好，用户留存率低。

发明内容

本公开的目的在于提供一种直播方法、直播装置、计算机可读存储介质和电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致在虚拟场景中直播成本较高，直播效果不好，用户留存率低的问题。

根据本公开的第一方面，提供了一种直播方法，包括：采用第一进程获取虚拟场景信息；采用第一进程获取由第二进程确定出的真实场景信息，并从真实场景信息中提取主播人像信息；采用第一进程将虚拟场景信息与主播人像信息融合，以生成直播数据。

可选的，采用第一进程获取虚拟场景信息还包括：获取预选的场景对象；根据场景对象确定出虚拟场景信息，以便第一进程获取。

在本公开的一种示例性实施例中，当场景对象为主播预选的图片时，根据场景对象确定出虚拟场景信息包括：根据主播预选的图片确定虚拟场景元素；根据虚拟场景元素确定虚拟场景信息。

可选的，采用第一进程获取由第二进程确定出的真实场景信息包括：采用第二进程获取由真实场景采集设备实时采集的真实场景信息。

可选的，从真实场景信息中提取主播人像信息包括：从真实场景信息中检测出主播人像；将主播人像与真实场景中的背景进行分离，得到主播人像信息。

可选的，从真实场景信息中检测出主播人像包括：如果检测出真实场景信息中包括多个人像，则将多个人像分别与预存的主播人像进行相似度计算；提取相似度最高的人像作为主播人像信息。

可选的，采用第一进程将虚拟场景信息与主播人像信息融合包括：确定虚拟场景信息中各虚拟对象在虚拟场景中的位置；根据各虚拟对象的位置确定出主播人像在虚拟场景中的目标区域；将主播人像配置在目标区域。

可选的，将主播人像配置在目标区域包括：根据目标区域大小，调整主播人像的大小，得到调整后的主播人像；将调整后的主播人像配置在目标区域，得到直播画面。

可选的，采用第一进程将虚拟场景信息与主播人像信息融合，以生成直播数据，包括：采用第一进程将虚拟场景信息与主播人像信息融合，得到直播画面；确定与直播画面对应的直播音频；利用直播画面和所述直播音频，生成直播数据。

可选的，确定与所述直播画面对应的直播音频包括：采用第一进程获取虚拟场景中的场景音频；采用第二进程获取真实场景中的主播音频；采用第一进程将虚拟场景中的场景音频发送到第二进程；采用第二进程将真实场景中的主播音频与虚拟场景中的场景音频混合，得到与直播画面对应的直播音频。

根据本公开的另一个方面，提供一种直播装置，包括信息获取模块、信息提取模块和信息融合模块。

具体的，信息获取模块可以用于采用第一进程获取虚拟场景信息；信息提取模块可以用于采用第一进程获取由第二进程确定出的真实场景信息，并从真实场景信息中提取主播人像信息；信息融合模块可以用于采用第一进程将虚拟场景信息与主播人像信息融合，以生成直播数据。

可选的，信息获取模块可以被配置为执行：获取预选的场景对象；根据场景对象确定出虚拟场景信息，以便第一进程获取。

可选的，信息获取模块还可以被配置为执行：根据主播预选的图片确定虚拟场景元素；根据虚拟场景元素确定虚拟场景信息。

可选的，信息提取模块可以被配置为执行：采用第二进程获取由真实场景采集设备实时采集的真实场景信息。

可选的，信息提取模块还可以被配置为执行：从真实场景信息中检测出主播人像；将主播人像与真实场景中的背景进行分离，得到主播人像信息。

可选的，信息提取模块还可以被配置为执行：如果检测出真实场景信息中包括多个人像，则将多个人像分别与预存的主播人像进行相似度计算；提取相似度最高的人像作为主播人像信息。

可选的，信息融合模块可以被配置为执行：确定虚拟场景信息中各虚拟对象在虚拟场景中的位置；根据各虚拟对象的位置确定出主播人像在虚拟场景中的目标区域；将主播人像配置在目标区域。

可选的，信息融合模块还可以被配置为执行：根据目标区域大小，调整主播人像的大小，得到调整后的主播人像；将调整后的主播人像配置在目标区域，得到直播画面。

可选的，信息融合模块还可以被配置为执行：采用第一进程将虚拟场景信息与主播人像信息融合，得到直播画面；确定与直播画面对应的直播音频；利用直播画面和所述直播音频，生成直播数据。

可选的，信息融合模块还可以被配置为执行：采用第一进程获取虚拟场景中的场景音频；采用第二进程获取真实场景中的主播音频；采用第一进程将虚拟场景中的场景音频发送到第二进程；采用第二进程将真实场景中的主播音频与虚拟场景中的场景音频混合，得到与直播画面对应的直播音频。

根据本公开的另一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任意的直播方法。

根据本公开的再一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述任意的直播方法。

在本公开的一些实施例所提供的技术方案中，如果接收到了主播需要打开虚拟场景的指令，则根据主播预选的场景对象，采用第一进程加载指定的虚拟场景；同时采用第二进程采集真实直播场景中的信息，并将真实场景信息发送到第一进程，采用第一进程从真实场景中提取出主播人像信息；当真实场景中存在多个人像时也可以准确提取出正确的主播人像，当虚拟场景内容较为丰富时，可以在虚拟场景中选择出适合融合主播人像的最佳位置，然后调整主播人像大小，采用第一进程将虚拟场景与主播人像进行融合。本公开提出的直播方法，相比于现有的直播技术，一方面，使用双进程的方法，实现了直播业务与场景融合业务解耦，各自分工，可并行开发；另一方面，将主播人像从真实背景中提取出来，实现了人像和背景的分离，可以使用真实主播人像替换虚拟角色，解决只能在虚拟场景中使用虚拟角色进行直播的问题，增加了直播的多样性，提高了直播效果；再一方面，将主播人像和虚拟场景进行融合，既解决了在真实场景下直播场景单一的问题，也解决了使用虚拟角色在虚拟场景中直播效果不好的问题，提高了用户留存率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示意性示出了根据本公开的示例性实施方式的直播方法的流程图；

图2示意性示出了根据本公开的示例性实施方式的根据场景对象确定场景信息的流程图；

图3示意性示出了根据本公开的示例性实施方式的从真实场景的多个人像中提取主播人像流程示意图；

图4示意性示出了根据本公开的示例性实施方式的融合主播人像、虚拟场景和音频信息的流程图；

图5示意性示出了根据本公开的示例性实施方式的直播方法的效果图；

图6示意性示出了根据本公开的示例性实施方式的使用双进程实现直播方法的流程图；

图7示意性示出了根据本公开的示例性实施方式的直播装置的框图；

图8示意性示出了根据本公开的示例性实施方式的电子设备的方框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

随着人们生活水平的不断提高，观看直播的人也越来越多，直播方式也在不断发展。

直播方式由以前的主播只能在真实场景中进行直播，发展到目前的可以根据直播内容和直播需求，由主播选择是在真实场景中进行直播或者在虚拟场景中进行直播。

在真实场景下进行直播，由于主播可利用的直播场景有限，或者长时间在同样的直播场景下进行直播，直播场景单一，容易出现用户流失的情况。在虚拟场景下的直播可以根据直播内容变换直播场景，增加了直播场景的多样性，进而提高了用户留存率。

然而，相关的在虚拟场景下的直播技术，存在主播人像提取不完整、虚拟场景与主播人像融合效果差等问题。例如，当真实场景中存在多个人像的时候，无法准确提取出主播人像；当虚拟场景中的内容比较丰富的时候，无法确定虚拟场景中可以融合主播人像的最佳位置。鉴于此，需要一种新的直播方法。

本公开的示例性实施方式的对象检测方法的各个步骤通常可以由服务器执行，在这种情况下，下面所述的对象检测装置可以配置于服务器内。其中，该服务器可以包括专用芯片或配备独立GPU(Graphics Processing Unit，图形处理器)。然而，也可以利用终端设备来实现本公开的方案，其中，终端设备可以包括但不限于手机、平板、个人计算机等。

图1示意性示出了本公开的示例性实施方式的直播方法的流程图。参考图1，所述直播方法可以包括以下步骤：

S12.采用第一进程获取虚拟场景信息。

在本公开的示例性实施方式中，第一进程可以为场景进程。虚拟场景信息可以包含虚拟场景，可选的实施方式中，虚拟场景信息可以包含虚拟场景和虚拟对象，可选的实施方式中，虚拟场景信息可以包含虚拟场景和和场景音频，可选的实施方式中，虚拟场景信息可以包含虚拟场景、虚拟对象和场景音频；具体的，虚拟场景可以为高楼大厦、海浪沙滩，黄河岸边等场景背景；虚拟对象可以为爱心气球、飞机火箭、宇宙飞船等场景装饰；场景音频可以为虚拟场景中自带的音效、背景音乐。在本公开的示例性实施方式中，采用第一进程加载虚拟场景之前，需要根据预选的场景对象来确定场景参数。根据预选的场景对象加载指定的虚拟场景，加载虚拟场景所用的程序可以通过现有的渲染引擎进行开发；指定的虚拟场景可以为提前设计好的多个虚拟场景中的一个；预选的场景对象可以为主播预选的，也可以为观众预选的(如通过弹幕输入最多的数字或文字确定的场景对象)，也可以是***预选的(如通过***转盘随机确定的场景对象)；该场景对象可以为在渲染引擎中设定的参数，也可以为主播选择的图片等，每组设定的参数或每张预选的图片对应一个虚拟场景。需要说明的是，本公开中的虚拟场景可以为二维虚拟场景，也可以为三维虚拟场景。

具体的，参考图2，当预选的场景对象21为图片时，可以使用机器学习模型，对图片进行识别，得到场景参数23，其中，该机器学习模型可以是卷积神经网络模型，本公开对该模型的类型和参数不做特殊限制；该场景参数23包含图片中内容的风格、地点、色系等元素25；根据这组元素25确定与之对应的虚拟场景27。

S14.采用所述第一进程获取由第二进程确定出的真实场景信息，并从所述真实场景信息中提取主播人像信息；

在本公开的示例性实施方式中，第二进程负责实时采集真实场景中的视频和/或音频信息，通过共享内存的方式将视频信息和/或音频信息发送到第一进程，第二进程与第一进程所执行的动作是不同的。在本公开中第二进程可以为直播进程。真实场景信息包括：主播人像信息，主播音频信息。需要说明的是，通过第二进程可以采集这两种信息中的一种或多种，具体采集几种信息根据主播直播需求确定。其中，真实场景信息采集设备为可以进行视频和音频采集的设备，包括但不限于摄像头、麦克风等。主播人像信息为主播出现在真实场景中的身体。例如，摄像头只拍到了直播的脸部，那么此时主播人像信息即为主播脸部信息；摄像头拍到了主播的脸部和手臂，那么此时主播人像信息即为主播的脸部和手臂；主播音频信息为主播在真实场景直播过程中的声音，包括麦克风采集的声音、播放的背景音乐等。

在可选的实施方式中，第一进程和第二进程隶属于同一直播客户端(直播客户端软件/直播客户端应用)，进一步的，第一进程和第二进程在同一电子设备中运行，该电子设备中运行该直播客户端，该电子设备为主播用户用于进行直播的设备，比如，手机、个人电脑等设备。

在本公开的示例性实施方式中，采用第一进程获取由第二进程确定出的真实场景信息，从真实场景中的信息中检测出主播人像，将主播人像与真实场景中的背景进行分离，得到主播人像信息。具体的，检测方法可以使用图像识别的方法。

在本实施例中，真实场景的视频画面中可能只有直播一个人，也可能画面中存在多个人。在画面中只有主播一个人的情况下，可以通过图像识别的方法，检测出主播人像所在区域，然后将主播人像所在区域与背景进行分离，即可得到主播人像信息。当画面中有多个人时，还需要将主播人像从多个人像中进行分离。

图3示意性示出了本公开中从真实场景的多个人像中提取主播人像流程示意图。参考图3，当从真实场景31中检测到多个人像33时，先将多个人像33从背景中分离出来，将分离出来的多个人像33分别与预存的主播人像进行相似度计算，提取相似度最高的人像作为主播人像信息35。其中，相似度计算方法为：使用机器学习的方法，提前对主播的人像通过神经网络进行训练，然后将检测到的人像，分别输入训练好的神经网络中进行图像识别，之后会输出一个该图像是主播人像的相似度；当输入的图像为主播人像时，通过神经网络计算得到的相似度会远高于输入图像不是主播人像时的相似度，相似度最高的人像即为主播人像。

S16.采用所述第一进程将所述虚拟场景信息与所述主播人像信息融合，以生成直播数据。

在本公开的示例性实施方式中，直播数据指的是将虚拟场景与主播人像和/或音频信息融合后得到的数据。

图4示意性示出了根据本公开的示例性实施方式的融合主播人像、虚拟场景和音频信息的流程图。参考图4，通过第一进程将主播人像401与虚拟场景403进行融合，得到直播画面，优选的，直播画面可以通过共享纹理的方式发送到第二进程；可选的，可以将音频信息405也融合到直播画面中，生成直播数据411；具体的，采用第一进程获取场景音频407，以共享内存的方式发送到第二进程；采用第二进程通过麦克风获取主播音频409，将场景音频407与主播音频409在第二进程中进行混音后生成直播音频；最后在第二进程中将直播画面与直播音频进行融合，生成直播数据411。可选的，生成直播数据411之后，直播客户端将直播数据411发送到直播服务器，以使得直播服务器将直播数据411提供给直播观众客户端。

需要说明的是，上述实施例中的方法只是可选的一个方案。本公开中进行主播人像和虚拟场景融合的过程可以在第一进程中实现，也可在第二进程中实现；本公开中生成直播音频的过程可以在生成直播画面这一过程之前、之后或者同时实现；进程间数据传输方式多种多样，使用其他方式进行进程间的数据传输，来达到本公开所实现结果的方法，也应当属于本公开中发明内容的范畴。

在本公开的示例性实施方式中，在将虚拟场景与主播人像和/或音频信息融合之前，首先确定虚拟场景信息中各虚拟对象的位置，然后根据各虚拟对象的位置确定出主播人像在虚拟场景中的目标区域，最后将主播人像配置在目标区域。具体的，通过机器学习中目标检测的方法，检测到虚拟场景中存在哪些虚拟对象，以及各虚拟对象在虚拟场景中的位置，判断最适合放置主播人像的位置，将主播人像配置到该位置。比如，虚拟场景中有一片大海，海上有一艘小船，当检测到虚拟场景中的大海和小船后，判断小船上更适合放置主播人像，即将主播人像配置在小船所在位置。

在本公开的另一个实施例中，当提取到的主播人像大小与虚拟场景中待配置主播人像的目标区域大小不相符时，根据目标区域大小，调整主播人像的大小，得到调整后的主播人像；将调整后的主播人像配置在目标区域，即将主播人像渲染至指定面片，得到直播画面。

在本公开的另一个实施例中，可以通过渲染引擎将主播人像渲染在一个定制的面片中，在该面片上根据主播人像特点配置特定的材质参数，以达到最佳的融合效果。可选的，可以通过渲染引擎自动在直播画面上叠加光照等效果，进一步提高人物与场景的融合效果。

在本公开的另一个实施例中，生成的虚拟直播画面可以提前预览。主播可以根据虚拟直播的效果选择合适的虚拟场景进行直播。例如，在主播选择一个虚拟场景之前，可以先在直播端观看一下在该虚拟场景下的直播效果，此时用户无法看到主播在该虚拟场景下的画面。当主播确定在该场景下进行直播之后，将在虚拟场景下的画面作为直播画面。

在本公开的另一个实施例中，当用户给主播赠送虚拟礼物时，根据虚拟礼物类型在直播画面中添加相应虚拟对象，也可以根据主播的直播习惯，在直播画面中添加虚拟对象。例如，当用户给主播赠送气球时，可以在直播画面中生成具有爱心形状的气球特效。

图5示意性示出了本公开中直播方法的效果图。当主播在一些节日进行直播时，可以使用本公开中的方法在具有节日气氛的虚拟场景下进行直播。参考图5，当主播在情人节进行直播时，可以选择在由粉红色气球组成很多个桃心的背景下进行直播，可以增加节日气氛，提高直播效果，更加吸引用户。当有用户给主播赠送礼物时，也可以根据礼物类型在粉红色桃心的背景上触发不同的场景对象，如橙色闪光气球，红色玫瑰花等。

下面将参考图6对本公开的直播方法进行进一步的说明。

图6示意性示出了使用双进程实现直播方法的流程图。在步骤S601中，采用第一进程加载指定的虚拟场景。在本公开的实施例中，第一进程可以为场景进程，是一个基于渲染引擎底层搭建起来的场景加载程序，可根据指令加载运行不同的场景资源。在步骤S603中，采用第二进程监听真实场景数据。在本公开的实施例中，第二进程可以为直播进程，直播进程在收到直播指令时，启动一个场景进程，场景进程根据特定参数加载特定场景。在步骤S605中，第二进程通过共享内存的方法将真实场景中的视频数据发送到第一进程中，采用第一进程通过步骤S607从视频数据中将主播人像与背景分离，得到主播人像。在步骤S609中，将主播人像与虚拟场景融合，得到直播画面；在融合过程中，需要提前在虚拟场景中找到最适合配置主播人像的位置，并根据该位置的区域大小，调整主播人像大小，将调整好的主播人像配置在该最佳位置。在步骤S611中，第一进程通过共享纹理的方式将直播画面发送到第二进程。在步骤S613和步骤S615中，分别采用第一进程和第二进程获取虚拟场景中的场景音频和真实场景中的主播音频，然后第一进程通过步骤S617，以共享内存的方式将场景音频发送到第二进程。在步骤S619中，采用第二进程将场景音频与主播音频进行混合，得到直播音频。在步骤S621中，采用第二进程将直播画面与直播音频进行融合，得到直播数据。

应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

进一步的，本示例实施方式中还提供了一种直播装置。

图7示意性示出了本公开的示例性实施方式的直播装置的方框图。参考图7，根据本公开的示例性实施方式直播装置7可以包括：信息获取模块71、信息提取模块73、信息融合模块75。

具体的，信息获取模块71可以用于采用第一进程获取虚拟场景信息；信息提取模块73可以用于采用所述第一进程获取由第二进程确定出的真实场景信息，并从所述真实场景信息中提取主播人像信息；信息融合模块75可以用于采用所述第一进程将所述虚拟场景信息与所述主播人像信息融合，以生成直播数据。

在本公开的一种示例性实施例中，信息获取模块可以被配置为执行：获取预选的场景对象；根据所述场景对象确定出所述虚拟场景信息，以便所述第一进程获取。

在本公开的一种示例性实施例中，信息获取模块还可以被配置为执行：根据所述主播预选的图片确定虚拟场景元素；根据所述虚拟场景元素确定所述虚拟场景信息。

在本公开的一种示例性实施例中，信息提取模块可以被配置为执行：采用所述第二进程获取由真实场景采集设备实时采集的所述真实场景信息。

在本公开的一种示例性实施例中，信息提取模块还可以被配置为执行：从所述真实场景信息中检测出所述主播人像；将所述主播人像与所述真实场景中的背景进行分离，得到所述主播人像信息。

在本公开的一种示例性实施例中，信息提取模块还可以被配置为执行：如果检测出所述真实场景信息中包括多个人像，则将所述多个人像分别与预存的主播人像进行相似度计算；提取相似度最高的人像作为所述主播人像信息。

在本公开的一种示例性实施例中，信息融合模块可以被配置为执行：确定虚拟场景信息中各虚拟对象的位置；根据各所述虚拟对象的位置确定出所述主播人像在所述虚拟场景中的目标区域；将所述主播人像配置在所述目标区域。

在本公开的一种示例性实施例中，信息融合模块还可以被配置为执行：根据所述目标区域大小，调整所述主播人像的大小，得到调整后的主播人像；将所述调整后的主播人像配置在所述目标区域，得到直播画面。

在本公开的一种示例性实施例中，信息融合模块还可以被配置为执行：采用所述第一进程获取音频信息，其中，所述音频信息包括主播音频信息和直播背景音频信息；将所述主播音频信息和所述直播背景音频信息的音量进行调整，与直播画面融合，生成直播数据。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。

根据本发明的实施方式的用于实现上述方法的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光盘、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为***、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“***”。

下面参照图8来描述根据本发明的这种实施方式的电子设备800。图8显示的电子设备800仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图8所示，电子设备800以通用计算设备的形式表现。电子设备800的组件可以包括但不限于：上述至少一个处理单元810、上述至少一个存储单元820、连接不同***组件(包括存储单元820和处理单元810)的总线830、显示单元840。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元810执行，使得所述处理单元810执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元810可以执行如图6中所示的步骤S611：

存储单元820可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)8201和/或高速缓存存储单元8202，还可以进一步包括只读存储单元(ROM)8203。

存储单元820还可以包括具有一组(至少一个)程序模块8205的程序/实用工具8204，这样的程序模块8205包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线830可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、***总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备800也可以与一个或多个外部设备900(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备800交互的设备通信，和/或与使得该电子设备800能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口850进行。并且，电子设备800还可以通过网络适配器860与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器860通过总线830与电子设备800的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备800使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (13)

1.一种直播方法，其特征在于，包括：

采用第一进程获取虚拟场景信息；

采用所述第一进程获取由第二进程确定出的真实场景信息，并从所述真实场景信息中提取主播人像信息；

采用所述第一进程将所述虚拟场景信息与所述主播人像信息融合，以生成直播数据。

2.根据权利要求1所述的直播方法，其特征在于，所述直播方法还包括：

获取预选的场景对象；

根据所述场景对象确定出所述虚拟场景信息，以便所述第一进程获取。

3.根据权利要求2所述的直播方法，其特征在于，所述场景对象为主播预选的图片，其中，根据所述场景对象确定出所述虚拟场景信息包括：

根据所述主播预选的图片确定虚拟场景元素；

根据所述虚拟场景元素确定所述虚拟场景信息。

4.根据权利要求1所述的直播方法，其特征在于，所述直播方法包括：

采用所述第二进程获取由真实场景采集设备实时采集的所述真实场景信息。

5.根据权利要求1所述的直播方法，其特征在于，从所述真实场景信息中提取主播人像信息包括：

从所述真实场景信息中检测出所述主播人像；

将所述主播人像与所述真实场景中的背景进行分离，得到所述主播人像信息。

6.根据权利要求5所述的直播方法，其特征在于，从所述真实场景信息中检测出所述主播人像包括：

如果检测出所述真实场景信息中包括多个人像，则将所述多个人像分别与预存的主播人像进行相似度计算；

提取相似度最高的人像作为所述主播人像信息。

7.根据权利要求1所述的直播方法，其特征在于，采用所述第一进程将所述虚拟场景信息与所述主播人像信息融合包括：

确定虚拟场景信息中各虚拟对象在虚拟场景中的位置；

根据各所述虚拟对象的位置确定出所述主播人像在所述虚拟场景中的目标区域；

将所述主播人像配置在所述目标区域。

8.根据权利要求7所述的直播方法，其特征在于，将所述主播人像配置在所述目标区域包括：

根据所述目标区域大小，调整所述主播人像的大小，得到调整后的主播人像；

将所述调整后的主播人像配置在所述目标区域，得到直播画面。

9.根据权利要求1至8中任一项所述的直播方法，其特征在于，采用所述第一进程将所述虚拟场景信息与所述主播人像信息融合，以生成直播数据，包括：

采用所述第一进程将所述虚拟场景信息与所述主播人像信息融合，得到直播画面；

确定与所述直播画面对应的直播音频；

利用所述直播画面和所述直播音频，生成直播数据。

10.根据权利要求9所述的直播方法，其特征在于，确定与所述直播画面对应的直播音频包括：

采用所述第一进程获取虚拟场景中的场景音频；

采用所述第二进程获取真实场景中的主播音频；

采用所述第一进程将所述虚拟场景中的场景音频发送到所述第二进程；

采用所述第二进程将所述真实场景中的主播音频与所述虚拟场景中的场景音频混合，得到与所述直播画面对应的直播音频。

11.一种直播装置，其特征在于，包括:

信息获取模块，采用第一进程获取虚拟场景信息；

信息提取模块，用于采用所述第一进程获取由第二进程确定出的真实场景信息，并从所述真实场景信息中提取主播人像信息；

信息融合模块，用于采用所述第一进程将所述虚拟场景信息与所述主播人像信息融合，以生成直播数据。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-10任一项所述的直播方法。

13.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-10任一项所述的直播方法。

Images