CN110119700B - 虚拟形象控制方法、虚拟形象控制装置和电子设备 - Google Patents

Abstract

本申请提供的虚拟形象控制方法、虚拟形象控制装置和电子设备，涉及直播技术领域。其中，虚拟形象控制方法包括：对拍摄主播得到的视频流进行分析生成动作控制指令；判断是否获得基于主播生成的虚拟机位控制指令；若获得虚拟机位控制指令，则根据虚拟机位控制指令和动作控制指令对虚拟形象进行控制。通过上述方法，以提升虚拟形象展示的趣味性。

Description

虚拟形象控制方法、虚拟形象控制装置和电子设备

技术领域

本申请涉及直播技术领域，具体而言，涉及一种虚拟形象控制方法、虚拟形象控制装置和电子设备。

背景技术

现有技术中，为了提高直播的趣味性，可以采用虚拟形象替代主播的实际形象在直播画面中进行展示。但是，在现有的直播技术中对虚拟形象的控制精度一般较低，从而导致虚拟形象的展示存在趣味性不足的问题。

发明内容

有鉴于此，本申请的目的在于提供一种虚拟形象控制方法、虚拟形象控制装置和电子设备，以提升虚拟形象展示的趣味性。

为实现上述目的，本申请实施例采用如下技术方案：

一种虚拟形象控制方法，应用于直播设备，用于对直播画面中展示的虚拟形象进行控制，所述方法包括：

对拍摄主播得到的视频流进行分析生成动作控制指令；

判断是否获得基于所述主播生成的虚拟机位控制指令；

若获得所述虚拟机位控制指令，则根据所述虚拟机位控制指令和所述动作控制指令对所述虚拟形象进行控制。

在本申请实施例较佳的选择中，在上述虚拟形象控制方法中，所述根据所述虚拟机位控制指令和所述动作控制指令对所述虚拟形象进行控制的步骤，包括：

根据所述动作控制指令对所述虚拟形象在所述直播画面中的展示姿态进行控制；

根据所述虚拟机位控制指令对所述虚拟形象在所述直播画面中的展示大小和/或展示角度进行控制。

在本申请实施例较佳的选择中，在上述虚拟形象控制方法中，所述虚拟机位控制指令中包括角度信息，所述根据所述虚拟机位控制指令对所述虚拟形象在所述直播画面中的展示大小和/或展示角度进行控制的步骤，包括：

根据所述角度信息确定所述虚拟形象在所述直播画面中的展示角度，并获取所述虚拟形象在该展示角度下基于所述动作控制指令和预先构建的三维图像数据生成的新的三维图像数据。

在本申请实施例较佳的选择中，在上述虚拟形象控制方法中，所述虚拟机位控制指令中包括比例信息，所述根据所述虚拟机位控制指令对所述虚拟形象在所述直播画面中的展示大小和/或展示角度进行控制的步骤，包括：

根据所述比例信息和所述虚拟形象的初始大小确定在所述直播画面中展示的虚拟形象的大小。

在本申请实施例较佳的选择中，在上述虚拟形象控制方法中，所述判断是否获得基于所述主播生成的虚拟机位控制指令的步骤，包括：

判断是否获得基于所述主播的操作生成的虚拟机位控制指令。

在本申请实施例较佳的选择中，在上述虚拟形象控制方法中，述判断是否获得基于所述主播的操作生成的虚拟机位控制指令的步骤，包括：

在接收到基于所述主播的操作生成的语音信息时，判断该语音信息中是否具有预设信息，并在具有该预设信息时，判定获取基于所述主播的操作生成的虚拟机位控制指令。

在本申请实施例较佳的选择中，在上述虚拟形象控制方法中，所述预设信息包括关键词信息和/或旋律特征信息。

在本申请实施例较佳的选择中，在上述虚拟形象控制方法中，所述判断是否获得基于所述主播生成的虚拟机位控制指令的步骤，包括：

基于对拍摄主播得到的视频帧进行分析得到的结果，判断是否获得基于所述主播生成的虚拟机位控制指令。

在本申请实施例较佳的选择中，在上述虚拟形象控制方法中，所述基于对拍摄主播得到的视频帧进行分析得到的结果，所述判断是否获得基于所述主播生成的虚拟机位控制指令的步骤，包括：

基于对拍摄主播得到的视频帧进行信息提取得到的图像信息，判断该图像信息中是否具有预设信息，并在具有该预设信息时，判定获得基于所述主播生成的虚拟机位控制指令。

在本申请实施例较佳的选择中，在上述虚拟形象控制方法中，所述预设信息包括动作信息、深度信息、标识物件信息和/或标识颜色信息。

在本申请实施例较佳的选择中，在上述虚拟形象控制方法中，所述判断是否获得基于所述主播生成的虚拟机位控制指令的步骤，包括：

基于预设条件判断是否获得基于所述主播生成的虚拟机位控制指令，其中，所述预设条件基于主播的历史直播数据确定。

在本申请实施例较佳的选择中，在上述虚拟形象控制方法中，所述对拍摄主播得到的视频流进行分析生成动作控制指令的步骤，包括：

对拍摄主播得到的视频流中的每一视频帧进行图像分析，并根据每一视频帧的图像分析结果生成动作控制指令；或

每隔预设周期提取拍摄主播得到的视频流中的当前视频帧，对该当前视频帧进行图像分析，并根据对该当前视频帧的图像分析结果生成动作控制指令。

本申请实施例还提供了一种虚拟形象控制装置，应用于直播设备，用于对直播画面中展示的虚拟形象进行控制，所述装置包括：

控制指令生成模块，用于对拍摄主播得到的视频流进行分析生成动作控制指令；

控制指令判断模块，用于判断是否获得基于所述主播生成的虚拟机位控制指令；

虚拟形象控制模块，用于在获得所述虚拟机位控制指令时，根据所述虚拟机位控制指令和所述动作控制指令对所述虚拟形象进行控制。

在上述基础上，本申请实施例还提供了一种电子设备，包括存储器、处理器和存储于该存储器并能够在该处理器上运行的计算机程序，该计算机程序在该处理器上运行时实现上述的虚拟形象控制方法。

在上述基础上，本申请实施例还提供了一种计算机可读存储介质，该程序被执行时实现上述的虚拟形象控制方法。

本申请提供的虚拟形象控制方法、虚拟形象控制装置和电子设备，在基于拍摄主播得到的视频流对虚拟形象进行控制的基础上，若还获得基于主播生成的虚拟机位控制指令，还可以结合该虚拟机位控制指令一起对虚拟形象进行控制，以展示不同机位下的虚拟形象，从而营造出舞台表演的效果，进而提高虚拟形象展示的趣味性，提升虚拟形象直播过程中的用户体验。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

图1为本申请实施例提供的电子设备的方框示意图。

图2为本申请实施例提供的虚拟形象控制方法的流程示意图。

图3为本申请实施例提供的直播***的***框图。

图4为本申请实施例提供的基于比例信息对虚拟形象进行控制的效果示意图。

图5为本申请实施例提供的基于比例信息对虚拟形象进行控制的另一效果示意图。

图6为本申请实施例提供的基于角度信息对虚拟形象进行控制的效果示意图。

图7为本申请实施例提供的虚拟形象控制装置包括的功能模块的方框示意图。

图标：10-电子设备；12-存储器；14-处理器；100-虚拟形象控制装置；110-控制指令生成模块；130-控制指令判断模块；150-虚拟形象控制模块。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本申请的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为只是或暗示相对重要性。

如图1所示，本申请实施例提供了一种电子设备10。其中，该电子设备10可以作为一种直播设备，例如，可以是与主播在直播时使用的终端设备通信连接的后台服务器。

详细地，所述电子设备10可以包括存储器12、处理器14和虚拟形象控制装置100。所述存储器12和处理器14之间直接或间接地电性连接，以实现数据的传输或交互。例如，相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述虚拟形象控制装置100包括至少一个可以软件或固件(firmware)的形式存储于所述存储器12中的软件功能模块。所述处理器14用于执行所述存储器12中存储的可执行的计算机程序，例如，所述虚拟形象控制装置100所包括的软件功能模块及计算机程序等，以对直播画面中的虚拟形象进行较高精度的控制。

其中，所述存储器12可以是，但不限于，随机存取存储器(RandomAccess Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。

所述处理器14可能是一种集成电路芯片，具有信号的处理能力。上述的处理器14可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)、片上***(System on Chip,SoC)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可以理解，图1所示的结构仅为示意，所述电子设备10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置，例如，还可以包括用于与其它直播设备(如主播使用的终端设备、观众使用的终端设备等)进行信息交互的通信单元。

结合图2，本申请实施例还提供一种可应用于上述电子设备10的虚拟形象控制方法。其中，所述虚拟形象控制方法有关的流程所定义的方法步骤可以由所述电子设备10实现。下面将对图2所示的具体流程进行详细阐述。

步骤S110，对拍摄主播得到的视频流进行分析生成动作控制指令。

在本实施例中，首先可以获取拍摄主播得到的视频流，然后，可以对该视频流进行分析处理(如图像分析)，并基于分析结果生成动作控制指令。

步骤S130，判断是否获得基于所述主播生成的虚拟机位控制指令。

在本实施例中，通过步骤S110生成动作控制指令之后，还可以判断是否获得基于所述主播生成的虚拟机位控制指令。并且，在判断出获得所述虚拟机位控制指令时，可以执行步骤S150。

步骤S150，根据所述虚拟机位控制指令和所述动作控制指令对所述虚拟形象进行控制。

在本实施例中，通过步骤S130判断出获得所述虚拟机位控制指令时，可以基于所述虚拟机位控制指令和所述动作控制指令对所述虚拟形象进行控制。也就是说，可以在基于所述动作控制指令对所述虚拟形象进行控制的基础上，结合所述虚拟机位控制指令，一起对所述虚拟形象进行控制，从而提高控制的精度。

并且，由于采用的是虚拟机位控制指令，还可以使得虚拟形象的展示呈现出不同机位下的状态，从而在直播间营造出舞台表演的效果，使得直播的呈现感受性更强，进而提高虚拟形象展示的趣味性，提升用户体验。

可选地，执行步骤S110时分析的视频流的获取方式不受限制。

例如，在一种可以替代的示例中，结合图3，所述电子设备10可以为后台服务器，该后台服务器通信连接有第一终端，且该第一终端还通信连接有图像采集设备(如摄像头)。所述第一终端为主播在直播时使用的终端设备(如手机、平板电脑、电脑等)，所述图像采集设备用于在主播直播时对主播进行图像采集，得到视频流并将该视频流通过所述第一终端发送至所述后台服务器。

需要说明的是，上述的图像采集设备既可以是作为单独的一个器件，也可以是与所述第一终端集成于一体，例如，所述图像采集设备可以是手机、平板电脑、电脑等终端设备携带的摄像头。

并且，执行步骤S110对视频流进行分析的方式也不受限制。例如，在一种可以替代的示例中，可以随机的在所述视频流中进行视频帧的提取，并基于提取的视频帧生成对应的动作控制指令。

又例如，在另一种可以替代的示例中，步骤S110可以包括以下步骤：每隔预设周期提取拍摄主播得到的视频流中的当前视频帧，对该当前视频帧进行图像分析，并根据对该当前视频帧的图像分析结果生成动作控制指令。

也就是说，在获取到拍摄主播得到的视频流之后，可以每间隔预设周期在所述视频流中提取一视频帧(即当前视频帧)，然后，对提取的该视频帧进行图像分析处理(如特征提取等)，最后，可以基于分析处理的结果生成对应的动作控制指令。

其中，由于会按照一定的周期进行视频帧提取，会使得在根据提取的视频帧生成的动作控制指令对虚拟形象的动作进行控制时，既能够在较大程度上反映主播的真实动作，还能减少数据的处理量，缓解相应的处理器14的压力，并能够使得直播的实时性更佳。

需要说明的是，上述的预设周期的具体内容不受限制，例如，既可以是预设时长(如0.1s、0.2s、0.3s等)，也就是说，可以每间隔该预设时长进行一次视频帧提取操作，得到一视频帧；也可以是预设帧数(1帧、2帧、3帧等)，也就是说，可以每间隔该预设帧数进行一次视频帧提取操作，得到一视频帧。

又例如，在另一种可以替代的示例中，步骤S110可以包括以下步骤：对拍摄主播得到的视频流中的每一视频帧进行图像分析，并根据每一视频帧的图像分析结果生成动作控制指令。

也就是说，在获取到拍摄主播得到的视频流之后，可以提取该视频流中的每一视频帧，然后，对提取的每一视频帧进行图像分析处理(如特征提取等)，最后，可以基于每一视频帧的图像分析结果生成对应的动作控制指令。

其中，由于会根据视频流中的每一视频帧分别生成对应的动作控制指令，可以在基于该动作控制指令对所述虚拟形象进行控制时，使得虚拟形象的动作能够完全反映主播的真实动作，使得虚拟形象的展示更为灵动、动作之间的衔接更为流畅，进一步地提高了观众的体验。

需要说明的是，在步骤S110中，在进行图像分析、特征提取等处理时，可以利用训练好的神经网络对视频流中的视频帧进行识别，识别获得视频帧中主播的动作姿态，并基于所述动作姿态，生成动作控制指令。

可选地，执行步骤S130以判断是否获得基于主播生成的虚拟机位控制指令时，根据虚拟机位控制指令的生成方式不同，判断的方式也可以不同。

例如，在一种可以替代的示例中(示例一)，所述虚拟机位控制指令可以基于主播的操作生成。详细地，上述的第一终端可以响应主播的操作生成对应的虚拟机位控制指令，并将该虚拟机位控制指令发送至上述的后台服务器。并且，该后台服务器可以在接收到所述虚拟机位控制指令时，判定获得所述虚拟机位控制指令。

其中，主播对所述第一终端的操作的方式不受限制，可以包括，但不限于主播对第一终端上的按键(如实体按键或屏幕虚拟按键)、键盘、鼠标以及麦克风等输入设备的操作。例如，主播既可以通过键盘输入一段文字信息或通过麦克风输入一段语音信息(如“放大2倍”或“展示背面”等，或者，也可以是一些简单的数字或字词，如“1”就代表放大1倍，“2”就代表放大2倍，只需要预先建立对应关系即可)，也可以通过鼠标执行特定的动作(如点击所述第一终端展示的虚拟形象之后，往左边、右边等方向移动鼠标，当所述第一终端识别到该动作之后，可以基于预先建立的对应关系生成对应的虚拟机位控制指令)。

也就是说，在接收到基于所述主播的操作(通过麦克风对所述第一终端设备进行操作)生成的语音信息时，可以判断该语音信息中是否具有预设信息，并在具有该预设信息时，判定获取基于所述主播的操作生成的虚拟机位控制指令。

其中，所述预设信息可以是关键词信息或其它信息。例如，在所述语音信息为歌曲(如设备播放或主播唱的)时，所述预设信息还可以是旋律特征信息。也就是说，可以利用训练完成的神经网络识别所述第一终端发送的语音信息的旋律特征，并根据识别获得的旋律特征确定虚拟机位控制指令。例如，在轻柔的旋律中，可以生成头顶机位渐远的控制指令。在高潮或者副歌的旋律中，可以生成脸部机位放大的控制指令。

又例如，在另一种可以替代的示例中(示例二)，所述虚拟机位控制指令也可以基于执行步骤S110对所述视频流中的视频帧进行分析得到的结果生成。也就是说，可以基于对拍摄主播得到的视频帧进行分析得到的结果，判断是否获得基于所述主播生成的虚拟机位控制指令。

详细地，可以对所述视频流中的视频帧进行信息提取，以判断得到的图像信息中是否具有预设信息，并且，在具有预设信息时，可以基于该预设信息生成对应的虚拟机位控制指令，并判定获取所述虚拟机位控制指令。

其中，所述预设信息的具体内容不受限制，例如，可以包括，但不限于动作信息、深度信息或其它信息等。详细地，在一种可以替代的示例中，所述预设信息可以为动作信息。

也就是说，可以基于所述主播的特定动作生成对应的虚拟机位控制指令，例如，主播在伸出左手时，可以生成展示虚拟形象的左侧面的控制指令；主播在伸出右手时，可以生成展示虚拟形象的右侧面的控制指令；主播在左手与右手接触时，可以生成展示虚拟形象的背面的控制指令；主播在蹲下时，可以生成展示虚拟形象的头顶部的控制指令。

在另一种可以替代的示例中，所述其它信息可以是标识物件或标识颜色等信息。也就是说，主播可以携带标识物件或者穿戴具有标识颜色的衣物或配饰，并通过识别该标识物件或者该标识颜色的方式获得虚拟机位控制指令。

例如，按照识别到的物件由大到小或识别到的颜色为红、橙、黄、绿、青、蓝或紫，可以生成机位渐近的控制指令。也就是说，在主播的不同部位携带有多种不同大小的标识物件，或穿戴有多种颜色不同的衣物或配饰时，使得主播在不同的时刻具有不同的动作时，识别到的标识物件或标识颜色不同，使得虚拟形象可以展示出由远景到近景或由远景到近景的舞台效果。

进一步地，为了提高主播进行直播的积极性，在本实施例中，在执行步骤S130时，还可以基于主播的历史直播数据判断是否获得所述虚拟机位控制指令。

详细地，在上述的示例一中，在接收到第一终端发送的虚拟机位控制指令之后，或者在上述的示例二中，在基于预设信息生成对应的虚拟机位控制指令之后，还可以判断所述虚拟机位控制指令是否符合基于主播的历史直播数据确定的预设条件，并且，只有在该虚拟机位控制指令符合基于直播的历史直播数据确定的预设条件时，才能判定获得该虚拟机位控制指令。

在一种可以替代的示例中，所述历史直播数据可以为主播的等级，并且，等级越高，能够判定获得的虚拟机位控制指令的数量就越多。例如，若主播的等级小于5级，可以判定不能获得任何的虚拟机位控制指令；若主播的等级大于或等于5级、小于或等于10级，可以判定能够获得部分的虚拟机位控制指令；若主播的等级大于10级，可以判定能够获得任何的虚拟机位控制指令。

需要说明的是，在上述示例中，是按照一定的等级范围对是否获得虚拟机位控制指令进行判断，在其它的一些示例中，也可以是针对每一个等级确定可以获得不同的虚拟机位控制指令。

其中，所述历史直播数据还可以包括主播在直播时收到的礼物的数量或价值，主播在直播时的观众的弹幕量，以及主播在直播时观看直播的最大观众数量等。例如，收到的礼物的数量越多或价值越高，弹幕量越大，或者最大观众数量越大，判定能够获得的虚拟机位控制指令可以越多。

并且，在执行步骤S130对是否获得虚拟机位控制指令进行判断之后，一方面，在判断出获得所述虚拟机位控制指令时，可以执行步骤S150。另一方面，在判断出未获得所述虚拟机位控制指令时，具体的处理方式不受限制，在本实施例中，可以执行以下步骤：根据所述动作控制指令对所述虚拟形象进行控制。

也就是说，在主播进行直播时，若有获得所述虚拟机位控制指令，则根据所述虚拟机位控制指令和所述动作控制指令对所述虚拟形象进行控制；若未获得所述虚拟机位控制指令，则仅根据所述动作控制指令对所述虚拟形象进行控制。

可选地，执行步骤S150以根据所述虚拟机位控制指令和所述动作控制指令对虚拟形象进行控制的方式不受限制，可以根据实际应用需求进行选择，如处理器14的性能、虚拟形象的控制精度等。

例如，在一种可以替代的示例中，步骤S150可以包括以下步骤：根据所述动作控制指令对所述虚拟形象在所述直播画面中的展示姿态进行控制；根据所述虚拟机位控制指令对所述虚拟形象在所述直播画面中的展示大小和/或展示角度进行控制。

也就是说，一方面，可以根据动作控制指令对虚拟形象的展示姿态进行控制。另一方面，在对虚拟形象的展示姿态进行控制的基础上，还可以基于获得的虚拟机位控制指令对虚拟形象在该展示姿态时的展示大小和/或展示角度进行控制。

例如，若主播当前在跳舞，那么，一方面可以基于所述动作控制指令控制虚拟形象进行跳舞。此时，若获得所述虚拟机位控制指令，可以根据所述虚拟机位控制指令控制虚拟形象在跳舞状态下不同的展示大小和/或展示角度。

其中，所述展示姿态可以包括，但不限于，踢脚、拍手、弯腰、抖肩、摇头等动作，以及皱眉、大笑、微笑、怒目等表情。并且，对虚拟形象进行控制的方式不受限制，在一种可以替代的示例中，可以基于预先确定的特征点进行控制。

详细地，可以预先在虚拟形象的三维模型上确定预设数量个特征点(如500个)，并确定各特征点的坐标。然后，在获取到主播的视屏流之后，根据提取的视频帧中对应特征点(也是500个)的位置变化，对三维模型上的特征点的坐标分别进行调整，例如，可以根据主播的手部特征点的位置变化对虚拟形象的手部特征点的坐标进行调整，根据主播的脸部特征点的位置变化对虚拟形象的脸部特征点的坐标进行调整。最后，基于调整得到的新的坐标得到新的三维模型，从而实现对虚拟形象的控制。

并且，随着时间的变化，会不断产生新的三维模型，从而产生虚拟形象的直播流，因此，只需要将该直播流推送至通信连接的第一终端和第二终端进行展示即可。其中，所述第二终端可以是观众使用的终端设备(如手机、平板电脑、电脑等)，用于观看虚拟形象的直播(播放所述直播流)。

进一步地，在对虚拟形象在直播画面中的展示大小进行控制时，具体的控制方式不受限制，可以根据实际应用需求进行选择。

例如，在一种可以替代的示例中，只要获得所述虚拟机位控制指令，就对虚拟形象的展示大小放大或缩小特定倍数，如0.5、1.5、2或其它倍数。或者说，只要获得的所述虚拟机位控制指令中存在关于展示大小的控制信息时，就对虚拟形象的展示大小放大或缩小特定倍数。

又例如，在另一种可以替代的示例中，在获得所述虚拟机位控制指令后，可以基于所述虚拟机位控制指令中的比例信息对虚拟形象的展示大小进行控制。

详细地，在所述虚拟机位控制指令中包括比例信息时，所述根据所述虚拟机位控制指令对所述虚拟形象在所述直播画面中的展示大小和/或展示角度进行控制的步骤，包括：根据所述比例信息和所述虚拟形象的初始大小确定在所述直播画面中虚拟形象的展示大小。

例如，若所述比例信息为2，则控制所述虚拟形象在初始大小的基础上放大2倍(如图4所示)，从而营造出近景拍摄的效果。又例如，若所述比例信息为0.5，则控制所述虚拟形象在初始大小的基础上缩小0.5倍(如图5所示)，从而营造出远景拍摄的效果。

并且，在对虚拟形象在直播画面中的展示角度进行控制时，具体的控制方式不受限制，可以根据实际应用需求进行选择。

例如，在一种可以替代的示例中，只要获得所述虚拟机位控制指令，就控制虚拟形象在特定展示角度下进行展示，如左侧面、右侧面或背面等。或者说，只要获得的所述虚拟机位控制指令中存在关于展示角度的控制信息时，就控制虚拟形象在特定展示角度下进行展示。

又例如，在另一种可以替代的示例中，在获得所述虚拟机位控制指令后，可以基于所述虚拟机位控制指令中的角度信息对虚拟形象的展示角度进行控制。

详细地，在所述虚拟机位控制指令中包括角度信息时，所述根据所述虚拟机位控制指令对所述虚拟形象在所述直播画面中的展示大小和/或展示角度进行控制的步骤，包括：根据所述角度信息确定所述虚拟形象在所述直播画面中的展示角度，并获取所述虚拟形象在该展示角度下基于所述动作控制指令和预先构建的三维图像数据生成的新的三维图像数据。

也就是说，在获取到所述角度信息之后，可以基于获取的视频流中的当前视频帧中主播的正面特征信息，通过逆向运动算法推算出主播的背面、侧面等角度的特征信息。然后，可以基于得到的各个角度的特征信息对针对虚拟形象预先构建的三维图像数据(三维模型)进行调整，得到新的三维图像数据。最后，在所述新的三维图像数据中获取所述角度信息对应部分的三维图像数据，并将该三维图像数据发送至所述第二终端进行渲染、展示即可。

例如，若所述角度信息为90°，则控制所述虚拟形象展示左侧面；若所述角度信息为180°，则控制所述虚拟形象展示背面(如图6所示)；若所述角度信息为270°，则控制所述虚拟形象展示右侧面。

需要说明的是，从当前的展示角度切换至其它的展示角度时，既可以是直接展示切换结果，也可以是展示切换的过程。例如，若虚拟形象的当前视频帧对应的角度信息为0°(正面)，所述角度信息为90°，既可以在下一视频帧就展示虚拟形象的左侧面；也可以在之后的视频帧中依次展示角度信息为10°对应的侧面、角度信息为20°对应的侧面、角度信息为30°对应的侧面、......、角度信息为70°对应的侧面、角度信息为80°对应的侧面、角度信息为90°对应的侧面，并维持展示角度信息为90°对应的侧面，从而营造出虚拟机位转动的过程，进而提高舞台表演的真实性。

结合图7，本申请实施例还提供一种可应用于上述电子设备10的虚拟形象控制装置100。其中，所述虚拟形象控制装置100可以包括控制指令生成模块110、控制指令判断模块130和虚拟形象控制模块150。

所述控制指令生成模块110，用于对拍摄主播得到的视频流进行分析生成动作控制指令。在本实施例中，所述控制指令生成模块110可用于执行图2所示的步骤S110，关于所述控制指令生成模块110的相关内容可以参照前文对步骤S110的描述。

所述控制指令判断模块130，用于判断是否获得基于所述主播生成的虚拟机位控制指令。在本实施例中，所述控制指令判断模块130可用于执行图2所示的步骤S130，关于所述控制指令判断模块130的相关内容可以参照前文对步骤S130的描述。

所述虚拟形象控制模块150，用于在获得所述虚拟机位控制指令时，根据所述虚拟机位控制指令和所述动作控制指令对所述虚拟形象进行控制。在本实施例中，所述虚拟形象控制模块150可用于执行图2所示的步骤S150，关于所述虚拟形象控制模块150的相关内容可以参照前文对步骤S150的描述。

其中，在所述控制指令判断模块130判断出未获得所述虚拟机位控制指令时，所述虚拟形象控制模块150，还用于根据所述动作控制指令对所述虚拟形象进行控制。

在本申请实施例中，对应于上述的虚拟形象控制方法，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序运行时执行上述虚拟形象控制方法的各个步骤。

其中，前述计算机程序运行时执行的各步骤，在此不再一一赘述，可参考前文对所述虚拟形象控制方法的解释说明。

综上所述，本申请提供的虚拟形象控制方法、虚拟形象控制装置100和电子设备10，在基于拍摄主播得到的视频流对虚拟形象进行控制的基础上，若还获得基于主播生成的虚拟机位控制指令，还可以结合该虚拟机位控制指令一起对虚拟形象进行控制，以展示不同机位下的虚拟形象，从而营造出舞台表演的效果，进而提高虚拟形象展示的趣味性，提升虚拟形象直播过程中的用户体验。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种虚拟形象控制方法，其特征在于，应用于直播设备，用于对直播画面中展示的虚拟形象进行控制，所述方法包括：

对拍摄主播得到的视频流进行分析生成动作控制指令；

判断是否获得基于所述主播生成的虚拟机位控制指令；

若获得所述虚拟机位控制指令，则根据所述虚拟机位控制指令和所述动作控制指令对所述虚拟形象进行控制；

其中，所述虚拟机位控制指令用于对所述虚拟形象的展示大小和/或展示角度进行控制，所述动作控制指令用于对所述虚拟形象的动作进行控制。

2.根据权利要求1所述的虚拟形象控制方法，其特征在于，所述根据所述虚拟机位控制指令和所述动作控制指令对所述虚拟形象进行控制的步骤，包括：

根据所述动作控制指令对所述虚拟形象在所述直播画面中的展示姿态进行控制。

3.根据权利要求2所述的虚拟形象控制方法，其特征在于，所述虚拟机位控制指令中包括角度信息，所述根据所述虚拟机位控制指令对所述虚拟形象在所述直播画面中的展示大小和/或展示角度进行控制的步骤，包括：

根据所述角度信息确定所述虚拟形象在所述直播画面中的展示角度，并获取所述虚拟形象在该展示角度下基于所述动作控制指令和预先构建的三维图像数据生成的新的三维图像数据。

4.根据权利要求2所述的虚拟形象控制方法，其特征在于，所述虚拟机位控制指令中包括比例信息，所述根据所述虚拟机位控制指令对所述虚拟形象在所述直播画面中的展示大小和/或展示角度进行控制的步骤，包括：

根据所述比例信息和所述虚拟形象的初始大小确定在所述直播画面中虚拟形象的展示大小。

5.根据权利要求1所述的虚拟形象控制方法，其特征在于，所述判断是否获得基于所述主播生成的虚拟机位控制指令的步骤，包括：

判断是否获得基于所述主播的操作生成的虚拟机位控制指令。

6.根据权利要求5所述的虚拟形象控制方法，其特征在于，所述判断是否获得基于所述主播的操作生成的虚拟机位控制指令的步骤，包括：

在接收到基于所述主播的操作生成的语音信息时，判断该语音信息中是否具有预设信息，并在具有该预设信息时，判定获取基于所述主播的操作生成的虚拟机位控制指令。

7.根据权利要求6所述的虚拟形象控制方法，其特征在于，所述预设信息包括关键词信息和/或旋律特征信息。

8.根据权利要求1所述的虚拟形象控制方法，其特征在于，所述判断是否获得基于所述主播生成的虚拟机位控制指令的步骤，包括：

基于对拍摄主播得到的视频帧进行分析得到的结果，判断是否获得基于所述主播生成的虚拟机位控制指令。

9.根据权利要求8所述的虚拟形象控制方法，其特征在于，所述基于对拍摄主播得到的视频帧进行分析得到的结果，所述判断是否获得基于所述主播生成的虚拟机位控制指令的步骤，包括：

基于对拍摄主播得到的视频帧进行信息提取得到的图像信息，判断该图像信息中是否具有预设信息，并在具有该预设信息时，判定获得基于所述主播生成的虚拟机位控制指令。

10.根据权利要求9所述的虚拟形象控制方法，其特征在于，所述预设信息包括动作信息、深度信息、标识物件信息和/或标识颜色信息。

11.根据权利要求1-10任意一项所述的虚拟形象控制方法，其特征在于，所述判断是否获得基于所述主播生成的虚拟机位控制指令的步骤，包括：

基于预设条件判断是否获得基于所述主播生成的虚拟机位控制指令，其中，所述预设条件基于主播的历史直播数据确定。

12.根据权利要求1-10任意一项所述的虚拟形象控制方法，其特征在于，所述对拍摄主播得到的视频流进行分析生成动作控制指令的步骤，包括：

对拍摄主播得到的视频流中的每一视频帧进行图像分析，并根据每一视频帧的图像分析结果生成动作控制指令；或

每隔预设周期提取拍摄主播得到的视频流中的当前视频帧，对该当前视频帧进行图像分析，并根据对该当前视频帧的图像分析结果生成动作控制指令。

13.一种虚拟形象控制装置，其特征在于，应用于直播设备，用于对直播画面中展示的虚拟形象进行控制，所述装置包括：

控制指令生成模块，用于对拍摄主播得到的视频流进行分析生成动作控制指令；

控制指令判断模块，用于判断是否获得基于所述主播生成的虚拟机位控制指令；

虚拟形象控制模块，用于在获得所述虚拟机位控制指令时，根据所述虚拟机位控制指令和所述动作控制指令对所述虚拟形象进行控制；

其中，所述虚拟机位控制指令用于对所述虚拟形象的展示大小和/或展示角度进行控制，所述动作控制指令用于对所述虚拟形象的动作进行控制。

14.一种电子设备，其特征在于，包括存储器、处理器和存储于该存储器并能够在该处理器上运行的计算机程序，该计算机程序在该处理器上运行时实现权利要求1-12任意一项所述的虚拟形象控制方法。

15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被执行时实现权利要求1-12任意一项所述的虚拟形象控制方法。

Images