CN107197385A - 一种实时虚拟偶像直播方法及*** - Google Patents

Abstract

本发明公开了一种实时虚拟偶像直播方法及***，该***包括模型创建模块、数据关联模块及直播模块。该方法包括创建得到虚拟偶像角色模型；实时采集动作者的动作数据以及声音数据，将采集到的动作数据与虚拟偶像角色模型进行关联，令虚拟偶像角色模型按照动作数据执行相应动作；将虚拟偶像角色模型和声音数据叠加至摄录的视频画面中后合成得到虚拟偶像角***画面，将实时生成的虚拟偶像角***画面进行实时直播。通过使用本发明，能消除了传统虚拟偶像无法与观众互动的问题，而且还能增加直播的互动方式，提高直播者和观众的交互体验感。本发明作为一种实时虚拟偶像直播方法及***可广泛应用于直播领域中。

Description

一种实时虚拟偶像直播方法及***

技术领域

本发明涉及动画技术和网络直播技术，尤其涉及一种实时虚拟偶像直播方法及***。

背景技术

目前，虚拟偶像已成为全球娱乐领域的新亮点，逐渐受到了人们的喜爱和追捧。然而，针对传统的虚拟偶像，其主要是基于***预先设置好的人物角色、剧情发展、交互方式等元素来预先实现的，因此，其无法与观众产生实时互动，灵活性和适用性低下。可见，基于这虚拟偶像的实现技术缺陷，虚拟偶像无法应用于网络直播平台上来实现直播，导致目前的网络直播平台还是仅能以真人直播方式来与观众进行互动，互动方式单一，观众的交互体验感大大降低。

发明内容

为了解决上述技术问题，本发明的目的是提供一种实时虚拟偶像直播方法，以虚拟偶像方式来实现网络直播，消除了传统虚拟偶像无法与观众互动的技术问题，令网络直播的互动方式多样化，提高观众的交互体验感。

本发明的另一目的是提供一种实时虚拟偶像直播***，以虚拟偶像方式来实现网络直播，消除了传统虚拟偶像无法与观众互动的技术问题，令网络直播的互动方式多样化，提高观众的交互体验感。

本发明所采用的技术方案是：一种实时虚拟偶像直播方法，该方法包括的步骤有：

创建虚拟偶像角色，将创建的虚拟偶像角色导入图形引擎中得到虚拟偶像角色模型；

实时采集动作者的动作数据以及声音数据，将采集到的动作数据与虚拟偶像角色模型进行关联，令虚拟偶像角色模型按照动作数据执行相应动作；

将虚拟偶像角色模型和声音数据叠加至摄录的视频画面中后合成得到虚拟偶像角***画面，将实时生成的虚拟偶像角***画面进行实时直播。

进一步，所述创建虚拟偶像角色这一步骤，其具体包括：

根据虚拟偶像的原画，创建出虚拟偶像的角色模型，然后为虚拟偶像的角色模型配置贴图和材质；

为虚拟偶像的角色模型配置相对应的角色动画骨骼后，将虚拟偶像的角色模型与角色动画骨骼进行绑定并配置权重。

进一步，所述将创建的虚拟偶像角色导入图形引擎中得到虚拟偶像角色模型这一步骤，其具体包括：

将虚拟偶像的角色模型与角色动画骨骼导入图形引擎中进行整合处理，得到虚拟偶像角色模型。

进一步，所述创建虚拟偶像角色这一步骤，其还包括：

为虚拟偶像的角色模型配置基于物理动力的服装。

进一步，所述动作数据包括有肢体动作数据和面部表情动作数据，所述实时采集动作者的动作数据，将采集到的动作数据与虚拟偶像角色模型进行关联，令虚拟偶像角色模型按照动作数据执行相应动作这一步骤，其具体包括：

利用动作捕捉装置来实时捕捉动作者的肢体动作数据；

利用面部表情捕捉器来实时捕捉动作者的面部表情动作数据；

将肢体动作数据与虚拟偶像角色模型的身体进行肢体动作关联，将面部表情动作数据与虚拟偶像角色模型的面部进行面部表情关联，令虚拟偶像角色模型按照肢体动作数据和面部表情动作数据执行相应的肢体动作和面部表情动作。

本发明所采用的另一技术方案是：一种实时虚拟偶像直播***，该***包括：

模型创建模块，用于创建虚拟偶像角色，将创建的虚拟偶像角色导入图形引擎中得到虚拟偶像角色模型；

数据关联模块，用于实时采集动作者的动作数据以及声音数据，将采集到的动作数据与虚拟偶像角色模型进行关联，令虚拟偶像角色模型按照动作数据执行相应动作；

直播模块，用于将虚拟偶像角色模型和声音数据叠加至摄录的视频画面中后合成得到虚拟偶像角***画面，将实时生成的虚拟偶像角***画面进行实时直播。

进一步，所述模型创建模块具体包括有：

模型制作子模块，用于根据虚拟偶像的原画，创建出虚拟偶像的角色模型，然后为虚拟偶像的角色模型配置贴图和材质；

角色创建子模块，用于为虚拟偶像的角色模型配置相对应的角色动画骨骼后，将虚拟偶像的角色模型与角色动画骨骼进行绑定并配置权重；

模型生成子模块，用于将创建的虚拟偶像角色导入图形引擎中得到虚拟偶像角色模型。

进一步，所述模型生成子模块具体用于将虚拟偶像的角色模型与角色动画骨骼导入图形引擎中进行整合处理，得到虚拟偶像角色模型。

进一步，所述模型创建模块具体还包括有用于为虚拟偶像的角色模型配置基于物理动力的服装的配置子模块。

进一步，所述动作数据包括有肢体动作数据和面部表情动作数据，所述数据关联模块具体包括：

第一数据采集模块，用于实时采集声音数据；

第二数据采集模块，用于利用动作捕捉装置来实时捕捉动作者的肢体动作数据；

第三数据采集模块，用于利用面部表情捕捉器来实时捕捉动作者的面部表情动作数据；

关联控制子模块，用于将肢体动作数据与虚拟偶像角色模型的身体进行肢体动作关联，将面部表情动作数据与虚拟偶像角色模型的面部进行面部表情关联，令虚拟偶像角色模型按照肢体动作数据和面部表情动作数据执行相应的肢体动作和面部表情动作。

本发明的有益效果是：本发明的方法通过实时采集动作者的动作数据以及声音数据，将采集到的动作数据与虚拟偶像角色模型进行控制关联，令虚拟偶像角色模型按照动作数据执行相应动作，然后将虚拟偶像角色模型和声音数据叠加至摄录的视频画面中后合成得到虚拟偶像角***画面，将实时生成的虚拟偶像角***画面进行实时直播。由此可见，本发明的方法以虚拟偶像的交互方式来实现网络直播，不仅消除了传统虚拟偶像无法与观众互动的问题，而且还能增加直播的互动方式，提高直播者和观众的交互体验感，有利于虚拟偶像和网络直播的市场扩展和推广。此外，通过实时采集动作者的动作数据来控制驱动虚拟偶像角色模型执行相对应的动作，能够解决传统虚拟偶像手调动画动作僵硬不流畅、面部表情僵硬等问题。

本发明的另一有益效果是：本发明的***通过数据关联模块来将采集到的动作数据与虚拟偶像角色模型进行控制关联，令虚拟偶像角色模型按照动作数据执行相应动作，然后通过直播模块将虚拟偶像角色模型和声音数据叠加至摄录的视频画面中后合成得到虚拟偶像角***画面，将实时生成的虚拟偶像角***画面进行实时直播。由此可见，本发明的***以虚拟偶像的交互方式来实现网络直播，不仅消除了传统虚拟偶像无法与观众互动的问题，而且还能增加直播的互动方式，提高直播者和观众的交互体验感，有利于虚拟偶像和网络直播的市场扩展和推广。此外，通过实时采集动作者的动作数据来控制驱动虚拟偶像角色模型执行相对应的动作，能够解决传统虚拟偶像手调动画动作僵硬不流畅、面部表情僵硬等问题。

附图说明

图1是本发明一种实时虚拟偶像直播方法的步骤流程示意图；

图2是本发明一种实时虚拟偶像直播***的结构框图；

图3是本发明一种实时虚拟偶像直播方法一具体实施例步骤流程示意图；

图4是虚拟偶像角色的创建步骤流程示意图；

图5是角色动画骨骼制作流程示意图；

图6是基于物理动力学进行制作的流程示意图；

图7是以虚拟偶像角色进行实时直播过程的示意图。

具体实施方式

如图1所示，一种实时虚拟偶像直播方法，该方法包括的步骤有：

创建虚拟偶像角色，将创建的虚拟偶像角色导入图形引擎中得到虚拟偶像角色模型；

实时采集动作者的动作数据以及声音数据，将采集到的动作数据与虚拟偶像角色模型进行关联，令虚拟偶像角色模型按照动作数据执行相应动作；

将虚拟偶像角色模型和声音数据叠加至摄录的视频画面中后合成得到虚拟偶像角***画面，将实时生成的虚拟偶像角***画面进行实时直播。

如图2所示，一种实时虚拟偶像直播***，该***包括：

模型创建模块，用于创建虚拟偶像角色，将创建的虚拟偶像角色导入图形引擎中得到虚拟偶像角色模型；

数据关联模块，用于实时采集动作者的动作数据以及声音数据，将采集到的动作数据与虚拟偶像角色模型进行关联，令虚拟偶像角色模型按照动作数据执行相应动作；

直播模块，用于将虚拟偶像角色模型和声音数据叠加至摄录的视频画面中后合成得到虚拟偶像角***画面，将实时生成的虚拟偶像角***画面进行实时直播。对于所述模型创建模块、数据关联模块以及直播模块，其可为应用程序模块，也为可硬件设备，如处理器等。

结合以下实施例来对本发明进行详细阐述。

如图3所示，一种实时虚拟偶像直播方法具体实施步骤如下所示。

S1：制作步骤，其包括的步骤如下所示。

S101、制作虚拟偶像美术资源：根据虚拟偶像的原画，在3D软件中制作出虚拟偶像的角色模型；

如图4所示，所述步骤S101包括有：

S1011、根据虚拟偶像的原画制作角色模型；

S1012、初步完成虚拟偶像的角色模型；

S1013、为虚拟偶像的角色模型配置贴图和材质，得到所需的虚拟偶像的角色模型；

优选地，为了令创建的虚拟偶像的角色模型更为精细和符合原画的设定，设置步骤S1014，所述步骤S1014为：对角色模型或角色的设定进行细节修改，以满足角色模型制作要求和/或角色的设定要求；

S102、制作虚拟偶像骨骼***：为虚拟偶像的角色模型配置相对应的角色动画骨骼后，将虚拟偶像的角色模型与角色动画骨骼进行绑定并配置权重，完成虚拟偶像角色的创建；

如图5所示，所述步骤S102包括有：

S1021、制作出与虚拟偶像的角色模型相对应的角色动画骨骼；

S1022、将虚拟偶像的角色模型与角色动画骨骼进行绑定以及权重配置，并进行细化和整理，最终完成虚拟偶像角色的制作。

作为上述制作步骤的优选实施方式，为了提高虚拟偶像角色的真实感，所述步骤S1中还可包括有步骤S103，其为，为虚拟偶像的角色模型配置基于物理动力学而制作出的物体，如服装；

如图6所示，所述步骤S103包括有：

S1031、分析动力学模型物体，如虚拟偶像角色的身体、头发和服装，令这些物体利用物理动力学技术，按照物理规律移动；

S1032、在本实施例中，虚拟偶像的角色模型加入基于物理动力的服装，即加入动力学物体模型；

S1033、将其导入图形引擎来确认效果；

为了符合虚拟偶像角色的设定要求，所述步骤S103中还包括有步骤S1034，对基于物理动力学而制作出的服装模型进行调整修改。

作为本实施例的优选实施方式，所述图形引擎(游戏图形引擎)可以采用先进的次世代游戏引擎来实现。与其它的游戏图形引擎不同，本实施例中所述采用游戏图形引擎无需第三方软件的支持便能处理物理效果、声音及动画。

S2：生成步骤。

S201、将虚拟偶像的角色模型、角色动画骨骼、基于物理动力的服装导入游戏图形引擎中进行整合处理，从而得到虚拟偶像角色模型。

S3：以创建的虚拟偶像角色来实现网络直播步骤。

如图7所示，所述步骤S3包括：

S301、邀请一名演员，即动作者，令其穿戴上动作捕捉装置和面部表情捕捉器，并调整捕捉设备，同时也对虚拟偶像直播***中的硬件环境进行调试；

S302、捕捉演员的肢体动作数据和面部表情动作数据，将肢体动作数据与虚拟偶像角色模型的身体进行肢体动作控制关联，将面部表情动作数据与虚拟偶像角色模型的面部进行面部表情控制关联，令虚拟偶像角色模型按照肢体动作数据和面部表情动作数据执行相应的肢体动作和面部表情动作，实现根据捕捉到的动作数据来实时驱动控制虚拟偶像角色模型执行相应动作；

其中，对于将面部表情动作数据与虚拟偶像角色模型的面部进行面部表情控制关联，令虚拟偶像角色模型按照面部表情动作数据执行相应的面部表情动作，其具体采用真实表情***来实现，这样在进行真实面部表情动作捕捉时，无需任何标记点或油漆标志来进行面部标定，可通过跟踪和分析面部的嘴唇、眉毛、眼睛和眼珠等肌肉运动来生成表情动画，令虚拟偶像角色模型与真实动作者进行实时表情联动；

S303、导入用户所选择的场景文件、灯光文件和/或音乐文件；

S304、开始直播时，将实现关联控制的虚拟偶像角色模型、采集到的动作者的声音数据、场景、灯光、音乐叠加至摄录的视频画面中后合成得到虚拟偶像角***画面，通过游戏图形引擎，将实时生成的虚拟偶像角***画面进行实时直播，从而达到演员按照定好的剧本和对白来进行实时演播，并且可与观众进行互动的效果。优选地，所述步骤S3还包括步骤S305，当设备调试和与游戏图像引擎进行联调时出现问题，继续执行步骤S301和步骤S302，进行设备的调整以及与引擎进行联调。

作为本实施例的优选实施方式，所述场景通过虚拟场景技术实现，在图形软件中制作出3D场景，将该场景文件导入游戏图形引擎中可实时渲染出高品质的场景画面。

由上述可得，本发明的方法及***所具有的优点有：

1、解决了传统虚拟偶像只是纯CG动画，无法和观众互动的问题，有利于虚拟偶像的市场扩展和推广；

2、解决了传统虚拟偶像手调动画动作僵硬不流畅的问题；

3、解决了传统虚拟偶像画面粗糙的问题；

4、解决了传统虚拟偶像多为CG动画而导致制作成本高、周期长等问题；

5、解决了传统虚拟偶像中，无法实现真实物理动力学的问题；

6、解决了传统虚拟偶像技术中，场景简单单调的问题；

7、解决了传统网络直播平台仅以真人直播方式来实现互动的方式，提高直播者和观众的体验感；

8、解决了传统虚拟偶像面部表情僵硬的问题；

9、解决了传统虚拟偶像无法对灯光和镜头进行实时控制的问题；

10、能将本发明应用于VR技术中，实现虚拟偶像的VR直播。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种实时虚拟偶像直播方法，其特征在于：该方法包括的步骤有：

创建虚拟偶像角色，将创建的虚拟偶像角色导入图形引擎中得到虚拟偶像角色模型；

实时采集动作者的动作数据以及声音数据，将采集到的动作数据与虚拟偶像角色模型进行关联，令虚拟偶像角色模型按照动作数据执行相应动作；

将虚拟偶像角色模型和声音数据叠加至摄录的视频画面中后合成得到虚拟偶像角***画面，将实时生成的虚拟偶像角***画面进行实时直播。

2.根据权利要求1所述一种实时虚拟偶像直播方法，其特征在于：所述创建虚拟偶像角色这一步骤，其具体包括：

根据虚拟偶像的原画，创建出虚拟偶像的角色模型，然后为虚拟偶像的角色模型配置贴图和材质；

为虚拟偶像的角色模型配置相对应的角色动画骨骼后，将虚拟偶像的角色模型与角色动画骨骼进行绑定并配置权重。

3.根据权利要求2所述一种实时虚拟偶像直播方法，其特征在于：所述将创建的虚拟偶像角色导入图形引擎中得到虚拟偶像角色模型这一步骤，其具体包括：

将虚拟偶像的角色模型与角色动画骨骼导入图形引擎中进行整合处理，得到虚拟偶像角色模型。

4.根据权利要求2或3所述一种实时虚拟偶像直播方法，其特征在于：所述创建虚拟偶像角色这一步骤，其还包括：

为虚拟偶像的角色模型配置基于物理动力的服装。

5.根据权利要求3所述一种实时虚拟偶像直播方法，其特征在于：所述动作数据包括有肢体动作数据和面部表情动作数据，所述实时采集动作者的动作数据，将采集到的动作数据与虚拟偶像角色模型进行关联，令虚拟偶像角色模型按照动作数据执行相应动作这一步骤，其具体包括：

利用动作捕捉装置来实时捕捉动作者的肢体动作数据；

利用面部表情捕捉器来实时捕捉动作者的面部表情动作数据；

将肢体动作数据与虚拟偶像角色模型的身体进行肢体动作关联，将面部表情动作数据与虚拟偶像角色模型的面部进行面部表情关联，令虚拟偶像角色模型按照肢体动作数据和面部表情动作数据执行相应的肢体动作和面部表情动作。

6.一种实时虚拟偶像直播***，其特征在于：该***包括：

模型创建模块，用于创建虚拟偶像角色，将创建的虚拟偶像角色导入图形引擎中得到虚拟偶像角色模型；

数据关联模块，用于实时采集动作者的动作数据以及声音数据，将采集到的动作数据与虚拟偶像角色模型进行关联，令虚拟偶像角色模型按照动作数据执行相应动作；

直播模块，用于将虚拟偶像角色模型和声音数据叠加至摄录的视频画面中后合成得到虚拟偶像角***画面，将实时生成的虚拟偶像角***画面进行实时直播。

7.根据权利要求6所述一种实时虚拟偶像直播***，其特征在于：所述模型创建模块具体包括有：

模型制作子模块，用于根据虚拟偶像的原画，创建出虚拟偶像的角色模型，然后为虚拟偶像的角色模型配置贴图和材质；

角色创建子模块，用于为虚拟偶像的角色模型配置相对应的角色动画骨骼后，将虚拟偶像的角色模型与角色动画骨骼进行绑定并配置权重；

模型生成子模块，用于将创建的虚拟偶像角色导入图形引擎中得到虚拟偶像角色模型。

8.根据权利要求7所述一种实时虚拟偶像直播***，其特征在于：所述模型生成子模块具体用于将虚拟偶像的角色模型与角色动画骨骼导入图形引擎中进行整合处理，得到虚拟偶像角色模型。

9.根据权利要求7或8所述一种实时虚拟偶像直播***，其特征在于：所述模型创建模块具体还包括有用于为虚拟偶像的角色模型配置基于物理动力的服装的配置子模块。

10.根据权利要求8所述一种实时虚拟偶像直播***，其特征在于：所述动作数据包括有肢体动作数据和面部表情动作数据，所述数据关联模块具体包括：

第一数据采集模块，用于实时采集声音数据；

第二数据采集模块，用于利用动作捕捉装置来实时捕捉动作者的肢体动作数据；

第三数据采集模块，用于利用面部表情捕捉器来实时捕捉动作者的面部表情动作数据；

关联控制子模块，用于将肢体动作数据与虚拟偶像角色模型的身体进行肢体动作关联，将面部表情动作数据与虚拟偶像角色模型的面部进行面部表情关联，令虚拟偶像角色模型按照肢体动作数据和面部表情动作数据执行相应的肢体动作和面部表情动作。