CN110782511A - 动态改变虚拟主播形象的方法、***、装置和存储介质 - Google Patents

Abstract

本发明公开了一种动态改变虚拟主播形象的方法、***、装置和存储介质，其中方法包括以下步骤：获取输入的选择信息，根据选择信息获取虚拟主播模型；获取文稿信息后，对文稿信息进行解析，并获得文字特征；结合文字特征和预设的服饰数据库获取并保存多个服饰渲染数据；将获得的服饰渲染数据动态地渲染至虚拟主播模型上，以使虚拟主播呈现不同的画面。本发明通过在视频播放中，结合文稿的内容动态地改变虚拟主播服装及造型等，从而使得虚拟主播形象与文稿内容匹配适应，给观众提供代入感，增加观众的观看体验，可广泛应用于动画渲染技术领域。

Description

动态改变虚拟主播形象的方法、***、装置和存储介质

技术领域

本发明涉及动画渲染技术领域，尤其涉及一种动态改变虚拟主播形象的方法、***、装置和存储介质。

背景技术

随着互联网技术及自媒体的发展，出现很多视频平台和对应的视频软件，比如今日头条、西瓜视频以及抖音等，同时也产生了很多网络红人和自媒体博主。博主通过制作视频在视频软件上播放，获取点击量和吸引粉丝关注，比如通过制作电影点评视频或者时事点评视频等。为了辅助博主们制造视频，现在出现的对应的软件产品，比如根据撰写的文稿自动从网络中下载对应的图片或视频，避免用户花费大量的时间收集图片或视频素材，提高了视频制作效率。还可通过虚拟主持人进行新闻主播，现在的技术中，都是提供比较单调的虚拟主持人形象，在视频播放过程中，该虚拟主持人的形象一直不变，容易降低观众的观看体验。

发明内容

为了解决上述技术问题，本发明的目的是提供一种能够在视频播放过程中动态地改变虚拟主播形象的方法、***、装置和存储介质。

本发明所采用的第一技术方案是：

一种动态改变虚拟主播形象的方法，包括以下步骤：

获取输入的选择信息，根据选择信息获取虚拟主播模型；

获取文稿信息后，对文稿信息进行解析，并获得文字特征；

结合文字特征和预设的服饰数据库获取并保存多个服饰渲染数据；

将获得的服饰渲染数据动态地渲染至虚拟主播模型上，以使虚拟主播呈现不同的画面。

进一步，所述获取文稿信息后，对文稿信息进行解析，并获得文字特征这一步骤，具体包括以下步骤：

识别文稿信息中的名词词汇，并统计各名词词汇的出现次数；

根据出现次数获取多个关键词汇，并根据预设的词汇数据库对关键词汇进行匹配过滤后，获得过滤后的关键词汇作为文字特征。

进一步，所述结合文字特征和预设的服饰数据库获取并保存多个服饰渲染数据这一步骤，具体包括以下步骤：

依次根据文字特征中的每个关键词汇从预设的服饰数据库获取对应的服饰渲染模板；

获取输入的选取信息，结合服饰渲染模板和选取信息获取并保存服饰渲染数据。

进一步，所述将获得的服饰渲染数据动态地渲染至虚拟主播模型上，以使虚拟主播呈现不同的画面这一步骤，具体包括以下步骤：

获取与文稿信息对应的语音信息后，依次识别语音信息中的文字；

当检测到识别的文字为文字特征中的关键词汇时，获取与关键词汇对应的服饰渲染数据；

将获得的服饰渲染数据渲染至虚拟主播模型上，以使虚拟主播随着视频的播放呈现不同的画面。

进一步，还包括切换渲染虚拟主播口型的步骤，所述切换渲染虚拟主播口型的步骤具体包括以下步骤：

对文稿信息进行解析后，获得文稿信息中每个汉字的拼音；

将各汉字的拼音进行拆解后，获得与拼音对应的音素数组；

采用预设的融合曲线对音素数组进行融合，并获得混合曲线；

根据文稿信息生成语音信息后，结合语音信息和混合曲线驱动口型的变化，从而渲染出不同的口型。

进一步，所述音素数组包括声母和韵母，所述采用预设的融合曲线对音素数组进行融合，并获得混合曲线这一步骤，具体包括以下步骤：

根据声母的类获取声母曲线，以及根据韵母的类型获取韵母曲线；

将同一音素数组的声母曲线和韵母曲线进行融合，并获得音素曲线；

将相邻的音素数组的音素曲线进行融合，获得混合曲线。

进一步，所述结合语音信息和混合曲线驱动口型的变化，从而渲染出不同的口型这一步骤，具体包括以下步骤：

对混合曲线进行解析后，获得连续的驱动值；

识别语音信息的中的文字，并将识别的文字与驱动值进行匹配；

依次结合驱动值和预设的口型模型驱动口型的变化，从而渲染出不同的口型。

本发明所采用的第二技术方案是：

一种动态改变虚拟主播形象的***，包括：

选择输入模块，用于获取输入的选择信息，根据选择信息获取虚拟主播模型；

特征获取模块，用于获取文稿信息后，对文稿信息进行解析，并获得文字特征；

服饰获取模块，用于结合文字特征和预设的服饰数据库获取并保存多个服饰渲染数据；

服饰渲染模块，用于将获得的服饰渲染数据动态地渲染至虚拟主播模型上，以使虚拟主播呈现不同的画面。

本发明所采用的第三技术方案是：

一种动态改变虚拟主播形象的装置，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。

本发明所采用的第四技术方案是：

一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行如上所述方法。

本发明的有益效果是：本发明通过在视频播放中，结合文稿的内容动态地改变虚拟主播服装及造型等，从而使得虚拟主播形象与文稿内容匹配适应，给观众提供代入感，增加观众的观看体验。

附图说明

图1是本发明一种动态改变虚拟主播形象的方法的步骤流程图；

图2是本发明一种动态改变虚拟主播形象的***的结构框图；

图3是具体实方式中虚拟主播形象的一种示意图；

图4是具体实方式中虚拟主播形象的另一种示意图；

图5是具体实施例中单个汉语拼音的音素曲线；

图6是具体实施例中音素曲线进行融合的示意图；

图7是具体实施例中口型连续切换渲染的示意图。

具体实施方式

如图1所示，本实施例提供了一种动态改变虚拟主播形象的方法，包括以下步骤：

S1、获取输入的选择信息，根据选择信息获取虚拟主播模型；

S2、获取文稿信息后，对文稿信息进行解析，并获得文字特征；

S3、结合文字特征和预设的服饰数据库获取并保存多个服饰渲染数据；

S4、将获得的服饰渲染数据动态地渲染至虚拟主播模型上，以使虚拟主播呈现不同的画面。

在本实施例中，用户在制作视频使，选择视频播放的虚拟主播，比如选择男性的虚拟主播或者女性的虚拟主播，根据选择需求获取预设的虚拟主播模型，该虚拟主播模型是初始的模型，比如没有渲染头发和外服装。所述文稿信息为纯文字的文件，该文件可以从网络上下载，比如从新华网、人民网、凤凰网以及头条等各大主流新闻网站上下载新闻文件，也可有用户自己撰写的文件。当输入文稿信息后，自动对文稿信息进行解析，并获取文稿信息中的文字特征，所文字特征可以为文稿中的关键词或者是关键数据证据等，其中，识别获取文字特征采用现有的文字识别的技术来实现即可。获得文字特征后，结合文字特征和预设的服饰数据库获取并保存多个服饰渲染数据，所述服饰渲染数据头发的渲染数据和衣服的渲染数据等，所述服饰数据库中预设有不同风格的发型模型和衣服模型等。在获取了这些服饰渲染数据后，在后续的视频播放过程中，动态地变化虚拟主播的服饰和发型等，从而改变虚拟主播的形象，提高观众的观看体验。比如虚拟主播在报到体育新闻时，当报道到篮球项目时，虚拟主播的衣服更换为篮球球衣；当道到游泳项目时，虚拟主播的衣服自动地为泳衣，并佩带有泳帽等，如此能给观众一种快速地代入感，让观众能够更加有效地吸收信息，极大地提高了观众的观看体验。其中，动态变化虚拟主播形象也可根据设置时间点进行变化，比如当检测到到达预设的时间点，则触发更换虚拟主播的形象。

其中，步骤S2具体包括步骤S21～S22：

S21、识别文稿信息中的名词词汇，并统计各名词词汇的出现次数；

S22、根据出现次数获取多个关键词汇，并根据预设的词汇数据库对关键词汇进行匹配过滤后，获得过滤后的关键词汇作为文字特征。

所述名词词汇即文稿中名词的词汇，所述词汇数据库设置有多种通用名词，比如书籍、篮球、石头、番茄、军事和马戏团等各种各类的名词。对名词词汇的出现次数进行统计，获得出现次数较多的名词词汇作为关键词汇，具体获得多少个关键词汇根据实际情况确定。获得关键词汇后，将关键词汇与词汇数据库进行匹配过滤，如同彩票匹配过滤一样，当词汇数据库存有与关键词汇相同的词汇，则保留，否则过滤掉，比如一些专属名词(例如人名)，则直接过滤掉。最后剩下的关键词汇作为文字特征，比如一篇军事文稿，文字特征出现飞机和坦克等名词，则获取对应的空军军服和陆军军服等。参照图3，当文稿信息的关键词汇主要是“电影”，则更换比较轻松时尚的主播形象，服装搭配比较有时尚感；参照图4，当文稿信息的关键词汇主要是“天气”，则更换着重比较正式的主播形象，衣着较为传统正式。

其中，步骤S3具体包括步骤S31～S32：

S31、依次根据文字特征中的每个关键词汇从预设的服饰数据库获取对应的服饰渲染模板；

S32、获取输入的选取信息，结合服饰渲染模板和选取信息获取并保存服饰渲染数据。

由于某些关键词汇对应多个服饰渲染模板，比如名词“飞机”对应空姐服装、飞机师和空军等服饰，比如名词“侦探”对应有福尔摩斯、柯南和包拯等服饰，具有选择一个服饰即可，因此需要用户进行人工选取。所述渲染模板为穿着有衣服的模型形象，用户直接在对应的模型形象中进行点选，从而获取并保存对应的服饰渲染数据。

其中，步骤S4具体包括步骤S41～S43：

S41、获取与文稿信息对应的语音信息后，依次识别语音信息中的文字；

S42、当检测到识别的文字为文字特征中的关键词汇时，获取与关键词汇对应的服饰渲染数据；

S43、将获得的服饰渲染数据渲染至虚拟主播模型上，以使虚拟主播随着视频的播放呈现不同的画面。

视频播放过程中，识别语音信息中的文字，其中语音识别文字的技术可采用现有的技术实现即可，当检测到识别的文字为文字特征中的关键词汇时，从存储中的服饰渲染数据中获取与该关键词汇对应的服饰渲染数据，比如当识别到关键词汇“足球”时，从存储中获取足球衣对应的服饰渲染数据，并将服饰渲染数据渲染至虚拟主播模型上，从而使虚拟主播呈现一个足球宝贝的形象；当识别到关键词汇“游泳”时，从存储中获取泳衣的服饰渲染数据，并更换虚拟主播的服饰渲染数据，从而使得虚拟主播呈现一个游泳运动员的形象。观众通过观看虚拟主播的形象变换，能够快速地进入新闻题材中，极大地提高了新闻播报的质量，提高观众的观看体验。

进一步作为优选的实施方式，还包括切换渲染虚拟主播口型的步骤，所述切换渲染虚拟主播口型的步骤具体步骤A1～A4：

A1、对文稿信息进行解析后，获得文稿信息中每个汉字的拼音；

A2、将各汉字的拼音进行拆解后，获得与拼音对应的音素数组；

A3、采用预设的融合曲线对音素数组进行融合，并获得混合曲线；

A4、根据文稿信息生成语音信息后，结合语音信息和混合曲线驱动口型的变化，从而渲染出不同的口型。

所述音素数组包括声母和韵母，所述步骤A3具体包括步骤A31～A33：

A31、根据声母的类获取声母曲线，以及根据韵母的类型获取韵母曲线；

A32、将同一音素数组的声母曲线和韵母曲线进行融合，并获得音素曲线；

A33、将相邻的音素数组的音素曲线进行融合，获得混合曲线。

所述步骤A4具体包括步骤A41～A43：

A41、对混合曲线进行解析后，获得连续的驱动值；

A42、根据文稿信息生成语音信息后，识别语音信息的中的文字，并将识别的文字与驱动值进行匹配；

A43、依次结合驱动值和预设的口型模型驱动口型的变化，从而渲染出不同的口型。

现在的虚拟人物的口型驱动技术，主要还是通过检查说话时间，并在该时间段内驱动虚拟人物的口型一张一合，而口型无法与所说的词语匹配，降低了观众的观看体验。本实施例通过对文稿汉字的拼音进行解析，并由每个汉字获取与之匹配的口型，由于说话时口型的变化与上一个汉字的发音有关联，因此为了是口型的变化更加平滑，本实施例采用融合曲线的方式将相邻的汉字进行融合，再由融合后的曲线获得本发音汉字的口型。其中，对汉字拼音进行解析的技术可采用现有的技术来实现，具体可参照申请号为201410712164.7的专利。

参照图5和图6，具体采用如下方式对相邻汉字口型进行融合：声母发音先于韵母发音，但是声母发音的时长比韵母发音的时长比短，所以需要给声母和韵母分配不同的时间权重，从数据库中获得对应的声母曲线和韵母曲线。参照图5，结合声母和韵母的时间权重，将声母曲线和韵母曲线融合为音素曲线。参照图6，获得各汉字对应的音素曲线后，将相邻汉字的音素曲线进行混合，即可实现当前的汉字的口型为上一个汉字的口型和本汉字的发音控制。具体地，需要将上一个汉字的韵母曲线与本汉字的声母曲线进行混合，在本实施例中，采用Lerp函数对相邻的音素曲线进行融合。参照图7，为一个在时间上连续变化的口型，口型的变化更加平滑，避免口型的变化过于突兀，或者每个汉语单词都由张嘴和闭嘴组成，显得不够真实与自然，提高了观众的观看体验。

如图2所示，本实施例还提供了一种动态改变虚拟主播形象的***，包括：

选择输入模块，用于获取输入的选择信息，根据选择信息获取虚拟主播模型；

特征获取模块，用于获取文稿信息后，对文稿信息进行解析，并获得文字特征；

服饰获取模块，用于结合文字特征和预设的服饰数据库获取并保存多个服饰渲染数据；

服饰渲染模块，用于将获得的服饰渲染数据动态地渲染至虚拟主播模型上，以使虚拟主播呈现不同的画面。

本实施例的一种动态改变虚拟主播形象的***，可执行本发明方法实施例所提供的一种动态改变虚拟主播形象的方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

本实施例还提供了一种动态改变虚拟主播形象的装置，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。

本实施例的一种动态改变虚拟主播形象的装置，可执行本发明方法实施例所提供的一种动态改变虚拟主播形象的方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

本实施例还提供了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行如上所述方法。

本实施例的一种存储介质，可执行本发明方法实施例所提供的一种动态改变虚拟主播形象的方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种动态改变虚拟主播形象的方法，其特征在于，包括以下步骤：

获取输入的选择信息，根据选择信息获取虚拟主播模型；

获取文稿信息后，对文稿信息进行解析，并获得文字特征；

结合文字特征和预设的服饰数据库获取并保存多个服饰渲染数据；

将获得的服饰渲染数据动态地渲染至虚拟主播模型上，以使虚拟主播呈现不同的画面。

2.根据权利要求1所述的一种动态改变虚拟主播形象的方法，其特征在于，所述获取文稿信息后，对文稿信息进行解析，并获得文字特征这一步骤，具体包括以下步骤：

识别文稿信息中的名词词汇，并统计各名词词汇的出现次数；

根据出现次数获取多个关键词汇，并根据预设的词汇数据库对关键词汇进行匹配过滤后，获得过滤后的关键词汇作为文字特征。

3.根据权利要求2所述的一种动态改变虚拟主播形象的方法，其特征在于，所述结合文字特征和预设的服饰数据库获取并保存多个服饰渲染数据这一步骤，具体包括以下步骤：

依次根据文字特征中的每个关键词汇从预设的服饰数据库获取对应的服饰渲染模板；

获取输入的选取信息，结合服饰渲染模板和选取信息获取并保存服饰渲染数据。

4.根据权利要求3所述的一种动态改变虚拟主播形象的方法，其特征在于，所述将获得的服饰渲染数据动态地渲染至虚拟主播模型上，以使虚拟主播呈现不同的画面这一步骤，具体包括以下步骤：

获取与文稿信息对应的语音信息后，依次识别语音信息中的文字；

当检测到识别的文字为文字特征中的关键词汇时，获取与关键词汇对应的服饰渲染数据；

将获得的服饰渲染数据渲染至虚拟主播模型上，以使虚拟主播随着视频的播放呈现不同的画面。

5.根据权利要求1所述的一种动态改变虚拟主播形象的方法，其特征在于，还包括切换渲染虚拟主播口型的步骤，所述切换渲染虚拟主播口型的步骤具体包括以下步骤：

对文稿信息进行解析后，获得文稿信息中每个汉字的拼音；

将各汉字的拼音进行拆解后，获得与拼音对应的音素数组；

采用预设的融合曲线对音素数组进行融合，并获得混合曲线；

根据文稿信息生成语音信息后，结合语音信息和混合曲线驱动口型的变化，从而渲染出不同的口型。

6.根据权利要求5所述的一种动态改变虚拟主播形象的方法，其特征在于，所述音素数组包括声母和韵母，所述采用预设的融合曲线对音素数组进行融合，并获得混合曲线这一步骤，具体包括以下步骤：

根据声母的类获取声母曲线，以及根据韵母的类型获取韵母曲线；

将同一音素数组的声母曲线和韵母曲线进行融合，并获得音素曲线；

将相邻的音素数组的音素曲线进行融合，获得混合曲线。

7.根据权利要求6所述的一种动态改变虚拟主播形象的方法，其特征在于，所述结合语音信息和混合曲线驱动口型的变化，从而渲染出不同的口型这一步骤，具体包括以下步骤：

对混合曲线进行解析后，获得连续的驱动值；

识别语音信息的中的文字，并将识别的文字与驱动值进行匹配；

依次结合驱动值和预设的口型模型驱动口型的变化，从而渲染出不同的口型。

8.一种动态改变虚拟主播形象的***，其特征在于，包括：

选择输入模块，用于获取输入的选择信息，根据选择信息获取虚拟主播模型；

特征获取模块，用于获取文稿信息后，对文稿信息进行解析，并获得文字特征；

服饰获取模块，用于结合文字特征和预设的服饰数据库获取并保存多个服饰渲染数据；

服饰渲染模块，用于将获得的服饰渲染数据动态地渲染至虚拟主播模型上，以使虚拟主播呈现不同的画面。

9.一种动态改变虚拟主播形象的装置，其特征在于，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现权利要求1-7任一项所述的一种动态改变虚拟主播形象的方法。

10.一种存储介质，其中存储有处理器可执行的指令，其特征在于，所述处理器可执行的指令在由处理器执行时用于执行如权利要求1-7任一项所述方法。

Images