CN114125552A - 视频数据的生成方法及装置、存储介质、电子装置 - Google Patents
视频数据的生成方法及装置、存储介质、电子装置 Download PDFInfo
- Publication number
- CN114125552A CN114125552A CN202111443627.0A CN202111443627A CN114125552A CN 114125552 A CN114125552 A CN 114125552A CN 202111443627 A CN202111443627 A CN 202111443627A CN 114125552 A CN114125552 A CN 114125552A
- Authority
- CN
- China
- Prior art keywords
- video
- virtual
- model
- data
- character
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000009877 rendering Methods 0.000 claims abstract description 27
- 230000009471 action Effects 0.000 claims description 54
- 230000033001 locomotion Effects 0.000 claims description 44
- 230000003993 interaction Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 11
- 230000001815 facial effect Effects 0.000 claims description 9
- 239000000463 material Substances 0.000 claims description 7
- 230000002452 interceptive effect Effects 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 6
- 230000000694 effects Effects 0.000 abstract description 5
- 238000004891 communication Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003997 social interaction Effects 0.000 description 2
- 230000037237 body shape Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供了一种视频数据的生成方法及装置、存储介质、电子装置,其中,该方法包括:在第一客户端加载第一视频,并检测所述第一视频的编辑请求;响应所述编辑请求,获取所述第一视频的源视频模板数据,其中,所述源视频模板数据包括允许编辑的虚拟角色模型;获取所述虚拟角色模型的角色特征数据;依据所述角色特征数据,在所述源视频模板数据对应的虚拟场景模型模板中渲染生成第二视频。通过本发明,解决了相关技术只能通过图像特效编辑视频的技术问题,实现了视频的深度编辑。
Description
技术领域
本发明涉及计算机技术领域,具体而言,涉及一种视频数据的生成方法及装置、存储介质、电子装置。
背景技术
相关技术中,视频都是用户拍摄,或者基于已有的视频进行剪辑,用户如果想要扮演某个桥段中的角色,一方面只能重新搭建场景来拍摄,成本较大且效果不及预期,另一方面通过后期增加一些图像特效来实现,编辑的视觉效果有效,不能深度编辑。
针对相关技术中存在的上述问题,目前尚未发现有效的解决方案。
发明内容
本发明实施例提供了一种视频数据的生成方法及装置、存储介质、电子装置。
根据本发明的一个实施例,提供了一种视频数据的生成方法,包括:在第一客户端加载第一视频,并检测所述第一视频的编辑请求;响应所述编辑请求,获取所述第一视频的源视频模板数据,其中,所述源视频模板数据包括允许编辑的虚拟角色模型;获取所述虚拟角色模型的角色特征数据;依据所述角色特征数据,在所述源视频模板数据对应的虚拟场景模型模板中渲染生成第二视频。
根据本发明的另一个实施例,提供了一种视频数据的生成装置,包括:检测模块,用于在第一客户端加载第一视频,并检测所述第一视频的编辑请求;第一获取模块,用于响应所述编辑请求,获取所述第一视频的源视频模板数据,其中,所述源视频模板数据包括允许编辑的虚拟角色模型;第二获取模块,用于获取所述虚拟角色模型的角色特征数据;生成模块,用于依据所述角色特征数据,在所述源视频模板数据对应的虚拟场景模型模板中渲染生成第二视频。
根据本发明的又一个实施例,还提供了一种存储介质,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例,还提供了一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明,在第一客户端加载第一视频,并检测第一视频的编辑请求,响应编辑请求,获取第一视频的源视频模板数据,其中,源视频模板数据包括允许编辑的虚拟角色模型,获取虚拟角色模型的角色特征数据;依据角色特征数据,在源视频模板数据对应的虚拟场景模型模板中渲染生成第二视频,通过获取第一视频的源视频模板数据和其中虚拟角色模型的角色特征数据,可以采用角色特征数据在虚拟场景模型模板中配置或者控制该虚拟角色模型,重新编辑第一视频,解决了相关技术只能通过图像特效编辑视频的技术问题,实现了视频的深度编辑。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是本发明实施例的一种视频数据的生成服务器的硬件结构框图;
图2是根据本发明实施例的一种视频数据的生成方法的流程示意图;
图3是本发明实施例层级树的示意图;
图4是本发明实施例视频编辑的示意图;
图5是根据本发明实施例的一种视频数据的生成装置的结构框图;
图6是本发明实施例的一种电子装置的结构图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
本申请实施例一所提供的方法实施例可以在游戏服务器、云服务器、计算机或者类似的电子终端中执行。以运行在服务器上为例,图1是本发明实施例的一种视频数据的生成服务器的硬件结构框图。如图1所示,服务器可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,可选地,上述服务器还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述服务器的结构造成限定。例如,服务器还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
存储器104可用于存储服务器程序,例如,应用软件的软件程序以及模块,如本发明实施例中的一种视频数据的生成方法对应的服务器程序,处理器102通过运行存储在存储器104内的服务器程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。在本实施例中,处理器104用于响应人机交互指令和游戏策略,控制目标虚拟角色执行指定操作以完成游戏任务。存储器104用于存储程序脚本,配置信息,虚拟角色的属性信息等。
传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器的通信供应商提供的无线网络。在一个实例中,传输设备106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输设备106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
可选的,输入输出设备108还包括人机交互屏幕用于通过人机交互接口获取人机交互指令,还用于呈现流媒体画面;
在本实施例中提供了一种视频数据的生成方法,图2是根据本发明实施例的一种视频数据的生成方法的流程示意图,如图2所示,该流程包括如下步骤:
步骤S202,在第一客户端加载第一视频,并检测第一视频的编辑请求;
步骤S204,响应编辑请求,获取第一视频的源视频模板数据,其中,源视频模板数据包括允许编辑的虚拟角色模型;
视频服务器预先配置多个虚拟视频,如电影桥段,游戏视频等,第一客户端选择第一视频并加载播放,该第一视频中特定的角色元素的参数设置为可替换的,其他的不可替换(如布景,道具,非关键人物等),用户在编辑生成新的第二视频时,从中选择至少一个第一视频中喜欢的角色作为替换或者加工的对象。可选的,源视频模板数据还包括不允许编辑的虚拟角色模型或场景模型(如建筑物,山川,NPC等),这类模型的配置数据是固定好的。
步骤S206,获取虚拟角色模型的角色特征数据;
可选的,角色特征数据可以是脸部三维特征数据、动作特征数据,形体特征数据、声音特征数据。
步骤S208,依据角色特征数据,在源视频模板数据对应的虚拟场景模型模板中渲染生成第二视频;
可选的,采用角色特征数据在虚拟场景模型模板中配置或者控制该虚拟角色模型,实现深度渲染。
可选的,第一视频加载在视频播放端(如直播终端,电视,视频会议终端,游戏终端,即时通信终端)上,实时呈现虚拟画面,该虚拟画面中包括基于虚拟角色模型渲染的虚拟角色。
通过上述步骤,在第一客户端加载第一视频,并检测第一视频的编辑请求,响应编辑请求,获取第一视频的源视频模板数据,其中,源视频模板数据包括允许编辑的虚拟角色模型,获取虚拟角色模型的角色特征数据;依据角色特征数据,在源视频模板数据对应的虚拟场景模型模板中渲染生成第二视频,通过获取第一视频的源视频模板数据和其中虚拟角色模型的角色特征数据,可以采用角色特征数据在虚拟场景模型模板中配置或者控制该虚拟角色模型,重新编辑第一视频,解决了相关技术只能通过图像特效编辑视频的技术问题,实现了视频的深度编辑。
在本实施例的一个实施方式中,在第一客户端加载第一视频包括:在第一客户端加载虚拟游戏的过程中,采用虚拟游戏的画面帧生成游戏剪辑视频;加载游戏剪辑视频。
本实施例可以从多个数据源获取角色特征数据,获取虚拟角色模型的角色特征数据包括:从第一客户端采集的实景数据中捕捉虚拟角色模型的以下至少之一:脸部三维特征数据、动作特征数据,形体特征数据、声音特征数据;和/或,从特征素材库请求虚拟角色模型的以下至少之一:脸部三维特征数据、动作特征数据,形体特征数据、声音特征数据;选择虚拟游戏中的游戏角色,从游戏角色的角色属性或技能属性中读取虚拟角色模型的角色特征数据。
可选的,脸部三维特征数据可以是脸部五官的立体数据,脸部特定器官的三维数据等,动作特征数据可以是真实用户的连续动态动作,如武术动作,跳舞动作,话剧动作等,形体特征数据可以是真实用户的身高体重,身型比例等数据、声音特征数据可以是音色,声纹等特征数据。
在一个示例中,在采集角色特征数据时,使用用户手机的深度摄像头实时采集用户的脸部等部位的特征信息,并利用采集到的脸部特征信息控制虚拟角色模型呈现对应的表情,从而生成能够反映用户在拍摄视频的过程中的实时表情的第二视频。另一方面,也可以从已有的实景图像中获取角色特征数据,在采集的过程中,需要对用户的脸部或身体进行全景扫描,以生成虚拟角色模型的骨骼模型,此外,也可以获取游戏中的虚拟角色原型,基于该虚拟角色原型进一步塑造成虚拟形象。
角色特征数据可以通过客户端实时采集,也可以从特征素材库请求,特征素材库预先存储多套角色特征数据,每套角色特征数据可以适配到不同类型的虚拟角色模型,由于游戏角色的角色属性保存有游戏角色的角色形象,声音等特征数据,因此可以从角色属性中读取到角色特征数据,而技能属性则存储了触发对应技能时的特效动画或者动作特征,因此也可以从技能属性中读取到角色特征数据。在从特征素材库请求角色特征数据时,通过消耗一定的虚拟获取购买到上述数据,可以是动作明星、知名博主等的输入数据、歌星的声音数据等可以作为角色特征数据。
可选的,虚拟角色模型可以玩家控制角色(Player-Controlled Character,PCC)非玩家角色(Non-Player-Controlled Character,NPC)等,获取虚拟角色模型的角色特征数据可以但不限于为:从第一客户端获取PCC模型的第一角色特征数据;从第一客户端获取NPC模型的第二角色特征数据;从第一客户端获取第一虚拟角色模型的第三角色特征数据,从第二客户端获取第二虚拟角色模型的第四角色特征数据。
本实施例在获取虚拟角色模型的角色特征数据时,可以从多个客户端获取,例如从多个客户端获取同一个虚拟角色模型的角色特征数据,如一个客户端获取用户A的声音特征,一个客户端获取用户B的动作特征,实现合体的视觉效果,也可以针对虚拟角色模型分别获取角色特征数据,如从第一客户端获取第一虚拟角色模型的第三角色特征数据,从第二客户端获取第二虚拟角色模型的第四角色特征数据,并且在第一客户端和第二客户端之间通过不同的虚拟角色模型进行联动,分别控制视频中的虚拟角色模型,该联动可以是同步或者异步的。
在本实施例的一个实施方式中,调用游戏服务器的物理引擎来生成第二视频:
在一个实施场景中,角色特征数据包括第一虚拟角色模型的第三角色特征数据和第二虚拟角色模型的第四角色特征数据,依据角色特征数据,在源视频模板数据对应的虚拟场景模型模板中渲染生成第二视频包括:
S11,从游戏渲染引擎调用虚拟场景模型模板的游戏场景子模型,世界运动子模型,第一虚拟角色子模型,第二虚拟角色子模型,游戏互动子模型;
其中,游戏场景子模型包括动态和静态两种场景的模型,世界运动子模型是可交互物的运动逻辑模型,依据游戏剧情类型而定,游戏服务器开发接口后,可以实现外部调用。在元宇宙的虚拟场景中,游戏开发公司会开发这种编辑接口,并统一在元宇宙社区的云服务器中进行渲染输出第二视频。
S12,采用第三角色特征数据在游戏场景子模型和世界运动子模型中编辑第一虚拟角色子模型,采用第四角色特征数据在游戏场景子模型和世界运动子模型中编辑第二虚拟角色子模型,生成中间视频;
S13,采用游戏互动子模型在中间视频中增加第一虚拟角色子模型和第二虚拟角色子模型之间的交互信息,生成第二视频。
在一个示例中,采用游戏互动子模型在中间视频中增加第一虚拟角色子模型和第二虚拟角色子模型之间的交互信息时,从第一虚拟角色子模型的第三角色特征数据和第二虚拟角色模型的第四角色特征数据从提取出交互特征,如肢体动作,语言社交(如两个拍摄玩家的实时交谈社交,谈一起演一段视频剧情),即第一虚拟角色子模型和第二虚拟角色子模型之间的社交交友互动。
在本实施例的一些场景中,可以基于从视频社交软件获取第一视频,并基于第一视频进行编辑,打通视频社交软件和游戏服务器,以游戏服务器为技术底层的支撑,充分利用视频社交软件的分发能力和人气流量。
基于上述场景,第一客户端为视频社交客户端,在第一客户端加载第一视频,并检测第一视频的编辑请求,包括:在视频社交客户端加载第一视频,并在视频社交客户端播放第一视频的播放界面中检测第一视频的编辑请求,其中,编辑请求携带在第一视频的视频帧数据中。
其中,编辑请求的代码携带游戏服务器的接口脚本,通过触发,可以调用游戏服务器的编辑资源,编辑完成生成第二视频之后,可以继续发布在视频社交软件上。
在本实施例的一个实施方式中,在第一客户端加载第一视频之后,还包括:
S21,从第一视频中提取编辑者标签,其中,编辑者标签用于标识与第一视频相关的编辑账号;
S22,计算第一视频在第一客户端上产生的流量数据;
S23,将流量数据保存至编辑账号的计费账户。
可选的,将流量数据保存至编辑账号的计费账户包括:从层级树中提取第一视频的父级账号和子级账号,其中,父级账号是第一视频的源视频的编辑账号,子级账号是第一视频的编辑账号;计算父级账号和子级账号分别对第一视频的编辑比例;按照编辑比例对流量数据进行分成,并将分成后的流量子数据分别保存至父级账号和子级账号。
图3是本发明实施例层级树的示意图,示意了三个层级,其中第一层级包括账号1,第二层级包括账号2和账号3,第三层级包括账号4,账号5,账号6,账号7,以编辑第一视频的子级账号为账号5为例,则其父级账号包括账号2和账号1,账号1先在原始视频的基础上编辑视频A,账号2在视频A的基础上编辑生成视频B,账号5在视频B的基础上编辑生成第一视频,如果账号1对第一视频的编辑比例是10%,账号2对第一视频的编辑比例是30%,账号5对第一视频的编辑比例是60%,在对第一视频的流量数据进行分成时,账号1,账号2和账号5各分得10%,30%和60%。
本实施例编辑请求的链接携带在第一视频的视频帧数据中,通过记载第一视频显示在其播放界面上,以便其他观众发现,并发起这种视频编辑请求;平台方进行视频编辑的记录,并为流量分成计算时,按照贡献的比例逐级计算分发给各个编辑方,从而促进视频编辑和分发,并促进在平台上的分发和再创意。
在本实施例的另外一个实施方式中,调用游戏服务器的图像处理引擎来生成第二视频:
在本实施例的一个实施场景中,依据角色特征数据,在源视频模板数据对应的虚拟场景模型模板中渲染生成第二视频包括:
S31,在虚拟场景模型模板中删除与虚拟角色模型对应的源虚拟角色,得到中间虚拟场景模型模板;
S32,从起始位置播放中间虚拟场景模型模板,并在中间虚拟场景模型模板的播放画面中添加虚拟角色模型;
本实施例的源虚拟角色和中间虚拟场景模型模板分别对应一部分源视频模板数据,从源视频模板数据中删除源虚拟角色的数据之后,再加载播放中间虚拟场景模型模板,并重新添加上虚拟角色模型,虚拟角色模型是可以配置的原始模型。
S33,基于角色特征数据控制虚拟角色模型在播放画面中运动形成动作轨迹,并记录动作轨迹;
在一些示例中,基于角色特征数据控制虚拟角色模型在播放画面中运动形成动作轨迹包括:基于角色特征数据在播放画面中生成针对虚拟角色模型的控制指令,并在播放画面的多个视角对应添加多个虚拟摄像机,其中,控制指令用于指示虚拟角色模型与播放画面中的场景元素进行交互;响应控制指令,控制虚拟角色模型在播放画面中运动形成第一运动轨迹,并控制多个虚拟摄像机沿第一运动轨迹拍摄虚拟角色模型在运动过程中的多组动态画面。
在一些示例中,基于角色特征数据控制虚拟角色模型在播放画面中运动形成动作轨迹包括:按照存储时序依次提取角色特征数据中的脸部特征和体姿特征,其中,角色特征数据基于存储时序在队列中存储若干组组脸部特征和若干组体姿特征;生成与脸部特征和体姿特征分别对应的脸部动作指令和身体动作指令,采用脸部动作指令和身体动作指令同步控制目标虚拟形象在播放画面中运动,形成第二动作轨迹。
S34,沿动作轨迹在中间虚拟场景模型模板中重新渲染虚拟角色模型,生成包含目标虚拟角色的第二视频。
在一些示例中,沿动作轨迹在中间虚拟场景模型模板中重新渲染虚拟角色模型,生成包含目标虚拟角色的第二视频包括:获取多个虚拟摄像机的多组动态画面;针对中间虚拟场景模型模板的每帧播放画面,在多组动态画面选择一组视频画面,并逐帧剪辑播放画面和视频画面,生成包含目标虚拟角色的第二视频。
用户可以通过自己所选的虚拟角色,进入到第一视频对应的虚拟场景模型模板中,在控制虚拟角色的过程中,与其他用户控制的虚拟角色或者NPC按照该第一视频对应的剧情进行演绎,或者自行与其他虚拟角色、NPC进行交互,由虚拟场景内的多个虚拟摄像机对演绎过程进行拍摄,后期可以通过对多个虚拟摄像机拍摄得到的画面进行剪辑得到第二视频的视频片段。
图4是本发明实施例视频编辑的示意图,第一视频截图和第二视频截图分别是第一视频和第二视频中同一个视频位置的截图,角色1和角色2基于相同的虚拟角色模型进行配置和渲染,通过采用角色特征数据重新配置虚拟角色模型,其他区域的画面不变,实现了视频的编辑。
在本实施例的一个实施方式中,获取虚拟角色模型的角色特征数据包括:采集第一目标音频,并从第一目标音频中提取音色特征,提取第一视频中虚拟角色模型的台词信息;基于音色特征和台词信息生成虚拟角色模型在的角色配音数据。
采用该实施方式,可以对第一视频中的虚拟角色模型进行重新配音,并保持台词信息不变,如可以将第一视频中某个角色的音色编辑成用户自己的音色,视频画面不变。
在本实施例的另一个实施方式中,获取虚拟角色模型的角色特征数据包括:采集第二目标音频,解析第二目标音频中的文字信息;将第二目标音频和文字信息分别配置为虚拟角色模型的角色配音数据和角色台词数据;识别第二目标音频中的口型特征和身体动作特征,并将口型特征和身体动作特征分别配置为虚拟角色模型的口型动作数据和身体动作数据。
采用该实施方式,可以编辑第一视频中虚拟角色模型的配音、台词,动作等。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
在本实施例中还提供了一种视频数据的生成装置,用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图5是根据本发明实施例的一种视频数据的生成装置的结构框图,如图5所示,该装置包括:检测模块50,第一获取模块52,第二获取模块54,生成模块56,其中,
检测模块50,用于在第一客户端加载第一视频,并检测所述第一视频的编辑请求;
第一获取模块52,用于响应所述编辑请求,获取所述第一视频的源视频模板数据,其中,所述源视频模板数据包括允许编辑的虚拟角色模型;
第二获取模块54,用于获取所述虚拟角色模型的角色特征数据;
生成模块56,用于依据所述角色特征数据,在所述源视频模板数据对应的虚拟场景模型模板中渲染生成第二视频。
可选的,所述检测模块包括:生成单元,用于在第一客户端加载虚拟游戏的过程中,采用所述虚拟游戏的画面帧生成游戏剪辑视频;加载单元,用于加载所述游戏剪辑视频。
可选的,所述第二获取模块包括以下至少之一:第一获取单元,用于从所述第一客户端获取玩家控制角色PCC模型的第一角色特征数据;第二获取单元,用于从所述第一客户端获取非玩家角色NPC模型的第二角色特征数据;第三获取单元,用于从所述第一客户端获取第一虚拟角色模型的第三角色特征数据,从第二客户端获取第二虚拟角色模型的第四角色特征数据。
可选的,所述角色特征数据包括第一虚拟角色模型的第三角色特征数据和第二虚拟角色模型的第四角色特征数据,所述生成模块包括:调用单元,用于从游戏渲染引擎调用所述虚拟场景模型模板的游戏场景子模型,世界运动子模型,第一虚拟角色子模型,第二虚拟角色子模型,游戏互动子模型;编辑单元,用于采用所述第三角色特征数据在所述游戏场景子模型和世界运动子模型中编辑所述第一虚拟角色子模型,采用所述第四角色特征数据在所述游戏场景子模型和世界运动子模型中编辑所述第二虚拟角色子模型,生成中间视频;第一生成单元,用于采用所述游戏互动子模型在所述中间视频中增加所述第一虚拟角色子模型和所述第二虚拟角色子模型之间的交互信息,生成所述第二视频。
可选的,所述第一客户端为视频社交客户端,所述检测模块包括:检测单元,用于在视频社交客户端加载第一视频,并在所述视频社交客户端播放所述第一视频的播放界面中检测所述第一视频的编辑请求,其中,所述编辑请求携带在所述第一视频的视频帧数据中。
可选的,所述装置还包括:提取模块,用于在所述检测模块在第一客户端加载第一视频之后,从所述第一视频中提取编辑者标签,其中,所述编辑者标签用于标识与所述第一视频相关的编辑账号;计算模块,用于计算所述第一视频在所述第一客户端上产生的流量数据;保存模块,用于将所述流量数据保存至所述编辑账号的计费账户。
可选的,所述保存模块包括:提取单元,用于从层级树中提取所述第一视频的父级账号和子级账号,其中,所述父级账号是所述第一视频的源视频的编辑账号,所述子级账号是所述第一视频的编辑账号;计算单元,用于计算所述父级账号和所述子级账号分别对所述第一视频的编辑比例;保存单元,用于按照所述编辑比例对所述流量数据进行分成,并将分成后的流量子数据分别保存至所述父级账号和所述子级账号。
可选的,所述第二获取模块包括:第四获取单元,用于从所述第一客户端采集的实景数据中捕捉所述虚拟角色模型的以下至少之一:脸部三维特征数据、动作特征数据,形体特征数据、声音特征数据;和/或,第五获取单元,用于从特征素材库请求所述虚拟角色模型的以下至少之一:脸部三维特征数据、动作特征数据,形体特征数据、声音特征数据;第六获取单元,用于选择虚拟游戏中的游戏角色,从所述游戏角色的角色属性或技能属性中读取所述虚拟角色模型的角色特征数据。
可选的,所述生成模块包括:删除单元,用于在所述虚拟场景模型模板中删除与所述虚拟角色模型对应的源虚拟角色,得到中间虚拟场景模型模板;添加单元,用于从起始位置播放所述中间虚拟场景模型模板,并在所述中间虚拟场景模型模板的播放画面中添加所述虚拟角色模型;控制单元,用于基于所述角色特征数据控制所述虚拟角色模型在所述播放画面中运动形成动作轨迹,并记录所述动作轨迹;第二生成单元,用于沿所述动作轨迹在所述中间虚拟场景模型模板中重新渲染所述虚拟角色模型,生成包含目标虚拟角色的第二视频。
可选的,所述控制单元包括:第一控制子单元,用于基于所述角色特征数据在所述播放画面中生成针对所述虚拟角色模型的控制指令,并在所述述播放画面的多个视角对应添加多个虚拟摄像机,其中,所述控制指令用于指示所述虚拟角色模型与所述播放画面中的场景元素进行交互;第二控制子单元,用于响应所述控制指令,控制所述虚拟角色模型在所述播放画面中运动形成第一运动轨迹,并控制多个所述虚拟摄像机沿所述第一运动轨迹拍摄所述虚拟角色模型在运动过程中的多组动态画面。
可选的,所述第二生成单元包括:获取子单元,用于获取所述多个所述虚拟摄像机的多组动态画面;生成子单元,用于针对所述中间虚拟场景模型模板的每帧播放画面,在所述多组动态画面选择一组视频画面,并逐帧剪辑所述播放画面和所述视频画面,生成包含目标虚拟角色的第二视频。
可选的,所述控制单元包括:提取子单元,用于按照存储时序依次提取所述角色特征数据中的脸部特征和体姿特征,其中,所述角色特征数据基于所述存储时序在队列中存储若干组组所述脸部特征和若干组所述体姿特征;生成子单元,用于生成与所述脸部特征和所述体姿特征分别对应的脸部动作指令和身体动作指令,采用所述脸部动作指令和身体动作指令同步控制所述目标虚拟形象在所述播放画面中运动,形成第二动作轨迹。
可选的,所述第二获取模块包括:第一处理单元,用于采集第一目标音频,并从所述第一目标音频中提取音色特征,提取所述第一视频中所述虚拟角色模型的台词信息;生成单元,用于基于所述音色特征和所述台词信息生成所述虚拟角色模型在的角色配音数据。
可选的,所述第二获取模块包括:第二处理单元,用于采集第二目标音频,解析所述第二目标音频中的文字信息;第一配置单元,用于将所述第二目标音频和所述文字信息分别配置为所述虚拟角色模型的角色配音数据和角色台词数据;第二配置单元,用于识别所述第二目标音频中的口型特征和身体动作特征,并将所述口型特征和所述身体动作特征分别配置为所述虚拟角色模型的口型动作数据和身体动作数据。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例3
本申请实施例还提供了一种电子装置,图6是本发明实施例的一种电子装置的结构图,如图6所示,包括处理器61、通信接口62、存储器63和通信总线64,其中,处理器61,通信接口62,存储器63通过通信总线64完成相互间的通信,存储器63,用于存放计算机程序;
处理器61,用于执行存储器63上所存放的程序时,实现如下步骤:在第一客户端加载第一视频,并检测所述第一视频的编辑请求;响应所述编辑请求,获取所述第一视频的源视频模板数据,其中,所述源视频模板数据包括允许编辑的虚拟角色模型;获取所述虚拟角色模型的角色特征数据;依据所述角色特征数据,在所述源视频模板数据对应的虚拟场景模型模板中渲染生成第二视频。
可选的,在第一客户端加载第一视频包括:在第一客户端加载虚拟游戏的过程中,采用所述虚拟游戏的画面帧生成游戏剪辑视频;加载所述游戏剪辑视频。
可选的,获取所述虚拟角色模型的角色特征数据包括以下至少之一:从所述第一客户端获取玩家控制角色PCC模型的第一角色特征数据;从所述第一客户端获取非玩家角色NPC模型的第二角色特征数据;从所述第一客户端获取第一虚拟角色模型的第三角色特征数据,从第二客户端获取第二虚拟角色模型的第四角色特征数据。
可选的,所述角色特征数据包括第一虚拟角色模型的第三角色特征数据和第二虚拟角色模型的第四角色特征数据,依据所述角色特征数据,在所述源视频模板数据对应的虚拟场景模型模板中渲染生成第二视频包括:从游戏渲染引擎调用所述虚拟场景模型模板的游戏场景子模型,世界运动子模型,第一虚拟角色子模型,第二虚拟角色子模型,游戏互动子模型;采用所述第三角色特征数据在所述游戏场景子模型和世界运动子模型中编辑所述第一虚拟角色子模型,采用所述第四角色特征数据在所述游戏场景子模型和世界运动子模型中编辑所述第二虚拟角色子模型,生成中间视频;采用所述游戏互动子模型在所述中间视频中增加所述第一虚拟角色子模型和所述第二虚拟角色子模型之间的交互信息,生成所述第二视频。
可选的,所述第一客户端为视频社交客户端,在第一客户端加载第一视频,并检测所述第一视频的编辑请求,包括:在视频社交客户端加载第一视频,并在所述视频社交客户端播放所述第一视频的播放界面中检测所述第一视频的编辑请求,其中,所述编辑请求携带在所述第一视频的视频帧数据中。
可选的,在第一客户端加载第一视频之后,所述方法还包括:从所述第一视频中提取编辑者标签,其中,所述编辑者标签用于标识与所述第一视频相关的编辑账号;计算所述第一视频在所述第一客户端上产生的流量数据;将所述流量数据保存至所述编辑账号的计费账户。
可选的,将所述流量数据保存至所述编辑账号的计费账户包括:从层级树中提取所述第一视频的父级账号和子级账号,其中,所述父级账号是所述第一视频的源视频的编辑账号,所述子级账号是所述第一视频的编辑账号;计算所述父级账号和所述子级账号分别对所述第一视频的编辑比例;按照所述编辑比例对所述流量数据进行分成,并将分成后的流量子数据分别保存至所述父级账号和所述子级账号。
可选的,获取所述虚拟角色模型的角色特征数据包括:从所述第一客户端采集的实景数据中捕捉所述虚拟角色模型的以下至少之一:脸部三维特征数据、动作特征数据,形体特征数据、声音特征数据;和/或,从特征素材库请求所述虚拟角色模型的以下至少之一:脸部三维特征数据、动作特征数据,形体特征数据、声音特征数据;选择虚拟游戏中的游戏角色,从所述游戏角色的角色属性或技能属性中读取所述虚拟角色模型的角色特征数据。
可选的,依据所述角色特征数据,在所述源视频模板数据对应的虚拟场景模型模板中渲染生成第二视频包括:在所述虚拟场景模型模板中删除与所述虚拟角色模型对应的源虚拟角色,得到中间虚拟场景模型模板;从起始位置播放所述中间虚拟场景模型模板,并在所述中间虚拟场景模型模板的播放画面中添加所述虚拟角色模型;基于所述角色特征数据控制所述虚拟角色模型在所述播放画面中运动形成动作轨迹,并记录所述动作轨迹;沿所述动作轨迹在所述中间虚拟场景模型模板中重新渲染所述虚拟角色模型,生成包含目标虚拟角色的第二视频。
可选的,基于所述角色特征数据控制所述虚拟角色模型在所述播放画面中运动形成动作轨迹包括:基于所述角色特征数据在所述播放画面中生成针对所述虚拟角色模型的控制指令,并在所述述播放画面的多个视角对应添加多个虚拟摄像机,其中,所述控制指令用于指示所述虚拟角色模型与所述播放画面中的场景元素进行交互;响应所述控制指令,控制所述虚拟角色模型在所述播放画面中运动形成第一运动轨迹,并控制多个所述虚拟摄像机沿所述第一运动轨迹拍摄所述虚拟角色模型在运动过程中的多组动态画面。
可选的,沿所述动作轨迹在所述中间虚拟场景模型模板中重新渲染所述虚拟角色模型,生成包含目标虚拟角色的第二视频包括:获取所述多个所述虚拟摄像机的多组动态画面;针对所述中间虚拟场景模型模板的每帧播放画面,在所述多组动态画面选择一组视频画面,并逐帧剪辑所述播放画面和所述视频画面,生成包含目标虚拟角色的第二视频。
可选的,基于所述角色特征数据控制所述虚拟角色模型在所述播放画面中运动形成动作轨迹包括:按照存储时序依次提取所述角色特征数据中的脸部特征和体姿特征,其中,所述角色特征数据基于所述存储时序在队列中存储若干组组所述脸部特征和若干组所述体姿特征;生成与所述脸部特征和所述体姿特征分别对应的脸部动作指令和身体动作指令,采用所述脸部动作指令和身体动作指令同步控制所述目标虚拟形象在所述播放画面中运动,形成第二动作轨迹。
可选的,获取所述虚拟角色模型的角色特征数据包括:采集第一目标音频,并从所述第一目标音频中提取音色特征,提取所述第一视频中所述虚拟角色模型的台词信息;基于所述音色特征和所述台词信息生成所述虚拟角色模型在的角色配音数据。
可选的,获取所述虚拟角色模型的角色特征数据包括:采集第二目标音频,解析所述第二目标音频中的文字信息;将所述第二目标音频和所述文字信息分别配置为所述虚拟角色模型的角色配音数据和角色台词数据;识别所述第二目标音频中的口型特征和身体动作特征,并将所述口型特征和所述身体动作特征分别配置为所述虚拟角色模型的口型动作数据和身体动作数据。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的视频数据的生成方法。
在本申请提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的视频数据的生成方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (17)
1.一种视频数据的生成方法,其特征在于,包括:
在第一客户端加载第一视频,并检测所述第一视频的编辑请求;
响应所述编辑请求,获取所述第一视频的源视频模板数据,其中,所述源视频模板数据包括允许编辑的虚拟角色模型;
获取所述虚拟角色模型的角色特征数据;
依据所述角色特征数据,在所述源视频模板数据对应的虚拟场景模型模板中渲染生成第二视频。
2.根据权利要求1所述的方法,其特征在于,在第一客户端加载第一视频包括:
在第一客户端加载虚拟游戏的过程中,采用所述虚拟游戏的画面帧生成游戏剪辑视频;
加载所述游戏剪辑视频。
3.根据权利要求1所述的方法,其特征在于,获取所述虚拟角色模型的角色特征数据包括以下至少之一:
从所述第一客户端获取玩家控制角色PCC模型的第一角色特征数据;
从所述第一客户端获取非玩家角色NPC模型的第二角色特征数据;
从所述第一客户端获取第一虚拟角色模型的第三角色特征数据,从第二客户端获取第二虚拟角色模型的第四角色特征数据。
4.根据权利要求1所述的方法,其特征在于,所述角色特征数据包括第一虚拟角色模型的第三角色特征数据和第二虚拟角色模型的第四角色特征数据,依据所述角色特征数据,在所述源视频模板数据对应的虚拟场景模型模板中渲染生成第二视频包括:
从游戏渲染引擎调用所述虚拟场景模型模板的游戏场景子模型,世界运动子模型,第一虚拟角色子模型,第二虚拟角色子模型,游戏互动子模型;
采用所述第三角色特征数据在所述游戏场景子模型和世界运动子模型中编辑所述第一虚拟角色子模型,采用所述第四角色特征数据在所述游戏场景子模型和世界运动子模型中编辑所述第二虚拟角色子模型,生成中间视频;
采用所述游戏互动子模型在所述中间视频中增加所述第一虚拟角色子模型和所述第二虚拟角色子模型之间的交互信息,生成所述第二视频。
5.根据权利要求1所述的方法,其特征在于,所述第一客户端为视频社交客户端,在第一客户端加载第一视频,并检测所述第一视频的编辑请求,包括:
在视频社交客户端加载第一视频,并在所述视频社交客户端播放所述第一视频的播放界面中检测所述第一视频的编辑请求,其中,所述编辑请求携带在所述第一视频的视频帧数据中。
6.根据权利要求1所述的方法,其特征在于,在第一客户端加载第一视频之后,所述方法还包括:
从所述第一视频中提取编辑者标签,其中,所述编辑者标签用于标识与所述第一视频相关的编辑账号;
计算所述第一视频在所述第一客户端上产生的流量数据;
将所述流量数据保存至所述编辑账号的计费账户。
7.根据权利要求6所述的方法,其特征在于,将所述流量数据保存至所述编辑账号的计费账户包括:
从层级树中提取所述第一视频的父级账号和子级账号,其中,所述父级账号是所述第一视频的源视频的编辑账号,所述子级账号是所述第一视频的编辑账号;
计算所述父级账号和所述子级账号分别对所述第一视频的编辑比例;
按照所述编辑比例对所述流量数据进行分成,并将分成后的流量子数据分别保存至所述父级账号和所述子级账号。
8.根据权利要求1所述的方法,其特征在于,获取所述虚拟角色模型的角色特征数据包括:
从所述第一客户端采集的实景数据中捕捉所述虚拟角色模型的以下至少之一:脸部三维特征数据、动作特征数据,形体特征数据、声音特征数据;和/或,
从特征素材库请求所述虚拟角色模型的以下至少之一:脸部三维特征数据、动作特征数据,形体特征数据、声音特征数据;
选择虚拟游戏中的游戏角色,从所述游戏角色的角色属性或技能属性中读取所述虚拟角色模型的角色特征数据。
9.根据权利要求1所述的方法,其特征在于,依据所述角色特征数据,在所述源视频模板数据对应的虚拟场景模型模板中渲染生成第二视频包括:
在所述虚拟场景模型模板中删除与所述虚拟角色模型对应的源虚拟角色,得到中间虚拟场景模型模板;
从起始位置播放所述中间虚拟场景模型模板,并在所述中间虚拟场景模型模板的播放画面中添加所述虚拟角色模型;
基于所述角色特征数据控制所述虚拟角色模型在所述播放画面中运动形成动作轨迹,并记录所述动作轨迹;
沿所述动作轨迹在所述中间虚拟场景模型模板中重新渲染所述虚拟角色模型,生成包含目标虚拟角色的第二视频。
10.根据权利要求9所述的方法,其特征在于,基于所述角色特征数据控制所述虚拟角色模型在所述播放画面中运动形成动作轨迹包括:
基于所述角色特征数据在所述播放画面中生成针对所述虚拟角色模型的控制指令,并在所述述播放画面的多个视角对应添加多个虚拟摄像机,其中,所述控制指令用于指示所述虚拟角色模型与所述播放画面中的场景元素进行交互;
响应所述控制指令,控制所述虚拟角色模型在所述播放画面中运动形成第一运动轨迹,并控制多个所述虚拟摄像机沿所述第一运动轨迹拍摄所述虚拟角色模型在运动过程中的多组动态画面。
11.根据权利要求10所述的方法,其特征在于,沿所述动作轨迹在所述中间虚拟场景模型模板中重新渲染所述虚拟角色模型,生成包含目标虚拟角色的第二视频包括:
获取所述多个所述虚拟摄像机的多组动态画面;
针对所述中间虚拟场景模型模板的每帧播放画面,在所述多组动态画面选择一组视频画面,并逐帧剪辑所述播放画面和所述视频画面,生成包含目标虚拟角色的第二视频。
12.根据权利要求9所述的方法,其特征在于,基于所述角色特征数据控制所述虚拟角色模型在所述播放画面中运动形成动作轨迹包括:
按照存储时序依次提取所述角色特征数据中的脸部特征和体姿特征,其中,所述角色特征数据基于所述存储时序在队列中存储若干组组所述脸部特征和若干组所述体姿特征;
生成与所述脸部特征和所述体姿特征分别对应的脸部动作指令和身体动作指令,采用所述脸部动作指令和身体动作指令同步控制所述目标虚拟形象在所述播放画面中运动,形成第二动作轨迹。
13.根据权利要求1所述的方法,其特征在于,获取所述虚拟角色模型的角色特征数据包括:
采集第一目标音频,并从所述第一目标音频中提取音色特征,提取所述第一视频中所述虚拟角色模型的台词信息;
基于所述音色特征和所述台词信息生成所述虚拟角色模型在的角色配音数据。
14.根据权利要求1所述的方法,其特征在于,获取所述虚拟角色模型的角色特征数据包括:
采集第二目标音频,解析所述第二目标音频中的文字信息;
将所述第二目标音频和所述文字信息分别配置为所述虚拟角色模型的角色配音数据和角色台词数据;
识别所述第二目标音频中的口型特征和身体动作特征,并将所述口型特征和所述身体动作特征分别配置为所述虚拟角色模型的口型动作数据和身体动作数据。
15.一种视频数据的生成装置,其特征在于,包括:
检测模块,用于在第一客户端加载第一视频,并检测所述第一视频的编辑请求;
第一获取模块,用于响应所述编辑请求,获取所述第一视频的源视频模板数据,其中,所述源视频模板数据包括允许编辑的虚拟角色模型;
第二获取模块,用于获取所述虚拟角色模型的角色特征数据;
生成模块,用于依据所述角色特征数据,在所述源视频模板数据对应的虚拟场景模型模板中渲染生成第二视频。
16.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行权利要求1至14任一项中所述的方法。
17.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至14任一项中所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111443627.0A CN114125552A (zh) | 2021-11-30 | 2021-11-30 | 视频数据的生成方法及装置、存储介质、电子装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111443627.0A CN114125552A (zh) | 2021-11-30 | 2021-11-30 | 视频数据的生成方法及装置、存储介质、电子装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114125552A true CN114125552A (zh) | 2022-03-01 |
Family
ID=80368619
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111443627.0A Pending CN114125552A (zh) | 2021-11-30 | 2021-11-30 | 视频数据的生成方法及装置、存储介质、电子装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114125552A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116261009A (zh) * | 2022-12-26 | 2023-06-13 | 北京奇树有鱼文化传媒有限公司 | 智能转化影视受众的视频检测方法、装置、设备及介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160093078A1 (en) * | 2014-09-29 | 2016-03-31 | Amazon Technologies, Inc. | Virtual world generation engine |
US20180085672A1 (en) * | 2016-09-28 | 2018-03-29 | Nintendo Co., Ltd. | Display control apparatus, display control system, display control method and storage medium |
CN111558221A (zh) * | 2020-05-13 | 2020-08-21 | 腾讯科技(深圳)有限公司 | 虚拟场景的显示方法和装置、存储介质及电子设备 |
US20200306640A1 (en) * | 2019-03-27 | 2020-10-01 | Electronic Arts Inc. | Virtual character generation from image or video data |
CN111768479A (zh) * | 2020-07-29 | 2020-10-13 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、计算机设备以及存储介质 |
CN112162628A (zh) * | 2020-09-01 | 2021-01-01 | 魔珐(上海)信息科技有限公司 | 基于虚拟角色的多模态交互方法、装置及***、存储介质、终端 |
CN112738623A (zh) * | 2019-10-14 | 2021-04-30 | 北京字节跳动网络技术有限公司 | 视频文件的生成方法、装置、终端及存储介质 |
CN112822556A (zh) * | 2020-12-31 | 2021-05-18 | 上海米哈游天命科技有限公司 | 游戏画面的拍摄方法、装置、设备及存储介质 |
CN112862935A (zh) * | 2021-03-16 | 2021-05-28 | 天津亚克互动科技有限公司 | 游戏角色的运动处理方法及装置、存储介质、计算机设备 |
CN113240782A (zh) * | 2021-05-26 | 2021-08-10 | 完美世界(北京)软件科技发展有限公司 | 基于虚拟角色的流媒体生成方法及装置 |
-
2021
- 2021-11-30 CN CN202111443627.0A patent/CN114125552A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160093078A1 (en) * | 2014-09-29 | 2016-03-31 | Amazon Technologies, Inc. | Virtual world generation engine |
US20180085672A1 (en) * | 2016-09-28 | 2018-03-29 | Nintendo Co., Ltd. | Display control apparatus, display control system, display control method and storage medium |
US20200306640A1 (en) * | 2019-03-27 | 2020-10-01 | Electronic Arts Inc. | Virtual character generation from image or video data |
CN112738623A (zh) * | 2019-10-14 | 2021-04-30 | 北京字节跳动网络技术有限公司 | 视频文件的生成方法、装置、终端及存储介质 |
CN111558221A (zh) * | 2020-05-13 | 2020-08-21 | 腾讯科技(深圳)有限公司 | 虚拟场景的显示方法和装置、存储介质及电子设备 |
CN111768479A (zh) * | 2020-07-29 | 2020-10-13 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、计算机设备以及存储介质 |
CN112162628A (zh) * | 2020-09-01 | 2021-01-01 | 魔珐(上海)信息科技有限公司 | 基于虚拟角色的多模态交互方法、装置及***、存储介质、终端 |
CN112822556A (zh) * | 2020-12-31 | 2021-05-18 | 上海米哈游天命科技有限公司 | 游戏画面的拍摄方法、装置、设备及存储介质 |
CN112862935A (zh) * | 2021-03-16 | 2021-05-28 | 天津亚克互动科技有限公司 | 游戏角色的运动处理方法及装置、存储介质、计算机设备 |
CN113240782A (zh) * | 2021-05-26 | 2021-08-10 | 完美世界(北京)软件科技发展有限公司 | 基于虚拟角色的流媒体生成方法及装置 |
Non-Patent Citations (1)
Title |
---|
SIMON ALEXANDERSON, GUSTAV EJE HENTER, TARAS KUCHERENKO, JONAS BESKOW: "Style-Controllable Speech-Driven Gesture Synthesis Using Normalising Flows", COMPUTER GRAPHICS FORUM, vol. 39, no. 2, pages 487 - 496 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116261009A (zh) * | 2022-12-26 | 2023-06-13 | 北京奇树有鱼文化传媒有限公司 | 智能转化影视受众的视频检测方法、装置、设备及介质 |
CN116261009B (zh) * | 2022-12-26 | 2023-09-08 | 北京奇树有鱼文化传媒有限公司 | 智能转化影视受众的视频检测方法、装置、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022001593A1 (zh) | 视频生成方法、装置、存储介质及计算机设备 | |
US9381429B2 (en) | Compositing multiple scene shots into a video game clip | |
CN111080759B (zh) | 一种分镜效果的实现方法、装置及相关产品 | |
CN112199016B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
KR20160098949A (ko) | 동영상 생성 방법, 장치 및 컴퓨터 프로그램 | |
CN109743584B (zh) | 全景视频合成方法、服务器、终端设备及存储介质 | |
US20230368461A1 (en) | Method and apparatus for processing action of virtual object, and storage medium | |
CN109361954B (zh) | 视频资源的录制方法、装置、存储介质及电子装置 | |
CN112422844A (zh) | 在视频中添加特效的方法、装置、设备及可读存储介质 | |
CN115362474A (zh) | 自定义多媒体消息应用的能够修改的视频中的配乐和发型 | |
CN111667557A (zh) | 动画制作方法及装置、存储介质、终端 | |
WO2023185809A1 (zh) | 视频数据生成方法、装置、电子设备及存储介质 | |
CN112827172A (zh) | 拍摄方法、装置、电子设备及存储介质 | |
CN114168044A (zh) | 虚拟场景的交互方法及装置、存储介质、电子装置 | |
CN114125552A (zh) | 视频数据的生成方法及装置、存储介质、电子装置 | |
CN114880062A (zh) | 聊天表情展示方法、设备、电子设备及存储介质 | |
KR20200028830A (ko) | 실시간 cg 영상 방송 서비스 시스템 | |
US20120021827A1 (en) | Multi-dimensional video game world data recorder | |
US20230053308A1 (en) | Simulation of likenesses and mannerisms in extended reality environments | |
CN116017082A (zh) | 一种信息处理方法和电子设备 | |
CN116126177A (zh) | 一种数据交互控制方法、装置、电子设备和存储介质 | |
CN115858077A (zh) | 用于创建特效的方法、装置、设备和介质 | |
CN115562480A (zh) | 用于增强现实的方法及装置 | |
KR101221540B1 (ko) | 인터랙티브 미디어 매핑 시스템 및 그 방법 | |
CN115442658A (zh) | 直播方法、装置、存储介质、电子设备及产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |