CN118154738A - 视频生成方法、装置和计算机可读存储介质 - Google Patents
视频生成方法、装置和计算机可读存储介质 Download PDFInfo
- Publication number
- CN118154738A CN118154738A CN202410275368.2A CN202410275368A CN118154738A CN 118154738 A CN118154738 A CN 118154738A CN 202410275368 A CN202410275368 A CN 202410275368A CN 118154738 A CN118154738 A CN 118154738A
- Authority
- CN
- China
- Prior art keywords
- information
- video
- virtual
- virtual object
- action information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000009471 action Effects 0.000 claims abstract description 196
- 230000033001 locomotion Effects 0.000 claims description 52
- 230000006399 behavior Effects 0.000 claims description 37
- 238000010801 machine learning Methods 0.000 claims description 17
- 230000004044 response Effects 0.000 claims description 16
- 230000014509 gene expression Effects 0.000 claims description 14
- 230000007613 environmental effect Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 3
- 230000000875 corresponding effect Effects 0.000 description 28
- 230000001276 controlling effect Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003542 behavioural effect Effects 0.000 description 3
- 230000003370 grooming effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000022532 regulation of transcription, DNA-dependent Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本公开涉及一种视频生成方法、装置和计算机可读存储介质,涉及视频处理技术领域。该视频生成方法,包括:根据第一用户指令,控制第一虚拟对象在虚拟场景中的行动,以获取第一虚拟对象的第一原始行动信息;根据第二用户指令和第一原始行动信息,控制第二虚拟对象在虚拟场景中的行动,以获取第二虚拟对象的第二原始行动信息;根据第一原始行动信息和第二原始行动信息,生成视频。本公开的技术方案能够提高视频生成的效率,降低视频生成的成本。
Description
技术领域
本公开涉及视频处理技术领域,特别涉及一种视频生成方法、视频生成装置和计算机可读存储介质。
背景技术
在很多应用场景中,如虚拟现实、游戏等,用户可以在虚拟场景中录制虚拟角色的相关视频。
在相关技术中,如果用户希望完成一段游戏内的多人剧情的视频拍摄,需要游戏支持多人在线技术;用户需要寻找多个其它用户进行协助,通过多人在线共同配合演绎,进行多次繁琐的练习彩排;并需要开启设备或软件的录像功能进行多次录制。
发明内容
本公开的发明人发现上述相关技术中存在如下问题:需要多个用户相互配合才能完成多角***的录制,导致视频生成的效率低、成本高。
鉴于此,本公开提出了一种视频生成技术方案,能够提高视频生成的效率,降低视频生成的成本。
根据本公开的一些实施例,提供了一种视频生成方法,包括:根据第一用户指令,控制第一虚拟对象在虚拟场景中的行动,以获取第一虚拟对象的第一原始行动信息;根据第二用户指令和第一原始行动信息,控制第二虚拟对象在虚拟场景中的行动,以获取第二虚拟对象的第二原始行动信息;根据第一原始行动信息和第二原始行动信息,生成视频。
在一些实施例中,第一原始行动信息包括第一虚拟角色的移动轨迹和/或第一虚拟角色在移动轨迹的轨迹点上的原始行为信息,第二原始行动信息包括第二虚拟角色的移动轨迹和/或第二虚拟角色在移动轨迹的轨迹点上的原始行为信息。
在一些实施例中,根据第二用户指令和第一原始行动信息,控制第二虚拟对象在虚拟场景中的行动包括:响应于第二虚拟对象的行动与第一原始行动信息冲突,控制第二虚拟对象停止行动。
在一些实施例中,视频生成方法还包括:将第一原始行动信息和第一虚拟对象的相关信息作为第一提示信息,输入机器学习模型,以获取第一虚拟对象的第一生成行动信息;其中,控制第二虚拟对象在虚拟场景中的行动包括:根据第一生成行动信息,控制第二虚拟对象在虚拟场景中的行动。
在一些实施例中,第一生成行动信息包括第一虚拟角色在第一虚拟角色的移动轨迹的轨迹点上与相关信息匹配的行为信息。
在一些实施例中,行为信息包括生成动作信息、表情信息、声音信息中的至少一项。
在一些实施例中,相关信息包括属性信息、外观信息、剧情信息中的至少一项。
在一些实施例中,生成视频包括:将第二原始行动信息、第二虚拟对象的相关信息和第一生成行动信息作为第二提示信息,输入机器学习模型,以获取第二虚拟对象的第二生成行动信息;根据第二生成行动信息和第一生成行动信息,生成视频。
在一些实施例中,第一生成行动信息根据虚拟场景的环境信息生成。
在一些实施例中,生成视频包括:根据镜头运动信息生成视频,镜头运动信息根据第一原始行动信息生成。
根据本公开的另一些实施例,提供一种视频生成装置,包括:第一控制单元,用于根据第一用户指令,控制第一虚拟对象在虚拟场景中的行动,以获取第一虚拟对象的第一原始行动信息;第二控制单元,用于根据第二用户指令和第一原始行动信息,控制第二虚拟对象在虚拟场景中的行动,以获取第二虚拟对象的第二原始行动信息;生成单元,用于根据第一原始行动信息和第二原始行动信息,生成视频。
在一些实施例中,第一原始行动信息包括第一虚拟角色的移动轨迹和/或第一虚拟角色在移动轨迹的轨迹点上的原始行为信息,第二原始行动信息包括第二虚拟角色的移动轨迹和/或第二虚拟角色在移动轨迹的轨迹点上的原始行为信息。
在一些实施例中,第一控制单元响应于第二虚拟对象的行动与第一原始行动信息冲突,控制第二虚拟对象停止行动。
在一些实施例中,第一控制单元将第一原始行动信息和第一虚拟对象的相关信息作为第一提示信息,输入机器学习模型,以获取第一虚拟对象的第一生成行动信息;第二控制单元根据第一生成行动信息,控制第二虚拟对象在虚拟场景中的行动。
在一些实施例中,第一生成行动信息包括第一虚拟角色在第一虚拟角色的移动轨迹的轨迹点上与相关信息匹配的行为信息。
在一些实施例中,行为信息包括生成动作信息、表情信息、声音信息中的至少一项。
在一些实施例中,相关信息包括属性信息、外观信息、剧情信息中的至少一项。
在一些实施例中,第二控制单元将第二原始行动信息、第二虚拟对象的相关信息和第一生成行动信息作为第二提示信息,输入机器学习模型,以获取第二虚拟对象的第二生成行动信息;生成单元根据第二生成行动信息和第一生成行动信息,生成视频。
在一些实施例中,第一生成行动信息根据虚拟场景的环境信息生成。
在一些实施例中,生成单元根据镜头运动信息生成视频,镜头运动信息根据第一原始行动信息生成。
根据本公开的又一些实施例,提供一种视频生成装置,包括:存储器;和耦接至存储器的处理器,处理器被配置为基于存储在存储器装置中的指令,执行上述任一个实施例中的视频生成方法。
根据本公开的再一些实施例,提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述任一个实施例中的视频生成方法。
在上述实施例中,根据用户对当前角色的控制指令和在前角色的行动信息,确定当前角色的行动信息,以生成包含多个角色的视频。这样,一个用户即可实现对多个角色参与的视频的录制,从而提高了视频生成的效率,降低了视频生成的成本。
附图说明
构成说明书的一部分的附图描述了本公开的实施例,并且连同说明书一起用于解释本公开的原理。
参照附图,根据下面的详细描述,可以更加清楚地理解本公开:
图1示出本公开的视频生成方法的一些实施例的流程图;
图2a~2i示出本公开的视频生成方法的一些实施例的示意图;
图3示出本公开的视频生成方法的另一些实施例的流程图;
图4a~4b示出本公开的视频生成方法的另一些实施例的示意图;
图5示出本公开的视频生成装置的一些实施例的框图;
图6示出本公开的视频生成装置的另一些实施例的框图;
图7示出本公开的视频生成装置的又一些实施例的框图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它示例可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
如前所述,用户通过联合多个其他用户共同录制多角***的方式,导致视频生成的效率低、成本高。
如果用户想要独自完成多角***的录制,需要游戏支持虚拟角色模型位置与动作编辑技术,以便用户通过游戏内创建多个虚拟角色,并给每个角色设置详尽的动作表情、动线走位等;还需要用户进行繁琐的调试修改,并开启设备或软件的录像功能进行多次录制。
上述方式都非常耗费用户的精力,而且视频生成的效率低,沟通繁琐,调试的成本也很高。而且,这就提高了用户在游戏内生成视频的门槛,降低了用户在游戏和UGC创作过程中的效率和参与意愿。
针对上述技术问题,本公开的技术方案提供一种视频生成技术方案,能够协助用户在虚拟现实、游戏等应用中独自实现多个虚拟角色参与的视频生成。从而,提高视频生成的效率,降低视频生成的成本。
例如,可以依靠用户控制的虚拟对象在虚拟场景内的轨迹重现技术,提供高效、直观的视频生成方式。这样,使得用户可以完成多角色、多拍摄角度的视频创作和录制。
例如,可以通过下面的实施例实现本公开的技术方案。
图1示出本公开的视频生成方法的一些实施例的流程图。
如图1所示,在步骤110中,根据第一用户指令,控制第一虚拟对象在虚拟场景中的行动,以获取第一虚拟对象的第一原始行动信息。
在一些实施例中,第一原始行动信息包括第一虚拟角色的移动轨迹和/或第一虚拟角色在移动轨迹的轨迹点上的原始行为信息。
例如,用户想要录制游戏中多个虚拟角色(如包括第一虚拟对象和第二虚拟对象)参与的视频;在用户进入游戏中的拍摄区域后,可以根据想要录制的视频对应的情节,先控制多个虚拟角色中的任一个(如第一虚拟对象)在拍摄区域中行动;然后可以记录第一虚拟对象经过的位置(即移动轨迹)以及在各位置的行为作为第一原始行动信息。
在一些实施例中,原始行为信息可以包括动作信息、表情信息、声音信息中的至少一项。
例如,用户在控制第一虚拟对象在拍摄区域中移动的过程中,可以根据想要录制的视频对应的情节,在不同的位置控制第一虚拟对象做出相应的动作、表情或者发出相应的语音作为原始行为信息。
在上述实施例中,根据用户对多个角色中的任一个的控制指令,生成并记录了该角色的行动信息作为其他角色行动的依据,避免多个角色的行动相互冲突,从而提高了视频生成的效率和质量。
在一些实施例中,用户在进行上述录制操作之前,还可以预先设置参与的多个虚拟角色的属性。例如,可以设置参与的多个虚拟角色的数量、每个虚拟角色的特征(如个性、装扮等)。
例如,下面通过图2a~2c中的实施例,对虚拟角色的属性设置进行示例性的说明。
图2a~2c示出本公开的视频生成方法的一些实施例的示意图。
如图2a所示,用户可以根据想要录制的视频对应的情节,设置拟在视频中出现的虚拟角色的数量。
例如,可以通过数量设置界面中的增加控件22a增加视频中出现的虚拟角色;通过选择增加控件22a增加虚拟角色后,在设置界面中显示该虚拟角色的图标(如角色甲、角色乙、角色丙等)。
例如,在完成虚拟角色的属性设置后,可以通过触发开始控件23a,跳转到录制界面进行视频的生成。
在一些实施例中,用户可以通过选择不同虚拟角色对应的编辑控件21a,对相应的虚拟角色的特征进行设置。例如,响应于用户选择角色甲对应的编辑控件21a,显示特征设置界面,用于设置各虚拟角色的个性、装扮等特征。
如图2b、2c所示,可以在特征设置界面中选择想要设置的特征。例如,设置控件可以包括用于设置不同特征的多个设置控件,如第一设置控件24b和第二设置控件25b;可以通过第一设置控件24b对当前虚拟角色的个性进行设置;可以通过第二设置控件25b对当前虚拟角色的装扮进行设置。
在一些实施例中,被用户选中的设置控件可以采用与其他设置控件不同的样式进行突出显示。
例如,如图2b所示,用户选择用于设置个性的控件,则可以突出显示第一设置控件24b;如图2c所示,用户选择用于设置装扮的控件,则可以突出显示第二设置控件25b。
在一些实施例中,被用户选中的设置控件可以采用与另一设置控件不同的样式进行突出显示。
例如,如图2b所示,用户选择用于设置个性的控件,则可以突出显示第一设置控件24b;如图2c所示,用户选择用于设置装扮的控件,则可以突出显示第二设置控件25b。
在一些实施例中,响应于用户选中一个设置控件,可以显示该设置控件对应特征的设置界面。
例如,如图2b所示,响应于用户选中第一设置控件24b,显示关于个性的设置界面;如图2c所示,响应于用户选中第二设置控件25b,显示关于装扮的设置界面。
在一些实施例中,用户可以在特征的设置界面中通过选择关键词、输入关键词和利用人工智能方法生成关键词中的至少一种方式,设置该特征。
例如,如图2b所示,在关于个性的设置界面,在关键词选择区域26b中,可以选择表示不同个性的关键词;在关键词输入区域27b中,可以输入想要的个性关键词;也可以通过触发扩写控件28b,利用人工智能方法生成个性关键词。
在一些实施例中,响应于用户在特征的设置界面中选择的特征类型,显示该特征类型对应的多个特征供用户选择;也可以利用人工智能方法生成特征。
例如,如图2c所示,在关于装扮的设置界面,在特征类型选择区域22c中,可以选择表示不同的装扮类型(如身体、上装、下装、配饰等);响应于用户选择的装扮类型,在装扮显示区域23c中显示与该装扮类型对应的可选装扮;也可以通过触发生成控件24c,利用人工智能方法生成装扮。
在一些实施例中,如图2b所示,可以在特征设置界面中显示视频中出现的多个虚拟角色对应的控件21b;可以突出显示当前设置的虚拟角色对应的控件21b;也可以在特征设置界面中显示当前设置的虚拟角色对应的角色图像23b。
在一些实施例中,如图2b所示,可以通过触发增加控件22b,在特征设置界面中增加虚拟角色。例如,如图2c所示,响应于用户触发增加控件22b,在特征设置界面中增加虚拟角色丁对应的控件21c。
在上述实施例中,通过设置视频中出现的虚拟角色的属性,丰富了视频生成的内容,从而提高了视频生成的质量。
在设置了视频中出现的虚拟角色的属性,并获取了第一虚拟对象的行动信息的基础上,可以继续通过图1中的步骤120生成视频。
在步骤120中,根据第二用户指令和第一原始行动信息,控制第二虚拟对象在虚拟场景中的行动,以获取第二虚拟对象的第二原始行动信息。
在一些实施例中,响应于第二虚拟对象的行动与第一原始行动信息冲突,控制第二虚拟对象停止行动。例如,第二原始行动信息包括第二虚拟角色的移动轨迹和/或第二虚拟角色在移动轨迹的轨迹点上的原始行为信息。
例如,可以在虚拟场景中展示已经生成的第一虚拟对象的第一原始行动信息,以便用户可以直观、准确、实时地获知第一虚拟对象的移动轨迹、动作、表情、语音等;用户可以根据这些获知的信息,在避免冲突的情况下,控制第二虚拟对象在虚拟场景中行动。
这样,同一个用户可以通过展现的在前虚拟角色的行动,合理控制在后虚拟角色的行动,实现独自对多个角色参与的视频的录制,从而提高了视频生成的效率,降低了视频生成的成本。
例如,下面通过图2d~2g中的实施例,对同一个用户控制多个虚拟角色录制视频进行示例性的说明。
图2d~2g示出本公开的视频生成方法的一些实施例的示意图。
如图2d所示,在录制界面中,可以展示用户当前选中的角色甲21d;用户可以通过输入用户指令,控制角色甲21d在拍摄区域中进行移动,以形成角色甲21d的原始行动信息。
例如,在控制角色甲21d移动的过程中,用户可以根据想要录制的视频对应的情节,通过输入用户指令控制角色甲21d在不同的位置做出相应的动作、表情或者发出相应的语音作为原始行为信息。
例如,如图2e所示,根据用户的用户指令将角色甲21d移动到了相应的位置。可以将角色甲21d在移动过程中的移动轨迹和各轨迹点上的行为信息作为角色甲21d的原始行动信息记录下来。
在一些实施例中,根据针对角色乙21e的用户指令和角色甲21d的原始行动信息,控制角色乙21e在虚拟场景中的行动,以获取角色乙21e的原始行动信息。
例如,可以根据角色甲21d的原始行动信息,在录制界面中显示角色甲21d的行动,以便用户可以根据角色甲21d的行动,在避免冲突的情况下,控制角色乙21e在虚拟场景中的行动。
如图2f所示,根据用户的用户指令将角色乙21e移动到了相应的位置。可以将角色乙21e在移动过程中的移动轨迹和各轨迹点上的行为信息作为角色乙21e的原始行动信息记录下来。
在一些实施例中,根据针对角色丙21f的用户指令、角色甲21d的原始行动信息和角色乙21e的原始行动信息,控制角色丙21f在虚拟场景中的行动,以获取角色丙21f的原始行动信息。
例如,可以根据角色甲21d的原始行动信息和角色乙21e的原始行动信息,在录制界面中通式显示角色甲21d的行动和色乙21e的行动,以便用户可以根据角色甲21d的行动和角色乙21e的行动,在避免冲突的情况下,控制角色丙21f在虚拟场景中的行动。
如图2g所示,根据用户的用户指令将角色丙21f移动到了相应的位置。可以将角色丙21f在移动过程中的移动轨迹和各轨迹点上的行为信息作为角色丙21f的原始行动信息记录下来。
在上述实施例中,同一个用户可以通过展现的在前虚拟角色的行动,合理控制在后虚拟角色的行动,实现独自对多个角色参与的视频的录制,从而提高了视频生成的效率,降低了视频生成的成本。
在一些实施例中,可以通过在录制界面中显示状态控件20d,向用户显示录制的时间信息和状态信息(是否在录制中)。
在一些实施例中,用户可以通过触发录制界面中的完成控件200d,完成各虚拟角色的行动记录,并跳转到视频生成界面。
在一些实施例中,将第一原始行动信息和第一虚拟对象的相关信息作为第一提示信息,输入机器学习模型,以获取第一虚拟对象的第一生成行动信息;根据第一生成行动信息,控制第二虚拟对象在虚拟场景中的行动。
例如,利用机器学习模型,可以根据虚拟对象的特征、虚拟对象的相关剧情等对基于用户指令生成的虚拟对象的原始行动信息进行处理,以生成符合虚拟对象的角色、更加丰富的行动信息,从而提高视频的生成质量。
在一些实施例中,第一生成行动信息包括第一虚拟角色在第一虚拟角色的移动轨迹的轨迹点上与相关信息匹配的行为信息。例如,行为信息包括生成动作信息、表情信息、声音信息中的至少一项;相关信息包括属性信息、外观信息、剧情信息中的至少一项。
例如,利用机器学习模型,可以根据虚拟对象的相关剧情,生成虚拟对象与虚拟场景中特定目标的互动行为。如虚拟对象在相关剧情中的角色为售货员,则虚拟对象到达虚拟场景中的柜台时,控制该虚拟对象发起叫卖、点货等互动行为。
这样,能够生成符合虚拟对象的角色的行动信息,提高了视频的生成质量。
在一些实施例中,将第二原始行动信息、第二虚拟对象的相关信息和第一生成行动信息作为第二提示信息,输入机器学习模型,以获取第二虚拟对象的第二生成行动信息。
例如,利用机器学习模型,可以根据当前虚拟对象的特征、相关剧情、以及在前虚拟对象的行动信息等,对基于用户指令生成的当前虚拟对象的原始行动信息进行处理。
这样,能够生成符合当前虚拟对象的角色且与在前虚拟对象的行动信息不冲突的行动信息,从而提高视频的生成质量。
在一些实施例中,第一生成行动信息根据虚拟场景的环境信息生成。例如,可以将虚拟场景的环境信息也作为提示信息输入机器学习模型,以生成虚拟对象的行动信息。
例如,虚拟场景的环境信息为下雨;利用机器学习模型,可以根据该环境信息生成虚拟角色打伞、避雨等行动信息。这样,能够生成符合当前环境的行动信息,从而提高视频的生成质量。
在通过上述任一个实施例完成了各虚拟角色的行动记录后,可以通过图1中的步骤130继续生成视频。
在步骤130中,根据第一原始行动信息和第二原始行动信息,生成视频。例如,也可以根据第二生成行动信息和第一生成行动信息,生成视频。
在一些实施例中,根据镜头运动信息生成视频,镜头运动信息根据第一原始行动信息生成。例如,可以根据获取的镜头运动信息,生成与镜头运动信息匹配的角度拍摄的视频。
这样,用户可以独自完成不同角度的视频录制,从而提高了视频生成效率和质量。
在一些实施例中,响应于用户触发图2d~2g中的完成控件200d,根据记录的各虚拟角色的行动信息,合成视频。
例如,下面通过图2h~2i中的实施例,对视频的生成进行示例性的说明。
图2h~2i示出本公开的视频生成方法的一些实施例的示意图。
如图2h所示,响应于用户完成了各虚拟角色的行动记录,可以向用户展示视频生成界面。例如,可以在视频生成界面中提示用户视频正在合成中。
如图2i所示,响应于视频合成完毕,可以在视频生成界面的预览区域内展示包括角色甲21d、角色乙21e和角色丙21f的视频预览影像。
在一些实施例中,还可以在在视频生成界面中显示用于对生成的视频进行后续处理的控件。例如,用于通过各种通信方式对视频进行分享的分享控件23I,用于保存视频的保存控件24I,用于将视频设置为指定对象(如将视频设置为多个虚拟角色的剧***等)的设置控件25I。
在一些实施例中,还可以在在视频生成界面中显示返用于返回录制界面对行为信息进行重新录制的回控件21I,用于触发视频录制完成的完成控件22I等。
下面通过图3中的实施例,对一个用户控制多个虚拟角色录制视频的过程进行示例性的说明。
图3示出本公开的视频生成方法的另一些实施例的流程图。
如图3所示,在步骤310中,用户想要录制虚拟场景中多个虚拟角色参与的视频,进入虚拟场景中的拍摄区域。
在步骤320中,用户设置参与的多个虚拟角色的属性。例如,可以设置参与的多个虚拟角色的数量、每个虚拟角色的特征(如个性、装扮等)。例如,多个虚拟角色的数量为2个,包括第一角色和第二角色。
在步骤330中,根据想要录制的视频对应的情节,先控制多个虚拟角色中的任一个(如第一角色)在拍摄区域中行动,以完成该角色的演出。
在步骤340中,记录第一角色经过的位置以及在各位置的动作等行动信息。
在步骤350中,利用机器学习模型,根据第一角色的行动信息、特征等获取第一角色的生成行动信息;根据生成行动信息控制第一角色在拍摄场景中移动。
在步骤360中,在拍摄场景中展示已经生成的第一角色的行动信息,以便用户可以直观、准确、实时地获知第一角色的移动轨迹、动作、表情、语音等;用户可以根据这些获知的信息,在避免冲突的情况下,控制第二角色在拍摄区域中行动,以完成该角色的演出。
例如,可以将第二角色的行动信息、相关信息和第一角色的行动信息作为提示信息,输入机器学习模型,以获取第二角色的生成行动信息。
在上述实施例中,根据用户对当前角色的控制指令和在前角色的行动信息,确定当前角色的行动信息,以生成包含多个角色的视频。这样,一个用户即可实现对多个角色参与的视频的录制,从而提高了视频生成的效率,降低了视频生成的成本。
下面通过图4a~4b中的实施例,从指令执行层面示例性地说明本公开的技术方案。
图4a~4b示出本公开的视频生成方法的另一些实施例的示意图。
如图4a所示,用户可以根据想要录制的视频对应的情节,先控制多个虚拟角色中的任一个(如第一虚拟对象)在拍摄区域中行动,以完成第一次表演。
例如,用户可以通过输入用户指令,控制第一虚拟对象在拍摄区域中进行移动;在控制第一虚拟对象移动的过程中,用户可以根据想要录制的视频对应的情节,通过输入用户指令控制第一虚拟对象在不同的位置做出相应的动作、表情或者发出相应的语音。
在一些实施例中,用户可以将控制第一虚拟对象进行第一次表演的指令记录下来。例如,用户可以将第一虚拟对象在移动过程中的移动轨迹和各轨迹点上的行为信息作为第一虚拟对象的原始行动信息记录下来。
在一些实施例中,可以在拍摄区域中显示第一虚拟对象的第一次表演,以便用户根据第一次表演控制第二虚拟对象进行第二次表演。
例如,可以在拍摄区域中展示已经生成的第一虚拟对象的第一原始行动信息,以便用户可以直观、准确、实时地获知第一虚拟对象的移动轨迹、动作、表情、语音等;用户可以根据这些获知的信息,在避免冲突的情况下,控制第二虚拟对象在拍摄区域中行动。
在一些实施例中,可以获取用户控制第二虚拟对象进行第二次表演的用户指令;将该用户指令输入指令执行器41a,以实现对第二虚拟对象的控制。
在一些实施例中,还可以将与第二次表演匹配的声音信息(如音效、配音信息42a等)也输入指令执行器41a,以生成具有相应音效、配音信息的视频。
在一些实施例中,还可以将包含拍摄角度信息的镜头运动信息43a也输入指令执行器41a,以生成从指定角度拍摄的视频。
如图4b所示,响应于用户想要在游戏的虚拟场景中录制多个虚拟角色参与的视频,计算机可以根据用户控制各虚拟角色完成的屏幕演出1~N,获取相应的指令1~N;通过连接层41b,将指令1~N进行连接后输入指令执行器42b,并通过游戏API(ApplicationProgramming Interface,应用程序编程接口)43b生成相应的视频。
在上述实施例中,根据用户对当前角色的控制指令和在前角色的行动信息,确定当前角色的行动信息,以生成包含多个角色的视频。这样,一个用户即可实现对多个角色参与的视频的录制,从而提高了视频生成的效率,降低了视频生成的成本。
图5示出本公开的视频生成装置的一些实施例的框图。
如图5所示,视频生成装置5包括:第一控制单元51,用于根据第一用户指令,控制第一虚拟对象在虚拟场景中的行动,以获取第一虚拟对象的第一原始行动信息;第二控制单元52,用于根据第二用户指令和第一原始行动信息,控制第二虚拟对象在虚拟场景中的行动,以获取第二虚拟对象的第二原始行动信息;生成单元53,用于根据第一原始行动信息和第二原始行动信息,生成视频。
在一些实施例中,第一原始行动信息包括第一虚拟角色的移动轨迹和/或第一虚拟角色在移动轨迹的轨迹点上的原始行为信息,第二原始行动信息包括第二虚拟角色的移动轨迹和/或第二虚拟角色在移动轨迹的轨迹点上的原始行为信息。
在一些实施例中,第一控制单元51响应于第二虚拟对象的行动与第一原始行动信息冲突,控制第二虚拟对象停止行动。
在一些实施例中,第一控制单元51将第一原始行动信息和第一虚拟对象的相关信息作为第一提示信息,输入机器学习模型,以获取第一虚拟对象的第一生成行动信息;第二控制单元52根据第一生成行动信息,控制第二虚拟对象在虚拟场景中的行动。
在一些实施例中,第一生成行动信息包括第一虚拟角色在第一虚拟角色的移动轨迹的轨迹点上与相关信息匹配的行为信息。
在一些实施例中,行为信息包括生成动作信息、表情信息、声音信息中的至少一项。
在一些实施例中,相关信息包括属性信息、外观信息、剧情信息中的至少一项。
在一些实施例中,第二控制单元52将第二原始行动信息、第二虚拟对象的相关信息和第一生成行动信息作为第二提示信息,输入机器学习模型,以获取第二虚拟对象的第二生成行动信息;生成单元53根据第二生成行动信息和第一生成行动信息,生成视频。
在一些实施例中,第一生成行动信息根据虚拟场景的环境信息生成。
在一些实施例中,生成单元53根据镜头运动信息生成视频,镜头运动信息根据第一原始行动信息生成。
在上述实施例中,根据用户对当前角色的控制指令和在前角色的行动信息,确定当前角色的行动信息,以生成包含多个角色的视频。这样,一个用户即可实现对多个角色参与的视频的录制,从而提高了视频生成的效率,降低了视频生成的成本。
图6示出本公开的视频生成装置的另一些实施例的框图。
如图6所示,该实施例的装置6包括:存储器61以及耦接至该存储器61的处理器62,处理器62被配置为基于存储在存储器61中的指令,执行本公开中任意一个实施例中的视频生成方法。
其中,存储器61例如可以包括***存储器、固定非易失性存储介质等。***存储器例如存储有操作***、应用程序、引导装载程序Boot Loader、数据库以及其他程序等。
图7示出本公开的视频生成装置的又一些实施例的框图。
如图7所示,该实施例的视频生成装置7包括:存储器710以及耦接至该存储器710的处理器720,处理器720被配置为基于存储在存储器710中的指令,执行前述任意一个实施例中的视频生成方法。
存储器710例如可以包括***存储器、固定非易失性存储介质等。***存储器例如存储有操作***、应用程序、引导装载程序Boot Loader以及其他程序等。
视频生成装置7还可以包括输入输出接口730、网络接口740、存储接口750等。这些接口730、740、750以及存储器710和处理器720之间例如可以通过总线760连接。其中,输入输出接口730为显示器、鼠标、键盘、触摸屏、麦克、音箱等输入输出设备提供连接接口。网络接口740为各种联网设备提供连接接口。存储接口750为SD卡、U盘等外置存储设备提供连接接口。
本领域内的技术人员应当明白,本公开的实施例可提供为方法、***、或计算机程序产品。因此,本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质包括但不限于磁盘存储器、CD-ROM、光学存储器等上实施的计算机程序产品的形式。
至此,已经详细描述了根据本公开的视频生成方法、视频生成装置和计算机可读存储介质。为了避免遮蔽本公开的构思,没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述,完全可以明白如何实施这里公开的技术方案。
可能以许多方式来实现本公开的方法和***。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和***。用于方法的步骤的上述顺序仅是为了进行说明,本公开的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本公开实施为记录在记录介质中的程序,这些程序包括用于实现根据本公开的方法的机器可读指令。因而,本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
虽然已经通过示例对本公开的一些特定实施例进行了详细说明,但是本领域的技术人员应该理解,以上示例仅是为了进行说明,而不是为了限制本公开的范围。本领域的技术人员应该理解,可在不脱离本公开的范围和精神的情况下,对以上实施例进行修改。本公开的范围由所附权利要求来限定。
Claims (14)
1.一种视频生成方法,包括:
根据第一用户指令,控制第一虚拟对象在虚拟场景中的行动,以获取所述第一虚拟对象的第一原始行动信息;
根据第二用户指令和所述第一原始行动信息,控制第二虚拟对象在所述虚拟场景中的行动,以获取所述第二虚拟对象的第二原始行动信息;
根据所述第一原始行动信息和所述第二原始行动信息,生成视频。
2.根据权利要求1所述的视频生成方法,其中,所述第一原始行动信息包括所述第一虚拟角色的移动轨迹和/或所述第一虚拟角色在所述移动轨迹的轨迹点上的原始行为信息,所述第二原始行动信息包括所述第二虚拟角色的移动轨迹和/或所述第二虚拟角色在所述移动轨迹的轨迹点上的原始行为信息。
3.根据权利要求1所述的视频生成方法,其中,所述根据第二用户指令和所述第一原始行动信息,控制第二虚拟对象在所述虚拟场景中的行动包括:
响应于所述第二虚拟对象的行动与所述第一原始行动信息冲突,控制所述第二虚拟对象停止行动。
4.根据权利要求1-3任一项所述的视频生成方法,还包括:
将所述第一原始行动信息和所述第一虚拟对象的相关信息作为第一提示信息,输入机器学习模型,以获取所述第一虚拟对象的第一生成行动信息;
其中,所述控制第二虚拟对象在所述虚拟场景中的行动包括:
根据所述第一生成行动信息,控制所述第二虚拟对象在所述虚拟场景中的行动。
5.根据权利要求4所述的视频生成方法,其中,所述第一生成行动信息包括所述第一虚拟角色在所述第一虚拟角色的移动轨迹的轨迹点上与所述相关信息匹配的行为信息。
6.根据权利要求5所述的视频生成方法,其中,所述行为信息包括生成动作信息、表情信息、声音信息中的至少一项。
7.根据权利要求4所述的视频生成方法,其中,所述相关信息包括属性信息、外观信息、剧情信息中的至少一项。
8.根据权利要求4所述的视频生成方法,其中,所述生成视频包括:
将所述第二原始行动信息、所述第二虚拟对象的相关信息和所述第一生成行动信息作为第二提示信息,输入所述机器学习模型,以获取所述第二虚拟对象的第二生成行动信息;
根据所述第二生成行动信息和所述第一生成行动信息,生成所述视频。
9.根据权利要求4所述的视频生成方法,其中,所述第一生成行动信息根据所述虚拟场景的环境信息生成。
10.根据权利要求1-3任一项所述的视频生成方法,其中,所述生成视频包括:
根据镜头运动信息生成所述视频,所述镜头运动信息根据所述第一原始行动信息生成。
11.一种视频生成装置,包括:
第一控制单元,用于根据第一用户指令,控制第一虚拟对象在虚拟场景中的行动,以获取所述第一虚拟对象的第一原始行动信息;
第二控制单元,用于根据第二用户指令和所述第一原始行动信息,控制第二虚拟对象在所述虚拟场景中的行动,以获取所述第二虚拟对象的第二原始行动信息;
生成单元,用于根据所述第一原始行动信息和所述第二原始行动信息,生成视频。
12.一种视频生成装置,包括:
存储器;和
耦接至所述存储器的处理器,所述处理器被配置为基于存储在所述存储器中的指令,执行权利要求1-10任一项所述的视频生成方法。
13.一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现权利要求1-10任一项所述的视频生成方法。
14.一种计算机程序产品,包括指令,所述指令当由处理器执行时使所述处理器执行根据权利要求1-10任一项所述的视频生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410275368.2A CN118154738A (zh) | 2024-03-11 | 2024-03-11 | 视频生成方法、装置和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410275368.2A CN118154738A (zh) | 2024-03-11 | 2024-03-11 | 视频生成方法、装置和计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118154738A true CN118154738A (zh) | 2024-06-07 |
Family
ID=91293245
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410275368.2A Pending CN118154738A (zh) | 2024-03-11 | 2024-03-11 | 视频生成方法、装置和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118154738A (zh) |
-
2024
- 2024-03-11 CN CN202410275368.2A patent/CN118154738A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110227267B (zh) | 语音技能游戏编辑方法、装置、设备及可读存储介质 | |
JP2006528381A (ja) | 仮想環境制御装置 | |
WO2022142626A1 (zh) | 虚拟场景的适配显示方法、装置、电子设备、存储介质及计算机程序产品 | |
US10943371B1 (en) | Customizing soundtracks and hairstyles in modifiable videos of multimedia messaging application | |
CN112631814B (zh) | 游戏剧情对白播放方法和装置、存储介质、电子设备 | |
JP5190524B2 (ja) | オブジェクト動作装置及び方法、並びにプログラム | |
KR101831802B1 (ko) | 적어도 하나의 시퀀스에 대한 가상현실 컨텐츠 제작방법 및 장치 | |
WO2020129959A1 (ja) | コンピュータプログラム、サーバ装置、端末装置及び表示方法 | |
CN115461707B (zh) | 视频的获取方法、电子设备、存储介质 | |
KR20230026344A (ko) | 멀티미디어 메시징 애플리케이션의 수정 가능한 비디오들에서의 텍스트 메시지들의 맞춤화 | |
CN112601098A (zh) | 直播互动方法、内容推荐方法及装置 | |
CN113763568A (zh) | 增强现实的显示处理方法、装置、设备及存储介质 | |
CN118154738A (zh) | 视频生成方法、装置和计算机可读存储介质 | |
JP2002216162A (ja) | 表示オブジェクトの提供方式及び表示オブジェクトを提供するプログラム | |
WO2021102800A1 (zh) | 智能设备的控制方法、装置、***和存储介质 | |
WO2022156490A1 (zh) | 虚拟场景中画面展示方法、装置、设备、存储介质及程序产品 | |
CN115328354A (zh) | 游戏中的交互处理方法、装置、电子设备及存储介质 | |
CN113987142A (zh) | 与虚拟人偶的语音智能交互方法、装置、设备及存储介质 | |
CN115115728A (zh) | 一种对话视频创建方法和相关装置 | |
CN112686990A (zh) | 一种三维模型显示方法、装置、存储介质和计算机设备 | |
WO2024060888A1 (zh) | 虚拟场景的交互处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品 | |
CN114053710A (zh) | 非玩家角色的显隐方法、装置及计算机设备 | |
KR20220073476A (ko) | 직관적 사용이 가능한 가상현실 컨텐츠 제작방법 및 장치 | |
CN117205569A (zh) | 一种虚拟角色动作编辑方法、装置、设备和存储介质 | |
CN116850597A (zh) | 一种在互动影视场景中的角色热加载方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination |