CN117014651A - 一种视频生成方法及装置 - Google Patents
一种视频生成方法及装置 Download PDFInfo
- Publication number
- CN117014651A CN117014651A CN202210476374.5A CN202210476374A CN117014651A CN 117014651 A CN117014651 A CN 117014651A CN 202210476374 A CN202210476374 A CN 202210476374A CN 117014651 A CN117014651 A CN 117014651A
- Authority
- CN
- China
- Prior art keywords
- target
- video
- virtual
- dimensional model
- pose
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000009877 rendering Methods 0.000 claims abstract description 29
- 230000009466 transformation Effects 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 12
- 239000002699 waste material Substances 0.000 abstract description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 7
- 238000010276 construction Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000010171 animal model Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明实施例提供了一种视频生成方法及装置，涉及视频制作技术领域。该方法包括：获取虚拟相机的初始位姿和所述虚拟相机的运动参数；根据所述初始位姿和所述运动参数确定所述虚拟相机的至少一个目标相机位姿；根据所述至少一个目标相机位姿对目标虚拟场景进行渲染，获取至少一个视频帧；根据所述至少一个视频帧生成待生成视频。本发明实施例用于解决现有技术在基于目标虚拟场景进行视频创作时，费时费力且效率低下的问题。
Description
技术领域
本发明涉及视频制作技术领域，尤其涉及一种视频生成方法及装置。
背景技术
视频作为信息传播的重要方式，对社会、经济、文化的信息交流产生了独具特色的影响。此外，由于运用反逻辑、超时空、怪异感等超现实制作的视频远远的超出了传统视频所表达的一般意义，因此人们以不再满足于通过视频拍摄设备对真实场景进行拍摄来创作视频，而是不断追求通过虚拟场景进行视频创作。
现有技术中，基于虚拟场景进行视频创作时，视频创作者需要独立制作视频的每一个视频帧，然后再将各个视频帧组合为视频。例如：在进行动画短片制作时，需要分别制作每一帧动画场景，即使是不同视角下的同一场景，也无法对场景进行复用，而是需要独立制作，最后再将各个视频帧组合为动画短片。如上所述，现有技术在基于虚拟场景进行视频创作时，需要分别独立制作视频的每一个视频帧，费时费力且效率低下。
发明内容
有鉴于此，本发明实施例提供了一种视频生成方法及装置，用于解决现有技术在基于虚拟场景进行视频创作时，费时费力且效率低下的问题。
为了实现上述目的，本发明实施例提供技术方案如下：
第一方面，本发明的实施例提供了一种视频生成方法，包括：
获取虚拟相机的初始位姿和所述虚拟相机的运动参数；
根据所述初始位姿和所述运动参数确定所述虚拟相机的至少一个目标相机位姿；
根据所述至少一个目标相机位姿对目标虚拟场景进行渲染，获取至少一个视频帧；
根据所述至少一个视频帧生成待生成视频。
作为本发明实施例一种可选的实施方式，在根据所述至少一个目标相机位姿对目标虚拟场景进行渲染，获取至少一个视频帧之前，所述方法还包括：
构建所述目标虚拟场景；
其中，所述目标虚拟场景包括虚拟三维空间和设置于所述虚拟三维空间中的至少一个目标三维模型。
作为本发明实施例一种可选的实施方式，所述构建所述目标虚拟场景，包括：
创建所述虚拟三维空间；
确定所述至少一个目标三维模型；
将所述至少一个目标三维模型添加到所述虚拟三维空间中的指定位置。
作为本发明实施例一种可选的实施方式，所述确定所述至少一个目标三维模型，包括：
显示模型选择页面，所述模型选择页面显示有至少一个三维模型的标识；
接收用户对所述模型选择页面中的三维模型的标识的选择操作；
基于所述选择操作确定为所述至少一个目标三维模型。
作为本发明实施例一种可选的实施方式，所述确定所述至少一个目标三维模型，包括：
获取所述待生成视频的各个分镜；
根据所述待生成视频的各个分镜中的元素构建所述至少一个目标三维模型。
作为本发明实施例一种可选的实施方式，所述方法还包括：
获取所述至少一个目标三维模型的变换参数；
根据所述至少一个目标三维模型的变换参数控制所述至少一个目标三维模型在所述虚拟三维空间中进行模型状态的变换。
作为本发明实施例一种可选的实施方式，所述根据所述至少一个目标相机位姿对目标虚拟场景进行渲染，获取至少一个视频帧，包括：
确定所述至少一个目标相机位姿对应的模型状态；
根据所述至少一个目标相机位姿和所述至少一个目标相机位姿对应的模型状态对所述目标虚拟场景进行渲染，获取所述至少一个视频帧。
作为本发明实施例一种可选的实施方式，所述根据所述至少一个视频帧生成待生成视频，包括：
获取所述待生成视频的背景音乐；
基于预设视频编码格式对所述至少一个视频帧和所述背景音乐的至少一个音频帧进行编码，生成所述待生成视频。
第二方面，本发明实施例提供了一种视频生成装置，包括：
获取单元，用于获取虚拟相机的初始位姿和所述虚拟相机的运动参数；
处理单元，用于根据所述初始位姿和所述运动参数确定所述虚拟相机的至少一个目标相机位姿；
渲染单元，用于根据所述至少一个目标相机位姿对目标虚拟场景进行渲染，获取至少一个视频帧；
生成单元，用于根据所述至少一个视频帧生成待生成视频。
作为本发明实施例一种可选的实施方式，所述视频生成装置，还包括：
构建单元，用于在根据所述至少一个目标相机位姿对目标虚拟场景进行渲染，获取至少一个视频帧之前，构建所述目标虚拟场景；
其中，所述目标虚拟场景包括虚拟三维空间和设置于所述虚拟三维空间中的至少一个目标三维模型。
作为本发明实施例一种可选的实施方式，所述构建单元，具体用于创建所述虚拟三维空间；确定所述至少一个目标三维模型；将所述至少一个目标三维模型添加到所述虚拟三维空间中的指定位置。
作为本发明实施例一种可选的实施方式，所述构建单元，具体用于显示模型选择页面，所述模型选择页面显示有至少一个三维模型的标识；接收用户对所述模型选择页面中的三维模型的标识的选择操作；基于所述选择操作确定为所述至少一个目标三维模型。
作为本发明实施例一种可选的实施方式，所述构建单元，具体用于获取所述待生成视频的各个分镜；根据所述待生成视频的各个分镜中的元素构建所述至少一个目标三维模型。
作为本发明实施例一种可选的实施方式，所述构建单元，还用于获取所述至少一个目标三维模型的变换参数；根据所述至少一个目标三维模型的变换参数控制所述至少一个目标三维模型在所述虚拟三维空间中进行模型状态的变换。
作为本发明实施例一种可选的实施方式，所述渲染单元，具体用于确定所述至少一个目标相机位姿对应的模型状态；根据所述至少一个目标相机位姿和所述至少一个目标相机位姿对应的模型状态对所述目标虚拟场景进行渲染，获取所述至少一个视频帧。
作为本发明实施例一种可选的实施方式，所述生成单元，具体用于确获取所述待生成视频的背景音乐；基于预设视频编码格式对所述至少一个视频帧和所述背景音乐的至少一个音频帧进行编码，生成所述待生成视频。
第三方面，本发明实施例提供了一种电子设备，包括：存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于在执行计算机程序时，使得所述电子设备实现上述任一实施方式所述的视频生成方法。
第四方面，本发明实施例提供一种计算机可读存储介质，当所述计算机程序被计算设备执行时，使得所述计算设备实现上述任一实施方式所述的视频生成方法。
第五方面，本发明实施例提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机实现上述任一实施方式所述的视频生成方法。
本发明实施例提供的视频生成方法首先获取虚拟相机的初始位姿和所述虚拟相机的运动参数，并根据所述初始位姿和所述运动参数确定所述虚拟相机的至少一个目标相机位姿，然后根据所述至少一个目标相机位姿对目标虚拟场景进行渲染，获取至少一个视频帧，以及根据所述至少一个视频帧生成待生成视频。由于本发明实施例中待生成视频的视频帧是根据目标相机位姿对目标虚拟场景进行渲染得到的，无需独立搭建各个视频帧对应的场景模型，因此本发明实施例可以解决现有技术在基于目标虚拟场景进行视频创作时，费时费力且效率低下的问题，提升基于目标虚拟场景进行视频创作的效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要调用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的视频生成方法的步骤流程图之一；
图2为本发明实施例提供的目标虚拟场景的示意图；
图3为本发明实施例提供的视频生成方法的步骤流程图之二；
图4为本发明实施例提供的模型转态变换示意图；
图5为本发明实施例提供的视频生成装置的结构示意图之一；
图6为本发明实施例提供的视频生成装置的结构示意图之二；
图7为本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面将对本发明的方案进行进一步描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但本发明还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本发明的一部分实施例，而不是全部的实施例。
在本发明实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，调用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。此外，在本发明实施例的描述中，除非另有说明，“多个”的含义是指两个或两个以上。
本发明实施例提供了一种视频生成方法，参照图1所示，该视频生成方法包括如下步骤S11至S14：
S11、获取虚拟相机的初始位姿和所述虚拟相机的运动参数。
为了便于理解对虚拟场景进行渲染获取相应的图像，本发明实施例中，将虚拟场景类比为真实场景，并在虚拟场景中创建了类比用于对真实场景进行图像采集的虚拟相机，从而更加方便、快捷的确定对虚拟场景进行渲染时所使用视角，因此本发明实施例中的虚拟相机的位姿用于表征对虚拟场景进行渲染时所使用的视角，类似于真实相机对真实场景进行图像集采时的相机位姿，虚拟相机的初始位姿则用于表征对目标虚拟场景进行渲染得到的第一个视频帧所使用的视角。在一些实施例中，虚拟相机的位姿可以包括虚拟相机在虚拟场景中的位置坐标以及虚拟相机的旋转角度。
本发明实施例中虚拟相机的运动参数用于描述虚拟相机在虚拟三维空间中的运动方式。在一些实施例中，虚拟相机的运动参数包括虚拟相机的运动轨迹、虚拟相机的运动方向、虚拟相机的运动速度、虚拟相机的旋转方向、虚拟相机的旋转速度等中的至少一个。
S12、根据所述初始位姿和所述运动参数确定所述虚拟相机的至少一个目标相机位姿。
在一些实施例中，上述步骤S12(根据所述初始位姿和所述运动参数确定所述虚拟相机的至少一个目标相机位姿)的实现方式可以包括如下步骤a和步骤b：
步骤a、确定各个待生成视频帧对应的时刻。
步骤b、根据各个待生成视频帧对应的时刻和所述运动参数，确定至少一个目标相机位姿。
示例性的，待生成视频的帧率为50帧/秒，且待生成视频的每一个视频帧均为待生成视频帧，虚拟相机的初始位姿包括：初始位置坐标(x0，y0、z0)和初始旋转角度α°，虚拟相机运动参数包括以100/秒的速度沿x轴做匀速直线运动，则由待生成视频的帧率可以计算得到各个待生成视频帧对应的时刻依次为：0.00秒、0.02秒、0.04秒、0.06秒、0.08秒……，进而根据各个待生成视频帧对应的时刻和所述运动参数，确定目标相机位姿的位置坐标依次包括：(x0，y0、z0)、(x0+2，y0、z0)、(x0+4，y0、z0)、(x0+6，y0、z0)、(x0+8，y0、z0)……，且各个目标相机位姿的旋转角度均为α°。
S13、根据所述至少一个目标相机位姿对目标虚拟场景进行渲染，获取至少一个视频帧。
在一些实施例中，在上述步骤S13(根据所述至少一个目标相机位姿对目标虚拟场景进行渲染，获取至少一个视频帧)之前，本发明实施例提供的视频生成方法还包括：构建所述目标虚拟场景。
其中，所述目标虚拟场景包括虚拟三维空间和设置于所述虚拟三维空间中的至少一个目标三维模型。
本发明实施例中的目标虚拟场景可以为任意虚拟场景。例如：目标虚拟场景可以为由虚拟空间以及位于虚拟空间中的三维衣服模型、三维人形装台模型等元素构建的服装展示场景。再例如：目标虚拟场景可以为由虚拟空间以及位于三维车辆模型等元素构建的车辆展示场景。示例性的，参照图2所示，图2中以构建的目标虚拟场景包括虚拟三维空间和设置于所述虚拟三维空间中的圆锥体的三维模型200为例示出。
上述步骤S13中根据所述至少一个目标相机位姿对目标虚拟场景进行渲染，获取至少一个视频帧是指，根据每一个目标相机位姿对目标虚拟场景进行渲染，获取每一个目标相机位姿对应的视频帧。
S14、根据所述至少一个视频帧生成待生成视频。
即，将所述至少一个视频帧编码为所述待生成视频。
需要说明的是，根据所述至少一个视频帧生成待生成视频可以为：仅根据至少一个视频帧生成待生成视频，也可以为至少一个视频帧以及预设视频片段中的视频帧生成待生成视频。例如：将所述至少一个视频帧***预设视频片段从，从而获取所述待生成视频。
作为本发明实施例一种可选的实施方式，上步骤S14(根据所述至少一个视频帧生成待生成视频)包括：
获取所述待生成视频的背景音乐；
基于预设视频编码格式对所述至少一个视频帧和所述背景音乐的至少一个音频帧进行编码，生成所述待生成视频。
进一步的，生成所述待生成视频后还可以对所述待生成视频进行添加字幕、剪辑等优化操作。
本发明实施例提供的视频生成方法首先获取虚拟相机的初始位姿和所述虚拟相机的运动参数，并根据所述初始位姿和所述运动参数确定所述虚拟相机的至少一个目标相机位姿，然后根据所述至少一个目标相机位姿对目标虚拟场景进行渲染，获取至少一个视频帧，以及根据所述至少一个视频帧生成待生成视频。由于本发明实施例中待生成视频的视频帧是根据目标相机位姿对目标虚拟场景进行渲染得到的，无需独立搭建各个视频帧对应的场景模型，因此本发明实施例可以解决现有技术在基于目标虚拟场景进行视频创作时，费时费力且效率低下的问题，提升基于目标虚拟场景进行视频创作的效率。
作为对上述实施例的扩展和细化，本发明实施例提供了另一种视频生成方法，参照图3所示，该视频生成方法包括如下步骤S301至步骤S309：
S301、构建虚拟三维空间。
本发明实施例中构建的虚拟三维空间可以任意尺寸以及任意形状的三维空间。
S302、确定所述至少一个目标三维模型。
本发明实施例中的三维模型可以任意数量，且三维模型可以为任意实体对象的三维模型；例如：三维模型可以为人体模型、动物模型、虚拟服装模型等。
作为本发明实施例一种可选的实施方式，上述步骤S302(确定所述至少一个目标三维模型)的实现方式可以包括如下步骤1至步骤3：
步骤1、显示模型选择页面。
其中，所述模型选择页面显示有至少一个三维模型的标识。
即，在模型选择界面中显示出可以提供给用户选择的三维模型，以便用户进行观察及选择。
步骤2、接收用户对所述模型选择页面中的三维模型的标识的选择操作。
本发明实施例中的选择操作可以为用户在模型选择页面中通过鼠标输入的操作，也可以为用户的触控操作，还可以为用户的语音操作，本发明实施例中对选择操作的类型不做限定，以能够通过选取操作确定用户想要选择的三维模型为准。
步骤3、基于所述选择操作确定为所述至少一个目标三维模型。
例如：模型选择页面中显示有三维模型A、三维模型B、三维模型C、三维模型D以及三维模型F，用户对模型选择页面中的三维模型A和三维模型C输入了选择操作，则将三维模型A和三维模型C确定为目标三维模型。
作为本发明实施例一种可选的实施方式，确定所述至少一个目标三维模型的实现方式可以包括如下步骤Ⅰ和步骤Ⅱ：
步骤Ⅰ、获取所述待生成视频的各个分镜。
分镜(Storyboard)又称为故事板，是指在视频、电影、动画、电视剧、广告等影像媒体在实际拍摄或绘制之前，以特定方式来说明影像的构成的文件。具体到本发明实施例中，则为需要重点展示的画面及相机视角。
步骤Ⅱ、根据所述待生成视频的各个分镜中的元素构建所述至少一个目标三维模型。
例如：待生成视频的分镜1中包括虚拟人物1和虚拟服装1，待生成视频的分镜2中包括虚拟人物2和虚拟服装2，则构建虚拟人物1对应的三维模型、虚拟服装1对应的三维模型、虚拟人物2对应的三维模型以及虚拟服装2对应的三维模型，并将虚拟人物1对应的三维模型、虚拟服装1对应的三维模型、虚拟人物2对应的三维模型以及虚拟服装2对应的三维模型确定为所述目标三维模型。
S303、将所述至少一个目标三维模型添加到所述虚拟三维空间中的指定位置。
可选的，上述步骤S303(将所述至少一个目标三维模型添加到所述虚拟三维空间中的指定位置)实现方式可以包括：
显示所述目标虚拟场景和所述至少一个目标三维模型；
接收用户对所述至少一个目标三维模型的拖动操作；
响应于所述拖动操作，将所述至少一个目标三维模型添加到所述虚拟三维空间中的指定位置。
S304、获取所述至少一个目标三维模型的变换参数。
本发明实施例中三维模型的变换参数用于描述各个三维模型在虚拟三维空间中的变换方式。
例如：当目标三维模型包括：三维人体模型和三维服装模型时，三维模型的变换参数可以包括用于描述三维人体模型行走过程中进行状态变换的参数以及用于描述三维服装模型模拟仿真三维人体模型进行状态变换的参数。
S305、根据所述至少一个目标三维模型的变换参数控制所述至少一个目标三维模型在所述虚拟三维空间中进行模型状态的变换。
需要说明的是，本发明实施例中模型状态的变换包括三维模型在虚拟三维空间中的位置的变换和/或三维模型姿态的变换。
S306、获取虚拟相机的初始位姿和所述虚拟相机的运动参数。
S307、根据所述初始位姿和所述运动参数确定所述虚拟相机的至少一个目标相机位姿。
S308、确定所述至少一个目标相机位姿对应的模型状态。
在一些实施例中，上述步骤S308(确定所述至少一个目标相机位姿对应的模型状态)的实现方式可以包括如下步骤①和步骤②：
步骤①、确定各个目标相机位姿对应的时刻。
步骤②、根据各个目标相机位姿对应的时刻和所述至少一个目标三维模型的变换参数，计算所述至少一个目标相机位姿对应的模型状态。
示例性的，三维模型的初始模型状态如图2所示，初始位置为(x2,y2,z2)且旋转角度为0°；目标相机位姿对应的时刻依次为：0.00秒、0.02秒、0.04秒、0.06秒、0.08秒……，三维模型的变换参数包括：以90°/秒的旋转在三维空间中匀速旋转，且以50/秒的速度沿y轴方向匀速直线运动，则如图4所示，根据各个目标相机位姿对应的时刻和所述至少一个目标三维模型的变换参数可以计算各个目标相机位姿对应的模型状态，包括：(x2,y2,z2)且旋转角度为0°、(x2,y2+1,z2)且旋转角度为1.8°、(x2,y2+2,z2)且旋转角度为3.6°、(x2,y2+3,z2)且旋转角度为5.4°。
S309、根据所述至少一个目标相机位姿和所述至少一个目标相机位姿对应的模型状态对所述目标虚拟场景进行渲染，获取所述至少一个视频帧。
基于同一发明构思，作为对上述方法的实现，本发明实施例还提供了一种视频生成装置，该实施例与前述方法实施例对应，为便于阅读，本实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的视频生成装置能够对应实现前述方法实施例中的全部内容。
本发明实施例提供了一种视频生成装置，图5为该视频生成装置的结构示意图，如图5所示，该视频生成装置500包括：
获取单元51，用于获取虚拟相机的初始位姿和所述虚拟相机的运动参数；
处理单元52，用于根据所述初始位姿和所述运动参数确定所述虚拟相机的至少一个目标相机位姿；
渲染单元53，用于根据所述至少一个目标相机位姿对目标虚拟场景进行渲染，获取至少一个视频帧；
生成单元54，用于根据所述至少一个视频帧生成待生成视频。
作为本发明实施例一种可选的实施方式，参照图6所示，所述视频生成装置500，还包括：
构建单元55，用于在根据所述至少一个目标相机位姿对目标虚拟场景进行渲染，获取至少一个视频帧之前，构建所述目标虚拟场景；
其中，所述目标虚拟场景包括虚拟三维空间和设置于所述虚拟三维空间中的至少一个目标三维模型。
作为本发明实施例一种可选的实施方式，所述构建单元55，具体用于创建所述虚拟三维空间；确定所述至少一个目标三维模型；将所述至少一个目标三维模型添加到所述虚拟三维空间中的指定位置。
作为本发明实施例一种可选的实施方式，所述构建单元55，具体用于显示模型选择页面，所述模型选择页面显示有至少一个三维模型的标识；接收用户对所述模型选择页面中的三维模型的标识的选择操作；基于所述选择操作确定为所述至少一个目标三维模型。
作为本发明实施例一种可选的实施方式，所述构建单元55，具体用于获取所述待生成视频的各个分镜；根据所述待生成视频的各个分镜中的元素构建所述至少一个目标三维模型。
作为本发明实施例一种可选的实施方式，所述构建单元55，还用于获取所述至少一个目标三维模型的变换参数；根据所述至少一个目标三维模型的变换参数控制所述至少一个目标三维模型在所述虚拟三维空间中进行模型状态的变换。
作为本发明实施例一种可选的实施方式，所述渲染单元53，具体用于确定所述至少一个目标相机位姿对应的模型状态；根据所述至少一个目标相机位姿和所述至少一个目标相机位姿对应的模型状态对所述目标虚拟场景进行渲染，获取所述至少一个视频帧。
作为本发明实施例一种可选的实施方式，所述生成单元54，具体用于确获取所述待生成视频的背景音乐；基于预设视频编码格式对所述至少一个视频帧和所述背景音乐的至少一个音频帧进行编码，生成所述待生成视频。
本实施例提供的视频生成装置可以执行上述方法实施例提供的视频生成方法，其实现原理与技术效果类似，此处不再赘述。
基于同一发明构思，本发明实施例还提供了一种电子设备。图7为本发明实施例提供的电子设备的结构示意图，如图7所示，本实施例提供的电子设备包括：存储器701和处理器702，所述存储器701用于存储计算机程序；所述处理器702用于在执行计算机程序时执行上述实施例提供的视频生成方法。
基于同一发明构思，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当计算机程序被处理器执行时，使得所述计算设备实现上述实施例提供的视频生成方法。
基于同一发明构思，本发明实施例还提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算设备实现上述实施例提供的视频生成方法。
本领域技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
处理器可以是中央处理单元(CentralProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动存储介质。存储介质可以由任何方法或技术来实现信息存储，信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。根据本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (12)
1.一种视频生成方法，其特征在于，包括：
获取虚拟相机的初始位姿和所述虚拟相机的运动参数；
根据所述初始位姿和所述运动参数确定所述虚拟相机的至少一个目标相机位姿；
根据所述至少一个目标相机位姿对目标虚拟场景进行渲染，获取至少一个视频帧；
根据所述至少一个视频帧生成待生成视频。
2.根据权利要求1所述的方法，其特征在于，在根据所述至少一个目标相机位姿对目标虚拟场景进行渲染，获取至少一个视频帧之前，所述方法还包括：
构建所述目标虚拟场景；
其中，所述目标虚拟场景包括虚拟三维空间和设置于所述虚拟三维空间中的至少一个目标三维模型。
3.根据权利要求2所述的方法，其特征在于，所述构建所述目标虚拟场景，包括：
创建所述虚拟三维空间；
确定所述至少一个目标三维模型；
将所述至少一个目标三维模型添加到所述虚拟三维空间中的指定位置。
4.根据权利要求3所述的方法，其特征在于，所述确定所述至少一个目标三维模型，包括：
显示模型选择页面，所述模型选择页面显示有至少一个三维模型的标识；
接收用户对所述模型选择页面中的三维模型的标识的选择操作；
基于所述选择操作确定为所述至少一个目标三维模型。
5.根据权利要求3所述的方法，其特征在于，所述确定所述至少一个目标三维模型，包括：
获取所述待生成视频的各个分镜；
根据所述待生成视频的各个分镜中的元素构建所述至少一个目标三维模型。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述至少一个目标三维模型的变换参数；
根据所述至少一个目标三维模型的变换参数控制所述至少一个目标三维模型在所述虚拟三维空间中进行模型状态的变换。
7.根据权利要求6所述的方法，其特征在于，所述根据所述至少一个目标相机位姿对目标虚拟场景进行渲染，获取至少一个视频帧，包括：
确定所述至少一个目标相机位姿对应的模型状态；
根据所述至少一个目标相机位姿和所述至少一个目标相机位姿对应的模型状态对所述目标虚拟场景进行渲染，获取所述至少一个视频帧。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述根据所述至少一个视频帧生成待生成视频，包括：
获取所述待生成视频的背景音乐；
基于预设视频编码格式对所述至少一个视频帧和所述背景音乐的至少一个音频帧进行编码，生成所述待生成视频。
9.一种视频生成装置，其特征在于，包括：
获取单元，用于获取虚拟相机的初始位姿和所述虚拟相机的运动参数；
处理单元，用于根据所述初始位姿和所述运动参数确定所述虚拟相机的至少一个目标相机位姿；
渲染单元，用于根据所述至少一个目标相机位姿对目标虚拟场景进行渲染，获取至少一个视频帧；
生成单元，用于根据所述至少一个视频帧生成待生成视频。
10.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于在执行计算机程序时，使得所述电子设备实现权利要求1-8任一项所述的视频生成方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，当所述计算机程序被计算设备执行时，使得所述计算设备实现权利要求1-8任一项所述的视频生成方法。
12.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机实现如权利要求1-8任一项所述的视频生成方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210476374.5A CN117014651A (zh) | 2022-04-29 | 2022-04-29 | 一种视频生成方法及装置 |
| PCT/CN2023/085074 WO2023207504A1 (zh) | 2022-04-29 | 2023-03-30 | 一种视频生成方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210476374.5A CN117014651A (zh) | 2022-04-29 | 2022-04-29 | 一种视频生成方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117014651A true CN117014651A (zh) | 2023-11-07 |
Family
ID=88517345
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210476374.5A Pending CN117014651A (zh) | 2022-04-29 | 2022-04-29 | 一种视频生成方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN117014651A (zh) |
| WO (1) | WO2023207504A1 (zh) |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10274737B2 (en) * | 2016-02-29 | 2019-04-30 | Microsoft Technology Licensing, Llc | Selecting portions of vehicle-captured video to use for display |
| CN111080759B (zh) * | 2019-12-03 | 2022-12-27 | 深圳市商汤科技有限公司 | 一种分镜效果的实现方法、装置及相关产品 |
| CN111242975B (zh) * | 2020-01-07 | 2023-08-25 | 影石创新科技股份有限公司 | 自动调整视角的全景视频渲染方法、存储介质及计算机设备 |
| CN112817453A (zh) * | 2021-01-29 | 2021-05-18 | 聚好看科技股份有限公司 | 虚拟现实设备和虚拟现实场景中物体的视线跟随方法 |
| CN113822977A (zh) * | 2021-06-28 | 2021-12-21 | 腾讯科技（深圳）有限公司 | 图像渲染方法、装置、设备以及存储介质 |
| CN114358112A (zh) * | 2021-11-19 | 2022-04-15 | 北京旷视科技有限公司 | 视频融合方法、计算机程序产品、客户端及存储介质 |
| CN114095662B (zh) * | 2022-01-20 | 2022-07-05 | 荣耀终端有限公司 | 拍摄指引方法及电子设备 |
-
2022
- 2022-04-29 CN CN202210476374.5A patent/CN117014651A/zh active Pending
-
2023
- 2023-03-30 WO PCT/CN2023/085074 patent/WO2023207504A1/zh unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023207504A1 (zh) | 2023-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3329682B1 (en) | A system for compositing video with interactive, dynamically rendered visual aids | |
| CN107018336B (zh) | 图像处理的方法和装置及视频处理的方法和装置 | |
| JP7337104B2 (ja) | 拡張現実によるモデル動画多平面インタラクション方法、装置、デバイス及び記憶媒体 | |
| KR100707206B1 (ko) | 3차원 객체의 깊이영상 기반 표현 방법 및 이를 이용한모델링 및 렌더링 방법 및 장치 | |
| CN112933597B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN104182999B (zh) | 一种全景内动画跳转方法及*** | |
| KR20080090671A (ko) | 3ｄ 객체 모델에 텍스쳐를 매핑하는 방법 및 장치 | |
| US9588651B1 (en) | Multiple virtual environments | |
| CN112037121A (zh) | 一种图片处理方法、装置、设备及存储介质 | |
| Sooai et al. | Virtual artifact: Enhancing museum exhibit using 3D virtual reality | |
| CN113885829B (zh) | 一种音效展示方法及终端设备 | |
| CN111813952A (zh) | 一种知识图谱的三维展示方法及装置 | |
| Degadwala et al. | Moving Object Inpainting using Deep Learning | |
| RU2652503C2 (ru) | Автоматическая съемка и монтаж видеоролика | |
| CN114157877A (zh) | 回放数据的生成方法及装置、回放方法及装置 | |
| CN113422914A (zh) | 一种视频生成方法、装置、设备及介质 | |
| Gao et al. | [Retracted] Realization of Music‐Assisted Interactive Teaching System Based on Virtual Reality Technology | |
| CN112700519A (zh) | 动画展示方法、装置、电子设备及计算机可读存储介质 | |
| CN111402369A (zh) | 互动广告的处理方法、装置、终端设备及存储介质 | |
| CN117014651A (zh) | 一种视频生成方法及装置 | |
| Okada et al. | Interactive educational contents development framework based on linked open data technology | |
| CN114913277A (zh) | 一种物体立体交互展示方法、装置、设备及介质 | |
| CN116843812A (zh) | 一种图像渲染方法、装置及电子设备 | |
| KR20230096591A (ko) | 조종 가능한 실감 영상 콘텐츠의 생성 방법 및 이의 모션 시뮬레이션 시스템 | |
| CN113885828A (zh) | 一种音效展示方法及终端设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |