CN105069827B - 一种采用三维模型处理视频转场的方法 - Google Patents

Abstract

本发明涉及一种采用三维模型处理视频转场的方法，包括：构建三维动画切换模板的过程包括如下步骤：获取三维模型数据；标记替换面；存储；三维动画切换的过程包括如下步骤：获取图像数据；选取模板；替换；渲染并输出。本发明通过设置三维模型模板，快速的将三维动画加入到视频的转场中，使视频的三维动画切换的编辑过程十分简单。支持三维物件模板的是通过“自动检测”或“交互设置”的方式，事先构建三维物件的标识信息，当使用时无需任何编辑和设置，就可以应用这些模板。在实际播出或编辑的操作过程中，只需将代表模板的图标，通过鼠标直接拖曳到故事板中两段视频衔接位置即可。

Description

一种采用三维模型处理视频转场的方法

技术领域

本发明涉及一种采用三维模型处理视频转场的方法，是一种计算机数字视频文件的处理方法，是一种构建视频文件的方法。

背景技术

视频转场用于两个视频之间的过渡，是电视节目制作中常用的一种方法，其绚丽的效果可以提升节目的制作质量。视频的过渡可视为一种动画，常用的转场方式分为二维转场和三维转场两大类。三维转场由于其画面动感分明、生动有趣，得到更多的应用。三维转场出现的形式是在两个画面需要切换的情况下，将卷页、卡片划像、三维几何物体的两个面之间的转换，产生两个画面切换的效果。

现有的三维转场方法，由于其画面制作的复杂性，均是在时间比较充分的场合下进行图像的转场编辑，而在一些实时性比较强的场合下，例如：新闻演播现场，三维转场往往无法实现。因此，如何快速的进行三维转场的编辑是需要解决的问题。

发明内容

为解决现有技术的问题，本发明提出一种采用三维模型处理视频转场的方法。所述的方法在新闻演播的现场进行三维动画的编辑和制作，可以快速的将现场收到的两段视频使用三维动画的方式快速的编辑在一起，现场直播。

本发明的目的是这样实现的：一种采用三维模型处理视频转场的方法，所述方法使用的***包括：设置在服务器或服务器集群中的图像编辑器、非编资源管理器、渲染器，所述的图像编辑器中设有三维模型构建单元，该三维模型构建单元用来构建三维物件、虚拟摄像机、虚拟灯光及制作其动画；

其特征在于，所述的方法包括建三维动画切换模板的过程和三维动画切换的过程：

所述构建三维动画切换模板的过程包括如下步骤：

所述构建三维动画切换模板的过程包括如下步骤：

获取三维模型的步骤：在图像编辑器中导入或通过三维模型构建单元构建一个作为切换用的三维模型，和/或通过三维模型构建单元对导入的三维模型进行二次开发，三维模型包括三维物件、虚拟摄像机、虚拟灯光及其动画；

标记替换面的步骤：通过“自动检测”或“交互设置”的方式标记三维物件的两个面作为两段待转场视频的替换面；

存储模板的步骤：将包含了替换面的三维物件的标识信息、三维模型的动画数据作为模板存入非编资源管理器中；

所述三维动画切换的过程包括如下步骤：

获取图像数据的步骤：获取转场切换前的视频图像序列和切换后的视频图像序列；

选取模板的步骤：在非编资源管理器选取切换用三维模型的模板，并获取该三维模型的动画数据及作为替换面的三维物件的标识信息；

替换的步骤：根据标识信息找到切换过程中包含替换面的三维物件，将其对应的替换面替换为切换前后两视频图像序列；

渲染并输出的步骤：通过渲染器渲染在切换过程中的经过所述替换步骤的每一帧场景图像，并输出渲染后的场景图像。

进一步的，上述的“标记替换面的步骤”中的“自动检测”的方式包括如下子步骤：

识别三维模型数据的子步骤：识别作为切换用的三维模型的动画起始点和终止点的物件数据及虚拟摄像机观测点数据；

三维物件标记的子步骤：利用虚拟摄像机与三维物件之间相对的位置关系，确定两段视频转场前后的替换面；

虚拟摄像机矫正的子步骤：利用替换面矫正虚拟摄像机参数，以确保在动画起始和结束位置，使虚拟摄像机能全屏显示替换面；

记录的子步骤：记录作为替换面的三维物件的标识信息，以及记录矫正虚拟摄像机参数为追加的三维模型二次开发的动画数据。

进一步的，上述的“标记替换面的步骤”中的“交互设置”的方式包括如下子步骤：

识别三维物件数据的子步骤：识别作为切换用的三维模型的物件数据；

交互选择的子步骤：在识别的三维模型中选取替换物件的两个面作为替换面；

确定是否校正摄像机的子步骤：确定不校正，则直接进入下一步“记录的子步骤”；

确定校正，则进入下一步“虚拟摄像机矫正的子步骤”；

虚拟摄像机矫正的子步骤：利用替换面矫正虚拟摄像机参数，以确保在动画起始和结束位置，虚拟摄像机能全屏显示替换面；之后进入下一步“记录的子步骤”，

记录的子步骤：记录作为替换物件的标识信息，记录矫正虚拟摄像机参数为追加的三维模型二次开发的动画数据。

本发明产生的有益效果是：本发明通过设置三维模型模板，快速的将三维模型中的三维动画加入到视频中，使利用三维动画进行视频转场切换的编辑过程十分简单。支持三维模型模板是通过“自动检测”或“交互设置”的方式，事先标记三维物件，当使用时无需任何编辑和设置，就可以应用这些模板。在实际播出或编辑的操作过程中，只需任选存储在资源管理器中的三维模型模板的其中一个，通过鼠标直接将选中的模板拖曳到图像编辑器中的故事板中两段视频切换的位置即可，十分快捷的实现三维动画的视频切换编辑。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1是发明实施例一所述方法所使用的***示意图；

图2是发明实施例一所述方法的流程图；

图3是发明实施例二、三所述方法的三维变换的数学推导图解；

图4是发明实施例二、三所述方法的虚拟摄像机对焦的数学推导图解，是摄像机的定视角；

图5是发明实施例二、三所述方法的虚拟摄像机对焦的数学推导图解，是摄像机的左视角。

具体实施方式

实施例一：

本实施例是一种采用三维模型处理视频转场的方法，所述方法使用的***包括：设置在服务器或服务器集群中的图像编辑器、非编资源管理器、渲染器，所述的图像编辑器中设有三维模型构建单元，用来构建三维物件、虚拟摄像机、虚拟灯光以及制作它们的动画，如图1所示。

所述的图像编辑器可以是各种非线性编辑***，它能够使用如：3DSMAX、MAYA等第三方CG软件生成的三维模型文件，例如：.fbx、.obj、.3ds等。这些编辑***本身内置了三维模型的构建单元，能够创建三维物件以及虚拟摄像机和虚拟灯光等并创建动画，并可以对导入的三维模型进行二次开发。

所述的非编资源管理器是一种用于保管编辑时使用到的各种素材、模板、编辑中间过程生成的故事板的资源库。图像编辑器能够通过接口访问调用非编资源管理器中的资源，并将编辑过程中生成的资源保存到非编资源管理器中。

所述的渲染器是用于专门进行渲染的设施，例如GPU，由于动画渲染需要大量的硬件资源，因此，本实施例中的渲染需要专门的渲染器进行。所述的渲染器具有多线程处理的能力，可以在最短的时间里将切换的动画过程渲染完毕，以便跟上现场直播的时实需求。

本实施例所述的方法包括“建三维动画切换模板”的过程和“三维动画切换”的过程：

“建三维动画切换模板”的过程是事先建立各种模板，并将这些模板作为选项存储在非编资源管理器中，供编辑时随时应用。模板可以有多种形式，如：各种正多面体、球型、椭球形等，还可以包括虚拟摄像机，穿梭景物的变化动画。

本实施例所述的“切换”是一种视频转场，即：从一段视频画面过渡到另一段视频画面。

所述的切换前图像和切换后图像分别为转场前的源视频和转场后的目标视频。

所述的三维物件为：利用三维点、线、面等几何信息来表示的虚拟物件。

所述的替换面为：替换转场前、后两段视频的三维物件的两个面。

三维场景：由虚拟摄像机、虚拟光源、三维物件构成的虚拟场景。

虚拟摄像机：模拟真实世界的摄像机功能，通过虚拟摄像机可以观察三维场景。

三维场景渲染：通过虚拟摄像机的视角，采用渲染引擎将三维场景渲染成一幅图像。

三维模型：利用三维建模软件制作的一种模型数据（结构见图1）。它包含若干个虚拟摄像机、虚拟光源、三维物件等数据。常见的模型有fbx、obj、3ds等文件。

模板的构建可以反复多次，以便可以构建各种样式的模板供使用。所述构建三维动画切换模板的过程包括如下步骤，流程图如图1所示：

获取三维模型的步骤：在图像编辑器中导入或构建一个作为切换用的三维模型，获取和/或制作该三维模型的三维动画，获取三维动画起始点和终止点的物件数据。本步骤是直接利用第三方CG软件制作的三维模型，或者利用图像编辑器构建三维模型，如：正多面体或球体等，并对几何模型进行纹理贴图，形成三维物件。或者是构建摄像机穿越的虚拟场景，或者将已导入的三维模型进行二次开发。

标记替换面的步骤：用于在三维物件上选取两个替换面。在三维物件上选取两个面作为替换面，例如：将正方体的两个侧面作为替换面，或将球体的两个半球或几分之一球作为替换面。或者是穿越场景的某个物件上，如：门、窗户等作为替换面。

选取替换面是通过“自动检测”或“交互设置”的方式标记三维物件，以产生相应的标识信息。本步骤是本实施例所述方法的关键性步骤。“自动检测”是采用自动的方式，对物件数据中的起止点和终止点的虚拟摄像机与三维物件之间的相对位置进行检测，检测出其中距离虚拟摄像机最近的面所处的物件的面作为替换物件，并为使替换物件在动画起始和结束位置，在虚拟摄像机中全屏幕显示，对虚拟摄像机进行矫正。校正后的虚拟摄像机的参数即为二次开发的数据。自动检测方式是采用三维物件自动标识和虚拟摄像机自动矫正，取得标识信息的同时修改三维模型。而交互设置则是手动选择替换面，并决定是否进行虚拟摄像机的矫正，如果确定虚拟摄像机需要修正，则***进行自动虚拟摄像机修正，使选择的替换面在动画的起始和终止位置，在虚拟摄像机中能够全屏显示。

传统的三维切换编辑方法是通过固定的命名规则来标示替换物件。这需要设计人员了解命名规范，并在第三方软件设计时，并严格按照命名规范对需要替换的物件进行命名。这样的方式很难用在直播现场进行切换编辑。本实施例则对命名没有要求，在获得三维模型数据之后通过自动检测或者交互设置的方式去标记替换物件，使标识的编辑过程自动化，为便捷、灵活的制作模板提供了关键性的支持，保证了三维模型处理视频转场的时效性，使得利用三维模型进行视频转场在新闻演播室等实时应用的场景中变为可能。

存储模板的步骤：将作为替换面的物件的标识信息、三维模型的动画数据作为模板存入非编资源管理器中。模板形成后可直接拖拽其相应的图标放在故事板上调用该模板的三维转场的动画效果。

上述步骤可以重复多次，制作多个模板，存储于非编资源管理器中，供编辑者使用。

模板形成后则可以在编辑过程中使用，其三维动画切换的过程包括如下步骤：

获取图像数据的步骤：获取切换前图像和切换后图像的图像数据。在切换的过程中两段视频在时间上可以是有重叠的。

选取模板的步骤：用于在非编资源管理器选取切换用三维模型的模板，即将其通过直接拖拽图标的方式添加到两段待转场的视频序列的衔接处。编辑者可以根据自己的喜好，或节目的特点选取模板。例如国际新闻可以使用地球的模型（球型模板），开会的新闻，可以使用穿越会场大门的模板等。

替换的步骤：分别将出画面的替换面（如就图1中的面1）替换为切换前图像、入画面的替换面（如就图1中的面2）替换为切换后图像。由于建立了模板，替换的过程十分简单，所有参数已全部确定，无需任何人工干预，***自动完成。所述的出画面的替换面是指随着三维动画将要离开虚拟摄像机观测视野的三维物件上的一个面，在该面上贴上切换前图像，而切换前图像则是切换前视频于切换过程中的每一帧图像。对应的，入画面的替换面则是随着三维动画将要进入虚拟摄像机视野的三维物件上的一个面，在该面上贴上切换后图像，切换后图像是切换后视频于切换过程中的每一帧图像。

渲染并输出的步骤：通过渲染器渲染在切换过程中经过替换后的三维动画场景，并输出渲染后的场景图像。模板的三维动画效果可以添加到两段待转场视频的重叠部分，当拖拽完成后需要现场播出转场的视频效果时就要将带有两段视频三维动画进行实时渲染并输出。渲染的过程可以通过现场的服务器多线程处理，以便跟上新闻直播的快速节目流程。

实施例二：

本实施例是实施例一的改进，是实施例一关于“标记替换面的步骤”中的“自动检测”细化。本实施例所述的“自动检测”的方式包括如下子步骤：

识别三维模型数据的子步骤：识别作为切换用的三维模型的动画起始点和终止点的物件数据及虚拟摄像机观测点数据。

三维物件标记的子步骤：利用虚拟摄像机与三维物件之间相对的位置关系，确定两段视频转场前后的替换面。三维物件自动标记的方法指：在虚拟摄像机动画起始和结束位置，通过摄像机与三维物件相对的空间位置关系，找出两个距离摄像机最近的目标物件作为替换物件。标记的数学推导见后。

虚拟摄像机矫正的子步骤：利用替换面矫正虚拟摄像机参数，以确保在动画起始和结束位置，使虚拟摄像机能全屏显示替换面。虚拟摄像机自动矫正方法指：在虚拟摄像机动画起始和结束位置，摄像机为了能精确地全屏显示三维物件的面1、面2，对原有动画进行旋转和平移等参数矫正。该矫正实际上是一种三维变换：即将摄像机原先的几何状态量进行一个三维变化矫正得到一个新的几何状态量，以满足在新的状态下，摄像机能够精确地全屏显示指定的三维物件的特定面。虚拟摄像机矫正的数学推导见后。

记录的子步骤：记录替换面的标识信息，以及记录矫正虚拟摄像机参数为追加的三维模型二次开发的动画数据。

实施例三：

本实施例是实施例一的改进，是实施例一关于“标记替换面的步骤”中的“交互设置”的方式的细化。本实施例所述的“交互设置”的方式包括如下子步骤：

识别三维物件数据的子步骤：用于识别作为切换用的三维模型的物件数据。

交互选择的子步骤：在识别的三维模型中任意选取替换物件；

之后可以任选是否校正虚拟摄像机，如果选择不校正，则直接进行记录的步骤，记录作为替换面的三维物件的标识信息。如果选择校正，则进行虚拟摄像机校正的步骤：用于虚拟摄像机为了全屏显示指定的三维物件所进行的三维变换，使虚拟摄像机能全屏显示替换物件；之后进行记录的步骤，记录作为替换面的三维物件的标识信息，以及记录矫正虚拟摄像机参数为追加的三维模型二次开发的动画数据。

由于本发明是使用三维模型处理视频转场，其既包括三维动画制作的若干概念和技术手段，又包括电视视频编辑制作的若干概念和技术手段。由于通常情况下电视视频编辑制作和三维动画是两个相互之间的技术体系不太一致，为便于该发明被实施，特别作出如下说明。

在电视视频编辑制作领域，两段视频的转场即由视频片段A切换到视频片段B是一种非常常用的特技，这两段视频由于A即将离开观众视野，通常叫做“出画面”，B即将进入观众视野，通常叫做“入画面”。从视频编辑的角度讲，三维转场以视频片段为主体，是出画面A被三维转场模型替代，经过一段包含或者不包含视频片段A的动画后，逐步变换到入画面B的视频片段的过程。从这个角度看，我们可以说是视频片段A被三维动画场景中的三维物件或三维物件的某个面替代，逐步变换为本三维物体的另外一个面甚至另外一个三维物体的某个面，而这个面又逐步变换为视频片段B。这就是视频编辑过程中编辑人员看到的最终实现效果。

同时，在三维动画制作领域，从三维动画技术人员的眼光来看可以完全从另外一个角度来描述：事先制作了一个三维场景，该三维场景包括至少一个三维物件，至少一个光源，至少一个虚拟摄像机。三维物件可以被赋予纹理贴图，该纹理贴图可以是静态图片，也可以是视频片段。在该三维场景的基础上可以制作出一段三维动画，由于是三维视频转场需要，所以要求动画开始的画面，需要将某个三维物体的某个面，具体也就是被赋予了“出画面”视频片段A作为纹理贴图的那个面，通过虚拟摄像机全屏显示；同时在动画最终结束的画面，需要将被赋予了“入画面”视频片段B作为纹理贴图的那个面，通过虚拟摄像机全屏显示。

这样最终渲染出的动画就可以将视频片段A和视频片段B流畅的连接起来，成为具备丰富艺术效果的视频切换特技。

下面是上述虚拟摄像机矫正涉及的三维变换、虚拟摄像机对焦，以及三维物件自动标记的数学推导：

三维变换的数学推导，符合意义如图3所示：

三维变换：指平移、旋转、缩放等三维空间下的仿射变换。该变换是一个4×4矩阵，记为。

对一个三维点P _src 进行M变换能得到一个新的三维点P _new ，即(P _src ，1)×M=（P _new ，1）；对一个三维方向向量进行M变换能得到一个新的三维方向向量，即。

本实施例采用几何状态量来描述三维单元在三维空间的位置和方位。

记为：。

其中Pos为三维单元在空间中的位置。分别表示三维单元向左、向上、向前的方向。

两个几何状态量之间可以进行三维变换M，见图3。

设三维单元的初始几何状态量为：。对进行三维变换M可以得到另一个几何状态量Ω。

若已知M，则Ω各分量满足：

1）位置变换：

（0,0,0,1）×M=（Pos，1），

2）方向变换：

设向量。

（1）

normalize指对三维向量单位化。如果M不包含缩放变换则有：

注：对虚拟摄像机和虚拟光源的三维变换均不含有缩放变换。

若已知Ω，则M的各分量满足：

（2）

虚拟摄像机对焦的数学推导，符合如图4所示：

定义三维物件Object几何状态量，包围盒（三维物件包围盒是指包含三维物件所有顶点的最小长方体）的宽度width和高度height。

定义虚拟摄像机Camera几何状态量、水平张角Mθ。

当虚拟摄像机Camera对焦物件Object时（见图4），在空间上存在如下关系式：

则有：

，

利用公式（2）可以计算得到Camera的对焦变换M _CameraFocus 。

标记的数学推导为：

给定三维物件和虚拟摄像机Camera。

物件Object _i 的几何状态量为。

摄像机Camera的几何状态量为。

1）标记物件Object _F 。寻找落在Camera视锥内，且距离最近的物件：

a)从中确定的位置分量在Camera视锥体内部的物件序列；

b)从中选择在上投影长度最小的物件Object _i ；

b)中确定的Object _i 即为标记物件Object _F 。

虚拟摄像机矫正的数学推导为：

当Camera对焦Object _F ，利用上述摄像机对焦的数学推导可以计算出Camera的对焦变换矩阵M _CameraFocus 。

设Camera原先的三维变换矩阵为M _Camera 、矫正变换矩阵为M _CameraAdjust 。这三个变换矩阵满足：

M _CameraFocus =M _Camera ×M _CameraAdjust ；

则：

。

采用上述方法分别在虚拟摄像机动画起始和结束位置进行标记和矫正，可以得到物件A、B以及摄像机的两个矫正矩阵。对这两个矫正矩阵进行插值可以计算出过渡帧的摄像机矫正矩阵，将其与摄像机原动画计算出的变换矩阵相乘就得到最终的变换矩阵。通过这种方式可以实现对虚拟摄像机整个动画过程的矫正。

最后应说明的是，以上仅用以说明本发明的技术方案而非限制，尽管参照较佳布置方案对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案（比如：设置参数的选项、步骤的先后顺序、故事板的选用、模板的编辑方式等）进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。本发明所述的方法可编制为应用于计算机***的程序，并运行于本发明所述的计算机网络***中。

Claims (1)

1.一种采用三维模型处理视频转场的方法，所述方法使用的***包括：设置在服务器或服务器集群中的图像编辑器、非编资源管理器、渲染器，所述的图像编辑器中设有三维模型构建单元，该三维模型构建单元用来构建三维物件、虚拟摄像机、虚拟灯光及制作动画；

其特征在于，所述的方法包括建三维动画切换模板的过程和三维动画切换的过程：

所述构建三维动画切换模板的过程包括如下步骤：

获取三维模型的步骤：在图像编辑器中导入或通过三维模型构建单元构建一个作为切换用的三维模型，和/或通过三维模型构建单元对导入的三维模型进行二次开发，三维模型包括三维物件、虚拟摄像机、虚拟灯光及其动画；

标记替换面的步骤：通过“自动检测”或“交互设置”的方式标记三维物件的两个面作为两段待转场视频的替换面；

存储模板的步骤：将包含了替换面的三维物件的标识信息、三维模型的动画数据作为模板存入非编资源管理器中；

所述三维动画切换的过程包括如下步骤：

获取图像数据的步骤：获取转场切换前的视频图像序列和切换后的视频图像序列；

选取模板的步骤：在非编资源管理器选取切换用三维模型的模板，并获取该三维模型的动画数据及作为替换面的三维物件的标识信息；

替换的步骤：根据标识信息找到切换过程中包含替换面的三维物件，将其对应的替换面替换为切换前后两视频图像序列；

渲染并输出的步骤：通过渲染器渲染在切换过程中的经过所述替换步骤的每一帧场景图像，并输出渲染后的场景图像；

所述的“自动检测”的方式包括如下子步骤：

识别三维模型数据的子步骤：识别作为切换用的三维模型的动画起始点和终止点的物件数据及虚拟摄像机观测点数据；

三维物件标记的子步骤：利用虚拟摄像机与三维物件之间相对的位置关系，确定两段视频转场前后的替换面；

虚拟摄像机矫正的子步骤：利用替换面矫正虚拟摄像机参数，以确保在动画起始和结束位置，使虚拟摄像机能全屏显示替换面；

记录的子步骤：记录作为替换面的三维物件的标识信息，以及记录矫正虚拟摄像机参数为追加的三维模型二次开发的动画数据；

所述的 “交互设置”的方式包括如下子步骤：

识别三维物件数据的子步骤：识别作为切换用的三维模型的物件数据；

交互选择的子步骤：在识别的三维模型中选取替换物件的两个面作为替换面；

确定是否校正摄像机的子步骤：确定不校正，则直接进入下一步“记录的子步骤”；

确定校正，则进入下一步“虚拟摄像机矫正的子步骤”；

虚拟摄像机矫正的子步骤：利用替换面矫正虚拟摄像机参数，以确保在动画起始和结束位置，虚拟摄像机能全屏显示替换面；之后进入下一步“记录的子步骤”，

记录的子步骤：记录作为替换物件的标识信息，记录矫正虚拟摄像机参数为追加的三维模型二次开发的动画数据。