CN112991498A - 一种镜头动画快速生成***及方法 - Google Patents

Abstract

本发明公开了一种镜头动画快速生成***及方法，涉及动画技术领域，所述***包括：模型生成单元、轨迹控制单元、渲染单元和动画检测单元；所述动画检测单元分别信号连接于模型生成单元、轨迹控制单元和渲染单元；所述模型生成单元，用于根据模型生成方法，生成动画模型；所述轨迹控制单元，用于根据生成的动画模型，控制画笔的轨迹，完成模型绘画，生成中间镜头；所述渲染单元，用于对中间镜头进行渲染，完成镜头动画生成；所述动画检测单元，为多层网络构成的反馈神经网络，对模型生成单元生成的动画模型、轨迹控制单元完成的模型绘画和渲染单元最终生成的镜头动画进行检测。具有生成效率高、具备学习能力和准确率高的优点。

Description

一种镜头动画快速生成***及方法

技术领域

本发明涉及计算机技术领域，特别是涉及一种镜头动画快速生成***及方法。

背景技术

动画制作分为二维动画制作、三维动画制作和定格动画制作，二维动画和三维动画是当今世界上运用得比较广泛的动画形式，镜头动画生成属于三维动画制作范畴。在现实生活的拍摄过程中，一般是通过将摄像机放在移动物体上进行拍摄来达到移动镜头的效果，从而获取镜头画面；而在计算机图形领域，在动画制作过程中，动画制作人员则是根据制作需求，编程实现对模拟镜头的运动轨迹的设定，模拟镜头按照所设定的运动轨迹进行移动，从而呈现给用户模拟镜头中的画面。

现有的镜头动画生成方法的缺点是，每一次的目标对象改变或者虚拟镜头的运动属性发生改变时，动画制作人员都需要反复进行大量编程来对虚拟镜头的运动轨迹进行设定，工作量大，且容易出错，动画制作的效率不高。

发明内容

鉴于此，本发明的目的是提供一种镜头动画快速生成***及方法，具有生成效率高、具备学习能力和准确率高的优点。

为了实现上述目的，本发明采用如下技术方案：

一种镜头动画快速生成***，所述***包括：模型生成单元、轨迹控制单元、渲染单元和动画检测单元；所述动画检测单元分别信号连接于模型生成单元、轨迹控制单元和渲染单元；所述模型生成单元，用于根据模型生成方法，生成动画模型；所述轨迹控制单元，用于根据生成的动画模型，控制画笔的轨迹，完成模型绘画，生成中间镜头；所述渲染单元，用于对中间镜头进行渲染，完成镜头动画生成；所述动画检测单元，为多层网络构成的反馈神经网络，对模型生成单元生成的动画模型、轨迹控制单元完成的模型绘画和渲染单元最终生成的镜头动画进行检测，根据检测结果，进行人为评估，根据评估结果调整模型生成单元、轨迹控制单元和渲染单元的运行，提升各个单元的运行效率，及提升各个单元的运行效果。

进一步的，所述动画检测单元包括：神经网络单元，用于构建和训练深度神经网络；监督学习单元，用于以卷积运算和离散编码算法为基础，针对深度学习网络和动画的特性，构建深度神经网络的无监督学习算法，针对深度学习网络和动画的特性，构建深度神经网络的无监督学习算法；训练集单元，用于构建动画训练集；动画提取单元，用于使用多尺度滑动窗算法提取自然图像中的候选动画区域，并由训练得到的所述深度神经网络进行分类，得到动画区域；聚合单元，用于将相关动画区域聚合成动画行，并用矩形框对动画行加以标定。

进一步的，所述神经网络单元，构建和训练深度神经网络的方法执行以下步骤：根据卷积运算和离散编码算法构建目标函数，优化目标为：特征，字典和网络参数；固定字典，得到最优特征；固定最优特征，单次使用随机梯度下降法训练字典；固定最优特征，多次使用随机梯度下降法训练网络参数，直至训练误差小于预设值；使用最新网络参数重新计算特征；重复上述步骤直至达到学习目标。

进一步的，所述聚合单元，将相关动画区域聚合成动画行的方法执行以下步骤：使用得到的动画区域，执行基于区域相关性的动画行聚合算法，具体相关性特征和聚合规则如下：两个动画区域的高度比值在0.5和2之间；两个动画区域外接矩形的中心点y坐标差值不大于两个动画区域之间最高的高度值的1/2；两个动画区域的外接矩形的中心点x坐标差值不大于两个动画区域之间最宽的宽度值的2倍；单个动画行至少有三个或以上的动画区域；相关性为：两个动画区域的高度、两个动画区域外接矩形的中心点y坐标差、两个动画区域的外接矩形的中心点x坐标差。

进一步的，所述动画训练集为为3500个常用动画；所用动画为15种有代表性的动画；动画图像类型为黑底白动画和白底黑动画两种；动画图像大小为32×32。

一种镜头动画快速生成方法，所述方法执行以下步骤：模型生成单元，根据模型生成方法，生成动画模型；轨迹控制单元，根据生成的动画模型，控制画笔的轨迹，完成模型绘画，生成中间镜头；渲染单元，对中间镜头进行渲染，完成镜头动画生成；动画检测单元，为多层网络构成的反馈神经网络，对模型生成单元生成的动画模型、轨迹控制单元完成的模型绘画和渲染单元最终生成的镜头动画进行检测，根据检测结果，进行人为评估，根据评估结果调整模型生成单元、轨迹控制单元和渲染单元的运行，提升各个单元的运行效率，及提升各个单元的运行效果。

进一步的，所述动画检测单元包括：神经网络单元，用于构建和训练深度神经网络；监督学习单元，用于以卷积运算和离散编码算法为基础，针对深度学习网络和动画的特性，构建深度神经网络的无监督学习算法，针对深度学习网络和动画的特性，构建深度神经网络的无监督学习算法；训练集单元，用于构建动画训练集；动画提取单元，用于使用多尺度滑动窗算法提取自然图像中的候选动画区域，并由训练得到的所述深度神经网络进行分类，得到动画区域；聚合单元，用于将相关动画区域聚合成动画行，并用矩形框对动画行加以标定；构建和训练深度神经网络的方法执行以下步骤：根据卷积运算和离散编码算法构建目标函数，优化目标为：特征，字典和网络参数；固定字典，得到最优特征；固定最优特征，单次使用随机梯度下降法训练字典；固定最优特征，多次使用随机梯度下降法训练网络参数，直至训练误差小于预设值；使用最新网络参数重新计算特征；重复上述步骤直至达到学习目标。

进一步的，所述动画提取单元，使用多尺度滑动窗算法提取自然图像中的候选动画区域的提取参数如下：最大尺度为1/4图像大小，最小尺度为20像素；重叠系数为0.5滑动提取；提取出的图像块长宽比为1：1，并统一缩放为32×32的图像块。

与现有技术相比，本发明实现的有益效果：本发明本发明使用无监督学习法训练一个深度卷积神经网络，而后使用该网络对自然图像中的各个候选动画区域进行分类，最后对分类为动画的区域进行动画聚合，检测得到图像中的动画区域。本发明抓住深度学习网络对图像特征超强的提取能力，利用无监督学习强大的训练能力，针对动画特征训练深度卷积神经网络，实现动画区域定位和分割，方法简单有效。这种方法针对动画特征构建了深度卷积神经网络无监督学习方法，在动画检测方面具有更好的针对性，因此具有更高的主动性和精确性。。

附图说明

以下结合附图和具体实施方式来进一步详细说明本发明：

图1为本发明实施例公开的镜头动画快速生成***的***结构示意图。

图2为本发明实施例公开的镜头动画快速生成方法的方法流程示意图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。

请参阅图1。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

实施例1

一种镜头动画快速生成***，所述***包括：模型生成单元、轨迹控制单元、渲染单元和动画检测单元；所述动画检测单元分别信号连接于模型生成单元、轨迹控制单元和渲染单元；所述模型生成单元，用于根据模型生成方法，生成动画模型；所述轨迹控制单元，用于根据生成的动画模型，控制画笔的轨迹，完成模型绘画，生成中间镜头；所述渲染单元，用于对中间镜头进行渲染，完成镜头动画生成；所述动画检测单元，为多层网络构成的反馈神经网络，对模型生成单元生成的动画模型、轨迹控制单元完成的模型绘画和渲染单元最终生成的镜头动画进行检测，根据检测结果，进行人为评估，根据评估结果调整模型生成单元、轨迹控制单元和渲染单元的运行，提升各个单元的运行效率，及提升各个单元的运行效果。

实施例2

在上一实施例的基础上，所述动画检测单元包括：神经网络单元，用于构建和训练深度神经网络；监督学习单元，用于以卷积运算和离散编码算法为基础，针对深度学习网络和动画的特性，构建深度神经网络的无监督学习算法，针对深度学习网络和动画的特性，构建深度神经网络的无监督学习算法；训练集单元，用于构建动画训练集；动画提取单元，用于使用多尺度滑动窗算法提取自然图像中的候选动画区域，并由训练得到的所述深度神经网络进行分类，得到动画区域；聚合单元，用于将相关动画区域聚合成动画行，并用矩形框对动画行加以标定。

具体的，动画分镜头是指在动画中的镜头表现，依靠剧本完成的镜头感设计，分镜头表现可以在动画制作过程中给制作人员带来很大便利。分镜头把运动中的画面，针对未来影片的构思和设计蓝图(包括场景气氛，角色表演，色彩光影，对白，音效摄影处理)一一表现出来。随着数字电影制作技术和放映技术的长足发展，数字高清2K、4K电影逐渐成为主流，特别是Imax放映厅数量的增加，对电影的画面品质的要求越来越高。但由于技术要求较高，普通电影厂商难以制作，片源非常紧缺，院线中的这类电影大多被进口大片所垄断。尤其是三维动画电影，采用逐帧渲染输的技术，每秒钟要渲染输出24帧画面，90分钟的电影需要渲染输出13万帧画面。三维动画后期渲染技术的研究大多集中在对渲染器软件的开发上，美国和英国处于技术垄断位置，其对于集群渲染控制与管理软件的研发还处于空白阶段。很多著名的三维动画制作软件，如Autodesk旗下的3DSMAX、MAYA软件中只有比较简单的网络渲染控制软件，难于在集群化的后期渲染输出过程中进行有效控制。集群渲染的动画镜头编辑的不完善，使之成为制作效率及制作品质上的技术瓶颈。

实施例3

在上一实施例的基础上，所述神经网络单元，构建和训练深度神经网络的方法执行以下步骤：根据卷积运算和离散编码算法构建目标函数，优化目标为：特征，字典和网络参数；固定字典，得到最优特征；固定最优特征，单次使用随机梯度下降法训练字典；固定最优特征，多次使用随机梯度下降法训练网络参数，直至训练误差小于预设值；使用最新网络参数重新计算特征；重复上述步骤直至达到学习目标。

实施例4

在上一实施例的基础上，所述聚合单元，将相关动画区域聚合成动画行的方法执行以下步骤：使用得到的动画区域，执行基于区域相关性的动画行聚合算法，具体相关性特征和聚合规则如下：两个动画区域的高度比值在0.5和2之间；两个动画区域外接矩形的中心点y坐标差值不大于两个动画区域之间最高的高度值的1/2；两个动画区域的外接矩形的中心点x坐标差值不大于两个动画区域之间最宽的宽度值的2倍；单个动画行至少有三个或以上的动画区域；相关性为：两个动画区域的高度、两个动画区域外接矩形的中心点y坐标差、两个动画区域的外接矩形的中心点x坐标差。

具体的，计算机生成动画通常使用表示虚拟环境中的对象(例如，树木、岩石、云等)和角色(例如，动物、人物等)的几何模型来创建。动画师可以操纵这些模型以期望的方式在动画中的一些帧或所有帧中定位物体和角色。被定位的几何模型然后在渲染过程中可以与其它动画数据，如纹理、颜色、灯光和其他组合以产生可以用作动画帧的图像。当已渲染帧被快速连续观看时，它们给观众动画的感知。

实施例5

在上一实施例的基础上，所述动画训练集为为3500个常用动画；所用动画为15种有代表性的动画；动画图像类型为黑底白动画和白底黑动画两种；动画图像大小为32×32。

实施例6

如图2所示，一种镜头动画快速生成方法，所述方法执行以下步骤：模型生成单元，根据模型生成方法，生成动画模型；轨迹控制单元，根据生成的动画模型，控制画笔的轨迹，完成模型绘画，生成中间镜头；渲染单元，对中间镜头进行渲染，完成镜头动画生成；动画检测单元，为多层网络构成的反馈神经网络，对模型生成单元生成的动画模型、轨迹控制单元完成的模型绘画和渲染单元最终生成的镜头动画进行检测，根据检测结果，进行人为评估，根据评估结果调整模型生成单元、轨迹控制单元和渲染单元的运行，提升各个单元的运行效率，及提升各个单元的运行效果。

实施例7

在上一实施例的基础上，所述动画检测单元包括：神经网络单元，用于构建和训练深度神经网络；监督学习单元，用于以卷积运算和离散编码算法为基础，针对深度学习网络和动画的特性，构建深度神经网络的无监督学习算法，针对深度学习网络和动画的特性，构建深度神经网络的无监督学习算法；训练集单元，用于构建动画训练集；动画提取单元，用于使用多尺度滑动窗算法提取自然图像中的候选动画区域，并由训练得到的所述深度神经网络进行分类，得到动画区域；聚合单元，用于将相关动画区域聚合成动画行，并用矩形框对动画行加以标定；构建和训练深度神经网络的方法执行以下步骤：根据卷积运算和离散编码算法构建目标函数，优化目标为：特征，字典和网络参数；固定字典，得到最优特征；固定最优特征，单次使用随机梯度下降法训练字典；固定最优特征，多次使用随机梯度下降法训练网络参数，直至训练误差小于预设值；使用最新网络参数重新计算特征；重复上述步骤直至达到学习目标。

具体的，为了编辑计算机生成动画的一部分，动画师可能查看先前渲染的动画并且可以修改用于创建渲染版本的几何模型。重新定位的几何模型然后可以在另一个渲染过程中与其他动画数据组合以产生可以用作动画的帧的已更新图像。这个过程可以重复任意次数，直到产生所期望的输出。

实施例8

在上一实施例的基础上，所述动画提取单元，使用多尺度滑动窗算法提取自然图像中的候选动画区域的提取参数如下：最大尺度为1/4图像大小，最小尺度为20像素；重叠系数为0.5滑动提取；提取出的图像块长宽比为1：1，并统一缩放为32×32的图像块。

需要说明的是，上述实施例提供的***，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD～ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (8)

1.一种镜头动画快速生成***，其特征在于，所述***包括：模型生成单元、轨迹控制单元、渲染单元和动画检测单元；所述动画检测单元分别信号连接于模型生成单元、轨迹控制单元和渲染单元；所述模型生成单元，用于根据模型生成方法，生成动画模型；所述轨迹控制单元，用于根据生成的动画模型，控制画笔的轨迹，完成模型绘画，生成中间镜头；所述渲染单元，用于对中间镜头进行渲染，完成镜头动画生成；所述动画检测单元，为多层网络构成的反馈神经网络，对模型生成单元生成的动画模型、轨迹控制单元完成的模型绘画和渲染单元最终生成的镜头动画进行检测，根据检测结果，进行人为评估，根据评估结果调整模型生成单元、轨迹控制单元和渲染单元的运行，提升各个单元的运行效率，及提升各个单元的运行效果。

2.如权利要求1所述的***，其特征在于，所述动画检测单元包括：神经网络单元，用于构建和训练深度神经网络；监督学习单元，用于以卷积运算和离散编码算法为基础，针对深度学习网络和动画的特性，构建深度神经网络的无监督学习算法，针对深度学习网络和动画的特性，构建深度神经网络的无监督学习算法；训练集单元，用于构建动画训练集；动画提取单元，用于使用多尺度滑动窗算法提取自然图像中的候选动画区域，并由训练得到的所述深度神经网络进行分类，得到动画区域；聚合单元，用于将相关动画区域聚合成动画行，并用矩形框对动画行加以标定。

3.如权利要求2所述的***，其特征在于，所述神经网络单元，构建和训练深度神经网络的方法执行以下步骤：根据卷积运算和离散编码算法构建目标函数，优化目标为：特征，字典和网络参数；固定字典，得到最优特征；固定最优特征，单次使用随机梯度下降法训练字典；固定最优特征，多次使用随机梯度下降法训练网络参数，直至训练误差小于预设值；使用最新网络参数重新计算特征；重复上述步骤直至达到学习目标。

4.如权利要求3所述的***，其特征在于，所述聚合单元，将相关动画区域聚合成动画行的方法执行以下步骤：使用得到的动画区域，执行基于区域相关性的动画行聚合算法，具体相关性特征和聚合规则如下：两个动画区域的高度比值在0.5和2之间；两个动画区域外接矩形的中心点y坐标差值不大于两个动画区域之间最高的高度值的1/2；两个动画区域的外接矩形的中心点x坐标差值不大于两个动画区域之间最宽的宽度值的2倍；单个动画行至少有三个或以上的动画区域；相关性为：两个动画区域的高度、两个动画区域外接矩形的中心点y坐标差、两个动画区域的外接矩形的中心点x坐标差。

5.如权利要求4所述的***，其特征在于，所述动画训练集为3500个常用动画；所用动画为15种有代表性的动画；动画图像类型为黑底白动画和白底黑动画两种；动画图像大小为32×32。

6.一种基于权利要求1至5之一所述***的镜头动画快速生成方法，其特征在于，所述方法执行以下步骤：模型生成单元，根据模型生成方法，生成动画模型；轨迹控制单元，根据生成的动画模型，控制画笔的轨迹，完成模型绘画，生成中间镜头；渲染单元，对中间镜头进行渲染，完成镜头动画生成；动画检测单元，为多层网络构成的反馈神经网络，对模型生成单元生成的动画模型、轨迹控制单元完成的模型绘画和渲染单元最终生成的镜头动画进行检测，根据检测结果，进行人为评估，根据评估结果调整模型生成单元、轨迹控制单元和渲染单元的运行，提升各个单元的运行效率，及提升各个单元的运行效果。

7.如权利要求6所述的方法，其特征在于，所述动画检测单元包括：神经网络单元，用于构建和训练深度神经网络；监督学习单元，用于以卷积运算和离散编码算法为基础，针对深度学习网络和动画的特性，构建深度神经网络的无监督学习算法，针对深度学习网络和动画的特性，构建深度神经网络的无监督学习算法；训练集单元，用于构建动画训练集；动画提取单元，用于使用多尺度滑动窗算法提取自然图像中的候选动画区域，并由训练得到的所述深度神经网络进行分类，得到动画区域；聚合单元，用于将相关动画区域聚合成动画行，并用矩形框对动画行加以标定；构建和训练深度神经网络的方法执行以下步骤：根据卷积运算和离散编码算法构建目标函数，优化目标为：特征，字典和网络参数；固定字典，得到最优特征；固定最优特征，单次使用随机梯度下降法训练字典；固定最优特征，多次使用随机梯度下降法训练网络参数，直至训练误差小于预设值；使用最新网络参数重新计算特征；重复上述步骤直至达到学习目标。

8.如权利要求7所述的方法，其特征在于，所述动画提取单元，使用多尺度滑动窗算法提取自然图像中的候选动画区域的提取参数如下：最大尺度为1/4图像大小，最小尺度为20像素；重叠系数为0.5滑动提取；提取出的图像块长宽比为1：1，并统一缩放为32×32的图像块。

Images