CN110033505A - 一种基于深度学习的人体动作捕捉与虚拟动画生成方法 - Google Patents

一种基于深度学习的人体动作捕捉与虚拟动画生成方法 Download PDF

Info

Publication number
CN110033505A
CN110033505A CN201910304590.XA CN201910304590A CN110033505A CN 110033505 A CN110033505 A CN 110033505A CN 201910304590 A CN201910304590 A CN 201910304590A CN 110033505 A CN110033505 A CN 110033505A
Authority
CN
China
Prior art keywords
network
posture
image
training
key point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910304590.XA
Other languages
English (en)
Inventor
林杰
崔健
石光明
刘丹华
齐飞
赵光辉
金星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201910304590.XA priority Critical patent/CN110033505A/zh
Publication of CN110033505A publication Critical patent/CN110033505A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的人体动作捕捉与虚拟动画生成方法，包含以下步骤：A、采集演员动作并转换成视频流信号输入；B、姿态检测网络预训练；C、提取人体姿态序列；D、姿态条件生成对抗网络预训练；E、将姿态序列输入姿态条件生成对抗网络，输出与人体动作同步的动画视频。本发明有效的减少了动画制作的成本，提升了普通用户的可操作性，也提高了动画的产出效率，可作为一种媒体创建工具来进行特效演示、Demo的实时生成以及动画和电影的快速制作，也可作为短视频应用中的交互式滤镜，虚拟现实体感游戏的辅助等，从而有利于动作捕捉技术大范围落地商用与推广。

Description

一种基于深度学习的人体动作捕捉与虚拟动画生成方法
技术领域
本发明涉及计算机技术领域，具体是一种基于深度学习的人体动作捕捉与虚拟动画生成方法。
背景技术
现在的数字电影及动漫的制作过程中大都采用了动作捕捉(Motion capture)技术，传统方法通过穿着在演员身上的传感器或标记点记录捕捉真实动作信息，然后将这些动作还原并渲染至相应的虚拟形象身上，得到对应的虚拟动画效果。
但是这种技术还存在相应的缺点：一方面是专业的动作捕捉***价格昂贵，不适于大范围落地商用，而且对表演场地的光照、反射情况有严格的要求，装置定标过程也较为繁琐。这无疑制约了它在体感交互式游戏上的应用，也阻碍了普通用户的体验。另外，虽然它可以捕捉实时运动，但还需要人工干预进行后期处理(标记点的识别、跟踪、重建)才能将这些数据应用到动画角色模型上去，后期的动画渲染工作量较大。
发明内容
本发明的目的在于提供一种基于深度学习的人体动作捕捉与虚拟动画生成方法，以解决所述背景技术中提出的问题。
为实现所述目的，本发明提供如下技术方案：
一种基于深度学习的人体动作捕捉与虚拟动画生成方法，包含以下步骤：
A、采集演员动作并转换成视频流信号输入；
B、姿态检测网络预训练；
C、提取人体姿态序列；
D、姿态条件生成对抗网络预训练；
E、将姿态序列输入姿态条件生成对抗网络，输出与人体动作同步的动画视频；将姿态检测网络P得到的人体姿态序列输入训练好的生成网络G输出自动生成的虚拟形象图片，按照一定帧率连接即可得到与人体动作同步的动画视频。
作为本发明的进一步技术方案：步骤A具体是：采用光学传感设备采集得到的演员运动视频数据。
作为本发明的进一步技术方案：光学传感设备包括相机和手机。
作为本发明的进一步技术方案：步骤B具体是：采用深度卷积神经网络作为姿态检测网络，将人体动作捕捉过程拆解为单张图像的姿态估计问题，定位人体骨骼关键点位置，并在图像中连结各关键点描绘出人体的形状。用于姿态检测的深度卷积神经网络分为多个阶段进行：其中第一个阶段利用VGG-19网络对输入图片进行处理，得到初步的关键点响应图，然后将它与另一路网络提取的特征融合作为下一阶段的输入，后续阶段与第一阶段步骤一致，通过多重阶段不断扩大卷积网络感受野，得到关键点在各个尺度下的响应图，历经六个阶段后最后网络会输出关键点总体响应图，并找到预测的关键点位置，连接各关键点位置即得到人体姿态信息，搭建好姿态检测网络后，首先需要利用大量标记好的人体图像数据进行预先的训练，利用MSCOCO数据集进行姿态检测模型的预训练，整个网络的损失函数为其中T代表不同的阶段，N代表图中的人，J代表关键点，P代表热力图，通过反向传播过程不断迭代优化网络权重参数降低损失函数，最终得到训练好的网络。
作为本发明的进一步技术方案：姿态检测算法的步骤如下：一、在不同的尺度下，将待检测图像输入深度卷积神经网络，计算各个关键点的响应图；二、将每个关键点在各个尺度下的响应图累加起来，得到关键点总体响应图；三、在各关键点的总体响应图上，找出相应最大的点，确定关键点位置；四、连结各关键点，得到人体姿态信息。
作为本发明的进一步技术方案：步骤C具体是：首先将输入视频逐帧处理为图片，对每一张图像都输入训练好的姿态检测网络进行姿态提取，得到一组连续的人体动作姿态序列。
作为本发明的进一步技术方案：步骤D具体是：首先制作虚拟形象标准全姿态数据库，然后设计姿态条件生成对抗网络，并利用虚拟形象标准全姿态数据库对网络进行对抗性预训练。
作为本发明的进一步技术方案：虚拟形象标准全姿态数据库是包含各种姿态的虚拟形象全身图片集，可根据用户的喜好个性化定制虚拟形象。
作为本发明的进一步技术方案：姿态条件生成对抗网络由三大模块构成：分别是步骤B中的姿态检测网络P，生成网络G，以及判别网络D。其中，姿态检测网络P与步骤B中结构功能相同，主要完成对多种动作姿态的虚拟形象进行姿态提取，获得姿态图形。生成网络G由深度卷积网络构成，主要功能是完成给定姿态下虚拟形象的自动创建与渲染；我们采用了跳跃连接的编解码架构，即每一层反卷积层的输入都是前一层的输出加上该层镜像卷积层的输出，从而保证编码网络的信息在解码时可以被重新记忆，使得生成的图像尽可能保留原图像的细节信息。网络总共包含9层，采用了5层卷积层作为编码器，4层反卷积层作为解码器。判别网络D由6层卷积神经网络构成，目的是为了进行生成模型的对抗性训练。
作为本发明的进一步技术方案：对抗性训练的具体过程是：1.从个性化定制的虚拟形象标准全姿态数据库中使用预训练的姿态检测网络P获得对应的姿态图形。2.使用生成网络G对获得的姿态图形进行自动渲染，将自动渲染的图像称为“虚假图像”。3.分别将原虚拟形象数据集中的真实图像、自动渲染的虚假图像与姿态图形组成两组图像数据对。分别记为(真实图像姿态图形)、(虚假图像姿态图形)。采用数据对的形式进行网络训练是要建立姿态图形与自动渲染的虚拟形象之间一一对应的映射关系。4.将两组图像数据对传入判别网络，判别网络在训练过程中要优化的目标是使得自身能够准确地鉴别数据对的真伪，即对(真实图像姿态图形)数据对的结果判定为真，而对(虚假图像姿态图形)数据对的结果判定为假。5.在整个训练过程中，生成网络将不断优化调整自身网络权重参数，使得自动渲染生成的“虚假图像”越来越逼近真实图像，它的优化目标是使得判别网络对(虚假图像姿态图形)数据对的判定结果为真，此时可理解为判别网络已经无法正确区分真实图像与虚假图像，也就是由生成网络渲染的“虚假图像”已经与真实图像非常接近，达到了以假乱真的地步。由于生成网络与判别网络两者的优化目标是相互矛盾的，这两个网络始终处于一种博弈对抗的状态，这种训练过程称为对抗性训练，两个网络在相互斗争中自身的性能都得到了提高，当判别网络对“真实图像对”与“虚假图像对”判别正确的概率都为50％时，渲染生成的图像与真实图像达到了难以区分的地步，模型训练过程结束，此时称网络达到了纳什均衡状态。姿态条件生成对抗网络的整体损失函数为：
其中第一部分是条件GAN的损失函数：
LCGAN(G,D)＝Ex,y[logD(x,y)]+Ex[log(1-D(x,G(x)))]
其中x代表提取的姿态图形，作为给定的条件信息输入，y代表真实虚拟形象数据库中的数据，G(x)代表由生成网络根据给定姿态自动渲染的虚拟形象。
生成器G需要尽可能的欺骗判别器D，所以需要最大化渲染模型的判别概率D(x,G(x))，使其趋近于1，也就是最小化log(1-D(x,G(x)))，即不断尝试最小化上面的目标函数。而判别器D的目标是使得D(x,y)趋近于1，则需通过不断的迭代去最大化这个目标函数，即实现这样一个最小最大化过程：
除了两个网络各自要优化的损失函数外，第二部分是模型的渲染损失函数，通过比较自动渲染的虚拟形象与真实数据库中的虚拟形象之间的差异，可以计算出模型的重构误差，通过网络的训练过程将这个重构误差带来的渲染损失降到最低，可以提升生成网络的渲染效果。渲染损失函数具体为：
LL1(G)＝Ex,y[||y-G(x)||1]
其中λ为超参数，用来平衡两种损失的相对大小。采用Adam优化算法，生成网络G与判别网络D交替训练的方式进行对抗式训练，得到训练好的生成网络G。
作为本发明的进一步技术方案：步骤E具体是：将姿态检测网络P得到的人体姿态序列输入训练好的生成网络G输出自动生成的虚拟形象图片，按照一定帧率连接即可得到与人体动作同步的动画视频。
与现有技术相比，本发明的有益效果是：1.降低成本：无需昂贵的专业设备、专业技术人员、专业拍摄场地。只需要一段普通相机(手机)拍摄的人物动作视频就可以达到动作捕捉与动画生成的效果。2.提高效率：深度神经网络一旦训练完成，具有较高的复用性、鲁棒性、实时性。可以根据给定的动作视频快速生成相应的虚拟动画，可极大提高动画的制作效率。3.解放生产力：人工智能技术的最显著的特点就是解放生产力，此项发明实现了动作捕捉技术的智能化，可以将人类从繁琐的配准、定标、模型渲染等工作中解放出来，从而专注于剧情创作，投入到更有创造性的活动中去。
附图说明
图1为基于深度学习技术的动作捕捉原理图；
图2为本发明的整体流程图；
图3为姿态检测深度卷积神经网络示意图；
图4为姿态检测算法的整体流程图；
图5为姿态条件生成对抗网络示意图；
图6为生成网络G的示意图；
图7为判别网络D的示意图；
图8为利用训练好的网络进行动画生成的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：请参阅图1-8，一种基于深度学习的人体动作捕捉与虚拟动画生成方法，包含以下步骤：
A、首先由演员提供需要进行动作捕捉的运动姿态，可以是舞蹈、武术等形式；
B、采用普通光学传感设备(相机、手机)采集得到的演员运动视频数据；
C、姿态检测网络预训练；姿态检测算法的步骤如下：一、在不同的尺度下，将待检测图像输入深度卷积神经网络，计算各个关键点的响应图；二、将每个关键点在各个尺度下的响应图累加起来，得到关键点总体响应图；三、在各关键点的总体响应图上，找出相应最大的点，确定关键点位置。四、连结各关键点，得到人体姿态信息。本发明将人体动作捕捉过程拆解为单张图像的姿态估计问题，先定位人体骨骼关键点位置，然后在图像中连结各关键点描绘出人体的形状；姿态检测网络采用了顺序化的卷积架构来表达输入运动画面的空间信息和纹理信息，将姿态估计看作是检测问题，网络的输出为热力图,能够直接回归出每一类关键点的概率。检测过程分为多个阶段进行：其中第一个阶段利用VGG-19网络对输入图片进行处理，得到初步的关键点响应图，然后将它与另一路网络提取的特征融合作为下一阶段的输入，通过多重阶段不断扩大卷积网络感受野，得到关键点在各个尺度下的响应图，多阶段操作的目的是为了融合运动视频图像的纹理信息、空间信息和中心约束，从而进一步提高关键点的检测效果。历经六个阶段后最后网络会输出关键点总体响应图，并找到预测的关键点位置，连接各关键点位置即得到人体姿态信息，搭建好姿态检测网络后，首先需要利用大量标记好的人体图像数据进行预先的训练，利用MSCOCO数据集进行姿态检测模型的预训练，整个网络的损失函数为其中T代表不同的阶段，N代表图中的人，J代表关键点，P代表热力图，通过反向传播过程不断迭代优化网络权重参数降低损失函数，最终得到训练好的网络。
D、提取人体姿态序列；我们首先将输入视频逐帧处理为图片，对每一张图像都输入训练好的姿态检测网络进行姿态提取，即可得到一组连续的演员动作姿态序列；
E、姿态条件生成对抗网络预训练；首先根据用户的喜好个性化的定制虚拟形象，设计出一套包含各种姿态的虚拟形象全身图片集，称为虚拟形象标准全姿态数据库，用于姿态条件生成对抗网络的训练使用。利用预先准备好的虚拟形象标准全姿态数据库通过对抗的方式训练一个生成网络G，用来实现动作姿态到动画人物的渲染。这部分主要完成的功能是：给定人体姿态信息，能够生成相同动作姿态的动画人物。
F、输出与演员动作同步的动画视频。将姿态检测网络P得到的演员动作序列输入训练好的生成网络G输出自动生成的虚拟形象图片，按照一定帧率连接即可得到与人体动作同步的动画视频。
实施例2，在实施例1的基础上，姿态条件生成对抗网络由三大模块构成：分别是步骤B中的姿态检测网络P，生成网络G，以及判别网络D。其中，姿态检测网络P与步骤B中结构功能相同，主要完成对多种动作姿态的虚拟形象进行姿态提取，获得姿态图形。生成网络G由深度卷积网络构成，主要功能是完成给定姿态下虚拟形象的自动创建与渲染；我们采用了跳跃连接的编解码架构，即每一层反卷积层的输入都是前一层的输出加上该层镜像卷积层的输出，从而保证编码网络的信息在解码时可以被重新记忆，使得生成的图像尽可能保留原图像的细节信息。网络总共包含9层，采用了5层卷积层作为编码器，4层反卷积层作为解码器。判别网络D由6层卷积神经网络构成，目的是为了进行生成模型的对抗性训练。对抗性训练的具体过程是：1.从个性化定制的虚拟形象标准全姿态数据库中使用预训练的姿态检测网络P获得对应的姿态图形。2.使用生成网络G对获得的姿态图形进行自动渲染，将自动渲染的图像称为“虚假图像”。3.分别将原虚拟形象数据集中的真实图像、自动渲染的虚假图像与姿态图形组成两组图像数据对。分别记为(真实图像，姿态图形)、(虚假图像、姿态图形)。采用数据对的形式进行网络训练是要建立姿态图形与自动渲染的虚拟形象之间一一对应的映射关系。4.将两组图像数据对传入判别网络，判别网络在训练过程中要优化的目标是使得自身能够准确地鉴别数据对的真伪，即对(真实图像，姿态图形)数据对的结果判定为真，而对(虚假图像、姿态图形)数据对的结果判定为假。5.生成网络会不断优化调整自身网络权重参数，使得自动渲染生成的“虚假图像”越来越逼近真实图像，它的优化目标是使得判别网络对(虚假图像、姿态图形)数据对的判定结果为真。由于生成网络与判别网络两者的优化目标是相互矛盾的，这两个网络始终处于一种博弈对抗的状态，这种训练过程称为对抗性训练，两个网络在相互斗争中自身的性能都得到了提高，当判别网络对“真实图像对”与“虚假图像对”判别正确的概率都为50％时，渲染生成的图像与真实图像达到了难以区分的地步，模型训练过程结束，此时称网络达到了纳什均衡状态。达到这种状态后可理解为判别网络已经无法正确区分真实图像与虚假图像，也就是由生成网络渲染的“虚假图像”已经与真实图像非常接近，达到了以假乱真的地步，此时利用这个训练好的生成网络就可以实现快速动画生成。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (10)

1.一种基于深度学习的人体动作捕捉与虚拟动画生成方法，其特征在于，包含以下步骤：
A、采集演员动作并转换成视频流信号输入；
B、姿态检测网络预训练；
C、提取人体姿态序列；
D、姿态条件生成对抗网络预训练；
E、将姿态序列输入姿态条件生成对抗网络，输出与人体动作同步的动画视频；将姿态检测网络P得到的人体姿态序列输入训练好的生成网络G输出自动生成的虚拟形象图片，按照一定帧率连接即可得到与人体动作同步的动画视频。
2.根据权利要求1所述的一种基于深度学习的人体动作捕捉与虚拟动画生成方法，其特征在于，步骤A具体是：采用光学传感设备采集得到的演员运动视频数据。
3.根据权利要求2所述的一种基于深度学习的人体动作捕捉与虚拟动画生成方法，其特征在于，光学传感设备包括相机和手机等。
4.根据权利要求1所述的一种基于深度学习的人体动作捕捉与虚拟动画生成方法，其特征在于，步骤B具体是：采用深度卷积神经网络作为姿态检测网络，将人体动作捕捉过程拆解为单张图像的姿态估计问题，定位人体骨骼关键点位置，并在图像中连结各关键点描绘出人体的形状，用于姿态检测的深度卷积神经网络分为多个阶段进行：其中第一个阶段利用VGG-19网络对输入图片进行处理，得到初步的关键点响应图，然后将它与另一路网络提取的特征融合作为下一阶段的输入，后续阶段与第一阶段步骤一致，通过多重阶段不断扩大卷积网络感受野，得到关键点在各个尺度下的响应图，历经六个阶段后最后网络会输出关键点总体响应图，并找到预测的关键点位置，连接各关键点位置即得到人体姿态信息，搭建好姿态检测网络后，首先需要利用大量标记好的人体图像数据进行预先的训练，利用MSCOCO数据集进行姿态检测模型的预训练，整个网络的损失函数为其中T代表不同的阶段，N代表图中的人，J代表关键点，P代表热力图，通过反向传播过程不断迭代优化网络权重参数降低损失函数，最终得到训练好的网络。
5.根据权利要求4所述的一种基于深度学习的人体动作捕捉与虚拟动画生成方法，其特征在于，姿态检测算法的步骤如下：一、在不同的尺度下，将待检测图像输入深度卷积神经网络，计算各个关键点的响应图；二、将每个关键点在各个尺度下的响应图累加起来，得到关键点总体响应图；三、在各关键点的总体响应图上，找出相应最大的点，确定关键点位置；四、连结各关键点，得到人体姿态信息。
6.根据权利要求1所述的一种基于深度学习的人体动作捕捉与虚拟动画生成方法，其特征在于，步骤C具体是：首先将输入视频逐帧处理为图片，对每一张图像都输入训练好的姿态检测网络进行姿态提取，得到一组连续的人体动作姿态序列。
7.根据权利要求1所述的一种基于深度学习的人体动作捕捉与虚拟动画生成方法，其特征在于，步骤D具体是：首先制作虚拟形象标准全姿态数据库，然后设计姿态条件生成对抗网络，并利用虚拟形象标准全姿态数据库对网络进行对抗性预训练。
8.根据权利要求7所述的一种基于深度学习的人体动作捕捉与虚拟动画生成方法，其特征在于，虚拟形象标准全姿态数据库是包含各种姿态的虚拟形象全身图片集，可根据用户的喜好个性化定制虚拟形象。
9.根据权利要求7所述的一种基于深度学习的人体动作捕捉与虚拟动画生成方法，其特征在于，姿态条件生成对抗网络由三大模块构成：分别是步骤B中的姿态检测网络P，生成网络G，以及判别网络D，其中，姿态检测网络P与步骤B中结构功能相同，主要完成对多种动作姿态的虚拟形象进行姿态提取，获得姿态图形，生成网络G由深度卷积网络构成，主要功能是完成给定姿态下虚拟形象的自动创建与渲染；我们采用了跳跃连接的编解码架构，即每一层反卷积层的输入都是前一层的输出加上该层镜像卷积层的输出，从而保证编码网络的信息在解码时可以被重新记忆，使得生成的图像尽可能保留原图像的细节信息，网络总共包含9层，采用了5层卷积层作为编码器，4层反卷积层作为解码器，判别网络D由6层卷积神经网络构成，目的是为了进行生成模型的对抗性训练。
10.根据权利要求9所述的一种基于深度学***衡两种损失的相对大小，采用Adam优化算法，生成网络G与判别网络D交替训练的方式进行对抗式训练，得到训练好的生成网络G。
CN201910304590.XA 2019-04-16 2019-04-16 一种基于深度学习的人体动作捕捉与虚拟动画生成方法 Pending CN110033505A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910304590.XA CN110033505A (zh) 2019-04-16 2019-04-16 一种基于深度学习的人体动作捕捉与虚拟动画生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910304590.XA CN110033505A (zh) 2019-04-16 2019-04-16 一种基于深度学习的人体动作捕捉与虚拟动画生成方法

Publications (1)

Publication Number Publication Date
CN110033505A true CN110033505A (zh) 2019-07-19

Family

ID=67238615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910304590.XA Pending CN110033505A (zh) 2019-04-16 2019-04-16 一种基于深度学习的人体动作捕捉与虚拟动画生成方法

Country Status (1)

Country Link
CN (1) CN110033505A (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110688008A (zh) * 2019-09-27 2020-01-14 贵州小爱机器人科技有限公司 虚拟形象交互方法和装置
CN110738722A (zh) * 2019-10-10 2020-01-31 支付宝(杭州)信息技术有限公司 一种热力图纹理的生成方法、装置及设备
CN110738717A (zh) * 2019-10-16 2020-01-31 网易（杭州）网络有限公司 动作数据的修正方法、装置及电子设备
CN111013152A (zh) * 2019-12-26 2020-04-17 北京像素软件科技股份有限公司 游戏模型动作的生成方法、装置及电子终端
CN111369687A (zh) * 2020-03-04 2020-07-03 腾讯科技（深圳）有限公司 合成虚拟对象的动作序列的方法及设备
CN111402290A (zh) * 2020-02-29 2020-07-10 华为技术有限公司 一种基于骨骼关键点的动作还原方法以及装置
CN111611997A (zh) * 2020-04-30 2020-09-01 青岛联合创智科技有限公司 一种基于人体动作迁移的卡通定制形象运动视频生成方法
CN111640172A (zh) * 2020-05-08 2020-09-08 大连理工大学 一种基于生成对抗网络的姿态迁移方法
CN111833439A (zh) * 2020-07-13 2020-10-27 郑州胜龙信息技术股份有限公司 基于人工智能的弹药投掷分析及移动仿真训练方法
CN111918071A (zh) * 2020-06-29 2020-11-10 北京大学 数据压缩的方法、装置、设备及存储介质
WO2021012352A1 (zh) * 2019-07-23 2021-01-28 深圳大学 一种人体动作编辑模型的生成方法、存储介质及电子设备
CN112308952A (zh) * 2020-10-15 2021-02-02 复旦大学 模仿给定视频中人物动作的3d角色动作生成***和方法
CN112991498A (zh) * 2019-12-13 2021-06-18 上海懿百教育科技有限公司 一种镜头动画快速生成***及方法
CN113112580A (zh) * 2021-04-20 2021-07-13 北京字跳网络技术有限公司 一种虚拟形象的生成方法、装置、设备及介质
CN113139424A (zh) * 2021-03-09 2021-07-20 杭州电子科技大学 面向人体高保真视觉内容的多特征协同生成***及方法
CN113313133A (zh) * 2020-02-25 2021-08-27 武汉Tcl集团工业研究院有限公司 一种生成对抗网络的训练方法、动画图像生成方法
WO2021212733A1 (zh) * 2020-04-23 2021-10-28 深圳追一科技有限公司 视频调整方法、装置、电子设备及存储介质
CN113688683A (zh) * 2021-07-23 2021-11-23 网易（杭州）网络有限公司 光学运动捕捉数据处理方法、模型训练方法及装置
WO2022007942A1 (zh) * 2020-07-10 2022-01-13 李志峯 一种性需求互动平台***
CN114049678A (zh) * 2022-01-11 2022-02-15 之江实验室 一种基于深度学习的面部动作捕捉方法及***
CN114385285A (zh) * 2021-11-30 2022-04-22 重庆长安汽车股份有限公司 一种基于汽车ai智慧助手的形象创建方法
CN114944010A (zh) * 2022-05-13 2022-08-26 此刻启动(北京)智能科技有限公司 一种动作数据的保存方法和***
CN115294623A (zh) * 2022-06-28 2022-11-04 北京聚力维度科技有限公司 一种人体全身动作捕捉方法、装置、存储介质及终端
CN115461820A (zh) * 2020-12-25 2022-12-09 株式会社关爱微笑青森 日常生活活动改善辅助装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104658038A (zh) * 2015-03-12 2015-05-27 南京梦宇三维技术有限公司 基于动作捕捉的三维数字内容智能制作方法及制作***
CN106599907A (zh) * 2016-11-29 2017-04-26 北京航空航天大学 多特征融合的动态场景分类方法与装置
CN106951840A (zh) * 2017-03-09 2017-07-14 北京工业大学 一种人脸特征点检测方法
CN107371009A (zh) * 2017-06-07 2017-11-21 东南大学 一种人体动作增强可视化方法及人体动作增强现实***
CN108520219A (zh) * 2018-03-30 2018-09-11 台州智必安科技有限责任公司 一种卷积神经网络特征融合的多尺度快速人脸检测方法
CN109523616A (zh) * 2018-12-04 2019-03-26 科大讯飞股份有限公司 一种面部动画生成方法、装置、设备及可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104658038A (zh) * 2015-03-12 2015-05-27 南京梦宇三维技术有限公司 基于动作捕捉的三维数字内容智能制作方法及制作***
CN106599907A (zh) * 2016-11-29 2017-04-26 北京航空航天大学 多特征融合的动态场景分类方法与装置
CN106951840A (zh) * 2017-03-09 2017-07-14 北京工业大学 一种人脸特征点检测方法
CN107371009A (zh) * 2017-06-07 2017-11-21 东南大学 一种人体动作增强可视化方法及人体动作增强现实***
CN108520219A (zh) * 2018-03-30 2018-09-11 台州智必安科技有限责任公司 一种卷积神经网络特征融合的多尺度快速人脸检测方法
CN109523616A (zh) * 2018-12-04 2019-03-26 科大讯飞股份有限公司 一种面部动画生成方法、装置、设备及可读存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
KOICHI HAMADA 等: "Full-body High-resolution Anime Generation with Progressive Structure-conditional Generative Adversarial Networks", 《ECCV 2018》 *
YANGHUA JIN等: "Towards the High-quality Anime Characters Generation with Generative Adversarial Networks", 《PROCEEDINGS OF THE MACHINE LEARNING OF CREATIVITY AND DESIGN WORKSHOP AT NIPS》 *
吴玥 等: "基于单目视频运动跟踪的三维人体动画", 《微计算机应用》 *
孙新领 等: "光学式运动捕捉技术在人体动画中的应用研究", 《河南机电高等专科学校学报》 *

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11295539B2 (en) 2019-07-23 2022-04-05 Shenzhen University Generation method of human body motion editing model, storage medium and electronic device
WO2021012352A1 (zh) * 2019-07-23 2021-01-28 深圳大学 一种人体动作编辑模型的生成方法、存储介质及电子设备
CN110688008A (zh) * 2019-09-27 2020-01-14 贵州小爱机器人科技有限公司 虚拟形象交互方法和装置
CN110738722A (zh) * 2019-10-10 2020-01-31 支付宝(杭州)信息技术有限公司 一种热力图纹理的生成方法、装置及设备
CN110738722B (zh) * 2019-10-10 2022-08-30 支付宝(杭州)信息技术有限公司 一种热力图纹理的生成方法、装置及设备
CN110738717B (zh) * 2019-10-16 2021-05-11 网易（杭州）网络有限公司 动作数据的修正方法、装置及电子设备
CN110738717A (zh) * 2019-10-16 2020-01-31 网易（杭州）网络有限公司 动作数据的修正方法、装置及电子设备
CN112991498B (zh) * 2019-12-13 2023-05-23 上海懿百教育科技有限公司 一种镜头动画快速生成***及方法
CN112991498A (zh) * 2019-12-13 2021-06-18 上海懿百教育科技有限公司 一种镜头动画快速生成***及方法
CN111013152A (zh) * 2019-12-26 2020-04-17 北京像素软件科技股份有限公司 游戏模型动作的生成方法、装置及电子终端
CN113313133A (zh) * 2020-02-25 2021-08-27 武汉Tcl集团工业研究院有限公司 一种生成对抗网络的训练方法、动画图像生成方法
CN111402290B (zh) * 2020-02-29 2023-09-12 华为技术有限公司 一种基于骨骼关键点的动作还原方法以及装置
CN111402290A (zh) * 2020-02-29 2020-07-10 华为技术有限公司 一种基于骨骼关键点的动作还原方法以及装置
CN111369687A (zh) * 2020-03-04 2020-07-03 腾讯科技（深圳）有限公司 合成虚拟对象的动作序列的方法及设备
US11978142B2 (en) 2020-03-04 2024-05-07 Tencent America LLC Method and device for synthesizing motion sequence of virtual object
WO2021212733A1 (zh) * 2020-04-23 2021-10-28 深圳追一科技有限公司 视频调整方法、装置、电子设备及存储介质
CN111611997A (zh) * 2020-04-30 2020-09-01 青岛联合创智科技有限公司 一种基于人体动作迁移的卡通定制形象运动视频生成方法
CN111611997B (zh) * 2020-04-30 2023-04-18 青岛联合创智科技有限公司 一种基于人体动作迁移的卡通定制形象运动视频生成方法
CN111640172A (zh) * 2020-05-08 2020-09-08 大连理工大学 一种基于生成对抗网络的姿态迁移方法
CN111918071A (zh) * 2020-06-29 2020-11-10 北京大学 数据压缩的方法、装置、设备及存储介质
WO2022007942A1 (zh) * 2020-07-10 2022-01-13 李志峯 一种性需求互动平台***
CN111833439A (zh) * 2020-07-13 2020-10-27 郑州胜龙信息技术股份有限公司 基于人工智能的弹药投掷分析及移动仿真训练方法
CN111833439B (zh) * 2020-07-13 2024-06-21 郑州胜龙信息技术股份有限公司 基于人工智能的弹药投掷分析及移动仿真训练方法
CN112308952B (zh) * 2020-10-15 2022-11-18 复旦大学 模仿给定视频中人物动作的3d角色动作生成***和方法
CN112308952A (zh) * 2020-10-15 2021-02-02 复旦大学 模仿给定视频中人物动作的3d角色动作生成***和方法
CN115461820A (zh) * 2020-12-25 2022-12-09 株式会社关爱微笑青森 日常生活活动改善辅助装置
CN115461820B (zh) * 2020-12-25 2023-12-26 株式会社关爱微笑青森 日常生活活动改善辅助装置
CN113139424A (zh) * 2021-03-09 2021-07-20 杭州电子科技大学 面向人体高保真视觉内容的多特征协同生成***及方法
US12002160B2 (en) 2021-04-20 2024-06-04 Beijing Zitiao Network Technology Co., Ltd. Avatar generation method, apparatus and device, and medium
CN113112580A (zh) * 2021-04-20 2021-07-13 北京字跳网络技术有限公司 一种虚拟形象的生成方法、装置、设备及介质
CN113688683A (zh) * 2021-07-23 2021-11-23 网易（杭州）网络有限公司 光学运动捕捉数据处理方法、模型训练方法及装置
CN114385285A (zh) * 2021-11-30 2022-04-22 重庆长安汽车股份有限公司 一种基于汽车ai智慧助手的形象创建方法
CN114385285B (zh) * 2021-11-30 2024-02-06 重庆长安汽车股份有限公司 一种基于汽车ai智慧助手的形象创建方法
CN114049678A (zh) * 2022-01-11 2022-02-15 之江实验室 一种基于深度学习的面部动作捕捉方法及***
CN114944010A (zh) * 2022-05-13 2022-08-26 此刻启动(北京)智能科技有限公司 一种动作数据的保存方法和***
CN115294623A (zh) * 2022-06-28 2022-11-04 北京聚力维度科技有限公司 一种人体全身动作捕捉方法、装置、存储介质及终端

Similar Documents

Publication Publication Date Title
CN110033505A (zh) 一种基于深度学习的人体动作捕捉与虚拟动画生成方法
US11600033B2 (en) System and method for creating avatars or animated sequences using human body features extracted from a still image
CN103473801B (zh) 一种基于单摄像头与运动捕捉数据的人脸表情编辑方法
CN104011788B (zh) 用于增强和虚拟现实的***和方法
CN105188516B (zh) 用于增强和虚拟现实的***与方法
CN105931283B (zh) 一种基于动作捕捉大数据的三维数字内容智能制作云平台
CN110163059A (zh) 多人姿态识别方法、装置及电子设备
CN113706699B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN108717732B (zh) 一种基于MobileNets模型的表情追踪方法
CN101520902A (zh) 低成本动作捕捉与演示***及方法
CN107077624A (zh) 跟踪手部/身体姿势
CN110188700B (zh) 基于分组回归模型的人体三维关节点预测方法
CN109934881A (zh) 图像编码方法、动作识别的方法及计算机设备
CN112037310A (zh) 基于神经网络的游戏人物动作识别生成方法
CN113362422B (zh) 一种阴影鲁棒的基于解耦表示的妆容迁移***及方法
CN114582030A (zh) 一种基于服务机器人的行为识别方法
CN108961368A (zh) 三维动画环境中实时直播综艺节目的方法和***
CN112819951A (zh) 一种基于深度图修复的带遮挡三维人体重建方法
CN116957866A (zh) 一种数字人教师个性化教学装置
CN114360018A (zh) 三维人脸表情的渲染方法及装置、存储介质及电子装置
Yuan et al. MagicTime: Time-lapse Video Generation Models as Metamorphic Simulators
CN109389681A (zh) 一种基于vr的室内装潢设计方法及***
CN117711066A (zh) 一种三维人体姿态估计方法、装置、设备及介质
CN113240714A (zh) 一种基于情境感知网络的人体运动意图预测方法
US20230050535A1 (en) Volumetric video from an image source

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190719

RJ01 Rejection of invention patent application after publication