CN104915978B - 基于体感相机Kinect的真实感动画生成方法 - Google Patents
基于体感相机Kinect的真实感动画生成方法 Download PDFInfo
- Publication number
- CN104915978B CN104915978B CN201510341839.6A CN201510341839A CN104915978B CN 104915978 B CN104915978 B CN 104915978B CN 201510341839 A CN201510341839 A CN 201510341839A CN 104915978 B CN104915978 B CN 104915978B
- Authority
- CN
- China
- Prior art keywords
- mrow
- frame
- matrix
- skeleton
- msubsup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明属于计算机视觉和计算机图形学领域。为提供实现既能保证生成新视频序列的逼真可信，又能解决实验设备要求高的难点的方法。为此，本发明采取的技术方案是，基于体感相机Kinect的真实感动画生成方法，利用单个Kinect v2.0对人物进行静态三维模型和彩色深度骨架信息的采集。利用无标记运动捕捉方法，得到每帧的骨架运动信息和变形后的三维模型。用户指定一个新动作后，基于所建立的数据集，通过所提出的基于稀疏表示的低秩矩阵填充的纹理合成方法生成该人物做新动作的视频。本发明主要应用于视频处理。
Description
技术领域
本发明属于计算机视觉和计算机图形学领域，特别涉及一种采用一台Kinect体感相机生成真实感强的新动作视频方法。
背景技术
长期以来，对于新动画生成方法的研究一直都未停止过，它的解决方案方法也层出不穷。这些方法大体上分为三类，第一种方法最早利用骨架和模型渲染，对简单场景进行模型重建运用计算机渲染得到新动画视频序列。但这种方法对于刚性的物体效果较好，但对于非刚性的物体无法形成真实感强的视频序列。第二种方法利用物理建模的方法离线地合成少量高精度、高真实感的三维模型，之后以这些三维模型为样本，合成各种人体运动下的，具有逼真几何细节的三维模型。但这类方法对服装结构的设定和材质参数的控制都非常有限，其生成运动对应的服装结构和材质都无法与现实中某一特定服装完全相符。第三种方法是基于Video Textures的方法，通过对现有的视频序列集中的一些帧进行抽取和重组，最后生成新的视频序列，这种方法对于简单的场景可以形成效果较为真实的新动画结果，但不能处理较为复杂的场景。马克斯·普朗克计算机科学研究所(Feng Xu,Yebin Liu,Carsten Stoll,James Tompkin,Gaurav Bharaj,Qionghai Dai,Hans-Peter Seidel,JanKautz,Christian Theobalt.Video-based characters:creating new humanperformances from a multi-view video database.ACM Transactions on Graphics(TOG),2011,30(4):32.)通过采用多视角相机阵列进行数据采集，利用模型与视频纹理生成真实感很强的新动画视频序列。但这种方案造价高，对实验条件要求高，不利于产业化推广。
体感相机Kinect(Zhengyou Zhang.Microsoft kinect sensor and itseffect.MultiMedia,IEEE,2012,19(2):4-10.)的出现，使基于廉价设备实现真实感动画成为可能。2010年11月Kinect由微软上市，很快就成为了全世界电子消费的热点。它能实时捕捉彩色信息、深度信息、骨架运动信息、语音信息等。而基于它的研究应用迅猛勃发。Tong等人(Tong J,Zhou J,Liu L,et al.Scanning 3D full human bodies using kinects.IEEETransactions onVisualization and Computer Graphics,2012,18(4):643-650.)利用Kinect实现了对于人体的三维重建。等人(M,Martinek M,Greiner G,etal..Automatic reconstruction of personalized avatars from 3D facescans.Computer Animation and Virtual Worlds,2011,22(2‐3):195-202.)实现了基于Kinect的真实的人物面部模型重建。2014年，Kinect二代发布，比之前精度有了很大的提高。基于Kinect v2.0可以进行更精确的模型重建，同时可以实时保存比较真实的1080p的彩色图，及精度为1mm的深度图，为基于Kinect v2.0的真实感动画生成提供了良好的数据基础。
发明内容
为克服现有技术的不足，实现既能保证生成新视频序列的逼真可信，又能解决实验设备要求高的难点的方法。为此，本发明采取的技术方案是，基于体感相机Kinect的真实感动画生成方法，利用单个Kinect v2.0对人物进行静态三维模型和彩色深度骨架信息的采集。利用无标记运动捕捉方法，得到每帧的骨架运动信息和变形后的三维模型。用户指定一个新动作后，基于所建立的数据集，通过所提出的基于稀疏表示的低秩矩阵填充的纹理合成方法生成该人物做新动作的视频；具体包括以下步骤：
1)基于Kinect Fusion的方法对人物进行静态的三维模型的重建，并在这个模型即参考姿态模型的基础上，手动嵌入骨架；
2)数据库建立：采用单个Kinect v2.0相机捕捉该人物进行各种基本动作时的彩***、深度视频和对应的骨架序列；利用IK(inverse kinematics)算法计算各帧骨架节点的运动参数；采用线性混合蒙皮方法(linear blend skinning)计算皮肤权重并变形参考姿态模型得到每帧对应的三维模型；采用深度信息矫正变形后的模型使之更加准确；数据集只需要建立一次，基于此数据库可以生成该人物的新动作的视频序列；
3)用户指定新的动作的骨架序列，该骨架的拓扑结构与数据集中骨架的拓扑结构相同；
4)为新目标动作的每帧在数据集中寻找相似的候选帧；
5)利用移动最小二乘方法把检索到的帧的人体部分进行形变得到最初估计，然后利用加权低秩矩阵填补插值方法进行优化；
6)将步骤5)得到的最终图像放在一起得到要求的新视频序列。
数据库搭建方案的设计，具体包括以下步骤：
2-1)对于彩***、深度视频以及骨架信息的捕捉，利用Kinect v2.0进行实时采集保存，设置Kinect v2.0帧率为30fps，彩色图像分辨率为1920×1080，深度图像分辨率设置为512×424；骨架序列的采集包括节点空间三维信息保存及与彩色深度信息的映射关系的保存；要采集的人物基本动作包括如走路、跑步、正步、挥手、伸展、前踢、侧踢、扩胸、侧弯和功夫；
2-2)利用采集得到的各帧骨架序列的三维信息，输入每个节点空间三维位置信息进行IK算法求解，得到每个节点的旋转平移矩阵，包括其全局的与局部的运动矩阵；
2-3)用线性混合蒙皮方法(linear blend skinning)计算皮肤权重并变形参考姿态模型得到每帧对应的三维模型；
2-4)采用基于稀疏表示的非刚性表面对齐方法，利用深度信息，将步骤2-3)得到的三维模型进一步变形，使之与深度信息吻合而更为准确。
相似帧检索方法的设计，具体包括以下步骤：
4-1)首先把目标骨架与数据库中的骨架对齐到同一个世界坐标中，旋转骨架使其面向同一个方向，然后通过最小化以下能量函数检索得到候选帧：
其中F是未知的候选帧，N(F)是候选序列帧数，I(F)是数据库原始序列的帧号，M是目标序列帧数，是数据库序列第i帧的骨架节点向量，数据库序列第i-1帧的骨架节点向量，是目标序列第i帧的骨架节点向量，是目标序列第i-1帧的骨架节点向量，α、β表示两个约束之间的权重分配，骨架相似度定义如下：
其中m和n可以分别代表公式(1)中的d或q，Sj是第j个骨架节点的位置，而J是节点数目，σj是在数据库中节点j位置的方差；在公式(1)中，第一项是空间约束，保证候选帧与目标帧的相似性；后面的两项约束是为了保证时间上的连续性，避免抖动。
合成目标帧序列是基于最近出现的较为流行的稀疏表示方法，去除噪声步骤如下：
5-1)假定数据库中及目标序列中每帧的三维表面模型都是通过同一个三维模型变形得到，他们具有相同的顶点和拓扑连接性；对三维模型进行分割处理，总共分为16个部分并通过映射将目标帧及检索帧的人物图像也分为16个部分；计算目标帧与检索帧的对应像素，以对应点为引导，利用移动最小二乘方法将检索帧变形；
5-2)步骤5-1)得到的最初结果可能会包含一些缺失信息，因为检索帧不可能包含目标帧的所有信息，采用基于稀疏表示的矩阵填补的方法对这些区域进行插值，最后得到每帧图像，合成新的视频序列；对于基于稀疏表示的矩阵填补的方法，首先要在当前不完整图像上的边缘求取优先级，优先级的排序条件考虑了块的纹理和深度信息；然后，按照每个块的优先级顺序填补，对于某一个待填补块，找到与其相似的K个相似块；设要修复的像素点Pi所处的w×w块B0，及K个相似块分别标识为B1,B2,B3,…Bk，用这些矩阵作为每一列得到一个矩阵D。基于稀疏表示的矩阵填补的方法表述为以下优化问题：
minA,E rank(A)+λ||W°E||0 s.t.PΩ(D)＝PΩ(A+E) (3)
其中，A为待求的原矩阵，E为非零元素个数，D为观测矩阵，W为考虑了相似块相似度的权重矩阵，λ为噪声大小的权重；rank(A)表示矩阵A的秩，||·||0表示矩阵的0范数，“°”表示两个矩阵对应元素相乘，Ω为已知元素的索引集合，PΩ为投影到Ω域的算子。以上优化问题为NP hard(Non-deterministic Polynomial-time hard)问题，因此使用矩阵的核范数||·||*代替矩阵的秩最小化，用矩阵1范数||·||1代替0范数，上述的问题转化为：
minA,E||A||*+λ||W°E||1,s.t.PΩ(D)＝PΩ(A+E) (4)
求解出来得到矩阵A后，取出第一列，重整为w×w的像素块大小的，即为基于稀疏表示的矩阵填补的方法恢复出来的当前块，其他位置的像素块以此类推。
与已有技术相比，本发明的技术特点与效果：
本发明方法避免了多相机采集工作室的实验条件需要和已有新动画生成方法的真实感差、动作局限等问题，通过采用一个Kinect v2.0相机采集，生成基础数据库，通过检索匹配、变形、修补等，实现生成任意动作的真实感强的新视频序列。具有以下特点：
1、设备廉价且实验条件简单，易于实现。
2、真实感很强，对于细小的纹理变化都能得到较为逼真的效果。
3、数据库动作采集只需进行一次，基于这个数据集，可以生成动作任意编辑的真实度很高的新视频序列。
本发明可以采用单个Kinect v2.0进行三维重建与数据采集，实现上简单易行，且有让人较为满意的效果。所提出的方法具有很好的可扩展性：可以通过利用多个Kinectv2.0实现数据库的信息的增加和视角上的灵活变化。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例基于体感相机Kinect v2.0的真实感动画生成方法流程图；
图2为本发明实施例采用所提出的发明方法生成新动作视频序列的结果；
图3为将三种不同新动作的结果放在所拍摄的背景视频里合成的视频某一帧的结果。
具体实施方式
本发明旨在克服现有的新动画生成方案的不足，实现既能保证生成新视频序列的逼真可信，又能解决实验设备要求高的难点的方法。本发明将以一台Kinect v2.0作为采集数据库的设备，并通过对数据进行运动跟踪等处理，建立基本动作数据库，以此为基础，通过基于稀疏表示的纹理合成方法生成新动作的真实感视频。
本发明提出了一种基于体感相机Kinect v2.0的真实感动画生成方法，结合附图及实施例详细说明如下：
本发明利用单个Kinect v2.0相机对人物进行静态三维模型和彩色深度骨架信息的采集。利用无标记运动捕捉方法，得到每帧的骨架运动信息和变形后的三维模型。用户指定一个新动作后，基于所建立的数据集，通过所提出的基于稀疏表示的低秩矩阵填充的纹理合成方法生成该人物做新动作的视频。如图1所示，为本发明实施例的基于体感相机Kinect v2.0的真实感动画生成方法流程图，包括以下步骤：
1)基于Kinect Fusion(Kinect官方发布的实时静态三维模型重建的项目)的方法对人物进行静态的三维模型的重建，并在这个模型(参考姿态模型)的基础上，手动嵌入骨架；
2)数据库建立：采用单个Kinect v2.0相机捕捉该人物进行各种基本动作时的彩***、深度视频和对应的骨架序列；利用IK(inverse kinematics)算法计算各帧骨架节点的运动参数；采用线性混合蒙皮方法(linear blend skinning)计算皮肤权重并变形参考姿态模型得到每帧对应的三维模型；采用深度信息矫正变形后的模型使之更加准确。数据集只需要建立一次，基于此数据库可以生成该人物的新动作的视频序列；
3)用户指定新的动作的骨架序列。该骨架的拓扑结构与数据集中骨架的拓扑结构相同；
4)为新目标动作的每帧在数据集中寻找相似的候选帧；
5)利用移动最小二乘方法把检索到的帧的人体部分进行形变得到最初估计，然后利用加权低秩矩阵填补插值方法进行优化；
6)将步骤5)得到的最终图像放在一起得到要求的新视频序列。
数据库搭建方案的设计，具体包括以下步骤：
2-1)对于彩***、深度视频以及骨架信息的捕捉，利用Kinect v2.0进行实时采集保存，设置Kinect v2.0帧率为30fps，彩色图像分辨率为1920×1080，深度图像分辨率设置为512×424；骨架序列的采集包括节点空间三维信息保存及与彩色深度信息的映射关系的保存；要采集的人物基本动作包括如走路、跑步、正步、挥手、伸展、前踢、侧踢、扩胸、侧弯和功夫等；
2-2)利用采集得到的各帧骨架序列的三维信息，输入每个节点空间三维位置信息进行IK算法求解，得到每个节点的旋转平移矩阵，包括其全局的与局部的运动矩阵；
2-3)用线性混合蒙皮方法(linear blend skinning)计算皮肤权重并变形参考姿态模型得到每帧对应的三维模型；
2-4)采用基于稀疏表示的非刚性表面对齐方法，利用深度信息，将步骤2-3)得到的三维模型进一步变形，使之与深度信息吻合而更为准确。
相似帧检索方法的设计，具体包括以下步骤：
4-1)首先把目标骨架与数据库中的骨架对齐到同一个世界坐标中，旋转骨架使其面向同一个方向，然后通过最小化以下能量函数检索得到候选帧：
其中F是未知的候选帧，N(F)是候选序列帧数，I(F)是数据库原始序列的帧号，M是目标序列帧数，是数据库序列第i帧的骨架节点向量，数据库序列第i-1帧的骨架节点向量，是目标序列第i帧的骨架节点向量，是目标序列第i-1帧的骨架节点向量，α、β表示两个约束之间的权重分配，骨架相似度定义如下：
其中m和n可以分别代表公式(1)中的d或q，Sj是第j个骨架节点的位置，而J是节点数目，σj是在数据库中节点j位置的方差；在公式(1)中，第一项是空间约束，保证候选帧与目标帧的相似性；后面的两项约束是为了保证时间上的连续性，避免抖动。
合成目标帧序列是基于最近出现的较为流行的稀疏表示方法：低秩矩阵填补。该方法不仅能修复图像缺失部分，还能去除噪声；具体方法包括以下步骤：
5-1)假定数据库中及目标序列中每帧的三维表面模型都是通过同一个三维模型变形得到，他们具有相同的顶点和拓扑连接性；对三维模型进行分割处理，总共分为16个部分并通过映射将目标帧及检索帧的人物图像也分为16个部分；计算目标帧与检索帧的对应像素，以对应点为引导，利用移动最小二乘方法将检索帧变形；
5-2)步骤5-1)得到的最初结果可能会包含一些缺失信息，因为检索帧不可能包含目标帧的所有信息。我们采用基于稀疏表示的矩阵填补的方法对这些区域进行插值，最后得到每帧图像，合成新的视频序列；对于基于稀疏表示的矩阵填补的方法，首先要在当前不完整图像上的边缘求取优先级，优先级的排序条件考虑了块的纹理和深度信息。然后，按照每个块的优先级顺序填补。对于某一个待填补块，找到与其相似的K个相似块。设要修复的像素点Pi所处的w×w块B0，及K个相似块分别标识为B1,B2,B3,…Bk，用这些矩阵作为每一列得到一个矩阵D。基于稀疏表示的矩阵填补的方法表述为以下优化问题：
minA,E rank(A)+λ||W°E||0 s.t.PΩ(D)＝PΩ(A+E) (3)
其中，A为待求的原矩阵，E为非零元素个数，D为观测矩阵，W为考虑了相似块相似度的权重矩阵，λ为噪声大小的权重；rank(A)表示矩阵A的秩，||·||0表示矩阵的0范数，“°”表示两个矩阵对应元素相乘，Ω为已知元素的索引集合，PΩ为投影到Ω域的算子。以上优化问题为NP hard(Non-deterministic Polynomial-time hard)问题，因此使用矩阵的核范数||·||*代替矩阵的秩最小化，用矩阵1范数||·||1代替0范数，上述的问题可以转化为：
minA,E||A||*+λ||W°E||1,s.t.PΩ(D)＝PΩ(A+E) (4)
求解出来得到矩阵A后，取出第一列，重整为w×w的像素块大小的，即为基于稀疏表示的矩阵填补的方法恢复出来的当前块。其他位置的像素块以此类推。
Claims (2)
1.一种基于体感相机Kinect的真实感动画生成方法，其特征是，利用单个Kinect v2.0对人物进行静态三维模型和彩色深度骨架信息的采集，利用无标记运动捕捉方法，得到每帧的骨架运动信息和变形后的三维模型，用户指定一个新动作后，基于所建立的数据集，通过所提出的基于稀疏表示的低秩矩阵填充的纹理合成方法生成该人物做新动作的视频；具体包括以下步骤：
1)基于Kinect Fusion的方法对人物进行静态的三维模型的重建，并在这个模型即参考姿态模型的基础上，手动嵌入骨架；
2)数据库建立：采用单个Kinect v2.0相机捕捉该人物进行各种基本动作时的彩***、深度视频和对应的骨架序列；利用IK(inverse kinematics)算法计算各帧骨架节点的运动参数；采用线性混合蒙皮方法(linear blend skinning)计算皮肤权重并变形参考姿态模型得到每帧对应的三维模型；采用深度信息矫正变形后的模型使之更加准确；数据集只需要建立一次，基于此数据库可以生成该人物的新动作的视频序列；
3)用户指定新的动作的骨架序列，该骨架的拓扑结构与数据集中骨架的拓扑结构相同；
4)为新目标动作的每帧在数据集中寻找相似的候选帧；
5)利用移动最小二乘方法把检索到的帧的人体部分进行形变得到最初估计，然后利用加权低秩矩阵填补插值方法进行优化；
6)将步骤5)得到的最终图像放在一起得到要求的新视频序列；
相似的候选帧检索方法的设计，具体包括以下步骤：
4-1)首先把目标骨架与数据库中的骨架对齐到同一个世界坐标中，旋转骨架使其面向同一个方向，然后通过最小化以下能量函数检索得到候选帧：
<mrow>
<mi>E</mi>
<mrow>
<mo>(</mo>
<mi>F</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>&Element;</mo>
<mi>I</mi>
<mrow>
<mo>(</mo>
<mi>F</mi>
<mo>)</mo>
</mrow>
</mrow>
</munder>
<msub>
<mi>D</mi>
<mi>s</mi>
</msub>
<mrow>
<mo>(</mo>
<msubsup>
<mi>S</mi>
<mi>d</mi>
<mi>i</mi>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>S</mi>
<mi>q</mi>
<mi>i</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mi>&alpha;</mi>
<mrow>
<mo>(</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>&Element;</mo>
<mi>I</mi>
<mrow>
<mo>(</mo>
<mi>F</mi>
<mo>)</mo>
</mrow>
</mrow>
</munder>
<msub>
<mi>D</mi>
<mi>s</mi>
</msub>
<mo>(</mo>
<mrow>
<msubsup>
<mi>S</mi>
<mi>d</mi>
<mi>i</mi>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>S</mi>
<mi>d</mi>
<mrow>
<mi>i</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
</mrow>
<mo>)</mo>
<mo>-</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>&Element;</mo>
<mi>M</mi>
</mrow>
</munder>
<msub>
<mi>D</mi>
<mi>s</mi>
</msub>
<mo>(</mo>
<mrow>
<msubsup>
<mi>S</mi>
<mi>q</mi>
<mi>i</mi>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>S</mi>
<mi>q</mi>
<mrow>
<mi>i</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>&beta;</mi>
<mi>N</mi>
<mrow>
<mo>(</mo>
<mi>F</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中F是未知的候选帧，N(F)是候选序列帧数，I(F)是数据库原始序列的帧号，M是目标序列帧数，是数据库序列第i帧的骨架节点向量，数据库序列第i-1帧的骨架节点向量，是目标序列第i帧的骨架节点向量，是目标序列第i-1帧的骨架节点向量，α、β表示两个约束之间的权重分配，骨架相似度定义如下：
<mrow>
<msub>
<mi>D</mi>
<mi>s</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>S</mi>
<mi>m</mi>
</msub>
<mo>-</mo>
<msub>
<mi>S</mi>
<mi>n</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msqrt>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>J</mi>
</munderover>
<mfrac>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>S</mi>
<mi>m</mi>
<mi>j</mi>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>S</mi>
<mi>n</mi>
<mi>j</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<msub>
<mi>&sigma;</mi>
<mi>j</mi>
</msub>
</mfrac>
</mrow>
</msqrt>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
其中m和n可以分别代表公式(1)中的d或q，Sj是第j个骨架节点的位置，而J是节点数目，σj是在数据库中节点j位置的方差；在公式(1)中，第一项是空间约束，保证候选帧与目标帧的相似性；后面的两项约束是为了保证时间上的连续性，避免抖动；
利用加权低秩矩阵填补插值方法进行优化具体步骤是：
5-1)假定数据库中及目标序列中每帧的三维表面模型都是通过同一个三维模型变形得到，他们具有相同的顶点和拓扑连接性；对三维模型进行分割处理，总共分为16个部分并通过映射将目标帧及检索帧的人物图像也分为16个部分；计算目标帧与检索帧的对应像素，以对应点为引导，利用移动最小二乘方法将检索帧变形；
5-2)步骤5-1)得到的最初结果可能会包含一些缺失信息，因为检索帧不可能包含目标帧的所有信息，采用基于稀疏表示的矩阵填补的方法对这些区域进行插值，最后得到每帧图像，合成新的视频序列；对于基于稀疏表示的矩阵填补的方法，首先要在当前不完整图像上的边缘求取优先级，优先级的排序条件考虑了块的纹理和深度信息；然后，按照每个块的优先级顺序填补，对于某一个待填补块，找到与其相似的K个相似块；设要修复的像素点Pi所处的w×w块B0，及K个相似块分别标识为B1,B2,B3,…Bk，用这些矩阵作为每一列得到一个矩阵D，基于稀疏表示的矩阵填补的方法表述为以下优化问题：
其中，A为待求的原矩阵，E为非零元素个数，D为观测矩阵，W为考虑了相似块相似度的权重矩阵，λ为噪声大小的权重；rank(A)表示矩阵A的秩，||·||0表示矩阵的0范数，“°”表示两个矩阵对应元素相乘，Ω为已知元素的索引集合，PΩ为投影到Ω域的算子，以上优化问题为NP hard(Non-deterministic Polynomial-time hard)问题，因此使用矩阵的核范数||·||*代替矩阵的秩最小化，用矩阵1范数||·||1代替0范数，上述的问题转化为：
求解出来得到矩阵A后，取出第一列，重整为w×w的像素块大小的，即为基于稀疏表示的矩阵填补的方法恢复出来的当前块，其他位置的像素块以此类推。
2.如权利要求1所述的基于体感相机Kinect的真实感动画生成方法，其特征是，数据库建立方案的设计，具体包括以下步骤：
2-1)对于彩***、深度视频以及骨架信息的捕捉，利用Kinect v2.0进行实时采集保存，设置Kinect v2.0帧率为30fps，彩色图像分辨率为1920×1080，深度图像分辨率设置为512×424；骨架序列的采集包括节点空间三维信息保存及与彩色深度信息的映射关系的保存；要采集的人物基本动作包括如走路、跑步、正步、挥手、伸展、前踢、侧踢、扩胸、侧弯和功夫；
2-2)利用采集得到的各帧骨架序列的三维信息，输入每个节点空间三维位置信息进行IK算法求解，得到每个节点的旋转平移矩阵，包括其全局的与局部的运动矩阵；
2-3)用线性混合蒙皮方法(linear blend skinning)计算皮肤权重并变形参考姿态模型得到每帧对应的三维模型；
2-4)采用基于稀疏表示的非刚性表面对齐方法，利用深度信息，将步骤2-3)得到的三维模型进一步变形，使之与深度信息吻合而更为准确。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510341839.6A CN104915978B (zh) | 2015-06-18 | 2015-06-18 | 基于体感相机Kinect的真实感动画生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510341839.6A CN104915978B (zh) | 2015-06-18 | 2015-06-18 | 基于体感相机Kinect的真实感动画生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104915978A CN104915978A (zh) | 2015-09-16 |
| CN104915978B true CN104915978B (zh) | 2018-04-03 |
Family
ID=54085014
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510341839.6A Active CN104915978B (zh) | 2015-06-18 | 2015-06-18 | 基于体感相机Kinect的真实感动画生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104915978B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105338369A (zh) * | 2015-10-28 | 2016-02-17 | 北京七维视觉科技有限公司 | 一种在视频中实时合成动画的方法和装置 |
| CN105427386A (zh) * | 2015-12-24 | 2016-03-23 | 南京邮电大学 | 基于输入人体姿态实时生成的服装变形方法 |
| CN105787995B (zh) * | 2016-01-17 | 2018-09-28 | 郑州财经学院 | 一种平面图形图像处理方法 |
| US9898858B2 (en) * | 2016-05-18 | 2018-02-20 | Siemens Healthcare Gmbh | Human body representation with non-rigid parts in an imaging system |
| CN106683178B (zh) * | 2016-12-30 | 2020-04-28 | 天津大学 | 基于图论的低秩矩阵恢复三维骨架方法 |
| CN106780673A (zh) * | 2017-02-13 | 2017-05-31 | 杨金强 | 一种动画制作方法及*** |
| CN106920263B (zh) * | 2017-03-10 | 2019-07-16 | 大连理工大学 | 基于Kinect的无畸变集成成像三维显示方法 |
| CN107204000A (zh) * | 2017-04-24 | 2017-09-26 | 天津大学 | 基于Kinect深度相机的人体分割方法 |
| CN108055479B (zh) * | 2017-12-28 | 2020-07-03 | 暨南大学 | 一种动物行为视频的制作方法 |
| CN108022278B (zh) * | 2017-12-29 | 2020-12-22 | 清华大学 | 基于视频中运动跟踪的人物动画绘制方法及*** |
| CN108648261A (zh) * | 2018-03-25 | 2018-10-12 | 成都明镜视觉科技有限公司 | 一种三维模型定义方法 |
| CN109325442A (zh) * | 2018-09-19 | 2019-02-12 | 福州大学 | 一种图像像素缺失的人脸识别方法 |
| CN111930231B (zh) * | 2020-07-27 | 2022-02-25 | 歌尔光学科技有限公司 | 交互控制方法、终端设备及存储介质 |
| CN111968169B (zh) * | 2020-08-19 | 2024-01-19 | 北京拙河科技有限公司 | 动态人体三维重建方法、装置、设备和介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100416612C (zh) * | 2006-09-14 | 2008-09-03 | 浙江大学 | 基于视频流的三维动态人脸表情建模方法 |
| US8384714B2 (en) * | 2008-05-13 | 2013-02-26 | The Board Of Trustees Of The Leland Stanford Junior University | Systems, methods and devices for motion capture using video imaging |
| CN102222361A (zh) * | 2010-04-06 | 2011-10-19 | 清华大学 | 三维模型的捕捉及重建方法和*** |
-
2015
- 2015-06-18 CN CN201510341839.6A patent/CN104915978B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN104915978A (zh) | 2015-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104915978B (zh) | 基于体感相机Kinect的真实感动画生成方法 | |
| Liu et al. | Liquid warping gan: A unified framework for human motion imitation, appearance transfer and novel view synthesis | |
| Zheng et al. | Pamir: Parametric model-conditioned implicit representation for image-based human reconstruction | |
| CN109636831B (zh) | 一种估计三维人体姿态及手部信息的方法 | |
| Yang et al. | S3: Neural shape, skeleton, and skinning fields for 3d human modeling | |
| CN107578436B (zh) | 一种基于全卷积神经网络fcn的单目图像深度估计方法 | |
| US11195318B2 (en) | Rapid avatar capture and simulation using commodity depth sensors | |
| CN109410321A (zh) | 基于卷积神经网络的三维重建方法 | |
| JP2024522287A (ja) | 三次元人体再構成方法、装置、デバイスおよび記憶媒体 | |
| CN101154289A (zh) | 基于多目相机的三维人体运动跟踪的方法 | |
| CN113344777B (zh) | 基于三维人脸分解的换脸与重演方法及装置 | |
| JP7446566B2 (ja) | ボリュメトリックキャプチャ及びメッシュ追跡ベースの機械学習 | |
| CN106934824A (zh) | 可变形物体的全局非刚性配准与重建方法 | |
| Chen et al. | Research on 3D reconstruction based on multiple views | |
| Yang et al. | Image translation based synthetic data generation for industrial object detection and pose estimation | |
| JP2010211732A (ja) | 物体認識装置および方法 | |
| Zhu et al. | Mvp-human dataset for 3d human avatar reconstruction from unconstrained frames | |
| Xu | The research on applying artificial intelligence technology to virtual youtuber | |
| Liu et al. | RGBGrasp: Image-based Object Grasping by Capturing Multiple Views during Robot Arm Movement with Neural Radiance Fields | |
| CN115049764B (zh) | Smpl参数预测模型的训练方法、装置、设备及介质 | |
| Gomes et al. | Do as I do: Transferring human motion and appearance between monocular videos with spatial and temporal constraints | |
| CN110853131A (zh) | 一种用于行为识别的虚拟视频数据生成方法 | |
| CN113112586B (zh) | 基于先验模型的实时人体三维重建方法 | |
| Wang et al. | Egocentric whole-body motion capture with fisheyevit and diffusion-based motion refinement | |
| Remondino et al. | Human motion reconstruction and animation from video sequences |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20200703 Address after: 411, block a, Zhizao street, Zhongguancun, No. 45, Chengfu Road, Haidian District, Beijing 100080 Patentee after: Beijing Youke Nuclear Power Technology Development Co.,Ltd. Address before: 300072 Tianjin City, Nankai District Wei Jin Road No. 92 Patentee before: Tianjin University |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20201010 Address after: 100084 automation teaching staff, No.1 Qinghua garden, Haidian District, Beijing Patentee after: Liu Yebin Address before: 411, block a, Zhizao street, Zhongguancun, No. 45, Chengfu Road, Haidian District, Beijing 100080 Patentee before: Beijing Youke Nuclear Power Technology Development Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210301 Address after: 518005 1001, building C2, Nanshan wisdom garden, 1001 Xueyuan Avenue, Changyuan community, Taoyuan Street, Nanshan District, Shenzhen City, Guangdong Province Patentee after: Shenzhen Lingyun Shixun Technology Co.,Ltd. Address before: 100084 automation staff, No.1 Qinghua garden, Haidian District, Beijing Patentee before: Liu Yebin |
|
| TR01 | Transfer of patent right |