CN105184861A - 一种自动人体三维重建*** - Google Patents

Abstract

本发明是一种利用视频进行人体三维重建的***，属于计算机视觉领域。本发明解决的问题是：用普通相机101拍摄人运动的视频，电脑102借助2D关节点、3D骨骼，利用人的运动信息对图像上的人体进行分割、重建，实现了运动中对人体模型进行重建。本发明的主要算法的核心部分在于利用人体的运动信息对图像上的人体进行分割，将人体这一复杂非刚性体转化成许多刚性体的组合。本发明提出的方法能够简单、廉价的获取比较准确的人体三维模型。

Description

一种自动人体三维重建***

技术领域

本发明涉及一种自动人体三维重建***，涉及计算机视觉领域人体模型重建。

背景技术

许多基于视觉的人体运动捕捉研究都是把人体的体型作为一个先验知识，并且高质量的人体模型在计算机视觉领域有着广泛的应用。

现有的利用相机重建人体模型的方法大体可以分为三大类：1、利用多个相机同时采集数据，利用多视图重建的方法可以重建出人体点云模型。2、利用机器学习的方法，学习出人体轮廓跟人体骨骼、人体体型的一种映射关系。3、利用深度相机获取深度信息，然后利用深度信息获取人体的姿态，形体信息。第一类需要搭设多相机的信息采集***，而且需要对这些相机进行标定，环境搭建比较复杂。第二种方法需要大量的数据集进行训练。由于目前深度相机的成本还是比较高，因此第三种方法获取信息的成本较高。

发明内容

本发明公开了一种自动人体三维重建***，其目的在于整体或部分地解决一个或多个上述问题或缺点，以提供至少以下描述的优点。

相比以往的***，只需使用一个普通的相机与计算机，***组成比较简单。

不需要过多人为操作，自动化程度较高，重建精度较高。

为了整体或者部分实现上述目的，本发明公开的自动人体三维重建***，其特征在于包括以下步骤：

(1)利用相机拍摄人运动的视频。

(2)提取图像上人体的关节点，并将关节点转换成三维的人体骨架。

(3)对图像上的人体从运动学上进行分割。

(4)对分割出来的部分进行三维重建。

(5)利用重建出来的结果对线性蒙皮模型进行变形。

(6)计算人体运动过程中的刚性部分，得到高质量的人体三维模型。

附图说明

附图说明用于提供对本发明技术方案的进一步理解，并构成说明书的一部分，与本发明的实施一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。附图说明如下：

图1为自动人体三维重建***的硬件组成图。

图2为该***模块二数据处理流程图。

具体实施方式

以下将结合附图来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决问题，并达成技术效果的实现过程能充分理解并据以实施。

模块一、数据采集。直接用相机拍摄一个运动的人，得到一个视频。101部分为一个相机，102部分为一台普通电脑。

模块二、数据处理。该模块主要包括步骤：201、2D关节点、3D骨架获取；202、在2D图像人体运动学分割；203、三维重建与点云变形；204、计算人体三维模型刚性部分。

201、2D关节点、3D骨架获取：利用活动混合模型(FlexibleMixturemodel)提取出图像上的人体关节，再利用投影匹配适应(ProjectedMatchingPursuit)算法恢复出人体的三维姿态。

202、在2D图像人体运动学分割：虽然人体是一个比较复杂的非刚性体，但是我们可以将它看做是由许多刚性体构成的，换句话说，人体很小的一个局部在运动中具有很大的一致性。我们就根据人体运动中的这种“局部一致性”对图像上的人体进行分割。

在线性蒙皮模型LBS(LinearBlendSkinning)模型中，人体被划分为16个刚性体。因此，我们将图像上的人体也划分为16个刚性部分。由于LBS模型有比较准确的划分，因此我们把线性蒙皮模型(LBS)模型的轮廓作为一部分先验知识，图像上的关节点作为另一部分先验知识。

考虑这样一个条件随机场X，它定义了变量{X₁，…，X_N}，每个变量的取值为L＝{l₁，l₂，…，l_k}。我们把图像看做是一个条件随机场I，{I₁，…，I_N}，N是图像上像素的个数。I_j表示图像上第j个像素的值，X_j就是该像素的类别。因此，条件随机场(I，X)就满足Gibbs分布这里g＝(v，ε)是一个图。因此在完全成对连接条件随机场中(fullyconnectedpairwiseCRF)，对应的吉布斯(Gibbs)能量为：其中 ${\mathrm{\ψ}}_u\left(x_i\right)={\mathrm{\ω}}_s\exp \left(-\left|\right|p_i-s_{x_i}|{|}^2\right)+{\mathrm{\ω}}_b\exp \left(-\left|\right|p_i-b_{x_i}|{|}^2\right)+{\mathrm{\ω}}_m{C}_{x_i};$ ω_s+ω_b+ω_m＝1。其中是第x_i部分轮廓的重心。是第x_i部分骨骼的重心。是该点关于x_i部分的运动系数。主要是计算第j个像素点的位移与第x_i部分骨骼重心的位移的关系。设第j个像素点的位移为d_j，第x_i部分骨骼重心的位移为 $d_{x_i},C_{x_i}=\frac{d_i\·d_{x_i}}{max\left(\right|\left|d_i\right|{|}^2,\left|\right|d_{x_i}\left|{|}^2\right)}.$ ${\mathrm{\ψ}}_p(x_i,x_j)=\mathrm{\μ}(x_i,x_j)k(f_i,f_j);k(f_i,f_j)={\mathrm{\ω}}^{\left(1\right)}\exp \left(-\frac{|p_i-p_j{|}^2}{2{\mathrm{\θ}}_{\mathrm{\α}}^2}-\frac{|I_i-I_j{|}^2}{2{\mathrm{\θ}}_{\mathrm{\β}}^2}\right)+{\mathrm{\ω}}^{\left(2\right)}\exp \left(-\frac{|p_i-p_j{|}^2}{2{\mathrm{\θ}}_{\mathrm{\γ}}^2}\right),$ μ(x_i，x_j)是由波特(PottsModel)给出，I_i，I_j，p_i，p_j分别指像素点的值和像素点的位置。最小化这个能量函数就可以得到图像上人体的运动学分割。

203、三维重建与点云变形：对分割出来的每个部分进行重建。这里用稠密光流算法获取对应关系。然后利用多视图算法进行重建。接着使用一致性点漂移(CoherentPointDrift)算法对线性蒙皮模型(LBS)进行变形。

204、计算人体三维模型刚性部分：利用变形前的LBS模型和变形之后的LBS模型计算人体运动过程中的刚性部分。我们以点云上的三角面片为基本单元，对三角面片的两条边进行变换。表示第i帧中第k个三角面片的两个边，代表变换之后的两条边，代表我们的非刚性变换。因此，我们可以写出这样的代价函数： $\underset{D^i}{\arg \min }\mathrm{\ρ}\underset{k}{\Σ}\underset{j=2,3}{\Σ}\left|\right|D_k^i{\hat{V}}_{k,j}-V_{k,j}^i|{|}^2+w_d\mathrm{\ρ}\underset{k_1,k_2,adj}{\Σ}||D_{k_1}^{\′}-{D^i}_{k_2}|{|}^2,$ 可以用一个低维子空间来近似表示，即μ就是我们要求的运动中的刚性部分。当第i中对第k个三角面片进行了变形，那么ρ＝1，反之ρ＝0。w_d是一个权重。

本领域的技术人员应该明白，上述的本发明的***结构和各个步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将他们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

虽然本发明所示出和描述的实施方式如上，但是所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上以及细节上做任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (3)

1.一种自动人体三维重建***，其特征是包含以下主要模块：

模块一、数据采集：直接用相机拍摄一个运动的人，得到一个视频。

模块二、数据处理：该模块主要包括步骤：201、2D关节点、3D骨架获取；202、在2D图像人体运动学分割；203、三维重建与点云变形；204、计算人体三维模型刚性部分。

2.权利要求1中所述方法的模块二中步骤202的特征在于：利用人体的运动信息对2D图像进行分割，其能量函数为： $E\left(x\right)=\underset{i}{\&Sigma;}{\mathrm{\&psi;}}_u\left(x_i\right)+\underset{i<j}{\&Sigma;}{\mathrm{\&psi;}}_p(x_i,x_j),$ 其中：

${\mathrm{\&psi;}}_u\left(x_i\right)={\mathrm{\&omega;}}_s\exp (-||p_i-s_{x_i}|{|}^2)+{\mathrm{\&omega;}}_b\exp (-||p_i-b_{x_i}|{|}^2)+{\mathrm{\&omega;}}_m{C}_{x_i};{\mathrm{\&omega;}}_s+{\mathrm{\&omega;}}_b+{\mathrm{\&omega;}}_m=1,$ 其中是第x_i部分轮廓的重心，是第x_i部分骨骼的重心，是该点关于x_i部分的运动系数，主要是计算第j个像素点的位移与第x_i部分骨骼重心的位移的关系，设第j个像素点的位移为d_j，第x_i部分骨骼重心的位移为 $C_{x_i}=\frac{d_i\&CenterDot;d_{x_i}}{max\left(\right|\left|d_i\right|{|}^2,\left|\right|d_{x_i}\left|{|}^2\right)},$

${\mathrm{\&psi;}}_p(x_i,x_j)=\mathrm{\&mu;}(x_i,x_j)k(f_i,f_j);k(f_i,f_j)={\mathrm{\&omega;}}^{\left(1\right)}\exp (-\frac{|p_i-p_j{|}^2}{2{\mathrm{\&theta;}}_{\mathrm{\&alpha;}}^2}-\frac{|I_i-I_j{|}^2}{2{\mathrm{\&theta;}}_{\mathrm{\&beta;}}^2})+{\mathrm{\&omega;}}^{\left(2\right)}\exp (-\frac{|p_i-p_j{|}^2}{2{\mathrm{\&theta;}}_{\mathrm{\&gamma;}}^2}),$

μ(x_i，x_j)是由波特(Potts)模型给出，I_i，I_j，p_i，p_j分别指像素点的值和像素点的位置，最小化该能量函数就可以得到图像上人体的运动学分割。

3.权利要求1中所述方法的模块二中步骤204的特征在于：最小化代价函数：

$\underset{D^i}{\arg min}\mathrm{\&rho;}\underset{k}{\&Sigma;}\underset{j=2,3}{\&Sigma;}\left|\right|D_k^i{\hat{V}}_{k,j}-V_{k,j}^i|{|}^2+w_d\mathrm{\&rho;}\underset{k_1,k_2,adj}{\&Sigma;}\left|\right|D_{k_1}^i-D_{k_2}^i|{|}^2,$ j＝2，3表示第i帧中第k个三角面片的两个边，代表变换之后的两条边，代表我们的非刚性变换，可以用一个低维子空间来近似表示，即μ就是我们要求的运动中的刚性部分，当第i中对第k个三角面片进行变形，那么ρ＝1，反之ρ＝0，w_d是一个权重。