CN105184861A - 一种自动人体三维重建*** - Google Patents
一种自动人体三维重建*** Download PDFInfo
- Publication number
- CN105184861A CN105184861A CN201510688248.6A CN201510688248A CN105184861A CN 105184861 A CN105184861 A CN 105184861A CN 201510688248 A CN201510688248 A CN 201510688248A CN 105184861 A CN105184861 A CN 105184861A
- Authority
- CN
- China
- Prior art keywords
- omega
- human
- human body
- sigma
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 12
- 238000006073 displacement reaction Methods 0.000 claims description 8
- 230000005484 gravity Effects 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 2
- 238000003709 image segmentation Methods 0.000 claims 1
- 210000000988 bone and bone Anatomy 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 5
- 239000000203 mixture Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本发明是一种利用视频进行人体三维重建的***,属于计算机视觉领域。本发明解决的问题是:用普通相机101拍摄人运动的视频,电脑102借助2D关节点、3D骨骼,利用人的运动信息对图像上的人体进行分割、重建,实现了运动中对人体模型进行重建。本发明的主要算法的核心部分在于利用人体的运动信息对图像上的人体进行分割,将人体这一复杂非刚性体转化成许多刚性体的组合。本发明提出的方法能够简单、廉价的获取比较准确的人体三维模型。
Description
技术领域
本发明涉及一种自动人体三维重建***,涉及计算机视觉领域人体模型重建。
背景技术
许多基于视觉的人体运动捕捉研究都是把人体的体型作为一个先验知识,并且高质量的人体模型在计算机视觉领域有着广泛的应用。
现有的利用相机重建人体模型的方法大体可以分为三大类:1、利用多个相机同时采集数据,利用多视图重建的方法可以重建出人体点云模型。2、利用机器学习的方法,学习出人体轮廓跟人体骨骼、人体体型的一种映射关系。3、利用深度相机获取深度信息,然后利用深度信息获取人体的姿态,形体信息。第一类需要搭设多相机的信息采集***,而且需要对这些相机进行标定,环境搭建比较复杂。第二种方法需要大量的数据集进行训练。由于目前深度相机的成本还是比较高,因此第三种方法获取信息的成本较高。
发明内容
本发明公开了一种自动人体三维重建***,其目的在于整体或部分地解决一个或多个上述问题或缺点,以提供至少以下描述的优点。
相比以往的***,只需使用一个普通的相机与计算机,***组成比较简单。
不需要过多人为操作,自动化程度较高,重建精度较高。
为了整体或者部分实现上述目的,本发明公开的自动人体三维重建***,其特征在于包括以下步骤:
(1)利用相机拍摄人运动的视频。
(2)提取图像上人体的关节点,并将关节点转换成三维的人体骨架。
(3)对图像上的人体从运动学上进行分割。
(4)对分割出来的部分进行三维重建。
(5)利用重建出来的结果对线性蒙皮模型进行变形。
(6)计算人体运动过程中的刚性部分,得到高质量的人体三维模型。
附图说明
附图说明用于提供对本发明技术方案的进一步理解,并构成说明书的一部分,与本发明的实施一起用于解释本发明的技术方案,并不构成对本发明技术方案的限制。附图说明如下:
图1为自动人体三维重建***的硬件组成图。
图2为该***模块二数据处理流程图。
具体实施方式
以下将结合附图来详细说明本发明的实施方式,借此对本发明如何应用技术手段来解决问题,并达成技术效果的实现过程能充分理解并据以实施。
模块一、数据采集。直接用相机拍摄一个运动的人,得到一个视频。101部分为一个相机,102部分为一台普通电脑。
模块二、数据处理。该模块主要包括步骤:201、2D关节点、3D骨架获取;202、在2D图像人体运动学分割;203、三维重建与点云变形;204、计算人体三维模型刚性部分。
201、2D关节点、3D骨架获取:利用活动混合模型(FlexibleMixturemodel)提取出图像上的人体关节,再利用投影匹配适应(ProjectedMatchingPursuit)算法恢复出人体的三维姿态。
202、在2D图像人体运动学分割:虽然人体是一个比较复杂的非刚性体,但是我们可以将它看做是由许多刚性体构成的,换句话说,人体很小的一个局部在运动中具有很大的一致性。我们就根据人体运动中的这种“局部一致性”对图像上的人体进行分割。
在线性蒙皮模型LBS(LinearBlendSkinning)模型中,人体被划分为16个刚性体。因此,我们将图像上的人体也划分为16个刚性部分。由于LBS模型有比较准确的划分,因此我们把线性蒙皮模型(LBS)模型的轮廓作为一部分先验知识,图像上的关节点作为另一部分先验知识。
考虑这样一个条件随机场X,它定义了变量{X1,…,XN},每个变量的取值为L={l1,l2,…,lk}。我们把图像看做是一个条件随机场I,{I1,…,IN},N是图像上像素的个数。Ij表示图像上第j个像素的值,Xj就是该像素的类别。因此,条件随机场(I,X)就满足Gibbs分布这里g=(v,ε)是一个图。因此在完全成对连接条件随机场中(fullyconnectedpairwiseCRF),对应的吉布斯(Gibbs)能量为:其中 ωs+ωb+ωm=1。其中是第xi部分轮廓的重心。是第xi部分骨骼的重心。是该点关于xi部分的运动系数。主要是计算第j个像素点的位移与第xi部分骨骼重心的位移的关系。设第j个像素点的位移为dj,第xi部分骨骼重心的位移为 μ(xi,xj)是由波特(PottsModel)给出,Ii,Ij,pi,pj分别指像素点的值和像素点的位置。最小化这个能量函数就可以得到图像上人体的运动学分割。
203、三维重建与点云变形:对分割出来的每个部分进行重建。这里用稠密光流算法获取对应关系。然后利用多视图算法进行重建。接着使用一致性点漂移(CoherentPointDrift)算法对线性蒙皮模型(LBS)进行变形。
204、计算人体三维模型刚性部分:利用变形前的LBS模型和变形之后的LBS模型计算人体运动过程中的刚性部分。我们以点云上的三角面片为基本单元,对三角面片的两条边进行变换。表示第i帧中第k个三角面片的两个边,代表变换之后的两条边,代表我们的非刚性变换。因此,我们可以写出这样的代价函数: 可以用一个低维子空间来近似表示,即μ就是我们要求的运动中的刚性部分。当第i中对第k个三角面片进行了变形,那么ρ=1,反之ρ=0。wd是一个权重。
本领域的技术人员应该明白,上述的本发明的***结构和各个步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将他们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
虽然本发明所示出和描述的实施方式如上,但是所述的内容只是为了便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属技术领域内的技术人员,在不脱离本发明所揭露的精神和范围的前提下,可以在实施的形式上以及细节上做任何的修改与变化,但本发明的专利保护范围,仍须以所附的权利要求书所界定的范围为准。
Claims (3)
1.一种自动人体三维重建***,其特征是包含以下主要模块:
模块一、数据采集:直接用相机拍摄一个运动的人,得到一个视频。
模块二、数据处理:该模块主要包括步骤:201、2D关节点、3D骨架获取;202、在2D图像人体运动学分割;203、三维重建与点云变形;204、计算人体三维模型刚性部分。
2.权利要求1中所述方法的模块二中步骤202的特征在于:利用人体的运动信息对2D图像进行分割,其能量函数为: 其中:
μ(xi,xj)是由波特(Potts)模型给出,Ii,Ij,pi,pj分别指像素点的值和像素点的位置,最小化该能量函数就可以得到图像上人体的运动学分割。
3.权利要求1中所述方法的模块二中步骤204的特征在于:最小化代价函数:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510688248.6A CN105184861B (zh) | 2015-10-20 | 2015-10-20 | 一种自动人体三维重建*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510688248.6A CN105184861B (zh) | 2015-10-20 | 2015-10-20 | 一种自动人体三维重建*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105184861A true CN105184861A (zh) | 2015-12-23 |
CN105184861B CN105184861B (zh) | 2019-02-12 |
Family
ID=54906911
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510688248.6A Active CN105184861B (zh) | 2015-10-20 | 2015-10-20 | 一种自动人体三维重建*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105184861B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106648109A (zh) * | 2016-12-30 | 2017-05-10 | 南京大学 | 一种基于三视角变换的真实场景实时虚拟漫游*** |
CN106933352A (zh) * | 2017-02-14 | 2017-07-07 | 深圳奥比中光科技有限公司 | 三维人体测量方法和其设备及其计算机可读存储介质 |
CN107403463A (zh) * | 2016-05-18 | 2017-11-28 | 西门子保健有限责任公司 | 在成像***中具有非刚性部分的人体表示 |
CN107680074A (zh) * | 2016-08-02 | 2018-02-09 | 富士通株式会社 | 几何重建对象的方法和设备 |
CN107680073A (zh) * | 2016-08-02 | 2018-02-09 | 富士通株式会社 | 几何重建对象的方法和设备 |
CN107993277A (zh) * | 2017-11-28 | 2018-05-04 | 河海大学常州校区 | 基于先验知识的损伤部位人造骨骼修补模型重建方法 |
CN108122275A (zh) * | 2017-12-22 | 2018-06-05 | 清华大学 | 基于骨架跟踪的动态实时三维人体重建方法及*** |
CN110084846A (zh) * | 2019-06-10 | 2019-08-02 | 张慧 | 一种低成本的身体表面模型三维重建***及方法 |
CN110349268A (zh) * | 2019-06-11 | 2019-10-18 | 华南理工大学 | 一种三维人体姿态、表情及手势的重构方法 |
CN112991524A (zh) * | 2021-04-20 | 2021-06-18 | 北京的卢深视科技有限公司 | 三维重建的方法、电子设备及存储介质 |
US11222428B2 (en) | 2019-04-08 | 2022-01-11 | Sony Group Corporation | Determining golf swing characteristics |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101246602A (zh) * | 2008-02-04 | 2008-08-20 | 东华大学 | 基于几何骨架的人体姿态重建方法 |
CN103198523A (zh) * | 2013-04-26 | 2013-07-10 | 清华大学 | 一种基于多深度图的非刚体三维重建方法及*** |
CN103824326A (zh) * | 2014-03-05 | 2014-05-28 | 北京工业大学 | 一种动态的人体三维建模方法 |
CN103955963A (zh) * | 2014-04-30 | 2014-07-30 | 崔岩 | 一种基于 Kinect设备的数字化人体三维重建方法及*** |
-
2015
- 2015-10-20 CN CN201510688248.6A patent/CN105184861B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101246602A (zh) * | 2008-02-04 | 2008-08-20 | 东华大学 | 基于几何骨架的人体姿态重建方法 |
CN103198523A (zh) * | 2013-04-26 | 2013-07-10 | 清华大学 | 一种基于多深度图的非刚体三维重建方法及*** |
CN103824326A (zh) * | 2014-03-05 | 2014-05-28 | 北京工业大学 | 一种动态的人体三维建模方法 |
CN103955963A (zh) * | 2014-04-30 | 2014-07-30 | 崔岩 | 一种基于 Kinect设备的数字化人体三维重建方法及*** |
Non-Patent Citations (2)
Title |
---|
HYEWON SEO ET AL: "《An Automatic Modeling of Human Bodies from Sizing Parameters》", 《PROCEEDINGS OF THE 2003 SYMPOSIUM ON INTERACTIVE 3D GRAPHICS》 * |
NICHOLAS R.HOWE ET AL: "《Bayesian Reconsturction of 3D Human Motion from Single-Camera Video》", 《ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS》 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107403463A (zh) * | 2016-05-18 | 2017-11-28 | 西门子保健有限责任公司 | 在成像***中具有非刚性部分的人体表示 |
CN107680074A (zh) * | 2016-08-02 | 2018-02-09 | 富士通株式会社 | 几何重建对象的方法和设备 |
CN107680073A (zh) * | 2016-08-02 | 2018-02-09 | 富士通株式会社 | 几何重建对象的方法和设备 |
CN106648109A (zh) * | 2016-12-30 | 2017-05-10 | 南京大学 | 一种基于三视角变换的真实场景实时虚拟漫游*** |
CN106933352A (zh) * | 2017-02-14 | 2017-07-07 | 深圳奥比中光科技有限公司 | 三维人体测量方法和其设备及其计算机可读存储介质 |
CN107993277B (zh) * | 2017-11-28 | 2019-12-17 | 河海大学常州校区 | 基于先验知识的损伤部位人造骨骼修补模型重建方法 |
CN107993277A (zh) * | 2017-11-28 | 2018-05-04 | 河海大学常州校区 | 基于先验知识的损伤部位人造骨骼修补模型重建方法 |
CN108122275A (zh) * | 2017-12-22 | 2018-06-05 | 清华大学 | 基于骨架跟踪的动态实时三维人体重建方法及*** |
US11222428B2 (en) | 2019-04-08 | 2022-01-11 | Sony Group Corporation | Determining golf swing characteristics |
US11461905B2 (en) | 2019-04-08 | 2022-10-04 | Sony Group Corporation | Determining a kinematic sequence |
CN110084846A (zh) * | 2019-06-10 | 2019-08-02 | 张慧 | 一种低成本的身体表面模型三维重建***及方法 |
CN110349268A (zh) * | 2019-06-11 | 2019-10-18 | 华南理工大学 | 一种三维人体姿态、表情及手势的重构方法 |
CN112991524A (zh) * | 2021-04-20 | 2021-06-18 | 北京的卢深视科技有限公司 | 三维重建的方法、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN105184861B (zh) | 2019-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105184861A (zh) | 一种自动人体三维重建*** | |
CN111160164B (zh) | 基于人体骨架和图像融合的动作识别方法 | |
CN103198523B (zh) | 一种基于多深度图的非刚体三维重建方法及*** | |
CN109712172A (zh) | 一种初始位姿测量结合目标追踪的位姿测量方法 | |
DE102019106123A1 (de) | Dreidimensionale (3D) Posenschätzung von Seiten einer monokularen Kamera | |
CN109242954A (zh) | 基于模板变形的多视角三维人体重建方法 | |
CN103559737A (zh) | 一种对象全景建模方法 | |
CN105989625A (zh) | 数据处理的方法和装置 | |
CN104658038A (zh) | 基于动作捕捉的三维数字内容智能制作方法及制作*** | |
CN102622766A (zh) | 多目标优化的多镜头人体运动跟踪方法 | |
CN103426168B (zh) | 基于一维标定杆的普通、广角、鱼眼立体摄像机的通用标定方法 | |
CN103268629A (zh) | 三维人体形态和姿态的无标记点实时复原方法 | |
CN104599284A (zh) | 基于多视角手机自拍图像的三维人脸重建方法 | |
CN106683178B (zh) | 基于图论的低秩矩阵恢复三维骨架方法 | |
CN108305321B (zh) | 一种基于双目彩色成像***的立体人手3d骨架模型实时重建方法和装置 | |
CN101916455A (zh) | 一种高动态范围纹理三维模型的重构方法及装置 | |
CN111062326A (zh) | 一种基于几何驱动的自监督人体3d姿态估计网络训练方法 | |
CN106934824A (zh) | 可变形物体的全局非刚性配准与重建方法 | |
CN101982836B (zh) | 运动捕获***中基于pca的标记点标识初始化方法 | |
CN104036541A (zh) | 一种视觉测量中的快速三维重建方法 | |
CN103927787A (zh) | 一种基于矩阵恢复的提高三维重建精度的方法及其装置 | |
CN104240212A (zh) | 基于目标特征的isar图像融合方法 | |
CN104154929A (zh) | 基于星密集度的星图仿真器导航星优选方法 | |
CN107862733A (zh) | 基于视线更新算法的大规模场景实时三维重建方法和*** | |
CN104463962B (zh) | 基于gps信息视频的三维场景重建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |