CN109859306A - 一种基于机器学习的从照片中提取人体模型的方法 - Google Patents
一种基于机器学习的从照片中提取人体模型的方法 Download PDFInfo
- Publication number
- CN109859306A CN109859306A CN201811579410.0A CN201811579410A CN109859306A CN 109859306 A CN109859306 A CN 109859306A CN 201811579410 A CN201811579410 A CN 201811579410A CN 109859306 A CN109859306 A CN 109859306A
- Authority
- CN
- China
- Prior art keywords
- human body
- model
- manikin
- machine learning
- extracting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000010801 machine learning Methods 0.000 title claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 19
- 238000013507 mapping Methods 0.000 claims description 12
- 210000000689 upper leg Anatomy 0.000 claims description 9
- 210000002414 leg Anatomy 0.000 claims description 6
- 210000001699 lower leg Anatomy 0.000 claims description 6
- 230000009977 dual effect Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 4
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提供了一种基于机器学习的从照片中提取人体模型的方法，它包括以下步骤：将训练图片划分区域，人工标记人体图片，得到训练数据；使用训练数据和标准人体模型模板，训练得到人体3D模型；结合人体3D模型得到待测人体图像的3D模型和贴图的UV坐标；输出带有贴图的3D模型。本发明可以使用普通照片，迅速为人体建模，使用深度神经网络，能够在各种复杂的场景中，以很高的精度还原人体。本发明不需要景深摄像头或者多组摄像头，就能得到的3D模型对应人体的真实形态，为各个行业，比如服装、健康等提供了广阔的应用场景。
Description
技术领域
本发明属于人体三维建模领域，具体涉及一种基于机器学习的从照片中提取人体模型的方法。
背景技术
在当前领域，主要有两类人体三维建模的方法：第一类是着眼一组关节，比如颈部，比如肘部，得到人体的一个简单的骨骼模型图，这部分数据不包含分析对象的身体尺度信息，分析的信息非常有限。第二类是借助3D扫描技术，使用多组摄像头，以拍摄多张的方式，拼合出一个3D模型，这种方法得到的模型不能排除衣服，发型对身体的影响。
目前关于人体三维建模的方法分析的信息非常有限，不能排除衣服、发型对身体模型的影响，得到的模型应用领域非常有限。深度摄像头多角度拍照方法拿到的贴图然后拼合得到的模型，没有身体尺度数据，不能为3D感知提供基础。
发明内容
本发明的目的是提供一种基于机器学习的从照片中提取人体模型的方法，本发明不需要景深摄像头或者多组摄像头，就能得到的3D模型对应人体的真实形态，为各个行业，比如服装、健康等提供了广阔的应用场景。
为实现上述发明目的，本发明采用以下技术方案予以实现：
一种基于机器学习的从照片中提取人体模型的方法，它包括以下步骤：
(1)将训练图像划分区域，进行人工标记，得到训练数据；
(2)根据训练数据和标准人体模型模板，训练得到人体3D模型；
(3)输入待测人体图像，结合人体3D模型得到待测人体图像的3D模型和贴图的UV坐标；
(4)对待测人体图像的3D模型进行贴图，输出带有贴图的3D模型。
进一步的，所述步骤(2)中标准人体模型模版为：
其中，每一个都对应一个3维空间人体模型的顶点，X代表了标准人体模型模版顶点的集合。
进一步的，所述标准人体模型模版为一个由三角形组成的标准的3D网格，其中三角形数量是6000个。
进一步的，所述步骤(1)中人工标记的部位为身体的边缘和人体的关键部位。
进一步的，所述步骤(1)中划分区域为左侧头部，右侧头部，颈部，左上臂，左下臂，右下臂，右上臂，躯干，左手，右手，左大腿，右大腿，左小腿，右小腿，左脚，右脚，其中，上臂、下臂、大腿、小腿都是由正反两面两部分构成。
进一步的，所述步骤(3)中，待测人体是人体3D模型的拓扑变化和向量映射，双向映射ψ，从3D坐标到2D空间从而 ψ：代表映射关系，uj：2D空间坐标，xj：人体3D模型坐标，代表3Dmesh中的一个顶点。
进一步的，所述步骤(4)中使用的贴图为待测目标人体图像。
与现有技术相比，本发明的优点和技术效果是：本发明提供了通过深度神经网络来分析人体全身照片得到精准人体三维模型的方法，本发明可以使用普通照片，迅速为人体建模，使用深度神经网络，能够在各种复杂的场景中，以很高的精度还原人体。该方法的原理可以普遍应用于其他2D到3D转化的领域，在更细的坐标切分的场下，人脸建模、人耳建模、人脚建模都可以做到。
利用本发明的技术方案，解决了以下技术问题：人体在复杂的背景下的精准轮廓分离，人体的语义分割；人体轮廓要排除宽松衣物、发型的影响，做到最大程度上逼近人体不穿衣服的情况下的身体形态。
本发明通过使用多个深度神经网络，实现了人体检测，人体部位语义分割，从2D图片到3D模型的映射重建。本发明不需要景深摄像头或者多组摄像头，就能得到的3D模型对应人体的真实形态，为各个行业，比如服装、健康等提供了广阔的应用场景。
附图说明
图1为本发明提出的一种基于机器学习的从照片中提取人体模型的方法的流程示意图；
图2为人体主要部位标记的示意图；
图3为将人的图像作为输入，输出带有贴图的3D模型的示意图。
具体实施方式
下面结合具体实施方式对本发明的技术方案作进一步详细的说明。
本发明利用训练数据的标记方法快速标记，进行人体语意划分，能够在复杂背景，不同距离的场景下，精准重建的身体的算法模型。
实施例1
如图1所示，本实施例提供了一种基于机器学习的从照片中提取人体模型的方法，具体步骤如下：
1、选定训练人群，对其进行各种场景下的拍照，将训练图片中的人体划分为 24个语意区域，关键部位包括左侧头部、右侧头部、颈部、左上臂、右上臂、左下臂、右下臂、躯干、左手、右手、左大腿、右大腿、左小腿、右小腿、左脚、右脚，其中，上臂、下臂、大腿、小腿都是由正反两面两部分构成。对关键点进行人工标记，积累大量的图片数据。在训练图片上，需要有人工标注身体的边缘 (不是衣服的边缘)和人体的关键部位标记，见图2。
2、将步骤1中得到的图片数据作为训练数据，同时，使用标准人体模型模板对人体进行建模，训练得到人体3D模型。其中，标准人体模型模版每一个都对应一个3维空间人体模型的顶点， X代表了标准人体模型模版顶点的集合；该标准人体模型模板是一个由三角形组成的标准的3D网格，其中三角形数量是6000个。
3、定义机器学习模型时输入的是图片，从图片中捕获的特征可以实现一组映射，完成2D和3D的点对点映射，从这组映射中，可以得到目标人体的3D 模型，即深度模型，和贴图的UV坐标。具体如下：
输入待测目标人体的图片，图片为RGB格式，可以为任意姿势的人体图片；待测目标人体是人体3D模型的拓扑变化和向量映射。
双向映射ψ，从3D坐标到2D空间从而 其中，ψ：代表映射关系，uj：从待测目标人体图片上获取的2D空间坐标， xj：人体3D模型坐标，代表3Dmesh中的一个顶点。3D的人体模型模版是由很多三角形构成的，三角形的拉伸，旋转、位移对应人体的变化，抽取一组拓扑向量映射，代表这些变化。
4、直接将待测目标人体图片作为贴图，根据步骤3中得到贴图的UV坐标，为目标人体的3D模型着色贴图，输出带有贴图的3D模型，见图3。本步骤是给完成的3D模型进行贴图，UV是贴图的坐标，需要确定照片上每个像素和3D 的对应关系，U和V可以单独训练，目的在于降低计算的复杂度。
基于训练数据，以上模型的建立依托于一个卷积神经网络(CNN)来完成。本发明的目的是把图片上的每一个像素映射到目标模版的某个区域，当然也包括不属于人体的像素，映射会产生一个空输出，会被忽略掉。这是一个典型的回归计算。
以上实施例仅用以说明本发明的技术方案，而非对其进行限制；尽管参照前述实施例对本发明进行了详细的说明，对于本领域的普通技术人员来说，依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明所要求保护的技术方案的精神和范围。
Claims (7)
1.一种基于机器学习的从照片中提取人体模型的方法，其特征在于：它包括以下步骤：
(1)将训练图像划分区域，进行人工标记，得到训练数据；
(2)根据训练数据和标准人体模型模板，训练得到人体3D模型；
(3)输入待测人体图像，结合人体3D模型得到待测人体图像的3D模型和贴图的UV坐标；
(4)对待测人体图像的3D模型进行贴图，输出带有贴图的3D模型。
2.根据权利要求1所述的基于机器学习的从照片中提取人体模型的方法，其特征在于：所述步骤(2)中标准人体模型模版为：
其中，每一个都对应一个3维空间人体模型的顶点，X代表了标准人体模型模版顶点的集合。
3.根据权利要求2所述的基于机器学习的从照片中提取人体模型的方法，其特征在于：所述标准人体模型模版为一个由三角形组成的标准的3D网格，其中三角形数量是6000个。
4.根据权利要求1所述的基于机器学习的从照片中提取人体模型的方法，其特征在于：所述步骤(1)中人工标记的部位为身体的边缘和人体的关键部位。
5.根据权利要求1所述的基于机器学习的从照片中提取人体模型的方法，其特征在于：所述步骤(1)中划分区域为左侧头部，右侧头部，颈部，左上臂，左下臂，右下臂，右上臂，躯干，左手，右手，左大腿，右大腿，左小腿，右小腿，左脚，右脚，其中，上臂、下臂、大腿、小腿都是由正反两面两部分构成。
6.根据权利要求1所述的基于机器学习的从照片中提取人体模型的方法，其特征在于：所述步骤(3)中，待测人体是人体3D模型的拓扑变化和向量映射，双向映射ψ，从3D坐标到2D空间从而 ψ：代表映射关系，uj：2D空间坐标，xj：人体3D模型坐标，代表3Dmesh中的一个顶点。
7.根据权利要求1所述的基于机器学习的从照片中提取人体模型的方法，其特征在于：所述步骤(4)中使用的贴图为待测目标人体图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811579410.0A CN109859306A (zh) | 2018-12-24 | 2018-12-24 | 一种基于机器学习的从照片中提取人体模型的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811579410.0A CN109859306A (zh) | 2018-12-24 | 2018-12-24 | 一种基于机器学习的从照片中提取人体模型的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109859306A true CN109859306A (zh) | 2019-06-07 |
Family
ID=66891950
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811579410.0A Pending CN109859306A (zh) | 2018-12-24 | 2018-12-24 | 一种基于机器学习的从照片中提取人体模型的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109859306A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111311732A (zh) * | 2020-04-26 | 2020-06-19 | 中国人民解放军国防科技大学 | 3d人体网格获取方法及装置 |
| CN112070896A (zh) * | 2020-09-07 | 2020-12-11 | 哈尔滨工业大学（威海） | 一种基于3d建模的人像自动瘦身方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104182765A (zh) * | 2014-08-21 | 2014-12-03 | 南京大学 | 一种互联网图像驱动的三维模型最优视图自动选择方法 |
| US20150213646A1 (en) * | 2014-01-28 | 2015-07-30 | Siemens Aktiengesellschaft | Method and System for Constructing Personalized Avatars Using a Parameterized Deformable Mesh |
| CN105653742A (zh) * | 2014-11-10 | 2016-06-08 | 江苏中佑石油机械科技有限责任公司 | 一种三维模拟试衣***中服装模型的建立方法 |
| CN107545598A (zh) * | 2017-07-31 | 2018-01-05 | 深圳市蒜泥科技有限公司 | 一种人体三维模型合成及身体数据获取方法 |
| CN107705355A (zh) * | 2017-09-08 | 2018-02-16 | 郭睿 | 一种基于多张图片的3d人体建模方法及装置 |
| CN108805090A (zh) * | 2018-06-14 | 2018-11-13 | 广东工业大学 | 一种基于平面网格模型的虚拟试妆方法 |
| CN108805977A (zh) * | 2018-06-06 | 2018-11-13 | 浙江大学 | 一种基于端到端卷积神经网络的人脸三维重建方法 |
-
2018
- 2018-12-24 CN CN201811579410.0A patent/CN109859306A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150213646A1 (en) * | 2014-01-28 | 2015-07-30 | Siemens Aktiengesellschaft | Method and System for Constructing Personalized Avatars Using a Parameterized Deformable Mesh |
| CN104182765A (zh) * | 2014-08-21 | 2014-12-03 | 南京大学 | 一种互联网图像驱动的三维模型最优视图自动选择方法 |
| CN105653742A (zh) * | 2014-11-10 | 2016-06-08 | 江苏中佑石油机械科技有限责任公司 | 一种三维模拟试衣***中服装模型的建立方法 |
| CN107545598A (zh) * | 2017-07-31 | 2018-01-05 | 深圳市蒜泥科技有限公司 | 一种人体三维模型合成及身体数据获取方法 |
| CN107705355A (zh) * | 2017-09-08 | 2018-02-16 | 郭睿 | 一种基于多张图片的3d人体建模方法及装置 |
| CN108805977A (zh) * | 2018-06-06 | 2018-11-13 | 浙江大学 | 一种基于端到端卷积神经网络的人脸三维重建方法 |
| CN108805090A (zh) * | 2018-06-14 | 2018-11-13 | 广东工业大学 | 一种基于平面网格模型的虚拟试妆方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111311732A (zh) * | 2020-04-26 | 2020-06-19 | 中国人民解放军国防科技大学 | 3d人体网格获取方法及装置 |
| CN112070896A (zh) * | 2020-09-07 | 2020-12-11 | 哈尔滨工业大学（威海） | 一种基于3d建模的人像自动瘦身方法 |
| CN112070896B (zh) * | 2020-09-07 | 2022-05-03 | 哈尔滨工业大学（威海） | 一种基于3d建模的人像自动瘦身方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xu et al. | Denserac: Joint 3d pose and shape estimation by dense render-and-compare | |
| CN105631861B (zh) | 结合高度图从无标记单目图像中恢复三维人体姿态的方法 | |
| CN104008564B (zh) | 一种人脸表情克隆方法 | |
| CN108288072A (zh) | 一种基于生成对抗网络的面部表情合成方法 | |
| CN104794722A (zh) | 利用单个Kinect计算着装人体三维净体模型的方法 | |
| CN107067429A (zh) | 基于深度学习的人脸三维重建和人脸替换的视频编辑***及方法 | |
| Fyffe et al. | Multi‐view stereo on consistent face topology | |
| CN104346824A (zh) | 基于单张人脸图像自动合成三维表情的方法及装置 | |
| CN103914699A (zh) | 一种基于色彩空间的自动唇彩的图像增强的方法 | |
| CN103606190A (zh) | 单张人脸正面照片自动转换为三维人脸模型的方法 | |
| CN103473801A (zh) | 一种基于单摄像头与运动捕捉数据的人脸表情编辑方法 | |
| CN101882326A (zh) | 基于中国人全面部结构形数据的三维颅面复原方法 | |
| CN110074788A (zh) | 一种基于机器学习的身体数据获取方法和装置 | |
| CN104954780A (zh) | 一种适用于高清2d/3d转换的dibr虚拟图像修复方法 | |
| CN111950430B (zh) | 基于颜色纹理的多尺度妆容风格差异度量及迁移方法、*** | |
| CN107578435A (zh) | 一种图像深度预测方法及装置 | |
| EP4217974A1 (en) | Methods and systems for personalized 3d head model deformation | |
| CN113570684A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN109655011B (zh) | 一种人体建模维度测量的方法及*** | |
| CN111127642A (zh) | 一种人脸三维重建方法 | |
| KR20230085931A (ko) | 얼굴 이미지에서 색상을 추출하기 위한 방법 및 시스템 | |
| Zhang et al. | Data-driven flower petal modeling with botany priors | |
| Bang et al. | Estimating garment patterns from static scan data | |
| CN114821675A (zh) | 对象的处理方法、***和处理器 | |
| CN117095128A (zh) | 一种无先验多视角人体服饰编辑方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190607 |