CN113436335B - 一种增量式多视图三维重建方法 - Google Patents

一种增量式多视图三维重建方法 Download PDF

Info

Publication number
CN113436335B
CN113436335B CN202110681635.2A CN202110681635A CN113436335B CN 113436335 B CN113436335 B CN 113436335B CN 202110681635 A CN202110681635 A CN 202110681635A CN 113436335 B CN113436335 B CN 113436335B
Authority
CN
China
Prior art keywords
human body
dimensional
deformation
shape
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110681635.2A
Other languages
English (en)
Other versions
CN113436335A (zh
Inventor
金晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhaoyuan State Owned Assets Management Co ltd
Original Assignee
Zhaoyuan State Owned Assets Management Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhaoyuan State Owned Assets Management Co ltd filed Critical Zhaoyuan State Owned Assets Management Co ltd
Priority to CN202110681635.2A priority Critical patent/CN113436335B/zh
Publication of CN113436335A publication Critical patent/CN113436335A/zh
Application granted granted Critical
Publication of CN113436335B publication Critical patent/CN113436335B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提出了一种增量式多视图三维重建方法，首先，面向三维网格参数化的人体外形主成分分析，将人体形状参数转化为主成分系数；然后，针对人体三维外形预测设计损失函数，增加厚度变形、宽度变形和高度变形三个额外的输出单元，将人体外形网格的所有顶点平均误差作为损失函数，并将预测的人体外形和真实外形缩放到固定长度；最后，构造和训练网络回归模型，将人体二维轮廓和相机姿势输入编码器，对主成分系数、宽度变形、高度变形、厚度变形因子进行回归，应用逆主成分分析获得重构的人体三维外形；本发明简化了人工过程和配准过程，同时对于重建过程中无需考虑多视图的顺序和数量，适用范围广，使用方式简便。

Description

一种增量式多视图三维重建方法
技术领域
本发明属于人工智能技术领域的，具体地，涉及一种增量式多视图三维重建方法。
背景技术
传统的人体外形三维建模是通过测量人体不同部位的尺寸，采用几何方法进行参数拟合得到重建结果。随着人工智能技术的发展，基于深度学习方法可以通过图像重建解决人体三维建模问题。用于三维重建的卷积神经网络通常有一个编码器，该编码器将人体图像映射为特征向量，然后根据三维形状的表示方式将特征向量解码为所需的三维模型输出。常见的表示方式包括体素、网格和点云。
多视图三维重建可以克服自遮挡问题。基于卷积神经网络可以解决视图数量固定的情况的三维重建。当视图数量变化时需要使用长短期记忆神经网络框架，但如果输入视图的顺序发生改变，则输出不一致。
发明内容
本发明为了解决不同图像顺序、不同图像数量情况下的多视图三维模型重建问题，提出了一种增量式多视图三维重建方法，能够不受输入图像顺序的影响，并且可以推广到任意数量的视图。
本发明是通过以下方案实现的：
一种增量式多视图三维重建方法：
所述方法包括以下步骤：
步骤a：对图像进行人体二维轮廓处理，并将三维模型设计为标准网格结构；分析面向三维网格参数化的人体外形主成分；将人体形状参数转化为主成分系数；
步骤b：针对人体三维外形预测设计损失函数；将人体外形网格的所有顶点平均误差作为损失函数，并将预测的人体外形和真实外形缩放到固定长度；
步骤c：构造和训练网络回归模型，将人体二维轮廓和相机姿势输入编码器，应用逆主成分分析获得重构的人体三维外形。
进一步地，在步骤a中：
步骤a1：制作人体图像二维轮廓外形数据集；在各个角度对人体拍摄1000张以上照片，并将摄像头的外参标注到每个图像上，基于现有分割网络对图像进行人体二维轮廓处理；
步骤a2：设计人体三维模型标准网格；将人体三维模型设计为具有6980个顶点的标准网格，顶点坐标表示为P＝[pxi pyi pzi]T，其中pxi、pyi和pzi分别表示人体厚度、宽度和高度方向的每个顶点位置，i＝1,…,6980；
步骤a3：分析人体外形变化的主成分系数；将主成分分析方法应用于人体二维轮廓数据集，得到描述人体外形变化的主成分系数C＝[c0 c1 c2 c3 c4 c5 c6 c7 c8 c9]T，其中，c0表示身高；c1表示胸围；c2表示臀围；c3表示腹围；c4表示侧面压缩拉伸；c5表示肚子大但整体瘦；c6表示肚子变大其他部位瘦小；c7表示身体纵向挤压程度；c8表示横宽；c9表示肩宽。
进一步地，在步骤b中：
步骤b1：针对人体三维模型预测，增加厚度变形kt，宽度变形kw，高度变形kh的输出单元；变形后顶点坐标表示为P’＝[ktpxi kwpyi khpzi]T；
步骤b2：将人体外形网格的所有顶点平均误差作为损失函数；
将人体三维外形预测损失函数Loss设为人体外形参数变化所带来的6980个顶点通过欧几里得距离d(·,·)描述的平均误差，
Figure BDA0003122860090000021
步骤b3：在计算人体三维外形损失函数过程中，将预测的人体外形和真实外形缩放到固定长度170cm。
进一步地，在步骤c中：
步骤c1：将人体二维轮廓和相机姿势输入编码器，计算一维特征向量；再将多视图生成的多个特征向量通过池化层组合成单个特征向量；
步骤c2：解码器对主成分系数C，厚度变形kt，宽度变形kw，高度变形kh因子进行回归，线性激活函数应用于所有输出单元；
步骤c3：通过应用逆主成分分析，分别按厚度变形kt，宽度变形kw，高度变形kh进行水平和垂直缩放顶点，并缩放到整个人体，获得重构的人体三维外形。
本发明有益效果
(1)本发明的方法针对人体外形，通过分析主成分模型中的采样形状来绘制人体三维轮廓；
(2)本发明基于深度网络提取人体轮廓和相机姿态数据来推断人体的参数特征和外形，能够处理任意数量的输入视图，而不受输入顺序的影响，实现增量式稠密网格重建；
(3)本发明基于多视图三维重建模型进行增量式重建，简化了人工过程和配准过程，同时对于重建过程中无需考虑多视图的顺序和数量，通过本方法重建，适用范围广，使用方式简便。
附图说明
图1为本发明的方法流程图。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，一种增量式多视图三维重建方法：
所述方法包括以下步骤：
步骤a：对图像进行人体二维轮廓处理，并将三维模型设计为标准网格结构；分析面向三维网格参数化的人体外形主成分；将人体形状参数转化为主成分系数；
步骤b：针对人体三维外形预测设计损失函数；将人体外形网格的所有顶点平均误差作为损失函数，并将预测的人体外形和真实外形缩放到固定长度；
步骤c：构造和训练网络回归模型，将人体二维轮廓和相机姿势输入编码器，应用逆主成分分析获得重构的人体三维外形。
在步骤a中：
步骤a1：制作人体图像二维轮廓外形数据集；在各个角度对人体拍摄1000张以上照片，并将摄像头的外参标注到每个图像上，基于现有分割网络对图像进行人体二维轮廓处理；
步骤a2：设计人体三维模型标准网格；将人体三维模型设计为具有6980个顶点的标准网格，顶点坐标表示为P＝[pxi pyi pzi]T，其中pxi、pyi和pzi分别表示人体厚度、宽度和高度方向的每个顶点位置，i＝1,…,6980；
步骤a3：分析人体外形变化的主成分系数；将主成分分析方法应用于人体二维轮廓数据集，得到描述人体外形变化的主成分系数C＝[c0 c1 c2 c3 c4 c5 c6 c7 c8 c9]T，其中，c0表示身高；c1表示胸围；c2表示臀围；c3表示腹围；c4表示侧面压缩拉伸；c5表示肚子大但整体瘦；c6表示肚子变大其他部位瘦小；c7表示身体纵向挤压程度；c8表示横宽；c9表示肩宽。
在步骤b中：
步骤b1：为了在人体三维外形预测中提供更大的灵活性，针对人体三维模型预测，增加厚度变形kt，宽度变形kw，高度变形kh的输出单元；变形后顶点坐标表示为P’＝[ktpxikwpyi khpzi]T；
步骤b2：将人体外形网格的所有顶点平均误差作为损失函数；
将人体三维外形预测损失函数Loss设为人体外形参数变化所带来的6980个顶点通过欧几里得距离d(·,·)描述的平均误差，
Figure BDA0003122860090000041
步骤b3：在计算人体三维外形损失函数过程中，将预测的人体外形和真实外形缩放到固定长度170cm。
在步骤c中：
步骤c1：将人体二维轮廓和相机姿势输入编码器，计算一维特征向量；编码器复制的数量与视图的数量相同，再将多视图生成的多个特征向量通过池化层组合成单个特征向量；
步骤c2：解码器通过两个完全连通的层对主成分系数C，厚度变形kt，宽度变形kw，高度变形kh因子进行回归，线性激活函数应用于所有输出单元；
步骤c3：通过应用逆主成分分析，分别按厚度变形kt，宽度变形kw，高度变形kh进行水平和垂直缩放顶点，并缩放到整个人体，获得重构的人体三维外形。
以上对本发明所提出的一种增量式多视图三维重建方法，进行了详细介绍，对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (3)

1.一种增量式多视图三维重建方法，其特征在于：
所述方法包括以下步骤：
步骤a：对图像进行人体二维轮廓处理，并将三维模型设计为标准网格结构；分析面向三维网格参数化的人体外形主成分；将人体形状参数转化为主成分系数；
在步骤a中：
步骤a1：制作人体图像二维轮廓外形数据集；在各个角度对人体拍摄1000张以上照片，并将摄像头的外参标注到每个图像上，基于现有分割网络对图像进行人体二维轮廓处理；
步骤a2：设计人体三维模型标准网格；将人体三维模型设计为具有6980个顶点的标准网格，顶点坐标表示为P＝[pxi pyi pzi]T，其中pxi、pyi和pzi分别表示人体厚度、宽度和高度方向的每个顶点位置，i＝1,…,6980；
步骤a3：分析人体外形变化的主成分系数；将主成分分析方法应用于人体二维轮廓数据集，得到描述人体外形变化的主成分系数C＝[c0 c1 c2 c3 c4 c5 c6 c7 c8 c9]T，其中，c0表示身高；c1表示胸围；c2表示臀围；c3表示腹围；c4表示侧面压缩拉伸；c5表示肚子大但整体瘦；c6表示肚子变大其他部位瘦小；c7表示身体纵向挤压程度；c8表示横宽；c9表示肩宽；
步骤b：针对人体三维外形预测设计损失函数；将人体外形网格的所有顶点平均误差作为损失函数，并将预测的人体外形和真实外形缩放到固定长度；
步骤c：构造和训练网络回归模型，将人体二维轮廓和相机姿势输入编码器，应用逆主成分分析获得重构的人体三维外形。
2.根据权利要求1所述方法，其特征在于：在步骤b中：
步骤b1：针对人体三维模型预测，增加厚度变形kt，宽度变形kw，高度变形kh的输出单元；变形后顶点坐标表示为P’＝[ktpxi kwpyi khpzi]T；
步骤b2：将人体外形网格的所有顶点平均误差作为损失函数；
将人体三维外形预测损失函数Loss设为人体外形参数变化所带来的6980个顶点通过欧几里得距离d(·,·)描述的平均误差，
Figure FDA0003913556310000011
步骤b3：在计算人体三维外形损失函数过程中，将预测的人体外形和真实外形缩放到固定长度170cm。
3.根据权利要求2所述 方法，其特征在于：在步骤c中：
步骤c1：将人体二维轮廓和相机姿势输入编码器，计算一维特征向量；再将多视图生成的多个特征向量通过池化层组合成单个特征向量；
步骤c2：解码器对主成分系数C，厚度变形kt，宽度变形kw，高度变形kh因子进行回归，线性激活函数应用于所有输出单元；
步骤c3：通过应用逆主成分分析，分别按厚度变形kt，宽度变形kw，高度变形kh进行水平和垂直缩放顶点，并缩放到整个人体，获得重构的人体三维外形。
CN202110681635.2A 2021-06-18 2021-06-18 一种增量式多视图三维重建方法 Active CN113436335B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110681635.2A CN113436335B (zh) 2021-06-18 2021-06-18 一种增量式多视图三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110681635.2A CN113436335B (zh) 2021-06-18 2021-06-18 一种增量式多视图三维重建方法

Publications (2)

Publication Number Publication Date
CN113436335A CN113436335A (zh) 2021-09-24
CN113436335B true CN113436335B (zh) 2023-06-30

Family

ID=77756661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110681635.2A Active CN113436335B (zh) 2021-06-18 2021-06-18 一种增量式多视图三维重建方法

Country Status (1)

Country Link
CN (1) CN113436335B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102136155A (zh) * 2010-01-27 2011-07-27 首都师范大学 基于三维激光扫描数据的物体立面矢量化方法和***
CN111093994A (zh) * 2017-08-30 2020-05-01 洛桑联邦理工学院 通过断层反投影进行三维制造的方法和装置
CN111815757A (zh) * 2019-06-29 2020-10-23 浙江大学山东工业技术研究院 基于图像序列的大型构件三维重建方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654548B (zh) * 2015-12-24 2018-10-16 华中科技大学 一种基于大规模无序图像的多起点增量式三维重建方法
CN106447763A (zh) * 2016-07-27 2017-02-22 扬州大学 一种融合稀疏形变模型与主成分回归算法的颜面照片三维重建方法
CN110211223A (zh) * 2019-05-28 2019-09-06 哈工大新材料智能装备技术研究院（招远）有限公司 一种增量式多视图三维重建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102136155A (zh) * 2010-01-27 2011-07-27 首都师范大学 基于三维激光扫描数据的物体立面矢量化方法和***
CN111093994A (zh) * 2017-08-30 2020-05-01 洛桑联邦理工学院 通过断层反投影进行三维制造的方法和装置
CN111815757A (zh) * 2019-06-29 2020-10-23 浙江大学山东工业技术研究院 基于图像序列的大型构件三维重建方法

Also Published As

Publication number Publication date
CN113436335A (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
CN112396703B (zh) 一种单图像三维点云模型重建方法
Li et al. Robust flow-guided neural prediction for sketch-based freeform surface modeling
CN106600683B (zh) 一种面向骨骼ct序列图像的网格模型自适应重建方法
CN109829972B (zh) 一种面向连续帧点云的三维人体标准骨架提取方法
CN112085836A (zh) 一种基于图卷积神经网络的三维人脸重建方法
Lu et al. Attention-based dense point cloud reconstruction from a single image
CN101271591A (zh) 一种交互式多视点三维模型重建方法
Tang et al. Skeletonnet: A topology-preserving solution for learning mesh reconstruction of object surfaces from rgb images
CN110889893B (zh) 表达几何细节和复杂拓扑的三维模型表示方法和***
CN107610221B (zh) 一种基于同构模型表示的三维模型生成方法
CN111161405A (zh) 一种动物毛发三维重建方法
CN116385667B (zh) 三维模型的重建方法、纹理重构模型的训练方法以及装置
CN110717978B (zh) 基于单张图像的三维头部重建方法
CN112967373A (zh) 一种基于非线性3dmm的人脸图像特征编码方法
Yang et al. Multiscale mesh deformation component analysis with attention-based autoencoders
CN117095132B (zh) 基于隐式函数的三维重建方法和***
CN107610121A (zh) 一种肝脏统计形状模型初始位姿设定方法
Huang et al. Meshode: A robust and scalable framework for mesh deformation
Yang et al. Neural parametric surfaces for shape modeling
CN113989441A (zh) 基于单张人脸图像的三维漫画模型自动生成方法及***
CN113436335B (zh) 一种增量式多视图三维重建方法
Tan et al. Variational autoencoders for localized mesh deformation component analysis
CN116758219A (zh) 基于神经网络的区域感知多视角立体匹配三维重建方法
CN116797733A (zh) 实时三维物体动态重建方法
CN115131245A (zh) 一种基于注意力机制的点云补全方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant