CN110288696A - 一种完备一致生物体三维特征表征模型的建立方法 - Google Patents

一种完备一致生物体三维特征表征模型的建立方法 Download PDF

Info

Publication number
CN110288696A
CN110288696A CN201910511671.7A CN201910511671A CN110288696A CN 110288696 A CN110288696 A CN 110288696A CN 201910511671 A CN201910511671 A CN 201910511671A CN 110288696 A CN110288696 A CN 110288696A
Authority
CN
China
Prior art keywords
model
dimensional
organism
global
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910511671.7A
Other languages
English (en)
Other versions
CN110288696B (zh
Inventor
彭聪
曾聪
缪卫东
王雁刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN201910511671.7A priority Critical patent/CN110288696B/zh
Publication of CN110288696A publication Critical patent/CN110288696A/zh
Application granted granted Critical
Publication of CN110288696B publication Critical patent/CN110288696B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种完备一致生物体三维特征表征模型的建立方法，通过结合全局/局部缝合形状模型(GLoSS)和骨骼蒙皮算法(LBS)创新出一个新的生物体三维模型。首先运用全局/局部缝合形状模型(GLoSS)，之后再对其模型中的参数进行配准，把配准得到的参数再结合骨骼蒙皮算法(LBS)从而得出最终的生物体三维模型。本发明保证3D数据具有一定的真实性，建立的一致生物体三维特征表征模型可保证姿态与形态的变形，得出的3D动物模型精度更高。

Description

一种完备一致生物体三维特征表征模型的建立方法
技术领域
本发明涉及一种完备一致生物体三维特征表征模型的建立方法，属于计算机视觉技术领域。
背景技术
动物的检测、跟踪以及三维模型的重建在生物学、生态学、农业以及游戏娱乐产业有着诸多应用，但是目前的大部分的研究方向在于人体三维模型的建立，这是因为第一，相比于人类，动物的种类更多，各个动物种类之间的差异较大，三维模型难以建立；第二，与人类相比，难以获得动物的3D数据，大部分动物在野外，三维扫描工具使用不方便，而且动物不像人类能做出各种指令下的动作从而获得3D数据。
目前动物三维模型的建立方法之一是通过三维扫描人工制作的三维模型来获得动物的数据从而建立的模型。但是这种方式获得的数据来源有限，而是缺乏真实性。另外有的通过在动物图片上通过人工标记出关键点，通过这些关键点建立动物的3D模型。但是这些方法都存着模型精度不高，动物模型种类少，获取3D数据不方便等等局限性。
发明内容
发明目的：为了克服现有技术中存在的不足，本发明提供一种完备一致生物体三维特征表征模型的建立方法，本发明采用以全局/局部缝合形状模型(GLoSS)为基础，再结合骨骼蒙皮算法(LBS)从而建立一种完备一致生物体三维特征表征模型。
技术方案：为实现上述目的，本发明采用的技术方案为：
一种完备一致生物体三维特征表征模型的建立方法，包括以下步骤：
步骤S1.建立全局/局部缝合形状模型GLoSS；
步骤S11.获取动物的三维特征，根据动物的三维特征确定一个三维动物模板网格，并确
定其蒙皮权重；
S12.确定全局/局部缝合形状模型GLoSS中的参数：包括局部定位Ii，局部的三维旋转矩阵ri∈R3×1，内部的形态参数和姿态参数πi＝{Ii,ri,si,di}为局部i的变量集，i为模型的局部索引且i∈(1...N)，Π＝{I,r,s,d}为所有部分的变量集，则三维模型网格顶点坐标向量计算公式如下：
其中，Ii为模型中局部的定位，ri为局部的三维旋转矩阵，si为内部的形态参数，di为姿
态参数，为三维模型网格顶点坐标，R(ri)为整体的三维旋转矩阵，ni是模型局部
的顶点数量，是局部坐标系中的坐标点，计算公式如下：
pi＝ti+mp,i+Bs,isi+Bp,idi
其中，表示局部的模板，是平均姿态偏移的向量，代表形态偏移矩阵，是决定姿态变形的矩阵；
步骤S2.把全局/局部缝合形状模型GLoSS与三维扫描图初始配准；
步骤S3.在全局/局部缝合形状模型GLoSS的基础上结合骨骼蒙皮算法LBS建立最终的生物体三维特征表征模型；
步骤S31.姿态参数的标准化；经过步骤S2的初始配准后，构建出第一个生物体形状模型；根据全局/局部缝合形状模型GLoSS估计的生物体姿势参数，采用线性骨骼蒙皮算法LBS，将所有的配准模板统一成相同的姿势，在对全局/局部缝合形状模型GLoSS镜像网格后，对顶点进行平均处理，以获得初始姿势下的配准；在初始姿势下的配准中，下腭和舌头的点用线性模型从三维动物模板网格中学***滑整个网格，从而完成姿势的规范化；实现初始姿势下，欧氏空间中形状变化的统计模型的建立；计算平均形状和主成分，即可捕捉生物体之间的形状差异；
步骤S32.确定最终的生物体三维模型；
首先运用骨骼蒙皮算法，其方程为 是网格模型中所有的顶点，J表示关节点的位置，是姿态参数，Ω表示蒙皮权重；中的各个点经过变形之后得到变形公式如下：
其中，ωk,i是蒙皮权重矩阵Ω中的元素，代表着顶点i受到第k个关节点的影响系数，为静止状态下的姿态参数，θj为局部对应于关节点的旋转矩阵，为零向量，jj为J中每个对应于单个关节中心j的三维向量；
其次，根据步骤S2的配准之后，得到决定生物体形态的方程生物体形态与姿态参数之间的关系方程以及关节点与形态参数之间的关系方程对姿态参数标准化，之后通过计算平均的形状参数和它的主要成分，捕捉动物之间的形状差异来完成最终生物体三维模型的建立，最终得到的生物体三维模型为其中为形态参数，为姿态参数，γ为全局平移矩阵，三维模型网格中各个点的变形公式如下：
其中，分别为和中的元素。
优选的：步骤S11中将三维动物模板网格划分成33个部分，每个部分分别是一个多边形。
优选的：步骤S2中采用梯度下降法来优化全局/局部缝合形状模型GLoSS，使得全局/局部缝合形状模型GLoSS更接近于三维扫描图。
优选的：步骤S2中采用ARAP正则化技术对网格顶点进行无模型配准以捕捉细节，完成与三维扫描图初始配准。
本发明提出的基于视觉一种完备一致生物体三维特征表征模型的建立方法与现有的技术相比优点在于：
1.以全局/局部缝合形状模型(GLoSS)为基础，使之与来源于扫描博物馆的动物模型样本相配准，这样可以保证3D数据具有一定的真实性。
2.结合全局/局部缝合形状模型(GLoSS)与骨骼蒙皮算法(LBS)，这样建立的一致生物体三维特征表征模型可保证姿态与形态的变形，得出的3D动物模型精度更高。
附图说明
图1为完备一致生物体三维特征表征模型建立方法流程图；
图2为全局/局部缝合形状模型(GLoSS)配准流程图；
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
一种完备一致生物体三维特征表征模型的建立方法，首先运用全局/局部缝合形状模型(GLoSS)，之后再对其模型中的参数进行配准，把配准得到的参数再结合骨骼蒙皮算法(LBS)从而得出最终的生物体三维模型，如图1所示，本发明的具体实施方法如下：
步骤一、建立全局/局部缝合形状模型(GLoSS)。
具体建立方法如下：
(1)定义一个三维动物模板网格，这里选取一个狮子的三维模型网格，并定义其蒙皮权重。之后人为地把此狮子三维模板网格划分成33个部分，每个部分分别是一个多边形。
(2)确定全局/局部缝合形状模型(GLoSS)中的参数：
首先令i为模型的局部索引且i∈(1...N)。此模型的参数包括局部定位Ii，局部的三维旋转矩阵ri∈R3×1，内部的形态参数和姿态参数令πi＝{Ii,ri,si,di}为局部i的变量集，∏＝{I,r,s,d}为所有部分的变量集。，则三维模型网格顶点坐标向量计算公式如下：
这里ni是模型局部的顶点数量。是局部坐标系中的坐标点，它的计算公式如下：
pi＝ti+mp,i+Bs,isi+Bp,idi
其中，表示局部的模板，是平均姿态偏移的向量，代表形态偏移矩阵，是决定姿态变形的矩阵。
步骤二、把全局/局部缝合形状模型(GLoSS)与三维扫描图初始配准。具体配准方法分为两个步骤：
(1)首先采用梯度下降法来优化模型，这使得模型更接近于三维扫描图
(2)然后采用ARAP正则化技术对网格顶点进行无模型配准以捕捉细节
步骤三、在全局/局部缝合形状模型(GLoSS)的基础上建立最终的生物体三维特征表征模型，具体步骤如下：
(1)姿态参数的标准化。经过初始配准，构建出第一个生物体形状模型。根据GLoSS模型估计的生物体姿势参数，采用线性骨骼蒙皮算法(LBS)，将所有的配准模板统一成相同的姿势。最终得到的三维生物体网格是不对称的，这是由于：不准确的姿势估计，线性混合蒙皮的限制，玩具可能不是对称的以及身体两侧的差异造成不同的变形。为了解决这个问题，我们在镜像网格后，对顶点进行平均处理，以获得初始姿势下的配准。此外，当动物闭着嘴时，三维扫描无法观察到嘴巴的内部。为了解决这个问题，在配准中，下腭和舌头的点可以用一个简单的线性模型从模板中学***滑整个网格。从而完成姿势的规范化。姿势规范化消除了部分旋转对顶点的非线性影响。实现初始姿势下，欧氏空间中形状变化的统计模型的建立。计算平均形状和主成分，即可捕捉生物体之间的形状差异。
(2)确定最终的生物体三维模型。
首先运用骨骼蒙皮算法，公式如下 是网格模型中所有的顶点，J表示关节点的位置，是姿态参数，Ω表示蒙皮权重。中的各个点经过变形之后得到变形公式如下
其中ωk,i是蒙皮权重矩阵Ω中的元素，代表着顶点i受到第k个关节点的影响系数。
其次，根据步骤二的配准之后，可以得到决定生物体形态的方程生物体形态与姿态参数之间的关系方程以及关节点与形态参数之间的关系方程
另外还需要对姿态参数标准化，这样顶点上局部旋转非线性的影响得以消除。之后我们通过计算平均的形状参数和它的主要成分，这些可以捕捉动物之间的形状差异来完成最终生物体三维模型的建立。最终得到的生物体三维模型为其中为形态参数，为姿态参数，γ为全局平移矩阵。，三维模型网格中各个点的变形公式如下：
其中分别为和中的元素。
综上所述，本发明结合全局/局部缝合形状模型(GLoSS)和骨骼蒙皮算法(LBS)创新出一个新的生物体三维模型，首先运用全局/局部缝合形状模型(GLoSS)，之后再对其模型中的参数进行配准，把配准得到的参数再结合骨骼蒙皮算法(LBS)从而得出最终的生物体三维模型。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种完备一致生物体三维特征表征模型的建立方法，其特征在于,包括以下步骤：
步骤S1.建立全局/局部缝合形状模型GLoSS；
步骤S11.获取动物的三维特征，根据动物的三维特征确定一个三维动物模板网格，并确定其蒙皮权重；
S12.确定全局/局部缝合形状模型GLoSS中的参数：包括局部定位Ii，局部的三维旋转矩阵ri∈R3×1，内部的形态参数和姿态参数πi＝{Ii,ri,si,di}为局部i的变量集，i为模型的局部索引且i∈(1...N)，Π＝{I,r,s,d}为所有部分的变量集，则三维模型网格顶点坐标向量计算公式如下：
其中，Ii为模型中局部的定位，ri为局部的三维旋转矩阵，si为内部的形态参数，di为姿态参数，为三维模型网格顶点坐标，R(ri)为整体的三维旋转矩阵，ni是模型局部的顶点数量，是局部坐标系中的坐标点，计算公式如下：
pi＝ti+mp,i+Bs,isi+Bp,idi
其中，表示局部的模板，是平均姿态偏移的向量，代表形态偏移矩阵，是决定姿态变形的矩阵；
步骤S2.把全局/局部缝合形状模型GLoSS与三维扫描图初始配准；
步骤S3.在全局/局部缝合形状模型GLoSS的基础上结合骨骼蒙皮算法LBS建立最终的生物体三维特征表征模型；
步骤S31.姿态参数的标准化；经过步骤S2的初始配准后，构建出第一个生物体形状模型；根据全局/局部缝合形状模型GLoSS估计的生物体姿势参数，采用线性骨骼蒙皮算法LBS，将所有的配准模板统一成相同的姿势，在对全局/局部缝合形状模型GLoSS镜像网格后，对顶点进行平均处理，以获得初始姿势下的配准；在初始姿势下的配准中，下腭和舌头的点用线性模型从三维动物模板网格中学***滑整个网格，从而完成姿势的规范化；实现初始姿势下，欧氏空间中形状变化的统计模型的建立；计算平均形状和主成分，即可捕捉生物体之间的形状差异；
步骤S32.确定最终的生物体三维模型；
首先运用骨骼蒙皮算法，其方程为 是网格模型中所有的顶点，J表示关节点的位置，是姿态参数，Ω表示蒙皮权重；中的各个点经过变形之后得到变形公式如下：
其中，ωk,i是蒙皮权重矩阵Ω中的元素，代表着顶点i受到第k个关节点的影响系数，为静止状态下的姿态参数，θj为局部对应于关节点的旋转矩阵，为零向量，jj为J中每个对应于单个关节中心j的三维向量；
其次，根据步骤S2的配准之后，得到决定生物体形态的方程生物体形态与姿态参数之间的关系方程以及关节点与形态参数之间的关系方程对姿态参数标准化，之后通过计算平均的形状参数和它的主要成分，捕捉动物之间的形状差异来完成最终生物体三维模型的建立，最终得到的生物体三维模型为其中为形态参数，为姿态参数，γ为全局平移矩阵，三维模型网格中各个点的变形公式如下：
其中，分别为和中的元素。
2.根据权利要求1所述完备一致生物体三维特征表征模型的建立方法，其特征在于：步骤S11中将三维动物模板网格划分成33个部分，每个部分分别是一个多边形。
3.根据权利要求2所述完备一致生物体三维特征表征模型的建立方法，其特征在于：步骤S2中采用梯度下降法来优化全局/局部缝合形状模型GLoSS，使得全局/局部缝合形状模型GLoSS更接近于三维扫描图。
4.根据权利要求3所述完备一致生物体三维特征表征模型的建立方法，其特征在于：步骤S2中采用ARAP正则化技术对网格顶点进行无模型配准以捕捉细节，完成与三维扫描图初始配准。
CN201910511671.7A 2019-06-13 2019-06-13 一种完备一致生物体三维特征表征模型的建立方法 Active CN110288696B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910511671.7A CN110288696B (zh) 2019-06-13 2019-06-13 一种完备一致生物体三维特征表征模型的建立方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910511671.7A CN110288696B (zh) 2019-06-13 2019-06-13 一种完备一致生物体三维特征表征模型的建立方法

Publications (2)

Publication Number Publication Date
CN110288696A true CN110288696A (zh) 2019-09-27
CN110288696B CN110288696B (zh) 2023-01-06

Family

ID=68005270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910511671.7A Active CN110288696B (zh) 2019-06-13 2019-06-13 一种完备一致生物体三维特征表征模型的建立方法

Country Status (1)

Country Link
CN (1) CN110288696B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785712A (zh) * 2021-01-25 2021-05-11 新东方教育科技集团有限公司 三维模型的生成方法、装置和电子设备
CN113160418A (zh) * 2021-05-10 2021-07-23 上海商汤智能科技有限公司 三维重建方法、装置和***、介质及计算机设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102467753A (zh) * 2010-11-04 2012-05-23 中国科学院深圳先进技术研究院 基于骨架配准的时变点云重建方法及***
CN105006016A (zh) * 2015-05-21 2015-10-28 北京航空航天大学 一种贝叶斯网络约束的部件级三维模型构建方法
CN108320326A (zh) * 2018-01-12 2018-07-24 东南大学 一种针对人手部的三维建模方法
CN108629294A (zh) * 2018-04-17 2018-10-09 华南理工大学 基于变形图的人体与人脸网格模板拟合方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102467753A (zh) * 2010-11-04 2012-05-23 中国科学院深圳先进技术研究院 基于骨架配准的时变点云重建方法及***
CN105006016A (zh) * 2015-05-21 2015-10-28 北京航空航天大学 一种贝叶斯网络约束的部件级三维模型构建方法
CN108320326A (zh) * 2018-01-12 2018-07-24 东南大学 一种针对人手部的三维建模方法
CN108629294A (zh) * 2018-04-17 2018-10-09 华南理工大学 基于变形图的人体与人脸网格模板拟合方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785712A (zh) * 2021-01-25 2021-05-11 新东方教育科技集团有限公司 三维模型的生成方法、装置和电子设备
CN113160418A (zh) * 2021-05-10 2021-07-23 上海商汤智能科技有限公司 三维重建方法、装置和***、介质及计算机设备
WO2022237249A1 (zh) * 2021-05-10 2022-11-17 上海商汤智能科技有限公司 三维重建方法、装置和***、介质及计算机设备

Also Published As

Publication number Publication date
CN110288696B (zh) 2023-01-06

Similar Documents

Publication Publication Date Title
Yu et al. Doublefusion: Real-time capture of human performances with inner body shapes from a single depth sensor
Zuffi et al. Lions and tigers and bears: Capturing non-rigid, 3d, articulated shape from images
CN109584353B (zh) 一种基于单目视频重建三维人脸表情模型的方法
CN102999942B (zh) 三维人脸重建方法
WO2019219013A1 (zh) 联合优化人体体态与外观模型的三维重建方法及***
CN103733226B (zh) 快速的有关节运动的跟踪
CN102971768B (zh) 姿势状态估计装置及姿势状态估计方法
CN104008564B (zh) 一种人脸表情克隆方法
CN113012282B (zh) 三维人体重建方法、装置、设备及存储介质
CN107967463B (zh) 一种基于合成图像和深度学习的虚拟人脸识别方法
CN109697688A (zh) 一种用于图像处理的方法和装置
US20100259538A1 (en) Apparatus and method for generating facial animation
CN106355147A (zh) 一种活体人脸检测头部姿态回归器的获取方法及检测方法
CN108629294A (zh) 基于变形图的人体与人脸网格模板拟合方法
WO2006049147A1 (ja) 三次元形状推定システム及び画像生成システム
CN108363973A (zh) 一种无约束的3d表情迁移方法
CN108154104A (zh) 一种基于深度图像超像素联合特征的人体姿态估计方法
CN110288696A (zh) 一种完备一致生物体三维特征表征模型的建立方法
CN114422832A (zh) 主播虚拟形象生成方法及装置
CN112365589B (zh) 一种虚拟三维场景展示方法、装置及***
CN106408654B (zh) 一种三维地图的创建方法及***
CN102682473A (zh) 一种虚拟服装的实时物理建模方法
Hu et al. A dense point-to-point alignment method for realistic 3D face morphing and animation
Lee et al. Noniterative 3D face reconstruction based on photometric stereo
CN113112586B (zh) 基于先验模型的实时人体三维重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant