CN111612887B - 一种人体测量方法和装置 - Google Patents

一种人体测量方法和装置 Download PDF

Info

Publication number
CN111612887B
CN111612887B CN202010367206.3A CN202010367206A CN111612887B CN 111612887 B CN111612887 B CN 111612887B CN 202010367206 A CN202010367206 A CN 202010367206A CN 111612887 B CN111612887 B CN 111612887B
Authority
CN
China
Prior art keywords
human body
dimensional model
point cloud
cloud data
preliminary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010367206.3A
Other languages
English (en)
Other versions
CN111612887A (zh
Inventor
户磊
蔡麟
李廷照
张举勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Dilusense Technology Co Ltd
Original Assignee
Beijing Dilusense Technology Co Ltd
Hefei Dilusense Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dilusense Technology Co Ltd, Hefei Dilusense Technology Co Ltd filed Critical Beijing Dilusense Technology Co Ltd
Priority to CN202010367206.3A priority Critical patent/CN111612887B/zh
Publication of CN111612887A publication Critical patent/CN111612887A/zh
Application granted granted Critical
Publication of CN111612887B publication Critical patent/CN111612887B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明实施例提供一种人体测量方法和装置。其中人体测量方法包括,获取待测量人体的多视角图像数据,基于人体姿态估计库获取人体姿态信息;将所述多视角图像数据通过深度相机的内参转换为点云数据;根据初步人体三维模型的系数和所述点云数据,获取刚性变换矩阵及初步人体三维模型;基于所述点云数据、所述人体姿态信息和所述初步人体三维模型,获取精确人体三维模型并进行测量。本发明解决了三维人体测量过程中所需环境要求高、不可移动和测量精度低的问题。

Description

一种人体测量方法和装置
技术领域
本发明涉及计算机视觉领域,尤其涉及一种人体测量方法和装置。
背景技术
目前,在许多领域都需要使用到人体尺寸,例如安防、虚拟试衣等领 域。人体尺寸测量主要通过基于测量仪器的三维人体测量,精度相对于手 动测量精度更高,稳定性更强,精度最高可达毫米级,是物体的真实三维 数据。但当前市场的人体测量设备一般价格高昂,且使用需经过专业培训, 不适合于消费级的市场。目前市场上出现的用于人体三维测量的仪器多数 是基于大型多相机采集设备的,对相机安装精度要求极高,且***安装后不可移动或晃动等。
目前,对于三维人体建模方法而言,最常见的建模方法是依靠多相机 采集到不同方向的人体数据,对数据进行拼接,恢复出一个完整的三维人 体模型。但是,这种方法对场地、光照、相机间位置要求较高,且测量人 体关键部位尺寸时也没有准确的位置依据,主要依靠及时检测确定测量位 置,导致对测量精度有一定的影响。
因此,目前在三维人体测量中出现的环境要求高、不可移动和测量精 度低等问题成为亟待解决的问题。
发明内容
本发明实施例提供一种人体测量方法和装置,用以解决现有技术中三维 人体测量过程中所需环境要求高、不可移动和测量精度低的问题。
第一方面,本发明实施例提供一种人体测量方法,包括:
获取待测量人体的多视角图像数据,基于人体姿态估计库获取人体姿态 信息;
将所述多视角图像数据通过深度相机的内参转换为点云数据;
根据初步人体三维模型的系数和所述点云数据,获取刚性变换矩阵及初 步人体三维模型;
基于所述点云数据、所述人体姿态信息和所述初步人体三维模型,获取 精确人体三维模型,并基于所述精确人体三维模型实现关键部位尺寸测量。
可选地,所述将所述多视角图像数据通过深度相机的内参转换为点云数 据,进一步包括:
根据深度相机的内参,将所述多视角图像中的每个像素投影至世界坐标 系;
使用泊松重建算法,将所述世界坐标系中每个像素的坐标重建为点云数 据。
可选地,所述根据初步人体三维模型的系数和所述点云数据,获取刚性 变换矩阵及初步人体三维模型,进一步包括:
根据多视角图像数据中不同的的人体姿态信息,获取粗粒度优化残差;
最小化所述粗粒度优化残差,获取所述点云数据的刚性变换矩阵,并根 据初步人体三维模型的系数和所述点云数据生成初步人体三维模型。
可选地,所述根据多视角图像数据中不同的的人体姿态信息,获取粗粒 度优化残差,具体包括:
计算所有所述多视角图像数据中不同的人体姿态信息的正则项的和E1;
将所述初步人体三维模型的系数与权重的积和所述E1进行求和,得到粗 粒度优化残差。
可选地,所述基于所述点云数据、所述人体姿态信息和所述初步人体三 维模型,获取精确人体三维模型,并基于所述精确人体三维模型实现关键部 位尺寸测量,具体包括:
根据所述初步人体三维模型,获取所述点云数据的匹配点,并将所有匹 配点构建成匹配点对;
根据所述匹配点对,优化所述初步人体三维模型的系数和所述点云数据 的刚性变换矩阵;
根据优化后的初步人体三维模型的系数和所述点云数据的刚性变换矩 阵,获取精确人体三维模型,并基于所述精确人体三维模型实现关键部位尺 寸测量。
可选地,所述根据所述初步人体三维模型,获取所述点云数据的匹配点, 并将所有匹配点构建成匹配点对,具体包括:
通过计算点云数据与初步人体三维模型之间的距离和方向向量夹角,筛 选出匹配点;
将所述点云数据和其在初步人体三维模型上的匹配点组成匹配点对。
可选地,所述根据所述匹配点对,优化所述初步人体三维模型的系数和 所述点云数据的刚性变换矩阵,具体包括:
根据所述匹配点对,固定所述点云数据的刚性变换矩阵,获取初步人体 三维模型的系数;
根据所述初步人体三维模型的系数,更新匹配点对,并固定所述初步人 体三维模型的系数,获取更新后的点云数据的刚性变换矩阵。
可选地,所述根据所述匹配点对,固定所述点云数据的刚性变换矩阵, 获取初步人体三维模型的系数,具体包括:
根据所述匹配点对,固定点云数据的刚性变换矩阵;
通过最小化匹配点与点云数据之间的误差,得到初步人体三维模型的系 数。
第二方面,本发明实施例提供一种人体测量装置,包括:
获取模块:用于获取待测量人体的多视角图像数据,基于人体姿态估计 库获取人体姿态信息;
转换模块:用于将所述多视角图像数据通过深度相机的内参转换为点云 数据;
处理模块:用于根据初步人体三维模型的系数和所述点云数据,获取刚 性变换矩阵及初步人体三维模型;
测量模块:用于基于所述点云数据、所述人体姿态信息和所述初步人体 三维模型,获取精确人体三维模型,并基于所述精确人体三维模型实现关键 部位尺寸测量。
可选地,所述处理模块进一步用于:
根据多视角图像数据中不同的的人体姿态信息,获取粗粒度优化残差;
最小化所述粗粒度优化残差,获取所述点云数据的刚性变换矩阵,并根 据初步人体三维模型的系数和所述点云数据生成初步人体三维模型。
本发明实施例提供的一种人体测量方法,通过优化初步人体三维模型的 系数和点云数据的刚性变换矩阵,从而实现对于初步人体三维模型的优化, 并生成精度高的三维人体模型,并基于所述精确人体三维模型实现关键部位 尺寸测量,具有对测量环境要求低、移动性较好且测量精度高的优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实 施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下 面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在 不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种人体测量方法的流程示意图;
图2为本发明实施例提供的一种人体测量装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发 明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述, 显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于 本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获 得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的一种人体测量方法的流程示意图,包括:
获取待测量人体的多视角图像数据,基于人体姿态估计库获取人体姿态 信息;
具体地,多视角图像数据是从不同视角拍摄的待测量人体的图像数据, 人体姿态信息是根据人体姿态库对不同视角的待测人体的人体图像数据进行 的姿态估计。
将所述多视角图像数据通过深度相机的内参转换为点云数据;
具体地,将多视角图像数据(m,n)转换为点云数据(Wx,Wy,Wz)的 公式为:
Figure BDA0002476918370000051
其中,fx,fy分别是深度相机在x、y方向上的焦距,cx,cy分别是深度相 机在x、y方向上的光心。
根据初步人体三维模型的系数和所述点云数据,获取刚性变换矩阵及初 步人体三维模型;
基于所述点云数据、所述人体姿态信息和所述初步人体三维模型,获取 精确人体三维模型,并基于所述精确人体三维模型实现关键部位尺寸测量。
人体三维模型的生成方法是通过深度学习VAE方法训练得到,其中 β、θ、D分别表示与人体身份相关的参数、与人体动作相关的参数和每个顶点 的偏移量。将上述参数β、θ、D送入深度学习VAE中的网络即可生成人体模 型,具体如下所示:
Model=HumanNet(β、θ、D、T)
其中:HumanNet表示训练出来的人体VAE参数化模板;
T表示均值模型;
Model表示生成的人体模型。
通过在精确人体三维模型上标定需要测量的位置,使用测地线距离计算 法计算三角网格模型上两点之间最短测地线距离作为最终的距离输出的方法 实现精确人体三维模型关键部位尺寸的测量。
作为本发明的一种实施例,所述将所述多视角图像数据通过深度相机的 内参转换为点云数据,进一步包括:
根据深度相机的内参,将所述多视角图像中的每个像素投影至世界坐标 系;
使用泊松重建算法,将所述世界坐标系中每个像素的坐标重建为点云数 据。
具体地,将通过转换公式的多视角图像数据转换成的点云数据在世界坐 标系中连接成片,形成点云。
作为本发明的一种实施例,所述根据初步人体三维模型的系数和所述点 云数据,获取刚性变换矩阵及初步人体三维模型,进一步包括:
根据多视角图像数据中不同的的人体姿态信息,获取粗粒度优化残差;
最小化所述粗粒度优化残差,获取所述点云数据的刚性变换矩阵,并根 据初步人体三维模型的系数和所述点云数据生成初步人体三维模型。
具体地,计算粗粒度优化残差的公式为:
Eloss=Egeo+wβ*Eβ+wθ*Eθ
其中:
计算误差项为:
Figure BDA0002476918370000061
其中,n表示输入的视场个数,Jk表示第k个视场下的姿态信息, i表示姿态信息i。分别记为:P_Ji、Q_Ji
系数β的正则项,记为Eβ=||β||;
系数θ的正则项,记为Eθ=||θ||;
Wβ、Wθ为用来调节各项权重系数。
通过优化求解计算
Figure BDA0002476918370000062
输出求解系数:β、θ、D、
Figure BDA0002476918370000063
作为本发明的一种实施例,所述根据多视角图像数据中不同的的人体姿 态信息,获取粗粒度优化残差,具体包括:
计算所有所述多视角图像数据中不同的人体姿态信息的正则项的和E1;
将所述初步人体三维模型的系数与权重的积和所述E1进行求和,得到粗 粒度优化残差。
具体地,
Figure BDA0002476918370000071
计算粗粒度优化残差的公式为:
Eloss=Egeo+wβ*Eβ+wθ*Eθ
将初步人体三维模型的系数与权重的积和所述E1进行求和,得到粗粒度 优化残差。
作为本发明的一种实施例,所述基于所述点云数据、所述人体姿态信息 和所述初步人体三维模型,获取精确人体三维模型,并基于所述精确人体三 维模型实现关键部位尺寸测量,具体包括:
根据所述初步人体三维模型,获取所述点云数据的匹配点,并将所有匹 配点构建成匹配点对;
根据所述匹配点对,优化所述初步人体三维模型的系数和所述点云数据 的刚性变换矩阵;
根据优化后的初步人体三维模型的系数和所述点云数据的刚性变换矩 阵,获取精确人体三维模型,并基于所述精确人体三维模型实现关键部位尺 寸测量。
具体地,在初步人体三维模型中找到点云数据的匹配点,并将点云数据 和匹配点生成匹配点对。优化初步人体三维模型的系数和点云数据的刚性变 换矩阵是通过首先固定点云变换参数,通过目标函数求解β、θ、D。
具体包括:计算细粒度优化残差,计算公式为:
Eloss=Egeo+Wsmooth*Esmooth+Wcontour*Econtour+Wflor*Eflor+Wother*Eother+Wβ*Eβ+Wθ*Eθ+WD*ED
其中,匹配点之间的误差项记为:
Figure BDA0002476918370000081
k∈(0,n)表示n个不同视角的点云信息;
pi∈Vk表示第k个点云中的第i个匹配点对,对应的匹配点对为:模型 点Pi到点云的匹配点Qi
pj∈Vk表示第k个点云中的第j个匹配点对,对应的匹配点对为:点云 点Pj到的模型匹配点Qi
Figure BDA0002476918370000086
表示第K个点云数据的刚性变换矩阵;
使用平滑(或其他平滑项)项误差计算:
Figure RE-GDA0002536927170000102
其中:m表示点p的临近点个数, P_li表示第i个临近点。
计算轮廓匹配误差:
Figure BDA0002476918370000083
其中Pi和Qi表示对应的 轮廓点,m表示轮廓点的个数;
计算光流匹配误差:
Figure BDA0002476918370000084
其中Pi和Qi表示对应 的光流系数,m表示点的个数;
先验知识误差项:Eother,使用先验知识放置建模参数不可控的模型 结果;
系数β的正则项,记为Fβ=||β||;
系数θ的正则项,记为Eθ=||θ||;
系数D的正则项,记为ED=||D||;
Wβ、Wθ、WD、Wflor
Figure BDA0002476918370000085
用来调节各项权重系数;
通过优化求解计算:
Figure BDA0002476918370000091
输出求解系数β、θ、D;
进一步地,固定β、θ、D,使用SVD优化求解
Figure BDA0002476918370000092
具体包括:
首先,查找人体模型与点云的对应关系,即对每个点云按照当前的旋转 和平移做变换,然后对每个点云点qi找到模型上的匹配Pi,并对模型上的 每个点Pj找到所有点云上的匹配qj
优化目标函数为:
Figure BDA0002476918370000093
其中,Vk指点云k中所有点的集合。K指的是第k个点云;
(k=0,1,...N);
pi∈Vk表示第k个点云中的第i个匹配点对,对应的匹配点对 为:模型点Pi到点云的最近点Qi
pi∈Vk表示第k个点云中的第j个匹配点对,对应的匹配点对 为:点云点Pi到的模型最近点Qi
然后,固定对应关系,对每个点云k(k=0,1,…N)优化其旋转 Rk和平移Tk。目标函数可以进一步简化为:
Figure BDA0002476918370000094
其中:mi指模型点Pi在原目标函数中出现的次数;
ri指原目标函数中的所有对应模型点的平均值;
最后,做SVD分解,输出优化结果Bk=VUT,根据Rk计算Tk
作为本发明的一种实施例,所述根据所述初步人体三维模型,获取所述 点云数据的匹配点,并将所有匹配点构建成匹配点对,具体包括:
通过计算点云数据与初步人体三维模型之间的距离和方向向量夹角,筛 选出匹配点;
将所述点云数据和其在初步人体三维模型上的匹配点组成匹配点对。
具体地,查找点云点Qj到模型的匹配点Pj以及模型点Pi到点云的匹配点 Qi。然后通过计算Qi与Pi,Qj与Pj之间的距离和方向向量夹角对匹配点进行筛 选;
Figure BDA0002476918370000101
其中,dis表示点云点到匹配点之间的距离;α表示两个方向向量之间的 夹角;
Figure BDA0002476918370000102
分别是P点和Q点的方向向量。
作为本发明的一种实施例,所述根据所述匹配点对,优化所述初步人体 三维模型的系数和所述点云数据的刚性变换矩阵,具体包括:
根据所述匹配点对,固定所述点云数据的刚性变换矩阵,获取初步人体 三维模型的系数;
根据所述初步人体三维模型的系数,更新匹配点对,并固定所述初步人 体三维模型的系数,获取更新后的点云数据的刚性变换矩阵。
具体地,交替重复固定
Figure BDA0002476918370000103
通过目标函数求解β、θ、D以及固定 β、θ、D,使用SVD分解优化求解
Figure BDA0002476918370000104
获取符合误差要求的β、θ、D 和
Figure BDA0002476918370000105
作为本发明的一种实施例,所述根据所述匹配点对,固定所述点云数据 的刚性变换矩阵,获取初步人体三维模型的系数,具体包括:
根据所述匹配点对,固定点云数据的刚性变换矩阵;
通过最小化匹配点与点云数据之间的误差,得到初步人体三维模型的系 数。
具体地,在初步人体三维模型中找到点云数据的匹配点,并将点云数据 和匹配点生成匹配点对。优化初步人体模型的系数和点云数据的刚性变换矩 阵是通过首先固定点云变换参数,通过目标函数求解β、θ、D。
具体包括:计算细粒度优化残差,计算公式为:
Eloss=Egeo+Wsmooth*Esmooth+Wcontour*Econtour+Wflor*Eflor+Wother*Eother+Wβ*Eβ+Wθ*Eθ+WD*ED
其中,匹配点之间的误差项记为:
Figure BDA0002476918370000111
k∈(0,n)表示n个不同视角的点云信息;
pi∈Vk表示第k个点云中的第i个匹配点对,对应的匹配点对为:模型 点Pi到点云的匹配点Qi
pj∈Vk表示第k个点云中的第j个匹配点对,对应的匹配点对为:点云 点Pi到的模型匹配点Qi
Figure BDA0002476918370000112
表示第K个点云数据的刚性变换矩阵;
使用平滑(或其他平滑项)项误差计算:
Figure RE-GDA0002536927170000142
其中:m表示点p的临近点个数, P_li表示第i个临近点。
计算轮廓匹配误差:
Figure BDA0002476918370000114
其中Pi和Qi表示对 应的轮廓点,m表示轮廓点的个数;
计算光流匹配误差:
Figure BDA0002476918370000115
其中Pi和Qi表示 对应的光流系数,m表示点的个数;
先验知识误差项:Eother,使用先验知识放置建模参数不可控的模型 结果;
系数β的正则项,记为Eβ=||β||;
系数θ的正则项,记为Eθ=||θ||;
系数D的正则项,记为ED=||D||;
Wβ、Wθ、WD、Wflor
Figure BDA0002476918370000121
用来调节各项权重系数;
通过优化求解计算:
Figure BDA0002476918370000122
输出求解系数β、θ、D。
图2为本发明实施例提供的一种人体测量装置的结构示意图,包括:
获取模块:用于获取待测量人体的多视角图像数据,基于人体姿态估计 库获取人体姿态信息;
具体地,多视角图像数据是从不同视角拍摄的待测量人体的图像数据, 人体姿态信息是根据人体姿态库对不同视角的待测人体的人体图像数据进行 的姿态估计。
转换模块:用于将所述多视角图像数据通过深度相机的内参转换为点云 数据;
具体地,将多视角图像数据(m,n)转换为点云数据(Wx,Wy,Wz)的 公式为:
Figure BDA0002476918370000123
其中,fx,fy分别是深度相机在x、y方向上的焦距,cx,cy分别是深度相 机在x、y方向上的光心。
处理模块:用于根据初步人体三维模型的系数和所述点云数据,获取刚 性变换矩阵及初步人体三维模型;
测量模块:用于基于所述点云数据、所述人体姿态信息和所述初步人 体三维模型,获取精确人体三维模型,并基于所述精确人体三维模型实现 关键部位尺寸测量。
具体地,人体三维模型的生成方法是通过深度学习VAE方法训练得到, 其中β、θ、D分别表示与人体身份相关的参数、与人体动作相关的参数和每个 顶点的偏移量。将上述参数β、θ、D送入深度学习VAE中的网络即可生成人 体模型,具体如下所示:
Model=HumanNet(β、θ、D、T)
其中:HumanNet表示训练出来的人体VAE参数化模板;
T表示均值模型;
Model表示生成的人体模型。
测量模块通过在精确人体三维模型上标定需要测量的位置,使用测地线 距离计算法计算三角网格模型上两点之间最短测地线距离作为最终的距离输 出的方法实现精确人体三维模型关键部位尺寸的测量。
作为本发明的一种实施例,所述处理模块进一步用于:
根据多视角图像数据中不同的的人体姿态信息,获取粗粒度优化残差;
最小化所述粗粒度优化残差,获取所述点云数据的刚性变换矩阵,并根 据初步人体三维模型的系数和所述点云数据生成初步人体三维模型。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明 的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或 者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络 单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例 方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以 理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实 施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬 件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部 分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可 读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台 计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施 例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其 限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术 人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或 者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技 术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种人体测量方法,其特征在于,包括:
获取待测量人体的多视角图像数据,基于人体姿态估计库获取人体姿态信息;
将所述多视角图像数据通过深度相机的内参转换为点云数据;
根据初步人体三维模型的系数和所述点云数据,获取刚性变换矩阵及初步人体三维模型;其中,所述初步人体三维模型由对深度学习VAE训练获取;
基于所述点云数据、所述人体姿态信息和所述初步人体三维模型,获取精确人体三维模型,并基于所述精确人体三维模型实现关键部位尺寸测量;
所述基于所述点云数据、所述人体姿态信息和所述初步人体三维模型,获取精确人体三维模型,并基于所述精确人体三维模型实现关键部位尺寸测量,具体包括:
根据所述初步人体三维模型,获取所述点云数据的匹配点,并将所有匹配点构建成匹配点对;
根据所述匹配点对,优化所述初步人体三维模型的系数和所述点云数据的刚性变换矩阵;
根据优化后的初步人体三维模型的系数和所述点云数据的刚性变换矩阵,获取精确人体三维模型,并基于所述精确人体三维模型实现关键部位尺寸测量。
2.根据权利要求1所述的方法,其特征在于,所述将所述多视角图像数据通过深度相机的内参转换为点云数据,进一步包括:
根据深度相机的内参,将所述多视角图像中的每个像素投影至世界坐标系;
使用泊松重建算法,将所述世界坐标系中每个像素的坐标重建为点云数据。
3.根据权利要求1所述的方法,其特征在于,所述根据初步人体三维模型的系数和所述点云数据,获取刚性变换矩阵及初步人体三维模型,进一步包括:
根据多视角图像数据中不同的人体姿态信息,获取粗粒度优化残差;
最小化所述粗粒度优化残差,获取所述点云数据的刚性变换矩阵,并根据初步人体三维模型的系数和所述点云数据生成初步人体三维模型。
4.根据权利要求3所述的方法,其特征在于,所述根据多视角图像数据中不同的人体姿态信息,获取粗粒度优化残差,具体包括:
计算所有所述多视角图像数据中不同的人体姿态信息的正则项的和E1;
将所述初步人体三维模型的系数与权重的积和所述E1进行求和,得到粗粒度优化残差。
5.根据权利要求1所述的方法,其特征在于,所述根据所述初步人体三维模型,获取所述点云数据的匹配点,并将所有匹配点构建成匹配点对,具体包括:
通过计算点云数据与初步人体三维模型之间的距离和方向向量夹角,筛选出匹配点;
将所述点云数据和其在初步人体三维模型上的匹配点组成匹配点对。
6.根据权利要求1所述的方法,其特征在于,所述根据所述匹配点对,优化所述初步人体三维模型的系数和所述点云数据的刚性变换矩阵,具体包括:
根据所述匹配点对,固定所述点云数据的刚性变换矩阵,获取初步人体三维模型的系数;
根据所述初步人体三维模型的系数,更新匹配点对,并固定所述初步人体三维模型的系数,获取更新后的点云数据的刚性变换矩阵。
7.根据权利要求6所述的方法,其特征在于,所述根据所述匹配点对,固定所述点云数据的刚性变换矩阵,获取初步人体三维模型的系数,具体包括:
根据所述匹配点对,固定点云数据的刚性变换矩阵;
通过最小化匹配点与点云数据之间的误差,得到初步人体三维模型的系数。
8.一种人体尺寸测量装置,其特征在于,包括:
获取模块:用于获取待测量人体的多视角图像数据,基于人体姿态估计库获取人体姿态信息;
转换模块:用于将所述多视角图像数据通过深度相机的内参转换为点云数据;
处理模块:用于根据初步人体三维模型的系数和所述点云数据,获取刚性变换矩阵及初步人体三维模型;其中,所述初步人体三维模型由对深度学习VAE训练获取;
测量模块:用于基于所述点云数据、所述人体姿态信息和所述初步人体三维模型,获取精确人体三维模型,并基于所述精确人体三维模型实现关键部位尺寸测量;
所述测量模块具体用于:
根据所述初步人体三维模型,获取所述点云数据的匹配点,并将所有匹配点构建成匹配点对;
根据所述匹配点对,优化所述初步人体三维模型的系数和所述点云数据的刚性变换矩阵;
根据优化后的初步人体三维模型的系数和所述点云数据的刚性变换矩阵,获取精确人体三维模型,并基于所述精确人体三维模型实现关键部位尺寸测量。
9.根据权利要求8所述的装置,其特征在于,所述处理模块进一步用于:
根据多视角图像数据中不同的人体姿态信息,获取粗粒度优化残差;
最小化所述粗粒度优化残差,获取所述点云数据的刚性变换矩阵,并根据初步人体三维模型的系数和所述点云数据生成初步人体三维模型。
CN202010367206.3A 2020-04-30 2020-04-30 一种人体测量方法和装置 Active CN111612887B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010367206.3A CN111612887B (zh) 2020-04-30 2020-04-30 一种人体测量方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010367206.3A CN111612887B (zh) 2020-04-30 2020-04-30 一种人体测量方法和装置

Publications (2)

Publication Number Publication Date
CN111612887A CN111612887A (zh) 2020-09-01
CN111612887B true CN111612887B (zh) 2021-11-09

Family

ID=72199291

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010367206.3A Active CN111612887B (zh) 2020-04-30 2020-04-30 一种人体测量方法和装置

Country Status (1)

Country Link
CN (1) CN111612887B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112435345B (zh) * 2020-12-14 2022-07-19 武汉纺织大学 一种基于深度学习的人体三维测量方法及***
CN112884638A (zh) * 2021-02-02 2021-06-01 北京东方国信科技股份有限公司 虚拟试衣方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT1401573B1 (it) * 2010-07-22 2013-07-26 Cad Modelling Ergonomics S R L Metodo e relativo apparato per la identificazione e classificazione antropometrica
CN106780619B (zh) * 2016-11-25 2020-03-13 青岛大学 一种基于Kinect深度相机的人体尺寸测量方法
CN108053437B (zh) * 2017-11-29 2021-08-03 奥比中光科技集团股份有限公司 基于体态的三维模型获取方法及装置
CN108629831B (zh) * 2018-04-10 2021-03-12 清华大学 基于参数化人体模板和惯性测量的三维人体重建方法及***
CN108665537B (zh) * 2018-05-15 2020-09-25 清华大学 联合优化人体体态与外观模型的三维重建方法及***
CN109872354A (zh) * 2019-01-28 2019-06-11 深圳市易尚展示股份有限公司 基于非线性优化的多视角点云配准方法及***
CN110598590A (zh) * 2019-08-28 2019-12-20 清华大学 基于多视角相机的紧密交互人体姿态估计方法及装置

Also Published As

Publication number Publication date
CN111612887A (zh) 2020-09-01

Similar Documents

Publication Publication Date Title
CN110189399B (zh) 一种室内三维布局重建的方法及***
CN110866969B (zh) 基于神经网络与点云配准的发动机叶片重构方法
CN108053437B (zh) 基于体态的三维模型获取方法及装置
CN109858437B (zh) 基于生成查询网络的行李体积自动分类方法
CN111679291A (zh) 基于三维激光雷达的巡检机器人目标定位配置方法
WO2023082306A1 (zh) 图像处理方法、装置、电子设备以及计算机可读存储介质
CN111612887B (zh) 一种人体测量方法和装置
CN106408653B (zh) 一种面向大规模三维重建的实时鲁棒的集束调整方法
CN104537707A (zh) 像方型立体视觉在线移动实时测量***
CN113936090A (zh) 三维人体重建的方法、装置、电子设备及存储介质
CN112330813A (zh) 一种基于单目深度摄像头的着装下三维人体模型重建方法
CN111260702B (zh) 激光三维点云与ct三维点云配准方法
CN116309879A (zh) 一种机器人辅助的多视角三维扫描测量方法
CN112365589B (zh) 一种虚拟三维场景展示方法、装置及***
CN111553954A (zh) 一种基于直接法单目slam的在线光度标定方法
CN116079727A (zh) 基于3d人体姿态估计的人形机器人动作模仿方法及装置
CN116310194A (zh) 一种配电站房三维模型重建方法、***、设备和存储介质
JP2007034964A (ja) カメラ視点運動並びに3次元情報の復元及びレンズ歪パラメータの推定方法、装置、カメラ視点運動並びに3次元情報の復元及びレンズ歪パラメータの推定プログラム
CN110689513B (zh) 彩色图像融合方法、装置和终端设备
JP2000353244A (ja) 基礎行列を求めるための方法、ユークリッド的な3次元情報の復元方法、および3次元情報復元装置。
KR101533494B1 (ko) 템플릿 모델 기반의 3d 영상 생성 방법 및 장치
CN112085794B (zh) 空间定位方法及应用该空间定位方法的三维重建方法
Saito et al. Model-based 3D human shape estimation from silhouettes for virtual fitting
CN116503524B (zh) 一种虚拟形象的生成方法、***、装置及存储介质
Vitiuk et al. Software Package for Evaluation the Stereo Camera Calibration for 3D Reconstruction in Robotics Grasping System.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230607

Address after: Room 611-217, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, high tech Zone, Hefei, Anhui 230001

Patentee after: Hefei lushenshi Technology Co.,Ltd.

Address before: Room 3032, gate 6, block B, 768 Creative Industry Park, 5 Xueyuan Road, Haidian District, Beijing 100083

Patentee before: BEIJING DILUSENSE TECHNOLOGY CO.,LTD.

Patentee before: Hefei lushenshi Technology Co.,Ltd.