CN104794722A - 利用单个Kinect计算着装人体三维净体模型的方法 - Google Patents

利用单个Kinect计算着装人体三维净体模型的方法 Download PDF

Info

Publication number
CN104794722A
CN104794722A CN201510219761.0A CN201510219761A CN104794722A CN 104794722 A CN104794722 A CN 104794722A CN 201510219761 A CN201510219761 A CN 201510219761A CN 104794722 A CN104794722 A CN 104794722A
Authority
CN
China
Prior art keywords
dimensional
human body
model
clean
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510219761.0A
Other languages
English (en)
Inventor
陈�光
李基拓
曾继平
王贝
陆国栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201510219761.0A priority Critical patent/CN104794722A/zh
Publication of CN104794722A publication Critical patent/CN104794722A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种利用单个Kinect计算着装人体三维净体模型的方法。标定Kinect摄像头,捕捉着装人体RGB-D图像及骨架信息,提取人体深度图像后去噪;将人体分为多个刚性部位,分割得分部人体深度图像,注册融合得三维人体形状,匹配组合成完整的三维人体形状后去噪;采集三维净体样本模型构造矩阵降维,获得低维三维净体样本矩阵和映射矩阵;选取模板模型并与初始帧人体姿态对齐;将模板模型与三维人体形状利用对应点拟合,投影到低维矩阵,乘以映射矩阵获得三维净体模型;重复迭代直到得到最终三维净体模型。本发明解决了着装人体的过度拟合问题,仅需要单个Kinect设备即可快速、方便、经济地为着装人体计算出真实的个性化三维净体模型。

Description

利用单个Kinect计算着装人体三维净体模型的方法
技术领域
本发明涉及一种人体模型计算方法,特别是一种利用单个Kinect为着装人体计算三维净体模型的方法,可方便地为着装人体计算出真实的三维净体模型。
背景技术
个性化三维人体模型在虚拟现实领域起着至关重要的作用,电影动画、三维游戏设计、虚拟试穿及三维服装设计都与个性化三维人体模型密切相关。因此,迫切需要快速、经济、准确地构造个性化三维人体模型。现存的三维人体模型构造方法大致可分为如下几类:几何交互方法、三维扫描方法、深度图像注册方法和利用多个Kinect获取深度图像的方法。其中,几何交互方法分为用现有软件创建三维人体网格结构和对三维人体模板模型进行变形两种方式,该类方法需要专业技术人员或依赖于模板本身;三维扫描方法通过结构光或激光扫描仪获取人体三维信息,结构光扫描仪受环境光影响较大,而激光扫描仪往往体积庞大,两种扫描仪价格都很昂贵且获取的数据存在较大空洞,需要后续处理,不适合普通用户;深度图像注册方法利用深度摄像机获取人体的RBG-D图像,并将不同视角的图像通过不同方法进行匹配与注册来获取完整的三维人体模型,该类方法计算量大且深度摄像机价格也比较昂贵。随着微软公司研发的廉价的RGB-D摄像头Kinect的出现,已有少数基于Kinect的三维人体模型计算方法,但存在装置复杂、需要多个Kinect、速度慢且精度不高等问题,且不是计算三维净体模型,不适用于虚拟试穿。
发明内容
针对上述提到的已有的个性化三维净体模型计算方法无法调和快速、经济、准确之间的矛盾这一问题,本发明提供了一种利用单个Kinect计算着装人体三维净体模型的方法。
本发明方法通过单个Kinect获取着装人体自主旋转一周的RGB-D图像,受限于Kinect精度,将不同视角的深度图像进行注册以获取粗糙的三维人体形状,然后将从三维净体样本模型库中挑选模板模型与粗糙三维人体形状进行拟合来获取精细并准确的三维净体模型。
如图2所示,本发明所采用的技术方案包括以下步骤:
1)将Kinect深度摄像头与色彩摄像头利用OpenNI进行标定,着装人体以站立姿势旋转一周,捕捉其多帧RGB-D图像及其骨架信息,RGB-D图像包含有RGB图像和深度图像;然后将RGB-D图像中的深度图像转换到世界坐标系下,并将人体深度图像从中提取出来,用隐式曲面拟合法将每一帧人体深度图像进行去噪处理,以获取平滑的人体深度图像;
2)自主旋转导致的肢体小幅度运动、肌肉抖动和呼吸等动作造成的人体表面形变需要用非刚性注册方法来解决,采用准刚性分部注册方法,把人体除头以外的部分分为多个刚性部位,然后将人体深度图像进行分割,得到着装人体各个刚性部位的分部人体深度图像;再将人体正面和背面的分部人体深度图像分别注册融合到人体深度图像的初始帧,得到人体正面和背面的三维人体形状;接着利用人体侧面的深度图像将上述人体正面和背面的三维人体形状匹配组合成完整的三维人体形状,再用隐式曲面拟合法去噪;
3)采集多个三维净体样本模型作为三维净体样本模型库,构造三维净体样本模型矩阵,用主成分分析法对三维净体样本模型矩阵进行降维,获得低维三维净体样本矩阵,并得到低维三维净体样本矩阵与三维净体样本模型矩阵之间的映射矩阵;
4)从三维净体样本模型库中,选取一个与着装人体体型最相近的三维净体模型作为模板模型,将模板模型与人体深度图像初始帧的人体姿态对齐;
5)利用圆柱坐标分部寻找对应点,再利用拉普拉斯网格变形法将模板模型与三维人体形状进行拟合,由于被拍摄的人体穿着衣服,上述拟合可导致净体模板模型被拉伸到人体形状域外,因此将拟合后的模板模型利用映射矩阵降维,然后乘以映射矩阵获得三维净体模型以消除过度拟合,解决过度拟合问题;
6)重复步骤5)依次迭代,直到相邻两次的迭代结果的平均位移标准差小于位移标准差阈值D,或迭代次数大于迭代次数阈值E次,得到符合人体形态且最接近真实人体的三维净体模型。
所述的步骤1)和步骤2)隐式曲面拟合法采用以下过程计算:
a)计算人体深度图像点云数据的隐式曲面,对任一空间点x,由以下公式表示的隐式曲面拟合法计算距离函数f(x):
其中,pi是点云中第i点,ni为pi的法向量,i是深度图像点云中点的序数,表示高斯核函数,并采用以下公式计算:
其中,σ2为方差;
b)对于满足距离函数f(x)=0条件的所有空间点x组成着装人体曲面,再剔除其中远离该人体曲面距离的点pi,进行去噪。
所述步骤b)中剔除其中远离该人体曲面距离的点pi具体采用以下方式:计算每个点pi的距离函数f(x),从大到小排序,迭代剔除前d%的点,d的大小根据迭代次数变化:d=10/2β,其中β=0,1,2…为迭代次数。在具体实施中,迭代3次可以得到较好的结果。
所述的步骤2)把人体除头以外的部分分割为多个刚性部位具体采用以下方式进行:将所述人体的躯干和四肢作为刚性部位,四肢包括分别位于人体左右侧的大腿、小腿、大臂和小臂,其中脚与小腿一起作为同一刚性部位,手与小臂一起作为同一刚性部位。
所述的步骤2)中使用的准刚性分部注册方法具体包括:
2-1)将人体深度图像利用初始帧的骨架信息中的骨架分割关键点进行分割,骨架分割关键点包括人体各关节点、两个腋窝顶点和胯部顶点,人体各关节点包括头部中心点、颈关节、脊柱中心点、两肩关节、两肘关节、两腕关节、两髋关节、两膝关节、两踝关节;其中除腋窝和胯部顶点外,均利用相邻两段刚性部位之间关节处的角平分面或垂直于y轴方向的平面来进行分割,y轴与着装人体竖直方向平行,正方向朝上;
腋窝和胯部顶点利用扫描线方法进行识别,用过肩关节且平行于z轴的直线与腋窝顶点所在平面分割大臂和躯干,用过两髋关节中点且平行于z轴的直线与胯部顶点所在平面分割两大腿,z轴方向与Kinect深度摄像头光轴方向平行。
2-2)利用最近点迭代方法建立相邻帧人体深度图像各刚性部位的对应关系,将每一帧的骨架分割关键点变换到下一帧对应的人体深度图像上,依次变换从而分割相邻帧的人体深度图像;
2-3)将所有人体深度图像按刚性部位分割后,用局部到整体的最近点迭代方法将着装人体正面与背面的人体深度图像分别注册融合到人体深度图像的初始帧。
所述的步骤3)具体包括:
3-1)利用三维扫描设备采集不同体型、身高、年龄但姿态相同的三维净体模型作为样本,三维净体模型由统一网格结构构成;
统一网格结构可由三角面片组成,且样本数量原则上越多越好,但过多的样本会造成计算量过大,应尽可能选取具有代表性的三维净体模型。
3-2)为三维净体样本模型库中的模型创建统一的骨架结构,将三维净体模型矩阵H表示为:
H = A ωT
其中,A=[a1 a2 … am]表示样本三维净体样本模型网格顶点坐标矩阵,ai为N维向量,N为顶点个数,i表示样本模型的序数,m为样本模型的总数;T=[t1 t2 … tm]表示三维净体样本模型关节点捻度矩阵,ti为n维向量,n为关节点个数,w表示由关节点构成的骨架结构所表示的人体姿态的权重;
3-3)运用主成分分析法将三维净体模型矩阵投影到低维三维净体样本矩阵,得到其中,为映射矩阵,其每一列为e个最大特征值对应的特征向量,b为低维三维净体样本矩阵。
所述步骤4)中将模板模型与人体深度图像初始帧的人体姿态对齐具体是以姿态为约束信息,用拉普拉斯网格变形法将模板模型与Kinect获取的着装人体初始帧姿态对齐:
求解以下拉普拉斯约束方程计算得到与着装人体初始帧姿态对齐的模板模型,从而进行姿态对齐:
arg min { p i ′ } { Σ i = 1 n | | L ( p i ′ ) - R i δ i | | + ω Σ k = 1 n | | J k - J k ′ | | }
其中,pi'是第i个网格顶点拟合后的坐标,N为顶点个数,L(pi')是pi'的Laplace算子,δi是pi的Laplace坐标,Ri是pi的局部曲面旋转,ω表示姿态约束强度的系数,Jk是第k个关节点,Jk'是第k个关节点拟合后的坐标,即初始帧姿态坐标,n为关节点个数;
对上述每一个关节点Jk,其坐标用模板模型上邻近的网格顶点集合来线性表示:
J k = Σ l λ l k p l
其中,pl为模板模型的网格顶点,l为与关节点Jk相邻的顶点序数,为非负系数。
所述步骤5)具体包括:
5-1)在模板模型与已注册融合的三维人体形状拟合的步骤中,借助圆柱坐标分部找到模板模型与已注册融合的三维人体形状的对应点:
对三维人体形状点云上的每一点pi,将其投影到所对应的骨架上,投影点和该点pi所在直线与模板模型的交点即为对应点;当存在两个对应点时,选取法向量与该点pi接近的点作为对应点;
5-2)将RGB图像中皮肤部分利用皮肤分割方法将其从人体中识别出来并进行标识,将初始帧皮肤部分与着装部分分别映射到模板模型上,并赋予不同的权重,赋予权重后的三维净体模型集合矩阵表示为 H ~ = ΩA ωT , 其中Ω为权重系数矩阵;
5-3)再将拟合后的模板模型乘以映射矩阵获得三维净体模型;在拟合后的模板模型投影到低维三维净体样本矩阵的过程中出现过度拟合时,将拟合后的模板模型M表示为向量 ΩM ω T M , 投影到降维后的低维三维净体样本空间得到乘以可得到新的净体模型
所述的步骤5-2)将RGB图像中皮肤部分利用皮肤分割方法将其从人体中识别出来,选择椭圆皮肤模型,具体包括:
预处理:将Compaq数据库中的2000张皮肤图像转化到YcrCb色度空间,构成皮肤训练样本集,剔除皮肤训练样本集中出现频率最低的5%数据;这是因为在RGB空间中肤色受亮度影响较大,当图像转化到YCrCb空间中,忽略亮度Y的影响,肤色非常方便地聚类;
参数估计:选择椭圆皮肤模型,则在CrCb二维空间中皮肤像素点近似成一个椭圆分布,令ci(i=1,…,s)表示皮肤训练样本集中的所有不同的色度向量,fi(i=1,…,s)表示具有ci色度值的样本数量,i为色度向量序数,椭圆边界模型采用以下公式:
Φ(c)=(c-φ)TΛ-1(c-φ)
Λ = 1 S Σ i = 1 S f i · ( c i - μ ) ( c i - μ ) T
φ = 1 s Σ i = 1 s c i
S = Σ i = 1 s f i
μ = 1 S Σ i = 1 s f i c i
其中,φ第一待估参数,Λ第二待估参数,S是训练样本集的总样本数,s表示色度向量个数,μ是平均色度向量;
若人体RGB图像中像素的色度向量c满足Φ(c)<θ条件时,θ为皮肤阈值,被归类于皮肤。
根据色彩RGB图像中对皮肤部分的识别,将人体深度图像中的皮肤部分进行标识,所述的所述的步骤5-2)中,模板模型和深度图像皮肤部分对应点赋予的权重是模板模型和深度图像着装部分对应点赋予的权重两倍以上。
本发明利用单个Kinect获取着装人体不同视角的低精度深度图像,将着装人体深度图像从背景中分离并以肢节(刚性部位)为单位进行分割,将各肢节近似为刚性物体进行注册以得到完整的三维人体形状;从三维净体样本库中挑选模板模型与三维人体形状进行拟合,并利用Kinect获取的色彩图像区分人体皮肤及衣服部分,从而为样本模型不同区域赋予不同权重以提高重建真实度;将拟合结果投影到低维的人体净体样本库中,以解决着装人体的过拟合问题,重复上述步骤从而得到较为精确的个性化三维净体模型。
本发明的有益效果是:
本发明解决了现有计算三维净体模型方法中存在的多个问题。首先,现存三维净体模型计算方法或者需要精密的三维扫描仪,或者需要旋转台以保持人体姿态不变,或者需要多个Kinect拍摄不同视觉的三维人体RGB-D图像,而本发明仅需要一台Kinect,降低了装置复杂度和成本。其次,本发明中的计算方法可全自动实现,无需人工辅助,且计算速度和精度均可达到良好的结果。与此同时,本发明为着装人体计算三维净体模型,有效保护了用户的隐私。
附图说明
图1是本发明中Kinect拍摄人体RGB-D图像的实验拍摄示意图。
图2是本发明方法的流程示意图。
图3是本发明实施例中深度数据全景图和人体深度图像。
图4是本发明实施例中人体深度图像去噪结果。
图5是本发明实施例中骨架分割关键点和人体深度图像分割结果。
图6是本发明实施例中与初始帧相邻的人体深度图像分割结果。
图7是本发明实施例中的三维人体形状。
图8是本发明实施例中三维净体样本模型的骨架结构。
图9是本发明实施例中模板模型与Kinect初始帧姿态的对齐结果。
图10是本发明实施例中将人体RGB图像进行皮肤分割的结果。
图11显示了本发明实施例中模板模型与三维人体形状的对应点。
图12是本发明实施例中模板模型与三维人体形状的过度拟合结果。
图13是本发明实施例中个性化三维净体模型最终计算结果。
具体实施方式
下面结合附图和实施方式对本发明作进一步说明。
本发明的实施例如下:
步骤一:根据图1中的图示安装实验设备,使着装人体站在距离Kinect约2米处自主旋转一周并以每秒约25帧速度拍摄记录该运动过程,所记录数据包含共约200帧RGB-D图像和骨骼姿态。其中,深度图像是像素坐标的函数,将其转换到三维坐标系(图3(a)),并利用包围盒方法将人体深度图像从背景中分离(图3(b))。
步骤二:将人体深度图像利用隐式曲面方法逐帧去噪,去噪结果如图4所示。由于去噪后的人体深度图像像素仍然比较密集,为提高计算效果进行采样,然后利用Kinect获取的骨架信息,将初始帧人体深度图像进行分割。其中,头与躯干由过头和颈部两关节点中间且垂直于y轴的平面分割,手臂和腿部分别由肘关节和膝关节相邻两骨骼的角平分面分割,上臂与躯干由肩关节和腋窝顶点所在平面分割,两大腿由过两髋关节中点和胯部顶点所在平面分割,躯干上下部分则由过躯干中点且垂直于y轴的平面分割,分割结果如图5所示。
步骤三:将步骤二中初始帧人体深度图像的分割结果与相邻帧人体深度图像建立对应关系,从而将初始帧的骨架分割关键点,即人体各关节点和腋窝胯部顶点变换到相邻帧相应的位置,利用变换后的骨架分割关键点,将相邻帧人体深度图像进行分割,如图6所示。
步骤四:将步骤三中得到的分部人体深度图像,按照与拍摄视角的角度将正面、侧面和背面的人体深度图像进行分类,将所有正面与背面的人体深度图像以肢节为单位,用局部到整体最近点迭代法进行注册融合,再利用侧面人体深度图像将正面和背面的三维人体形状变换到对应的位置。正面和背面三维人体形状之间略有缝隙,但并不影响对后续步骤中模板模型进行拟合,如图7所示。最后,用隐式曲面拟合法再将注册融合好的三维人体形状ψ进行去噪。
步骤五:利用三维扫描设备获取约100个不同体型、身高、年龄的女性三维净体模型,扫描姿态与图1中着装人体的姿态相似即可,不要求完全一样。
步骤六:为三维净体样本模型库中的模型构造统一的骨架结构,骨架结构中的每一个关节点的坐标由该模型上邻近的网格顶点集合来线性表示,为与Kinect获取的人体骨架对应,本发明实施例中三维净体样本模型的关节点有15个,如图8所示。三维净体模型有6449个顶点,则三维净体样本模型矩阵H为6464*150的矩阵。令w=20,对样本模型矩阵做主成分分析,选择最大的13个特征值对应的特征向量组成这13个特征值累计贡献率达95%,H所映射的低维三维净体样本矩阵b为150*13矩阵。
步骤七:选择三维净体样本模型库中身材较为匀称的三维净体模型M作为模板模型。
步骤八:用拉普拉斯网格变形法将模板模型M与Kinect初始姿态(图8)对齐,结果如图9所示。
步骤九:如图10所示,用皮肤分割方法将初始帧RGB图像中人体的皮肤部分从人体中识别出来,并标记出每个像素的属性。对每一个属性为皮肤的像素,在人体深度图像初始帧中找到对应点,也标记出该点属性,然后为模板模型M上对应皮肤的部分标记出属性。
步骤十:利用圆柱坐标,在模板模型M上分别寻找与三维人体形状ψ的对应点,结果如图11所示,对应点由线段连接。为模板模型M上对应皮肤的部分赋予权重10,再应用拉普拉斯网格变形法将模板模型M拟合到ψ上得到M’,结果如图12所示。
步骤十一:步骤十中的方法可能会导致过度拟合结果,如图12所示。将M’投影低维样本空间得到乘以得到新的净体模型重复步骤十和十一,迭代十次,最终得到拟合度符合要求的个性化三维净体模型,如图13所示。
由此可见,本发明解决了着装人体的过度拟合问题,能构建较为精确的个性化三维净体模型;仅需要一台Kinect捕捉着装人体自主旋转一周的RGB-D图像,无需其他装置设备即可快速、方便、经济地为着装人体计算出真实的个性化三维净体模型,具有突出显著的技术效果。
上述实施方式仅用来说明本发明而不用于限制本发明的范围,在本发明的精神和权利要求的保护范围内,对本发明的各种等价形式的修改均落入本发明所附权利要求限定的范围。

Claims (10)

1.一种利用单个Kinect计算着装人体三维净体模型的方法,其特征在于:
1)将Kinect深度摄像头与色彩摄像头利用OpenNI进行标定,着装人体以站立姿势旋转一周,捕捉其多帧RGB-D图像及其骨架信息,RGB-D图像包含有RGB图像和深度图像;
然后将RGB-D图像中的深度图像转换到世界坐标系下,并将人体深度图像从中提取出来,用隐式曲面拟合法将每一帧人体深度图像进行去噪处理,以获取平滑的人体深度图像;
2)采用准刚性分部注册方法,把人体除头以外的部分分为多个刚性部位,然后将人体深度图像进行分割,得到着装人体各个刚性部位的分部人体深度图像;
再将人体正面和背面的分部人体深度图像分别注册融合到人体深度图像的初始帧,得到人体正面和背面的三维人体形状;接着利用人体侧面的深度图像将上述人体正面和背面的三维人体形状匹配组合成完整的三维人体形状,再用隐式曲面拟合法去噪;
3)采集多个三维净体样本模型作为三维净体样本模型库,构造三维净体样本模型矩阵,用主成分分析法对三维净体样本模型矩阵进行降维,获得低维三维净体样本矩阵,并得到低维三维净体样本矩阵与三维净体样本模型矩阵之间的映射矩阵;
4)从三维净体样本模型库中,选取一个与着装人体体型最相近的三维净体模型作为模板模型,将模板模型与人体深度图像初始帧的人体姿态对齐;
5)利用圆柱坐标分部寻找对应点,再利用拉普拉斯网格变形法将模板模型与三维人体形状进行拟合,将拟合后的模板模型利用映射矩阵降维,然后乘以映射矩阵获得三维净体模型以消除过度拟合;
6)重复步骤5)依次迭代,直到相邻两次的迭代结果的平均位移标准差小于位移标准差阈值D,或迭代次数大于迭代次数阈值E次,得到符合人体形态且最接近真实人体的三维净体模型。
2.根据权利要求1所述的一种利用单个Kinect计算着装人体三维净体模型的方法,其特征在于:所述的步骤1)和步骤2)隐式曲面拟合法采用以下过程计算:
a)计算人体深度图像点云数据的隐式曲面,对任一空间点x,由以下公式表示的隐式曲面拟合法计算距离函数f(x):
其中,pi是点云中第i点,ni为pi的法向量,i是深度图像点云中点的序数,表示高斯核函数,并采用以下公式计算:
其中,σ2为方差;
b)对于满足距离函数f(x)=0条件的所有空间点x组成着装人体曲面,再剔除其中远离该人体曲面距离的点pi,进行去噪。
3.根据权利要求2所述的一种利用单个Kinect计算着装人体三维净体模型的方法,其特征在于:所述步骤b)中剔除其中远离该人体曲面距离的点pi具体采用以下方式:计算每个点pi的距离函数f(x),从大到小排序,迭代剔除前d%的点,d的大小根据迭代次数变化:d=10/2β,其中β=0,1,2…为迭代次数。
4.根据权利要求1所述的一种利用单个Kinect计算着装人体三维净体模型的方法,其特征在于:所述的步骤2)把人体除头以外的部分分割为多个刚性部位具体采用以下方式进行:将所述人体的躯干和四肢作为刚性部位,四肢包括分别位于人体左右侧的大腿、小腿、大臂和小臂,其中脚与小腿一起作为同一刚性部位,手与小臂一起作为同一刚性部位。
5.根据权利要求1所述的一种利用单个Kinect计算着装人体三维净体模型的方法,其特征在于:所述的步骤2)中使用的准刚性分部注册方法具体包括:
2-1)将人体深度图像利用初始帧的骨架信息中的骨架分割关键点进行分割,骨架分割关键点包括人体各关节点、两个腋窝顶点和胯部顶点,人体各关节点包括头部中心点、颈关节、脊柱中心点、两肩关节、两肘关节、两腕关节、两髋关节、两膝关节、两踝关节;其中除腋窝和胯部顶点外,均利用相邻两段刚性部位之间关节处的角平分面或垂直于y轴方向的平面来进行分割,y轴与着装人体竖直方向平行,正方向朝上;腋窝和胯部顶点利用扫描线方法进行识别,用过肩关节且平行于z轴的直线与腋窝顶点所在平面分割大臂和躯干,用过两髋关节中点且平行于z轴的直线与胯部顶点所在平面分割两大腿,z轴方向与Kinect深度摄像头光轴方向平行。
2-2)利用最近点迭代方法建立相邻帧人体深度图像各刚性部位的对应关系,将每一帧的骨架分割关键点变换到下一帧对应的人体深度图像上,依次变换从而分割相邻帧的人体深度图像;
2-3)将所有人体深度图像按刚性部位分割后,用局部到整体的最近点迭代方法将着装人体正面与背面的人体深度图像分别注册融合到人体深度图像的初始帧。
6.根据权利要求1所述的一种利用单个Kinect计算着装人体三维净体模型的方法,其特征在于:所述的步骤3)具体包括:
3-1)利用三维扫描设备采集不同体型、身高、年龄但姿态相同的三维净体模型作为样本,三维净体模型由统一网格结构构成;
3-2)将三维净体模型矩阵H表示为:
H = A ωT
其中,A=[a1 a2 … am]表示样本三维净体样本模型网格顶点坐标矩阵,ai为N维向量,N为顶点个数,i表示样本模型的序数,m为样本模型的总数;T=[t1 t2 … tm]表示三维净体样本模型关节点捻度矩阵,ti为n维向量,n为关节点个数,w表示由关节点构成的骨架结构所表示的人体姿态的权重;
3-3)运用主成分分析法将三维净体模型矩阵投影到低维三维净体样本矩阵,得到其中,为映射矩阵,其每一列为e个最大特征值对应的特征向量,b为低维三维净体样本矩阵。
7.根据权利要求1所述的一种利用单个Kinect计算着装人体三维净体模型的方法,其特征在于:所述步骤4)中将模板模型与人体深度图像初始帧的人体姿态对齐具体是以姿态为约束信息,用拉普拉斯网格变形法将模板模型与Kinect获取的着装人体初始帧姿态对齐:求解以下拉普拉斯约束方程计算得到与着装人体初始帧姿态对齐的模板模型,从而进行姿态对齐:
arg min { p i ′ } { Σ i = 1 N | | L ( p i ′ ) - R i δ i | | + ω Σ k = 1 n | | J k - J k ′ | | }
其中,pi'是第i个网格顶点拟合后的坐标,N为顶点个数,L(pi')是pi'的Laplace算子,δi是pi的Laplace坐标,Ri是pi的局部曲面旋转,ω表示姿态约束强度的系数,Jk是第k个关节点,Jk'是第k个关节点拟合后的坐标,即初始帧姿态坐标,n为关节点个数;
对上述每一个关节点Jk,其坐标用模板模型上邻近的网格顶点集合来线性表示:
J k = Σ l λ l k p l
其中,pl为模板模型的网格顶点,l为与关节点Jk相邻的顶点序数,为非负系数。
8.根据权利要求1所述的一种利用单个Kinect计算着装人体三维净体模型的方法,其特征在于:所述步骤5)具体包括:
5-1)借助圆柱坐标分部找到模板模型与已注册融合的三维人体形状的对应点:对三维人体形状点云上的每一点pi,将其投影到所对应的骨架上,投影点和该点pi所在直线与模板模型的交点即为对应点;当存在两个对应点时,选取法向量与该点pi接近的点作为对应点;
5-2)将RGB图像中皮肤部分利用皮肤分割方法将其从人体中识别出来并进行标识,将初始帧皮肤部分与着装部分分别映射到模板模型上,并赋予不同的权重,赋予权重后的三维净体模型集合矩阵表示为 H ~ = ΩA ωT , 其中Ω为权重系数矩阵;
5-3)再将拟合后的模板模型乘以映射矩阵获得三维净体模型;在拟合后的模板模型投影到低维三维净体样本矩阵的过程中出现过度拟合时,将拟合后的模板模型M表示为向量 ΩM ωT M , 投影到降维后的低维三维净体样本空间得到乘以可得到新的净体模型
9.根据权利要求8所述的一种利用单个Kinect计算着装人体三维净体模型的方法,其特征在于:所述的步骤5-2)将RGB图像中皮肤部分利用皮肤分割方法将其从人体中识别出来,选择椭圆皮肤模型,具体包括:
预处理:将Compaq数据库中的2000张皮肤图像转化到YcrCb色度空间,构成皮肤训练样本集,剔除皮肤训练样本集中出现频率最低的5%数据;
参数估计:选择椭圆皮肤模型,则在CrCb二维空间中皮肤像素点近似成一个椭圆分布,令ci(i=1,…,s)表示皮肤训练样本集中的所有不同的色度向量,fi(i=1,…,s)表示具有ci色度值的样本数量,i为色度向量序数,椭圆边界模型采用以下公式:
Φ(c)=(c-φ)TΛ-1(c-φ)
Λ = 1 S Σ i = 1 S f i · ( c i - μ ) ( c i - μ ) T
φ = 1 S Σ i = 1 s c i
S = Σ i = 1 s f i
μ = 1 S Σ i = 1 s f i c i
其中,φ第一待估参数,Λ第二待估参数,S是训练样本集的总样本数,s表示色度向量个数,μ是平均色度向量;
若人体RGB图像中像素的色度向量c满足Φ(c)<θ条件时,θ为皮肤阈值,被归类于皮肤。
10.根据权利要求8所述的一种利用单个Kinect计算着装人体三维净体模型的方法,其特征在于:所述的所述的步骤5-2)中,模板模型和深度图像皮肤部分对应点赋予的权重是模板模型和深度图像着装部分对应点赋予的权重两倍以上。
CN201510219761.0A 2015-04-30 2015-04-30 利用单个Kinect计算着装人体三维净体模型的方法 Pending CN104794722A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510219761.0A CN104794722A (zh) 2015-04-30 2015-04-30 利用单个Kinect计算着装人体三维净体模型的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510219761.0A CN104794722A (zh) 2015-04-30 2015-04-30 利用单个Kinect计算着装人体三维净体模型的方法

Publications (1)

Publication Number Publication Date
CN104794722A true CN104794722A (zh) 2015-07-22

Family

ID=53559502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510219761.0A Pending CN104794722A (zh) 2015-04-30 2015-04-30 利用单个Kinect计算着装人体三维净体模型的方法

Country Status (1)

Country Link
CN (1) CN104794722A (zh)

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654334A (zh) * 2015-12-17 2016-06-08 中国科学院自动化研究所 虚拟试衣方法和***
CN106078752A (zh) * 2016-06-27 2016-11-09 西安电子科技大学 一种基于Kinect的仿人机器人人体行为模仿方法
CN106326832A (zh) * 2015-06-29 2017-01-11 佳能株式会社 基于物体区域处理图像的装置及方法
CN106469464A (zh) * 2015-08-19 2017-03-01 富士通株式会社 用于三维建模目标对象的方法和***
CN106682594A (zh) * 2016-12-13 2017-05-17 中国科学院软件研究所 基于动态网格编码的姿势和动作识别方法
EP3188033A1 (en) * 2015-12-31 2017-07-05 Dassault Systèmes Reconstructing a 3d modeled object
CN107481228A (zh) * 2017-07-28 2017-12-15 电子科技大学 基于计算机视觉的人体背部脊柱侧弯角度测量方法
US9886530B2 (en) 2013-11-18 2018-02-06 Dassault Systems Computing camera parameters
US9886528B2 (en) 2013-06-04 2018-02-06 Dassault Systemes Designing a 3D modeled object with 2D views
CN107835378A (zh) * 2017-11-27 2018-03-23 韩劝劝 一种手机拍摄图像复合方法
CN108022278A (zh) * 2017-12-29 2018-05-11 清华大学 基于视频中运动跟踪的人物动画绘制方法及***
CN108053437A (zh) * 2017-11-29 2018-05-18 深圳奥比中光科技有限公司 基于体态的三维模型获取方法及装置
CN108154551A (zh) * 2017-11-29 2018-06-12 深圳奥比中光科技有限公司 实时动态重建三维人体模型的方法及***
US10013801B2 (en) 2014-12-10 2018-07-03 Dassault Systemes Texturing a 3D modeled object
CN108280476A (zh) * 2018-01-22 2018-07-13 东华大学 基于主成分分析和分层聚类的人体上肢带形态分类方法
CN108475439A (zh) * 2016-02-16 2018-08-31 乐天株式会社 三维模型生成***、三维模型生成方法以及程序
CN108876862A (zh) * 2018-07-13 2018-11-23 北京控制工程研究所 一种非合作目标点云位置姿态计算方法
CN108921635A (zh) * 2018-05-11 2018-11-30 江苏皓之睿数字科技有限公司 一种人体精准尺寸获得***和方法
CN109064550A (zh) * 2018-07-27 2018-12-21 北京花开影视制作有限公司 一种人体扫描建模方法
CN110148209A (zh) * 2019-04-30 2019-08-20 深圳市华讯方舟太赫兹科技有限公司 人体模型生成方法、图像处理设备及具有存储功能的装置
US10499031B2 (en) 2016-09-12 2019-12-03 Dassault Systemes 3D reconstruction of a real object from a depth map
CN110660132A (zh) * 2019-10-11 2020-01-07 杨再毅 一种三维模型构建方法及其装置
CN111063016A (zh) * 2019-12-31 2020-04-24 螳螂慧视科技有限公司 一种多深度镜头人脸建模方法、***、存储介质及终端
CN111399662A (zh) * 2020-06-04 2020-07-10 之江实验室 基于高真实感虚拟化身的人与机器人交互仿真装置及方法
CN112132881A (zh) * 2016-12-12 2020-12-25 华为技术有限公司 一种动态三维图像获取的方法和设备
CN112330813A (zh) * 2020-11-12 2021-02-05 首都师范大学 一种基于单目深度摄像头的着装下三维人体模型重建方法
CN112370166A (zh) * 2020-11-09 2021-02-19 深圳蓝胖子机器智能有限公司 激光美容***及应用激光美容***进行激光美容的方法
CN112927368A (zh) * 2021-02-20 2021-06-08 北京未澜科技有限公司 一种基于三维参数表达的人体衣物图片编辑和视频生成方法
CN113484464A (zh) * 2021-05-08 2021-10-08 北京航空航天大学 一种用于环境热舒适性实验的暖体假人
CN114627250A (zh) * 2022-05-13 2022-06-14 武汉纺织大学 一种基于Kinect的人体站姿三维重建与测量的方法
WO2023019313A1 (en) * 2021-08-18 2023-02-23 mPort Ltd Methods for generating a partial three-dimensional representation of a person

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102915238A (zh) * 2012-08-24 2013-02-06 黄敏 一种基于Kinect应用的三维仿真试衣中人体移动跟踪方法
CN203616780U (zh) * 2013-11-08 2014-05-28 杭州电子科技大学 一种人体三维扫描重建装置
CN103955963A (zh) * 2014-04-30 2014-07-30 崔岩 一种基于 Kinect设备的数字化人体三维重建方法及***
CN104167016A (zh) * 2014-06-16 2014-11-26 西安工业大学 一种基于rgb彩色与深度图像的三维运动重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102915238A (zh) * 2012-08-24 2013-02-06 黄敏 一种基于Kinect应用的三维仿真试衣中人体移动跟踪方法
CN203616780U (zh) * 2013-11-08 2014-05-28 杭州电子科技大学 一种人体三维扫描重建装置
CN103955963A (zh) * 2014-04-30 2014-07-30 崔岩 一种基于 Kinect设备的数字化人体三维重建方法及***
CN104167016A (zh) * 2014-06-16 2014-11-26 西安工业大学 一种基于rgb彩色与深度图像的三维运动重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHEN GUANG ET AL: "Reconstructing 3D human models with a Kinect", 《WILEY ONLINE LIBRARY》 *

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9886528B2 (en) 2013-06-04 2018-02-06 Dassault Systemes Designing a 3D modeled object with 2D views
US9886530B2 (en) 2013-11-18 2018-02-06 Dassault Systems Computing camera parameters
US10013801B2 (en) 2014-12-10 2018-07-03 Dassault Systemes Texturing a 3D modeled object
CN106326832B (zh) * 2015-06-29 2020-05-19 佳能株式会社 基于物体区域处理图像的装置及方法
CN106326832A (zh) * 2015-06-29 2017-01-11 佳能株式会社 基于物体区域处理图像的装置及方法
CN106469464A (zh) * 2015-08-19 2017-03-01 富士通株式会社 用于三维建模目标对象的方法和***
CN106469464B (zh) * 2015-08-19 2019-02-19 富士通株式会社 用于三维建模目标对象的方法和***
CN105654334A (zh) * 2015-12-17 2016-06-08 中国科学院自动化研究所 虚拟试衣方法和***
CN105654334B (zh) * 2015-12-17 2020-02-28 中国科学院自动化研究所 虚拟试衣方法和***
US9978177B2 (en) 2015-12-31 2018-05-22 Dassault Systemes Reconstructing a 3D modeled object
EP3188033A1 (en) * 2015-12-31 2017-07-05 Dassault Systèmes Reconstructing a 3d modeled object
CN108475439B (zh) * 2016-02-16 2022-06-17 乐天集团股份有限公司 三维模型生成***、三维模型生成方法和记录介质
CN108475439A (zh) * 2016-02-16 2018-08-31 乐天株式会社 三维模型生成***、三维模型生成方法以及程序
CN106078752A (zh) * 2016-06-27 2016-11-09 西安电子科技大学 一种基于Kinect的仿人机器人人体行为模仿方法
CN106078752B (zh) * 2016-06-27 2019-03-19 西安电子科技大学 一种基于Kinect的仿人机器人人体行为模仿方法
US10499031B2 (en) 2016-09-12 2019-12-03 Dassault Systemes 3D reconstruction of a real object from a depth map
CN112132881A (zh) * 2016-12-12 2020-12-25 华为技术有限公司 一种动态三维图像获取的方法和设备
CN106682594A (zh) * 2016-12-13 2017-05-17 中国科学院软件研究所 基于动态网格编码的姿势和动作识别方法
CN107481228A (zh) * 2017-07-28 2017-12-15 电子科技大学 基于计算机视觉的人体背部脊柱侧弯角度测量方法
CN107481228B (zh) * 2017-07-28 2021-02-09 电子科技大学 基于计算机视觉的人体背部脊柱侧弯角度测量方法
CN107835378A (zh) * 2017-11-27 2018-03-23 韩劝劝 一种手机拍摄图像复合方法
CN108154551B (zh) * 2017-11-29 2021-04-30 奥比中光科技集团股份有限公司 实时动态重建三维人体模型的方法及***
CN108053437B (zh) * 2017-11-29 2021-08-03 奥比中光科技集团股份有限公司 基于体态的三维模型获取方法及装置
CN108154551A (zh) * 2017-11-29 2018-06-12 深圳奥比中光科技有限公司 实时动态重建三维人体模型的方法及***
CN108053437A (zh) * 2017-11-29 2018-05-18 深圳奥比中光科技有限公司 基于体态的三维模型获取方法及装置
CN108022278A (zh) * 2017-12-29 2018-05-11 清华大学 基于视频中运动跟踪的人物动画绘制方法及***
CN108280476A (zh) * 2018-01-22 2018-07-13 东华大学 基于主成分分析和分层聚类的人体上肢带形态分类方法
CN108921635A (zh) * 2018-05-11 2018-11-30 江苏皓之睿数字科技有限公司 一种人体精准尺寸获得***和方法
CN108876862A (zh) * 2018-07-13 2018-11-23 北京控制工程研究所 一种非合作目标点云位置姿态计算方法
CN109064550A (zh) * 2018-07-27 2018-12-21 北京花开影视制作有限公司 一种人体扫描建模方法
CN110148209A (zh) * 2019-04-30 2019-08-20 深圳市华讯方舟太赫兹科技有限公司 人体模型生成方法、图像处理设备及具有存储功能的装置
CN110148209B (zh) * 2019-04-30 2023-09-15 深圳市重投华讯太赫兹科技有限公司 人体模型生成方法、图像处理设备及具有存储功能的装置
CN110660132A (zh) * 2019-10-11 2020-01-07 杨再毅 一种三维模型构建方法及其装置
CN111063016A (zh) * 2019-12-31 2020-04-24 螳螂慧视科技有限公司 一种多深度镜头人脸建模方法、***、存储介质及终端
CN111399662A (zh) * 2020-06-04 2020-07-10 之江实验室 基于高真实感虚拟化身的人与机器人交互仿真装置及方法
CN112370166A (zh) * 2020-11-09 2021-02-19 深圳蓝胖子机器智能有限公司 激光美容***及应用激光美容***进行激光美容的方法
CN112330813A (zh) * 2020-11-12 2021-02-05 首都师范大学 一种基于单目深度摄像头的着装下三维人体模型重建方法
CN112927368A (zh) * 2021-02-20 2021-06-08 北京未澜科技有限公司 一种基于三维参数表达的人体衣物图片编辑和视频生成方法
CN112927368B (zh) * 2021-02-20 2021-11-19 北京未澜科技有限公司 一种基于三维参数表达的人体衣物图片编辑和视频生成方法
CN113484464A (zh) * 2021-05-08 2021-10-08 北京航空航天大学 一种用于环境热舒适性实验的暖体假人
WO2023019313A1 (en) * 2021-08-18 2023-02-23 mPort Ltd Methods for generating a partial three-dimensional representation of a person
CN114627250A (zh) * 2022-05-13 2022-06-14 武汉纺织大学 一种基于Kinect的人体站姿三维重建与测量的方法

Similar Documents

Publication Publication Date Title
CN104794722A (zh) 利用单个Kinect计算着装人体三维净体模型的方法
CN108629801B (zh) 一种视频序列的三维人体模型姿态与形状重构方法
CN109427007B (zh) 基于多视角的虚拟试衣方法
Guan et al. Estimating human shape and pose from a single image
CN106780619B (zh) 一种基于Kinect深度相机的人体尺寸测量方法
CN102999942B (zh) 三维人脸重建方法
JP7015152B2 (ja) キーポイントデータに関する加工装置、方法及びプログラム
CN109242954A (zh) 基于模板变形的多视角三维人体重建方法
KR20190000907A (ko) 고속 3d 모델 피팅 및 인체 측정법
CN104240289A (zh) 一种基于单个相机的三维数字化重建方法及***
CN103106688A (zh) 基于双层配准方法的室内三维场景重建方法
CN101916454A (zh) 基于网格变形和连续优化的高分辨率人脸重建方法
Li et al. In-home application (App) for 3D virtual garment fitting dressing room
CN108564619B (zh) 一种基于两张照片的真实感三维人脸重建方法
Wuhrer et al. Landmark-free posture invariant human shape correspondence
CN112330813A (zh) 一种基于单目深度摄像头的着装下三维人体模型重建方法
CN109655011A (zh) 一种人体建模维度测量的方法及***
CN115861525A (zh) 基于参数化模型的多视图人脸重建方法
Fan et al. Convex hull aided registration method (CHARM)
Cao et al. Sesdf: Self-evolved signed distance field for implicit 3d clothed human reconstruction
CN108010122A (zh) 一种人体三维模型重建与测量的方法及***
CN112365589B (zh) 一种虚拟三维场景展示方法、装置及***
Remondino et al. 3D reconstruction of human skeleton from single images or monocular video sequences
CN108010084A (zh) 一种深度摄像机重建及自动标定的方法、***、设备
Wu et al. Photogrammetric reconstruction of free-form objects with curvilinear structures

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150722