CN108475439B - 三维模型生成***、三维模型生成方法和记录介质 - Google Patents

Abstract

迅速地生成高精度的三维模型。三维模型生成***(1)的骨架取得单元(32)基于深度检测装置(10)检测到的被摄体的深度信息，取得骨架参数。姿态变化单元(34)基于骨架参数，改变基于体型参数可以变形的三维模型的姿态。表面形状取得单元(36)基于深度信息，取得被摄体的表面形状。体型确定单元(37)基于由姿态变化单元(34)改变姿态的三维模型的表面形状与被摄体的表面形状之间的差异，确定体型参数。体型变形单元(39)基于由体型参数确定单元(37)确定的体型参数，使三维模型变形。

Description

三维模型生成***、三维模型生成方法和记录介质

技术领域

本发明涉及三维模型生成***、三维模型生成方法和记录介质。

背景技术

目前，公开有利用深度检测装置检测人或动物等被摄体后生成三维模型的技术。例如，非专利文献1公开了如下技术：利用多个RGBD摄像头从彼此不同的方向拍摄被摄体，基于各RGBD摄像头取得的被摄体的轮廓信息以及深度信息，估计被摄体的躯体线，生成三维模型。并且，例如，非专利文献2公开了将三维模型变形为符合单一RGBD摄像头检测到的深度信息所表示的手脚长度的技术。

先行技术文献

非专利文献

非专利文献1：A.Weiss,D.Hirshberg,and M.J.Black.Home 3d body scans fromnoisy image and range data.ICCV,2011.

非专利文献2：Q.Wang,V.Jagadeesh,B.Ressler,and R.Piramuthu.Im2fit:Fast3dmodel fitting and anthropometrics using single consumer depth camera andsynthetic data.arXiv,2014.

发明内容

发明要解决的课题

但是，根据非专利文献1的技术，需要准备多个RGBD摄像头，所以需要专门的拍摄工作室等。进一步地，需要分析从各拍摄方向拍摄被摄体的RGBD图像，所以处理复杂，生成三维模型需要消耗时间。并且，根据非专利文献2的技术，只是根据手脚等的长度改变三维模型，所以无法正确地估计被摄体的尺寸，例如，有时生成比实际被摄体的尺寸大的三维模型，无法生成高精度的三维模型。

本发明为了解决上述问题而提出，本发明的目的在于迅速生成高精度的三维模型。

用于解决课题的手段

为了解决上述问题，根据本发明的三维模型生成***的特征在于，包括：骨架取得单元，其基于深度检测装置检测到的被摄体的深度信息，取得骨架参数；姿态变化单元，其基于所述骨架参数，改变能够基于体型参数而变形的三维模型的姿态；表面形状取得单元，其基于所述深度信息，取得所述被摄体的表面形状；体型确定单元，其基于由所述姿态变化单元改变了姿态的三维模型的表面形状与所述被摄体的表面形状之间的差异，确定所述体型参数；以及体型变形单元，其基于由所述体型参数确定单元确定的体型参数，使所述三维模型变形。

根据本发明的三维模型生成方法的特征在于，包括：骨架取得步骤，基于深度检测装置检测到的被摄体的深度信息，取得骨架参数；姿态变化步骤，基于所述骨架参数，改变能够基于体型参数而变形的三维模型的姿态；表面形状步骤，基于所述深度信息，取得所述被摄体的表面形状；体型确定步骤，基于通过所述姿态变化步骤改变了姿态的三维模型的表面形状与所述被摄体的表面形状之间的差异，确定所述体型参数；以及体型变形步骤，基于通过所述体型参数确定步骤确定的体型参数，使所述三维模型变形。

根据本发明的程序使计算机执行如下单元的功能：骨架取得单元，其基于深度检测装置检测到的被摄体的深度信息，取得骨架参数；姿态变化单元，其基于所述骨架参数，改变能够基于体型参数而变形的三维模型的姿态；表面形状取得单元，其基于所述深度信息，取得所述被摄体的表面形状；体型确定单元，其基于由所述姿态变化单元改变了姿态的三维模型的表面形状与所述被摄体的表面形状之间的差异，确定所述体型参数；以及体型变形单元，其基于由所述体型参数确定单元确定的体型参数，使所述三维模型变形。

并且，根据本发明的信息存储介质是存储上述程序的计算机可读信息存储介质。

并且，根据本发明的一方面，特征在于，所述三维模型生成***还包括骨架确定单元，该骨架确定单元基于所述三维模型的表面形状与所述被摄体的表面形状之间的差异，确定所述骨架参数，其中，所述姿态变化单元基于由所述骨架确定单元确定的骨架参数，更新所述三维模型的姿态。

并且，根据本发明的一方面，特征在于，所述三维模型生成***还包括局部变形单元，该局部变形单元基于由所述体型变形单元变形的三维模型的表面形状的一部分与对应于相应部分的所述被摄体的表面形状之间的差异，对该部分进行变形。

并且，根据本发明的一方面，特征在于，所述三维模型生成***还包括检测范围指定单元，该检测范围指定单元基于所述深度信息，从所述三维模型中指定与所述深度检测装置的检测范围对应的部分，其中，所述局部变形单元对所述三维模型中的由所述检测范围指定单元指定的部分进行变形。

并且，根据本发明的一方面，特征在于，所述局部变形单元使所述三维模型的各部分基于周围的变形情形而变形。

并且，根据本发明的一方面，特征在于，所述局部变形单元使所述三维模型的各部分基于该部分的过去的形状而变形。

并且，根据本发明的一方面，特征在于，所述三维模型生成***还包括身体部分指定单元，该身体部分指定单元基于所述三维模型或者所述被摄体的表面形状，从所述三维模型中指定与所述被摄体的身体对应的身体部分，其中，所述体型确定单元在确定所述体型参数时，使与所述身体部分对应的差异的权重高于比其他部分的差异的权重。

并且，根据本发明的一方面，特征在于，所述三维模型生成***还包括检测范围指定单元，该检测范围指定单元基于所述深度信息，从所述三维模型中指定与所述深度检测装置的检测范围对应的顶点，其中，所述体型确定单元基于所述检测范围内的所述三维模型的表面形状与所述被摄体的表面形状之间的差异，确定所述体型参数。

并且，根据本发明的一方面，特征在于，所述三维模型生成***还包括履历记录单元，该履历记录单元将所述体型参数的履历记录到存储单元中，其中，所述体型确定单元基于由所述履历记录单元记录的履历，确定所述体型参数。

发明效果

根据本发明，能够迅速生成高精度的三维模型。

附图说明

图1是示出三维模型生成***中被摄体被拍摄的样子的图。

图2是三维模型生成***的硬件构成示意图。

图3是深度信息的一例示意图。

图4是检测姿态信息的一例示意图。

图5是简要示出三维模型生成***所执行的处理的图。

图6是示出三维模型生成***中实现的功能的一例的功能框图。

图7是骨架参数示意图。

图8是示出通过体型参数改变三维模型的样子的图。

图9是示出基于骨架参数改变三维模型的姿态的样子的图。

图10是示出基于骨架参数改变三维模型的姿态的样子的图。

图11是用于说明检测范围指定部的处理的说明图。

图12是体型确定部的处理的说明图。

图13是示出进行优化时改变三维模型的样子的图。

图14是顶点移动量的说明图。

图15是三维模型示意图。

图16是三维模型生成***中执行的处理的一例的流程图。

图17是形状估计处理的详细示意图。

图18是几何学的重构处理的详细示意图。

具体实施方式

[1、三维模型生成***的硬件构成]

下面，说明有关本发明的三维模型生成***的实施方式的例子。图1是三维模型生成***中被摄体被拍摄的样子示意图，图2是三维模型生成***的硬件构成示意图。如图1以及图2示出，三维模型生成***1包括深度检测装置10以及三维模型生成装置20。深度检测装置10以及三维模型生成装置20连接成通过有线通信或无线通行能够收发数据。

深度检测装置10是检测被摄体的深度的计测设备。例如，深度检测装置10可以是Kinect(注册商标)传感器。深度是深度检测装置10与被摄体的距离。被摄体是成为检测对象的移动物体，例如是人或动物及其衣服。

深度检测装置10包括控制部11、存储部12、通信部13以及深度检测部14。控制部11包括例如一个或多个微处理器。控制部11按照存储在存储部12的程序或数据执行处理。存储部12包括主存储部以及辅助存储部。例如，主存储部是RAM等易失性存储器，辅助存储部是硬盘或闪存等非易失性存储器。通信部13包括有线通信或无线通信用网卡。通信部13通过网络进行数据通信。

深度检测部14是利用电磁波或音波等检测深度的深度传感器(距离摄像头)，例如是RGBD摄像头或超声波传感器等。在这里，说明深度检测部14包括RGBD摄像头，利用红外线检测被摄体的深度的情况，但是，深度检测部14本身可以通过公知的各种深度传感器实现。

例如，深度检测部14的RGBD摄像头包括CMOS图像传感器或者CCD图像传感器以及红外线传感器。深度检测部14根据CMOS图像传感器或者CCD图像传感器的检测信号，生成被摄体的RGB图像。RGB图像是被摄体的平面信息，不具有深度。并且，深度检测部14从红外线传感器的发光元件发射红外线，并且通过受光元件检测被被摄体反射的红外线。之后，深度检测部14基于发射红外线起到返回的飞行时间，估计与被摄体的距离，生成深度信息。另外，深度信息的生成方法本身可以应用公知的各种方法，除了上述说明的飞行时间方式之外，还可以利用光编码方式。

图3是深度信息的一例示意图。如图3示出，在这里，深度信息I被表示为深度图像。因此，深度信息I的各像素与表示深度的像素值相关联。另外，可以将深度信息I视为与RGB图像不同的图像处理，还可以与RGB图像放在一起，作为RGBD图像进行处理。作为RGBD图像时，各像素的像素值除了各颜色通道的数值之外，还包括深度通道的数值。在本实施方式中，说明深度信息I作为与RGB图像不同地处理的情况。

深度检测装置10基于深度检测部14检测的深度信息I，估计被摄体的各关节位置，取得骨架。骨架可以通过公知的各种提取方法取得，在这里，将利用模板匹配的方法作为一例进行说明。例如，深度检测装置10执行深度检测部14检测的深度信息I与表示被摄体的轮廓基本形状的模板图像的模板匹配，估计深度信息I中的被摄体的各关节位置(像素)。之后，深度检测装置10对各关节的深度进行规定的矩阵转换，从而估计各关节的三维位置。该估计出的各关节位置是骨架的姿态，后面表示为检测姿态信息。

图4是检测姿态信息的一例示意图。如图4示出，检测姿态信息J包括被摄体的多个关节每一个的三维坐标。在这里，说明检测姿态信息J包括头J₁、肩中央J₂、右肩J₃、右手肘J₄、右手J₅、左肩J₆、左手肘J₇、左手J₈、脊柱J₉、臀中央J₁₀、右臀J₁₁、右膝盖J₁₂、右脚J₁₃、左臀J₁₄、左膝盖J₁₅以及左脚J₁₆的三维坐标的情况。另外，在图4，示出了从深度检测装置10观察被摄体的样子，图中的左右位置关系相反。并且，检测姿态信息J表示的关节数量可以比上述的16个多，还可以更少。检测姿态信息J只要表示根据深度信息I可检测的关节的位置即可，除此之外还可以包括例如手胳膊或脚胳膊的位置。

在本实施方式中，深度检测装置10基于规定的帧率生成深度信息I和检测姿态信息J。因此，深度检测装置10定期生成深度信息I和检测姿态信息J。例如，帧率为30fps时，深度检测装置10每1/30秒生成深度信息I和检测姿态信息J。下面，表示某一时刻t的深度信息I和检测姿态信息J时，将各自的标记记载为I^t、J^t。

三维模型生成装置20是生成三维模型的计算机，例如是个人计算机、便携式信息终端(包括平板电脑)或者便携式手机(包括智能手机)等。三维模型生成装20包括控制部21、存储部22、通信部23、操作部24以及显示部25。控制部21、存储部22以及通信部23的硬件构成分别与控制部11、存储部12以及通信部13相同，所以在这里省略说明。

操作部24是玩家进行操作的输入设备，例如是触摸屏或鼠标等指点设备或键盘等。操作部24将玩家的操作内容传递给控制部21。显示部25是例如液晶显示部或者有机EL显示部等。显示部25按照控制部21的指示显示画面。

另外，作为存储在存储部12、22中说明的程序以及数据可以通过网络供给。并且，深度检测装置10以及三维模型生成装置20的硬件构成并不限定于上述例子，可以应用各种计算机硬件。例如，深度检测装置10以及三维模型生成装置20分别可以包括读取计算机可读的信息存储介质的读取部(例如，光盘驱动器或存储卡插槽)。这种情况下，存储在信息存储介质的程序或数据可以通过读取部供给深度检测装置10以及三维模型生成装置20

[2、根据本发明的处理的概要]

图5是三维模型生成***1执行的处理的简要示意图。图5的t是时间轴。如图5示出，深度检测装置10向三维模型生成装置20定期发送深度信息I和检测姿态信息J。三维模型生成装置20在各帧的开始时刻接收到深度信息I和检测姿态信息J时，执行估计被摄体的身体形状(躯体线)的形状估计处理和根据估计的躯体线重构局部的详细形状(西装的褶皱等)的几何学的重构处理。在每一帧执行形状估计处理和几何学的重构处理。

在形状估计处理中，利用深度信息I和检测姿态信息J，表示身体的基本形状的模板变形为与被摄体的姿态或体型相似。模板是表示身体本身的三维模型，例如可以是裸的三维模型。模板由表示身体部位的多个部件构成，利用被摄体的拍摄数据和3DCAD事先准备即可。下面，表示模板时在三维模型记载“M_T”标记，表示通过形状估计处理变形的三维模型时，记载“M_S”标记。三维模型MS可以视为再现被摄体的姿态和体型的裸的三维模型。

在几何学的重构处理中，利用深度信息I，重构三维模型M_S的局部，以便表示出西装的褶皱等的详细形状(身体之外的部分的形状)。之后，在指该状态的三维模型时，记载“M_D”的标记。三维模型M_D是除了再现被摄体的躯体线之外，还再现了穿在身上的物体的三维模型。三维模型M_D能够区分被摄体的身体部分和除此之外的部分，所以通过将几何学的重构处理的执行结果反馈给形状估计处理，从而能够提高三维模型M_S的精度，这一点在后面详细说明。

在本实施方式中，利用贝叶斯估计理论，评价三维模型M_S、M_D的精度的水平，并且争取提高这些精度。贝叶斯估计理论是基于现实世界的计测结果，从概率性的意思估计想要估计的事情的方法。贝叶斯估计理论的概率越高，想要估计的事情实际发生的或然性更高。即、如果贝叶斯估计理论的概率高，则想要估计的三维模型M_S、M_D与实际的被摄体相似。

三维模型生成***1决定三维模型M_T的整体性变形情形和局部重构情形，以提高贝叶斯估计理论的概率。在本实施方式中，为了提高该概率，利用三维模型M_S与被摄体的整体性偏移情形的评价值E_S、三维模型M_D与被摄体的局部性偏移情形的评价值E_D以及用于使三维模型M_S不会出现现实中不可能出现的急剧变化的评价值E₀的三个评价值，迅速地生成高精度的三维模型。下面，详细说明该技术。

[3.在本实施方式中实现的功能]

图6是示出三维模型生成***1中实现的功能的一例的功能框图。如图6示出，在本实施方式中，说明数据存储部30、深度取得部31、骨架取得部32、体型取得部33、姿态变化部34、检测范围指定部35、表面形状取得部36、体型确定部37、履历记录部38、体型变形部39、骨架确定部40、局部变形部41以及身体部分指定部42在三维模型生成装置20中实现的情况。另外，在这里，由体型确定部37以及骨架确定部40执行形状估计处理的主要处理，由局部变形部41执行几何学的重构处理的主要处理。

[3-1、数据存储部]

数据存储部30主要以存储部22实现。数据存储部30存储用于生成三维模型M_S、M_D的数据。在这里，作为数据存储部30存储的数据的一例，说明如下数据。

(1)保存深度信息I的履历的深度履历数据

(2)保存骨架参数(在后面详细说明)的履历的骨架履历数据

(3)保存体型参数(在后面详细说明)的履历的体型履历数据

(4)保存顶点移动量(在后面详细说明)的履历的移动量履历数据

(5)定义三维模型M_T的模板数据

(6)保存三维模型M_S的履历的身体履历数据

(7)保存三维模型M_D的履历的重构履历数据

另外，数据存储部30中存储的数据并不限定于上述例子。例如，数据存储部30还可以存储保存检测姿态信息J的履历的数据或表示骨架J_T的基本姿态的数据。

[3-2、深度取得部]

深度取得部31主要以控制部21实现。深度取得部31取得深度检测装置10检测到的被摄体的深度信息I(图3)。在本实施方式中，三维模型生成装置20与深度检测装置10直接连接，所以深度取得部31从深度检测装置10直接接收深度信息I，但是，还可以经由其他设备间接地接收深度信息I。深度取得部31将取得到的深度信息保存在深度履历数据。

[3-3、骨架取得部]

骨架取得部32主要以控制部21实现。骨架取得部32基于深度检测装置10检测到的深度信息I，取得被摄体的骨架参数。骨架参数是关于被摄体的骨架的信息，是表示各关节的位置关系的信息。可以将图4的检测姿态信息J直接用作骨架参数，但是，在这里，说明骨架取得部32将检测姿态信息J表示的各关节的角度作为骨架参数的情况。骨架取得部32将取得到的骨架参数保存在骨架履历数据。

图7是示出骨架参数的图。如图7示出，骨架取得部32取得基于检测姿态信息J表示的各关节的三维坐标计算的各关节的角度{θ_j}作为骨架参数。检测姿态信息J表示的各关节中的末端之外的关节中存在角度，所以在图7的例子中，骨架参数{θ_j}由12个角度构成。之后，在指某一时刻t中的骨架参数{θ_j}时，记载为{θ^t _j}。

[3-4、体型取得部]

体型参数取得部主要以控制部21实现。体型参数取得部取得体型参数。在本实施方式中，三维模型M_T按照体型参数变形后是三维模型M_S。这里的变形是指表面的位置和形状发生变化，例如，整体尺寸发生变化，或者局部形状发生变化。体型取得部33将取得到的体型参数保存在体型履历数据。

体型参数是表示被摄体的体型特征的参数，表示全身或者各部位的尺寸。例如体型参数包括身高、胸围、腰围、臀围、裤腿长、胳膊长度或者脚的尺寸等的各自的数值。在本实施方式中，体型参数是多个值的组合，以{β_k}的标记记载。K是识别体型参数中包含的项目的数字，例如β₁是身高，β₂是胸围，β₃是腰围…等。另外，体型参数还可以是单一值，而不是多个值的组合。

图8是示出按照体型参数{β_k}三维模型M_T变形的样子的图。如图8示出，三维模型M_T以变成体型参数{β_k}表示的体型的方式变形。例如三维模型M_T按照β₁越小身高越矮、β₁越大身高越高的方式变形。并且，例如三维模型M_T按照β₂越小胸围越小、β₂越大胸围越长的方式变形。并且，例如三维模型M_T按照β₃越小腰围越细、β₃越大腰围越粗的方式变形。

假设体型参数{β_k}与三维模型M_T的各部件的形状(即、顶点的位置)的关系事先存储在数据存储部30。该关系可以是数学式形式，还可以是表格形式，还可以描述成程序码。该关系定义成三维模型M_T变成体型参数{β_k}的体型。后述的体型变形部39使三维模型M_T的各部件变形为与体型参数{β_k}相关联的形状。由此，三维模型M_T变形为对应于体型参数{β_k}的体型。

下面，当指某一时刻t中的体型参数{β_k}时，记载为{β^t _k}。另外，设第一次取得深度信息I时(即、开始根据本发明的处理时)为t＝0，则该时点的体型参数{β⁰ _k}是初始值，是原样示出模板的三维模型M_T的体型的值。体型参数{β⁰ _k}可以事先存储在数据存储部30。在t＝0，体型取得部33取得存储在数据存储部30的初始值的体型参数{β⁰ _k}。

[3-5、姿态变化部]

姿态变化部34主要以控制部21实现。姿态变化部34基于骨架参数{θ_j}，改变基于体型参数{β_k}可以变形的三维模型M_T的姿态。姿态变化部34改变三维模型M_T的各部件的位置关系，以变成骨架参数{θ_j}所示的姿态。另外，姿态是身体的部位的位置关系，在这里是各关节的位置关系。

图9以及图10是示出基于骨架参数{θ_j}三维模型M_T的姿态发生变化的样子的图。如图9示出，首先，姿态变化部34在三维模型M_T的内部设定基本姿态(例如，直立的状态)的骨架J_T。构成骨架J_T的多个关节的位置关系事先规定成示出作为模板的三维模型M_T的姿态即可。在三维模型M_T设定骨架J_T后，三维模型M_T的各顶点与骨架J_T的任一关节相关联。骨架J_T变形后各关节移动时，与该关节相关联的顶点以与该关节保持规定的位置关系的方式移动。即、与某一关节相关联的顶点与该关节联动。

姿态变化部34使骨架J_T变形，以使骨架参数{θ_j}表示的各关节的位置关系与骨架J_T的各关节的位置关系对应。位置关系对应是指这些两个关节的位置一致或者位置的偏移小于规定水平。允许某种程度的位置偏移是因为被摄体的实际的关节之间的距离与骨架J_T的关节之间的距离不一定一致，难以使这些的三维坐标完全一致。

在本实施方式中，为了实现整体姿态的相似，姿态变化部34按照骨架J_T的各关节的角度与骨架参数{θ_j}一致或者偏移低于基准的方式使骨架J_T变形。如上所述，三维模型M_T的各顶点与本身相关联的关节联动，所以如图10示出，姿态变化部34使骨架J_T变形，则能够取得与被摄体的姿态相似的姿态的三维模型M_S。

[3-6、检测范围指定部]

检测范围指定部35主要以控制部21实现。检测范围指定部35基于深度信息I，从三维模型M_S中指定与深度检测装置10的检测范围对应的部分。检测范围是被摄体的表面中可以检测的范围，是深度检测装置10的红外线被发射的地方。例如，检测范围指定部35基于深度信息I，取得三维空间中的深度检测装置10的朝向，并且基于该取得的朝向与三维模型M_S的表面的朝向的关系，指定检测范围。

图11是用于说明检测范围指定部35的处理的说明图。如图11示出，在这里，将深度检测装置10的视线方向V(即、红外线的照射方向)作为深度检测装置10的朝向使用。检测范围指定部35基于深度信息I，取得三维空间中的视点O_V以及视线方向V。视点O_V是视点坐标系的原点，视线方向V是视点坐标系的Z轴(另外，图11的坐标轴是世界坐标系的坐标轴)。

例如，检测范围指定部35基于深度信息I的注视点(即、图像的中心像素)的深度，取得三维空间中的深度检测装置10的位置O_V以及视线方向V。之后，检测范围指定部35基于三维模型的各顶点v_i的法线n_i与视线方向V的关系，指定检测范围内的顶点v_i。法线n_i通过顶点之间向量的向量积取得即可。检测范围指定部35将法线n_i与视线方向V彼此相对(例如，它们构成的角度在90°以上)的顶点v_i作为检测范围内，除此之外作为检测范围外。

[3-7、表面形状取得部]

表面形状取得部36主要以控制部21实现。表面形状取得部36基于深度信息I，取得被摄体的表面形状(后述的图12中示出。)。被摄体的表面形状是被摄体中的、深度检测装置10检测的部分的形状，深度信息I中表示为深度的区域。被摄体的表面形状是对深度信息I实施规定的矩阵转换得到的三维坐标群，将深度信息I的各像素的深度转换为三维空间。在深度检测装置10与被摄体的位置关系是如图1示出的情况下，表面形状取得部36取得的表面形状只是被摄体的前面，不包括背面。

[3-8、体型确定部]

体型确定部37主要以控制部21实现。体型确定部37基于通过姿态变化部34改变姿态的三维模型的表面形状与被摄体的表面形状之间的差异，确定体型参数。形状之间的差异是指三维空间中的位置差异，例如顶点之间的距离。体型确定部37按照形状差异变小的方式改变体型参数。即、体型确定部37改变体型参数，以使与改变体型参数之前的差异相比、改变体型参数之后的差异更小。

图12是体型确定部37的处理的说明图。在图12中，以实线表示三维模型M_S，以虚线表示被摄体的表面S_OB。首先，体型确定部37基于三维模型M_S的各顶点和被摄体的表面S_OB的各点，取得表示这些点的整体性偏移情形的评价值E_S。评价值E_S可以称为用于综合评价各顶点v_i的三维坐标与对应于该顶点v_i的点p_i的三维坐标的距离d_i的评价值E_S。换言之，评价值E_S表示三维模型M_S的精度水平。

例如，体型确定部37将距离d_i代入规定的数学式，从而取得评价值E_S。下面，表示某一时刻t中的评价值E_S时，记载为E^t _S(X^t)。某一时刻t中的三维模型M_S的表面形状根据体型参数{β^t _k}与骨架参数{θ^t _j}决定，所以将它们的组合记为X^t时(即、X^t＝{β^t _k，θ^t _j}。)，评价值E^tS(X^t)能够以变量X^t的函数表示，例如可以通过下面的公式1求出。

[数学式1]

公式1的μ^ti是加权系数(在这里，0以上1以下)。加权系数μ^t _i是用于降低或去除判断为不是身体(例如，西装的褶皱等)的部分的偏移情形给评价值E^t _S(X^t)带来的影响的系数。即、判断为不是身体的部分的偏移情形在取得评价值E^t _S(X^t)时无法信赖，所以为了加大判断为身体的部分的权重，且缩小判断为不是身体的部分的权重，使用加权系数μ^t _i。在后面说明加权系数μ^t _i的取得方法。

公式1的v^t _i是时刻t中的三维模型M_S的各顶点。p^t _i是被摄体的表面S_OB的各点中最接近顶点v^t _i的点。vis(v^t _i，p^t _i)是包括条件式的函数，如果顶点v^t _i在检测范围内，则返回顶点v^ti与点p^t _i的距离，如果顶点v^t _i在检测范围外，则返回规定值λ_S。之所以返回规定值λ_S是当顶点v^t _i在检测范围外时，对应于顶点v^t _i的点p^t _i不存在，无法取得距离。另外，规定值λ_S可以是任意值，但是，如果设为0，则有可能缩小三维模型，所以可以设为0.1程度。如公式1示出，体型确定部37针对每个顶点v^t _i，取得与点p^t _i的距离或者规定值λ_S，取得乘于加权系数μ^t _i的总和作为评价值E^t _S(X^t)。

在本实施方式中，体型确定部37基于评价值ES优化体型参数{β_k}。例如，体型确定部37选出多个体型参数{β_k}的候选，从中确定使评价值E_S最小或者低于阈值的候选的值，作为体型参数{β_k}。优化本身可以利用各种优化算法，在这里，将利用粒子群优化方法的情况作为一例进行说明。

体型确定部37基于粒子群优化算法，选出多个体型参数{β_k}的候选。在这里，体型确定部37基于后述的公式2的评价值E₀将体型参数{β_k}初始化，基于该初始化{β_k}，选出多个候选。例如，将与初始化的{β_k}的差异在规定范围的参数选为候选。候选的数量可以是任意的，还可以例如30个左右。体型确定部37计算每个候选的评价值E_S，选择多个候选中的一个。例如，体型确定部37选择使评价值E_S最小的候选的值作为新的体型参数{β_k}。体型确定部37将优化后的体型参数{β_k}传递给体型变形部39，使其更新三维模型M_S。

如上所述，在本实施方式中，在计算评价值E_S时使用加权系数μ^t _i，从而体型确定部37在确定体型参数{β_k}时，使对应于身体部分的差异的权重(即、加权系数μ^t _i)高于其他部分的差异的权重。并且，在本实施方式中，通过使用条件函数vis(v^t _i，p^t _i)，体型确定部37基于检测范围中的所述三维模型的表面形状与被摄体的表面形状之间的差异，确定体型参数。

另外，基于规定的帧率反复取得深度信息I，所以体型确定部37反复执行如上所述的优化处理。体型确定部37可以在某一个帧中仅进行一次优化，还可以在下一个帧到来之前反复优化处理，尽可能缩小评价值E_S。进一步地，体型确定部37还可以保持评价值E_S低于阈值时的体型参数{β_k}，在得到下一个帧的深度信息I之前，不进行进一步优化。

并且，被摄体是移动体，所以骨架参数{θ_j}有可能突然变化，但是，被摄体的体型不可能突然变化，所以体型参数{β_k}不可能突然变化。但是，例如当某个帧的深度信息I有时包括很多噪声时等，计算时，体型参数{β_k}有可能从之前的帧突然变化。在这种情况下，三维模型M_S急剧膨胀或萎缩。为了避免这种状况，体型确定部37还可以根据过去的值求出某个帧中的体型参数{β_k}的初始值，从而抑制体型参数{β_k}的波动。该初始值可以将过去的体型参数{β_k}代入规定的数学式得到，但是，在本实施方式中，说明基于评价值E₀确定体型参数{β_k}的初始值的情况。评价值E₀例如如下面的公式2，能够以体型参数{β_k}为变量的函数表示。

[数学式2]

公式2的d是主成分分析空间(所谓的PCA空间。在这里是体型参数{β_k}表示的k维空间。)中的距离。R是任意的时间。公式2的右边是体型参数{β_k}的候选值与各时刻t中的体型参数{β^t _k}的距离的合计。因此，公式2的左边表示某个体型参数{β_k}的候选值从过去的体型参数{β_k}整体上偏移多少。在本实施方式中，体型确定部37基于使得评价值E₀({β_k})最小或者低于阈值的{β_k}，进行初始化。

在公式2中，在过去的体型参数{β_k}的平均值时，评价值E₀({β_k})变得最小，所以体型确定部37基于过去的体型参数{β_k}的平均值进行初始化。这样，能够防止只有在某一时刻t体型参数{β_k}急剧变化。另外，该平均值可以是过去的所有期间的平均，还可以是最近的规定期间的平均。进一步地，在公式2，没有特别设定系数，但是，可以基于时刻t设定系数。在这种情况下，可以进行越是靠近现在时间权重越大的加权平均。这样，在本实施方式中，体型确定部37基于体型参数{β_k}和履历记录部38记录的履历，确定体型参数{β_k}。

[3-9、履历记录部]

履历记录部38主要以控制部21实现。履历记录部38将体型参数{β_k}的履历记录在数据存储部30。履历记录部38将体型参数{β_k}按照时间顺序保存在体型履历数据，或者与优化体型参数{β_k}的时间相关联地保存在体型履历数据。

[3-10、体型变形部]

体型变形部39主要以控制部21实现。体型变形部39基于体型参数确定部确定的体型参数，使三维模型M_T变形。体型变形部39通过改变三维模型M_T的顶点的位置从而实现变形。顶点是定义每个的多边形的点，所以顶点的位置发生变化时，三维模型M_T的各部件的位置以及形状中的至少一个发生变化。即、体型变形部39移动或改变构成三维模型M_T的多边形。另外，在这里说明利用三角形的多边形的情况，但是，还可以利用四边形或五边形以上的多边形。

图13是示出进行优化时三维模型M_S变化的样子的图。如图13示出，优化前的三维模型M_S(实线)的身高比被摄体的表面S_OB(虚线)矮，体型确定部37进行优化，加大表示身高的β₁，使三维模型M_S的身高变高。体型变形部39基于该优化后的体型参数{β_k}更新三维模型M_S时，三维模型M_S接近被摄体的实际身高。

[3-11、骨架确定部]

骨架确定部40主要以控制部21实现。骨架确定部40基于三维模型M_S的表面形状与被摄体的表面形状之间的差异，确定骨架参数{θ_j}。在这里，仅根据骨架取得部32基于检测姿态信息J取得的骨架参数{θ_j}，难以使三维模型M_S的姿态与被摄体的姿态一致，所以骨架确定部40基于评价值E_S确定骨架参数{θ_j}，优化骨架参数{θ_j}。

例如，骨架确定部40选出多个骨架参数{θ_j}的候选，从中将使得评价值E_S最小或者低于阈值的候选的值确定为骨架参数{θ_j}。优化本身可以利用各种优化算法，但是，在这里，利用最小二乘法的优化方法确定。

骨架确定部40基于最小二乘法，选出多个骨架参数{θ_j}的候选。例如，候选是与当前的骨架参数{θ_j}之间的差异在规定范围内的。候选的数量可以是任意数。体型确定部37为每个候选计算评价值E_S，选择多个候选中的一个。例如，体型确定部37选择使得评价值E_S最小的候选的值，作为新的骨架参数{θ_j}。姿态变化部34基于骨架确定部40确定的骨架参数{θ_j}，更新三维模型M_S的姿态。

[3-12、局部变形部]

局部变形部41主要以控制部21实现。局部变形部41基于体型变形部39进行变形的三维模型M_S的表面形状的一部分与对应于该部分的被摄体的表面形状之间的差异，使该局部变形。例如，局部变形部41基于三维模型M_S与被摄体的表面形状的局部性偏移情形，取得关于三维模型M_S的各顶点应该所处的位置的顶点移动量。顶点移动量表示未来再现被摄体的局部的详细，将三维模型M_S的顶点v_i移动到哪里合适。

图14是顶点移动量的说明图。图14放大示出了三维模型M_S以及被摄体的表面S_OB的胴体附近。另外，与图12相同地，以实线表示三维模型M_S，以虚线表示被摄体的表面S_OB。作为顶点移动量，只要是可以识别移动目的地的顶点v_i的信息即可，如图14示出，在本实施方式中，说明顶点移动量是顶点v_i的相对于法线n_i的方向上的移动量η_i的情况。

另外，顶点移动量并不限定于移动量η_i，可以利用移动目的地的顶点v_i的三维坐标表示，还可以是表示移动方向以及移动量的向量信息。局部变形部41将顶点v_i的三维坐标和被摄体的表面形状中最接近顶点v_i的点p_i的三维坐标代入规定的数学式，从而取得顶点移动量η_i。该数学式被规定为顶点v_i的三维坐标与点p_i的三维坐标的偏移越大时，顶点移动量η_i越大，该偏移越小时，顶点移动量η_i越小。

在本实施方式中，说明利用评价值E_D取得顶点移动量η_i的情况。评价值E_D是在使三维模型M_S基于顶点移动量η_i变形时，评价被摄体的表面S_OB偏移多少的评价值。另外，在这里，将基于顶点移动量η_i使三维模型M_S变形的模型以“M_D”的标记记载，所以可以将评价值E_D称为表示三维模型M_D的精度水平的值。在下面，指某个时刻t中的评价值E_D时，记载为E^t _D。另外，评价值E^t _D按照顶点移动量η_i变化，所以能够记载为以顶点移动量η_i为变量的函数E^t _D(η_i)。在本实施方式中，局部变形部41利用下面的公式3，取得评价值E^t _D(η_i)。

[数学式3]

公式3的右边第一项的S^t是三维模型M_S的表面。公式3的右边第一项是针对每个的顶点v^t _i计算某个时刻t中的被摄体的点p^t _i与将顶点v^t _i向法线n_i方向移动顶点移动量η_i的点v_i’的距离后取的总和。公式3的右边第二项的N(i)是与某个顶点v_i相邻的其他顶点，λ_D是超参数。公式3的右边第二项表示某个顶点v^t _i的顶点移动量η_i与相邻的顶点的顶点移动量η_j之间的差异的总和。当该值较大时，只有某个顶点v^t _i比周围的顶点突出，有可能变成了现实中不可能发生的局部突出的形状，所以为了防止这一现象使其变成自然的表面，在本实施方式中，定义了公式3的右边的第二项。另外，还可以省略右边第二项。

局部变形部41基于评价值E_D，取得各顶点v_i的顶点移动量η_i。评价值E_D越小，三维模型M_D与被摄体的表面形状之间的差异越小，提高精度，所以局部变形部41取得使得评价值E_D最小或者低于阈值的顶点移动量η_i。下面，指某个时刻t中的顶点移动量η_i时，记载了η^t _i。在本实施方式中，局部变形部41利用下面的公式4，暂且计算顶点移动量η^t _i，之后，修改为使得公式3的评价值E^t _D(η_i)最小的顶点移动量η^t _i。

[数学式4]

公式4是用于得到当前时刻t中的顶点v^t _i与点p^t _i的偏移和过去的顶点移动量(公式4中的最近帧的移动量)的加权平均的公式。公式4的ω_t－1以及ω’t是加权平均的系数。如公式4示出，临时计算顶点移动量η^t _i是因为某个时刻t的深度信息I中有可能混合有噪声，所以为了防止只有在混合有噪声时顶点移动量η_i急剧变化从而三维模型M_D突然突出或萎缩，取得与过去的平均，避免只有某个时点的顶点移动量η_i过大或者过小。

局部变形部41利用公式4，为每个顶点临时计算顶点移动量η_i。之后，局部变形部41基于临时计算的顶点移动量η_i，取得多个候选。对于该候选，只要是与临时计算的顶点移动量η_i的偏移在规定范围内的候选即可。该候选的数量可以是任意数。局部变形部41基于针对每个顶点v_i取得的候选，计算评价值E^t _D(η_i)，将变为最小的候选确定为顶点移动量η_i。

如上所述，在本实施方式中，如公式3的右边第二项示出，局部变形部41基于周围的顶点的顶点移动量η_i确定各顶点的顶点移动量η_i。因此，局部变形部41基于周围的变形情形使三维模型M_S的各部分变形。例如，局部变形部41能够使得三维模型M_S的各部分的变形情形与周围的部分的变形情形的差异低于规定程度。

并且，如公式4示出，顶点移动量η_i通过与过去的顶点移动量的加权平均得到，所以局部变形部41基于过去取得的顶点移动量η_i，取得顶点移动量η_i。因此，局部变形部41使得三维模型的各部分基于该部分的过去的形状进行变形。例如，局部变形部41能够使得三维模型的各部分的变形情形与该部分的过去的变形情形之间的差异低于规定程度。

局部变形部41基于如上所述获得的每个顶点的顶点移动量η_i，变更该顶点的位置。局部变形部41移动各顶点，移动到基于顶点移动量η_i决定的位置。在这里，顶点移动量η_i表示法线方向的移动量，所以局部变形部41变更顶点vi的三维坐标，以使顶点vi变成向法线n_i方向离开顶点移动量η_i的位置v_i’。即、局部变形部41通过基于顶点移动量η_i使三维模型M_S变形，从而生成三维模型M_D。

图15是三维模型M_D示意图。如图15示出，三维模型M_D再现了西装的褶皱和皮包等的详细形状。另外，局部变形部41还可以将深度检测装置10拍摄的RGB图像作为纹理映射到三维模型M_D的表面。这样，被摄体的表面的花纹和色彩等也能够通过三维模型M_D表达。

另外，深度检测装置10的检测范围外的部分的深度不会被计测，所以局部变形部41还可以变更三维模型M_S中由检测范围指定部35指定的部分的形状。并且，反复取得顶点移动量η_i，所以每当取得顶点移动量时，局部变形部41变更三维模型M_S的各顶点的位置。

[3-13、身体部分指定部]

身体部分指定部42主要以控制部21实现。身体部分指定部42基于三维模型M_S、M_D或者被摄体的表面形状，指定三维模型M_S、M_D中与被摄体的身体对应的身体部分。为了确定公式1的加权系数μ^t _i，指定身体部分。身体部分是形状变化较小的部分，表示相对较硬的物体的部分。除此之外的部分是形状变化较大的部分，表示相对较软的物体的部分。例如，身体部分是露出质地的部分，除此之外的部分是西装或皮包等的褶皱集中的部分(随着身体的移动进行移动的部分)。

西装的褶皱和皮包等的形状容易发生变化，但是身体不会突然膨胀或者萎缩，所以，在这里以为了指定身体部分从而指定三维模型M_D中位置变化较大的部分的情况为例。在本实施方式中，身体部分指定部42基于三维模型M_D的顶点的位置关系和时间变化，指定身体部分。例如，身体部分指定部42可以基于某个时刻t中的顶点与其周围的顶点的位置的偏移情形指定，还可以基于顶点的密度和分散情形指定。除此之外，例如身体部分指定部42还可以基于某个顶点的随时间经过的位置变化来指定。

在本实施方式中，说明利用三维模型M_D的表面曲率的情况。针对三维模型的每个顶点，身体部分指定部42按照下面的公式5，取得关于曲率的评价值κ。评价值κ表示局部曲率。评价值κ是-1以上1以下的值。当在某一时刻t的某个顶点v_i的κ的标准偏差κ^t低于阈值时，表示变化较小，所以身体部分指定部42作为对应于身体的区域，如果在阈值以上，则表示变化较大，所以作为身体之外的区域。

[数学式5]

另外，公式5的K是高斯曲率，H是平均曲率(Mean curvature)。针对每个顶点，基于该顶点与周围的顶点的位置关系计算K和H，例如基于顶点的密集情形计算。这样的计算方法本身是常见技术，详细情况可以参照“M.Meyer,M.Desbrun,P.Schroder,andA.H.Barr.Discrete differential-geometry operators for triangulated2-manifolds.Mathematics and Visualization,pages 35～57,2003”等。

如果标准偏差κ^t在阈值以上，则身体部分指定部42将加权系数μ^t _i设为小于1的规定值λ_u(例如，λ_u＜＜1)，如果标准偏差κ^t小于阈值，则将加权系数μ^t _i设为1。标准偏差κ^t较大，表示曲率变化大，所以该部分可以估计为形状容易变化的柔软的物体。另一方面，标准偏差κ^t小，表示曲率变化小，所以该部分可以估计为形状不容易变化的坚固的物体。因此，缩小标准偏差κ^t大的地方的加权系数μ^t _i，加大标准偏差κ^t小的地方的加权系数μ^t _i。另外，在上面说明了利用评价值κ的情况，但是，还可以利用表示通过下面的公式6求出的曲率大小的评价值c来指定身体部分。

[4、在本实施方式中执行的处理]

图16是示出三维模型生成***中执行的处理的一例的流程图。图16示出的处理通过控制部11、21按照分别存储在存储部12、22的程序进行动作来执行。下面说明的处理是由图6示出的功能模块执行的处理的一例。

首先，说明深度检测装置10的动作。如图16示出，控制部11基于深度检测部14的检测信号，生成深度信息I和检测姿态信息J(S10)。控制部11将在S10中生成的深度信息I和检测姿态信息J发送给三维模型生成装置20(S11)。

控制部11判断是否到来下一个处理时机(帧)(S12)。假设帧率事先存储在存储部12。控制部11利用实时时钟执行计时处理，从而判断当前时刻是否变成各帧的开始时刻。

在判断为下一个处理时机到来时(S12；N)，控制部11判断是否结束本处理(S13)。在S13中，控制部11判断是否满足事先规定的结束条件(例如，从三维模型生成装置20是否接收到用于结束处理的信号等)即可。当没有判断为结束本处理时(S13；N)，返回S12的处理。另一方面，当判断为结束本处理时(S13；Y)，结束本处理。

另一方面，在S12中，当判断为下一个处理时机到来时(S12；Y)，返回S10的处理。之后，深度检测装置10在结束本处理之前，定期生成深度信息I和检测姿态信息J并发送给三维模型生成装置20。

其次，说明三维模型生成装置20的动作。如图16示出，控制部21首先基于存储在存储部22的模板数据，在虚拟三维空间内配置三维模型M_T(S20)。在S20中，控制部21将对应有三维模型M_T的体型参数{β_k}(即、初始值)保存在体型履历数据。该初始值事先存储在存储部22中即可。

控制部21基于存储在存储部22的基本姿态数据，在S20配置的三维模型M_T内部设定骨架J_T(S21)。在S21的时点，三维模型生成装置20从深度检测装置10还没有接收深度信息I和检测姿态信息J，所以在三维空间，基本形状的三维模型M_T采取基本姿态。即、三维模型M_T的体型和姿态与实际的被摄体的形状不相似。

控制部21从深度检测装置10接收深度信息I和检测姿态信息J(S22)。在S22中，控制部21将接收到的深度信息I和检测姿态信息J分别保存在深度履历数据和骨架履历数据。控制部21执行用于估计被摄体的身体的形状的形状估计处理(S23)。

图17是示出形状估计处理的详细的图。如图17示出，控制部21基于在S22中接收到的检测姿态信息J，取得各关节的骨架参数{θ_j}(S30)。控制部21基于在S30中取得的骨架参数{θ_j}，使三维模型M_T变形(S31)。在S31中，控制部21基于在S31中取得的骨架参数{θ_j}，使三维模型M_T内的骨架J_T变形。

控制部21对于在S31中变形的三维模型M_T执行蒙皮处理(S32)。通过S32的处理，三维模型的表面变为光滑。由此，生成三维模型M_S。时刻t中的识别三维模型M_S的信息(顶点和骨架J_T的位置)保存在身体履历数据。

控制部21基于评价值E₀进行体型参数{β_k}的初始化(S33)。在S33中，控制部21将保存在存储部22的体型履历数据中的履历代入公式2，将使得评价值E₀最小的值(即、平均值)作为最新的体型参数{β_k}。另外，如果时刻t＝0，则体型履历数据中只保存有初始值，所以直接使用初始值。

控制部21基于评价值E_S，优化体型参数{β_k}(S34)。在S34中，控制部21基于在S22中接收的深度信息，取得被摄体的三维坐标。之后，控制部21基于在S33中取得的体型参数{β_k}和粒子群优化算法，取得多个体型参数{β_k}的候选。控制部21基于对应于各候选的三维模型M_S和公式1，取得各候选的评价值E_S。控制部21通过将使得评价值E_S最小的候选的值作为体型参数{β_k}，从而执行优化。被优化的体型参数{β_k}保存在体型履历数据。控制部21基于在S34中优化的体型参数{β_k}，更新三维模型M_S(S35)。

控制部21基于评价值E_S，优化骨架参数{θ_j}(S36)。在S36中，控制部21基于最新的骨架参数{θ_j}和最小二乘法，取得多个骨架参数{θ_j}的候选。控制部21基于对应于各候选的三维模型M_S和公式1，取得各候选的评价值E_S。控制部21更新骨架参数{θ_j}以变成评价值E_S变成最小的候选的值，从而执行优化。被优化的骨架参数{θ_j}保存在骨架履历数据。控制部21基于在S36中优化的骨架参数{θ_j}更新三维模型(S37)。

之后，控制部21重复S33～S37的处理，直到评价值E_S变得充分小。另外，在S22中，当接收到深度信息I和检测姿态信息J时(即、变成下一个帧的情况)，需要在最新的深度信息I以及检测姿态信息J加上体型和姿态，所以再次从S30的处理开始执行。

返回图16，控制部21执行用于表达被摄体的局部详细的几何学的重构处理(S24)。另外，几何学的重构处理在帧内可以反复执行，还可以仅执行一次。

图18是示出几何学的重构处理的详细的图。如图18示出，控制部21基于在S22中取得的深度信息I，指定三维模型M_S中的检测范围(S40)。在S40中，控制部21基于深度信息I取得深度检测装置10的视线方向V，基于三维模型M_S的各顶点v_i的与法线n_i的关系指定检测范围。

控制部21基于评价值E_D，取得检测范围内的每个顶点的顶点移动量{η_i}(S41)。在S41中，控制部21基于检测范围内的顶点的三维坐标、被摄体的三维坐标和公式3，取得评价值E_D。之后，控制部21基于公式4，取得临时的顶点移动量{η_i}，修改成评价值E_D最小的顶点移动量{η_i}。时刻t中的顶点移动量{η_i}保存在移动量履历数据。

控制部21基于在S41中取得的顶点移动量{η_i}，重新配置检测范围内的顶点(S42)。由此，生成三维模型M_D。时刻t中的识别三维模型M_D的信息(顶点和骨架J_T的位置)保存在重构履历数据。

控制部21基于在S41中取得的顶点移动量{η_i}，取得检测范围内的顶点的加权系数μ_i(S43)。在S43中，控制部21基于公式5，区分三维模型M_S、M_D中的身体部分与除此之外的部分，基于该区分结果，针对每个顶点取得加权系数μ_i。在S43中取得的加权系数μ_i用于S23的形状估计处理中的评价值E_D的计算中。

返回图16，控制部21判断是否结束本处理(S25)。当不能判断为结束时(S25；N)，返回S22的处理，当接收到下一个帧的深度信息I和检测姿态信息J时，执行基于最新的深度信息I和检测姿态信息J的形状估计处理以及几何学的重构处理。另一方面，判断为结束时(S25；Y)，结束本处理。

根据以上说明的三维模型生成***1，在使三维模型M_T的姿态接近被摄体的姿态的基础上，确定体型参数{β_k}并生成三维模型M_S，所以能够讯速地生成高精度的三维模型M_S。即、无需进行多个深度检测装置10的图像解析，所以无需执行复杂的处理，能够迅速地生成三维模型M_S。进一步地，优化体型参数{β_k}使其接近被摄体的实际的躯体线，所以能够提高三维模型M_S的精度。例如，如果能够提高三维模型M_S的精度，则可以通过在三维模型M_S重叠西装等对象，在网上商城等中，能够模拟试穿商品。除此之外，例如还可以将三维模型M_S使用在制作定制西装等各种用途。

并且，对骨架参数{θ_j}进行优化以缩小与被摄体的实际的骨架的偏移，所以能够使三维模型M_S的姿态接近被摄体的姿态，能够进一步提高三维模型M_S的精度。例如，如上所述，难以使检测姿态信息J和骨架J_T完全一致，所以通过优化骨架参数{θ_j}，能够使体型和姿态两个接近实际的被摄体。进一步地，在优化体型参数{β_k}之后优化骨架参数{θ_j}，之后重复这些的优化，从而能够逐渐缩小三维模型M_S与被摄体的偏移。

并且，基于顶点移动量η_i使三维模型M_S局部变形，从而能够使三维模型M_D的各部分的形状接近被摄体的局部形状，所以能够提高三维模型M_D的精度。例如，如实施方式，即使在采用单一的深度检测装置10的情况下，对于深度检测装置10检测的一面，通过三维模型M_D能够再现西装的褶皱等详细情况，对于其他的面，能够再现躯体线。

并且，通过将几何学的重构处理的对象作为检测范围内的区域，从而对于无需变形的部分无需执行处理，所以减轻三维模型生成装置20的处理负荷，并且能够更加迅速地生成三维模型M_D。

并且，各顶点的顶点移动量η_i是基于周围的顶点的顶点移动量决定的，所以能够使三维模型M_S的各部分的形状基于周围的形状变形。其结果，能够防止只有某个部分不自然地突出或凹陷的状态，能够提高三维模型M_D的精度。

并且，各顶点的顶点移动量η_i是基于该顶点的过去的顶点移动量决定的，所以能够使三维模型M_S的各部分基于该部分的过去的形状变形。其结果，能够防止只有在某个时点指定的部分突然变形。

并且，通过利用加权系数μ_i，能够抑制身体之外的部分对评价值E_D带来影响，所以能够抑制在估计被摄体的躯体线时不重要的部分给评价值E_D带来的影响。其结果，能够在高可靠性的部分估计被摄体的躯体线后作为三维模型M_S，所以能够进一步提高三维模型M_S的精度。

并且，使三维模型M_S基于深度检测装置10的检测范围内的偏移情形进行变形，从而能够防止无法检测到的范围的位置给三维模型M_S的体型带来影响，所以能够进一步提高三维模型M_S的精度。

并且，基于体型参数{β_k}的履历来决定体型参数，所以能够防止体型参数{β_k}突然变大。其结果，能够防止只有在某个指定时刻三维模型M_S的体型急剧变化的不自然的状况。

[5、变形例]

另外，本发明并不限定于以上说明的实施方式。在不脱离本发明宗旨的范围内可以有适当的变更。

例如说明了优化体型参数{β_k}后优化骨架参数{θ_j}的情况，但是，还可以颠倒这一顺序。并且，例如说明了对体型参数{β_k}和骨架参数{θ_j}的两个进行优化的情况，但是，还可以只对任意一个进行优化。

并且，例如说明了计算顶点移动量η_i时，考虑周围的顶点的变形情形和随着时间经过出现的变化的情况，但是，如果是以处理速度为首选，则可以不特别考虑这些。相同地，说明了利用从过去的体型参数{β_j}不偏移很多的评价值E₀的情况，但是，如果时以处理速度为首选，则过去的体型参数{β_j}可以不特别考虑。并且，说明了指定三维模型M_S中检测范围内的区域并取得评价值E_S或者设为几何学的重构的处理对象的情况，但是，还可以不特别考虑检测范围，将整个三维模型M_S作为处理对象。

并且，例如说明了执行形状估计处理和几何学的重构处理的两种处理的情况，但是，在只是以躯体线的估计为目的利用三维模型生成***1时，还可以省略几何学的重构处理。进一步地，评价值E_S、E_D、E₀的计算公式只是一例，还可以采用其他计算公式。并且，例如可以利用三维模型M_S指定身体部分，还可以利用深度信息I指定身体部分。利用三维模型M_S时，与实施方式中说明的方法相同地，根据顶点的位置关系和时间变化来指定即可。另一方面，利用深度信息I时，可以只是将最接近被摄体的表面S_OB的各点的顶点作为身体部分，除此以外作为身体部分之外。

并且，例如，检测姿态信息J可以通过三维模型生成装置20生成。在这种情况下，三维模型生成装置20基于深度信息I生成检测姿态信息J。并且，例如，还可以由深度检测装置10生成骨架参数{θ_j}并发送给三维模型生成装置20。并且，例如还可以不特别规定帧率，深度检测装置10可以不定期地生成深度信息I和检测姿态信息J。并且，例如，被摄体还可以是人之外的动物(例如，狗或猫等)。

并且，例如说明了三维模型生成装置20中实现各功能的情况，但是，还可以在深度检测装置10或其他计算机中实现各功能。并且，例如可以通过三维模型生成***1的多个计算机分担各功能。进一步地，还可以省略上述说明的各功能中的骨架取得部32、姿态变化部34、表面形状取得部36、体型确定部37以及体型变形部39之外的功能。

Claims (13)

1.一种三维模型生成***，其特征在于，包括：

骨架取得单元，其基于深度检测装置检测到的被摄体的深度信息，取得骨架参数；

姿态变化单元，其基于所述骨架参数，改变能够基于体型参数而变形的三维模型的姿态；

表面形状取得单元，其基于所述深度信息，取得所述被摄体的表面形状；

体型确定单元，其基于由所述姿态变化单元改变了姿态的三维模型的表面形状与所述被摄体的表面形状之间的差异，确定所述体型参数；

体型变形单元，其基于由所述体型确定单元确定的体型参数，使所述三维模型变形；以及

身体部分指定单元，其基于所述三维模型或者所述被摄体的表面形状，从所述三维模型中指定与所述被摄体的身体对应的身体部分，

其中，在确定所述体型参数的情况下，所述体型确定单元使与所述身体部分对应的差异的权重比其他部分的差异的权重高。

2.根据权利要求1所述的三维模型生成***，其特征在于，该三维模型生成***还包括骨架确定单元，该骨架确定单元基于所述三维模型的表面形状与所述被摄体的表面形状之间的差异，确定所述骨架参数，

其中，所述姿态变化单元基于由所述骨架确定单元确定的骨架参数，更新所述三维模型的姿态。

3.根据权利要求1或2所述的三维模型生成***，其特征在于，该三维模型生成***还包括局部变形单元，该局部变形单元基于由所述体型变形单元变形后的三维模型的表面形状的一部分与对应于该部分的所述被摄体的表面形状之间的差异，对该部分进行变形。

4.根据权利要求3所述的三维模型生成***，其特征在于，该三维模型生成***还包括检测范围指定单元，该检测范围指定单元基于所述深度信息，从所述三维模型中指定与所述深度检测装置的检测范围对应的部分，

其中，所述局部变形单元使所述三维模型中的由所述检测范围指定单元指定的部分变形。

5.根据权利要求3-所述的三维模型生成***，其特征在于，

所述局部变形单元使所述三维模型的各部分基于周围的变形情形而变形。

6.根据权利要求3所述的三维模型生成***，其特征在于，

所述局部变形单元使所述三维模型的各部分基于该部分的过去的形状而变形。

7.根据权利要求1或2所述的三维模型生成***，其特征在于，该三维模型生成***还包括履历记录单元，该履历记录单元将所述体型参数的履历记录在存储单元中，

其中，所述体型确定单元基于由所述履历记录单元记录的履历，确定所述体型参数。

8.一种三维模型生成***，其特征在于，包括：

骨架取得单元，其基于深度检测装置检测到的被摄体的深度信息，取得骨架参数；

姿态变化单元，其基于所述骨架参数，改变能够基于体型参数而变形的三维模型的姿态；

表面形状取得单元，其基于所述深度信息，取得所述被摄体的表面形状；

体型确定单元，其基于由所述姿态变化单元改变了姿态的三维模型的表面形状与所述被摄体的表面形状之间的差异，确定所述体型参数；

体型变形单元，其基于由所述体型确定单元确定的体型参数，使所述三维模型变形；以及

检测范围指定单元，其基于所述深度信息，从所述三维模型中指定与所述深度检测装置的检测范围对应的顶点，

其中，所述体型确定单元基于所述检测范围内的所述三维模型的表面形状与所述被摄体的表面形状之间的差异，确定所述体型参数。

9.根据权利要求8所述的三维模型生成***，其特征在于，该三维模型生成***还包括履历记录单元，该履历记录单元将所述体型参数的履历记录在存储单元中，

其中，所述体型确定单元基于由所述履历记录单元记录的履历，确定所述体型参数。

10.一种三维模型生成方法，其特征在于，包括：

骨架取得步骤，基于深度检测装置检测到的被摄体的深度信息，取得骨架参数；

姿态变化步骤，基于所述骨架参数，改变能够基于体型参数而变形的三维模型的姿态；

表面形状步骤，基于所述深度信息，取得所述被摄体的表面形状；

体型确定步骤，基于通过所述姿态变化步骤改变了姿态的三维模型的表面形状与所述被摄体的表面形状之间的差异，确定所述体型参数；

体型变形步骤，基于通过所述体型确定步骤确定的体型参数，使所述三维模型变形；以及

身体部分指定步骤，基于所述三维模型或者所述被摄体的表面形状，从所述三维模型中指定与所述被摄体的身体对应的身体部分，

其中，所述体型确定步骤中，在确定所述体型参数的情况下，使与所述身体部分对应的差异的权重比其他部分的差异的权重高。

11.一种三维模型生成方法，其特征在于，包括：

骨架取得步骤，基于深度检测装置检测到的被摄体的深度信息，取得骨架参数；

姿态变化步骤，基于所述骨架参数，改变能够基于体型参数而变形的三维模型的姿态；

表面形状步骤，基于所述深度信息，取得所述被摄体的表面形状；

体型确定步骤，基于通过所述姿态变化步骤改变了姿态的三维模型的表面形状与所述被摄体的表面形状之间的差异，确定所述体型参数；

体型变形步骤，基于通过所述体型确定步骤确定的体型参数，使所述三维模型变形；以及

检测范围指定步骤，基于所述深度信息，从所述三维模型中指定与所述深度检测装置的检测范围对应的顶点，

其中，在所述体型确定步骤中，基于所述检测范围内的所述三维模型的表面形状与所述被摄体的表面形状之间的差异，确定所述体型参数。

12.一种记录介质，其记录有用于使计算机作为如下单元进行工作的程序：

骨架取得单元，其基于深度检测装置检测到的被摄体的深度信息，取得骨架参数；

姿态变化单元，其基于所述骨架参数，改变能够基于体型参数而变形的三维模型的姿态；

表面形状取得单元，其基于所述深度信息，取得所述被摄体的表面形状；

体型确定单元，其基于由所述姿态变化单元改变了姿态的三维模型的表面形状与所述被摄体的表面形状之间的差异，确定所述体型参数；

体型变形单元，其基于由所述体型确定单元确定的体型参数，使所述三维模型变形；以及

身体部分指定单元，其基于所述三维模型或者所述被摄体的表面形状，从所述三维模型中指定与所述被摄体的身体对应的身体部分，

其中，在确定所述体型参数的情况下，所述体型确定单元使与所述身体部分对应的差异的权重比其他部分的差异的权重高。

13.一种记录介质，其记录有用于使计算机作为如下单元进行工作的程序：

骨架取得单元，其基于深度检测装置检测到的被摄体的深度信息，取得骨架参数；

姿态变化单元，其基于所述骨架参数，改变能够基于体型参数而变形的三维模型的姿态；

表面形状取得单元，其基于所述深度信息，取得所述被摄体的表面形状；

体型确定单元，其基于由所述姿态变化单元改变了姿态的三维模型的表面形状与所述被摄体的表面形状之间的差异，确定所述体型参数；

体型变形单元，其基于由所述体型确定单元确定的体型参数，使所述三维模型变形；以及

检测范围指定单元，其基于所述深度信息，从所述三维模型中指定与所述深度检测装置的检测范围对应的顶点，

其中，所述体型确定单元基于所述检测范围内的所述三维模型的表面形状与所述被摄体的表面形状之间的差异，确定所述体型参数。

Images