CN103218506A

CN103218506A - 信息处理装置、显示控制方法和程序

Info

Publication number: CN103218506A
Application number: CN2012104320480A
Authority: CN
Inventors: 铃木诚司
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2011-11-09
Filing date: 2012-11-02
Publication date: 2013-07-24
Anticipated expiration: 2032-11-02
Also published as: CN103218506B; JP2013101527A; JP5845830B2; US20130113829A1; US9218781B2

Abstract

本发明涉及信息处理装置、显示控制方法和程序。提供了一种信息处理装置，包括：动作检测单元，检测已拍摄的被摄体的动作；和显示控制单元，根据动作检测单元检测到的动作，控制被覆盖显示在被摄体上的虚拟衣服或配件中的至少一个的穿或脱中的至少一个。

Description

信息处理装置、显示控制方法和程序

技术领域

本公开涉及信息处理装置、显示控制方法和程序。

背景技术

已经提出了通过将衣服的图像叠加在通过拍摄用户而产生的图像上来产生试穿图像（即，试穿衣服等的图像）的各种技术，作为虚拟试穿***。

作为一个示例，第2006-304331号日本特开公报公开了一种将衣服的图像叠加在用户身体的图像上的处理。更具体地讲，在第2006-304331号公报中公开的图像处理服务器根据附属于用户的身体图像的诸如身体轮廓数据（身高、肩宽等）的信息和图像中身体的朝向来改变衣服图像的尺寸并调整图像的朝向，然后将衣服图像叠加在身体图像上。

发明内容

利用第2006-304331号公报中公开的试穿图像产生技术，要叠加的衣服图像由用户任意选择，并自动执行叠加处理。作为具体的示例，一旦通过利用移动终端读取附于衣服的ID或者点击显示在显示器上的衣服图像来进行选择，就自动产生试穿图像。

然而，在现实中试穿衣服包含用户更换的动作，因此由不包括这种动作的虚拟试穿***产生的试穿图像缺少真实性。另外，以上提及的第2006-304331号公报并未考虑到根据用户的动作来产生试穿图像。

出于这个原因，本公开旨在提供一种能够根据被摄体的动作来控制衣服和/或配件的穿和/或脱的新颖的改进的信息处理装置、显示控制方法和程序。

根据本公开，提供了一种信息处理装置，包括：动作检测单元，检测已拍摄的被摄体的动作；显示控制单元，根据动作检测单元检测到的动作，控制被覆盖显示在被摄体上的虚拟衣服和/或配件的穿和/或脱。

根据本公开，提供了一种显示控制方法，包括：检测已拍摄的被摄体的动作；根据检测到的动作控制被覆盖显示在被摄体上的虚拟衣服和/或配件的穿和/或脱。

根据本公开，提供了一种使计算机执行下述处理的程序：检测已拍摄的被摄体的动作；和根据检测到的动作控制覆盖显示在被摄体上的虚拟衣服和/或配件的穿和/或脱。

根据上述的本公开的实施例，能够根据被摄体的动作控制衣服和/或配件的穿和/或脱。

附图说明

图1是用于解释根据本公开的实施例的AR试穿***的概要的示图；

图2是用于解释在通常的虚拟试穿***中的试穿（叠加处理）时序的示图；

图3是示出根据本公开的实施例的信息处理装置的构成的方框图；

图4是用于解释真实空间中照相机与被摄体（subject）之间的位置关系以及拍摄了被摄体的拍摄图像的示图；

图5是用于解释根据本公开的实施例的骨骼信息的示图；

图6是用于解释虚拟空间中的虚拟照相机与虚拟衣服之间的位置关系以及通过投影虚拟衣服而产生的虚拟衣服图像的示图；

图7是示出根据本公开的实施例的用于显示AR试穿图像的基本显示控制处理的流程图；

图8是示出根据本公开的实施例的依据姿势（gesture）的穿和/或脱控制处理的流程图；

图9是用于解释根据本公开的实施例的依据有效姿势的穿控制的示例的示图；

图10是用于解释根据本公开的实施例的依据有效姿势的脱控制的示例的示图；

图11是用于解释根据本公开的实施例的依据有效姿势的更换控制的示例的示图；以及

图12是用于解释根据本公开的实施例的脱动作的中间进展的显示的示图。

具体实施方式

在下文中，将参照附图详细描述本公开的优选实施例。要注意的是，在本说明书和附图中，用相同的标号表示具有基本相同的功能和结构的构成要素，并且省略对这些构成要素的重复解释。

按照以下指出的顺序给出下面的描述。

1.根据本公开的实施例的AR试穿***的概要

2.信息处理装置的构成

3.显示控制

3-1.基本显示控制

3-2.依据姿势的穿和/或脱控制

4.结论

1.根据本公开的实施例的AR试穿***的概要

近年来，关注点已经集中在称作增强现实（augmented reality，AR）的技术，AR技术通过将附加信息覆盖在真实世界上向用户呈现这种信息。利用各种形式的虚拟对象（诸如文本、图标和动画）将通过AR技术呈现给用户的信息可视化。AR技术的主要用途之一为支持用户在真实世界中的活动。在下面的描述中，将AR技术应用于试穿***（即，用于试穿衣服等的***）。

通过与用户动作一致地显示覆盖在身体上的虚拟衣服的图像，利用AR技术的试穿***能够使用户实时虚拟地试穿衣服。另外，根据本公开的实施例的AR试穿***根据用户动作控制虚拟衣服的穿和/或脱并使用户能够直观地穿上和脱下虚拟衣服。在本说明书中要注意的是，表述“穿和/或脱”包括穿或穿上身、脱或从身上脱下以及更换（脱下并穿上）。

现在将参照图1描述根据本公开的实施例的AR试穿***的概要。如图1所示，根据本公开的实施例的AR试穿***1包括信息处理装置10、照相机15、传感器17和显示装置19。要注意的是，对安装AR试穿***1的场所没有特别的限制。作为示例，AR试穿***1可安装在用户的家里或者可安装在商店里。

另外，尽管在图1中示出的示例中组成AR试穿***1的多个装置（即，信息处理装置10、照相机15、传感器17和显示装置19）被配置成分离的装置，但是根据本实施例的AR试穿***1的构成不限于此。例如，组成AR试穿***1的多个装置的任意组合可集成为单个装置。作为另一示例，组成AR试穿***1的多个装置可被包含在智能手机、PDA（个人数字助理）、移动电话、移动音频再现装置、移动图像处理装置或移动游戏机中。

照相机（图像拍摄装置）15拍摄真实空间中存在的物体的图像。尽管对真实空间中存在的物体没有特别的限制，但是作为示例，这种物体可为诸如人或动物的有生命物体或者诸如车库或电视柜的无生命物体。在图1中示出的示例中，作为真实空间中存在的物体，照相机15拍摄被摄体A（例如，人）。照相机15拍摄的图像（在下文中也称作“拍摄图像”）显示在显示装置19上。显示在显示装置19上的拍摄图像可为RGB图像。另外，照相机15将拍摄图像发送至信息处理装置10。

传感器17具有从真实空间检测参数并将检测的数据发送至信息处理装置10的功能。例如，如果传感器17由红外线传感器构成，则传感器17能够检测来自真实空间的红外波并将与检测到的红外线的量一致的电信号作为检测数据提供给信息处理装置10。作为一个示例，信息处理装置10能够根据检测数据识别真实空间中存在的物体。传感器17的类型不限于红外线传感器。要注意的是，尽管在图1中示出的示例中检测数据从传感器17被提供至信息处理装置10，但是提供给信息处理装置10的检测数据可为照相机15拍摄的图像。

信息处理装置10能够根据对真实空间中存在的物体的识别结果来处理拍摄图像，诸如通过将虚拟对象叠加在拍摄图像上和/或使拍摄图像变形（reshape）。显示装置19还能够显示由信息处理装置10处理的图像。

例如，如图1所示，信息处理装置10能够识别真实空间中的被摄体A并实时在显示装置19上显示叠加有衣服图像的试穿图像。在这个示例中，用户的身体是真实空间的视频，而要试穿的衣服的图像是通过覆盖在真实空间的视频上而显示的虚拟对象。通过这样做，AR试穿***1提供了实时的虚拟试穿间。

这里，利用通常的虚拟试穿***，当被摄体已经选择虚拟衣服时自动产生试穿图像。现在将参照图2描述虚拟衣服的通常穿控制。

图2是用于解释通常虚拟试穿***的虚拟衣服的穿控制的示图。如图2的上部所示，利用通常的虚拟试穿***，当检测到被摄体A已经将他/她的手移动到显示虚拟衣服30的位置时，选择虚拟衣服30作为要试穿的虚拟衣服。在与选择虚拟衣服30基本相同的时间，自动产生并显示虚拟衣服30叠加在被摄体A上的试穿图像，如图2中的下部所示。按照这种方式，利用通常的虚拟试穿***，与选择虚拟衣服30基本上同时地自动执行叠加有虚拟衣服30的试穿图像的产生。

然而，当用户在现实中试穿衣服时，过程分为两步，即，选择衣服，然后更换，这意味着如上所述的与选择虚拟衣服基本同时地执行虚拟衣服的叠加处理是不现实的。

出于此原因，利用根据本公开的实施例的AR试穿***，检测被摄体A的动作并根据检测到的动作来控制穿和/或脱，以将衣服图像叠加在拍摄图像上（即，穿衣服）或者将衣服图像从试穿图像分离（即，脱衣服）。作为一个示例，如图1所示，被摄体A能够通过执行将他的手从他的头部降至他的躯干的动作来试穿虚拟衣服。按照这种方式，根据本实施例，由于根据被摄体A的动作控制穿和/或脱，所以用户能够直观地穿和/或脱虚拟衣服。

2.信息处理装置的构成

接下来，将参照图3描述根据本公开的实施例的实现AR试穿***的信息处理装置10的构成。如图3所示，信息处理装置10包括控制单元100、操作输入单元120和存储单元130。控制单元100包括骨骼位置计算单元101、动作检测单元103和显示控制单元105。信息处理装置10还可以无线连接或经导线连接至照相机15、传感器17和显示装置19。

控制单元100对应于诸如CPU（中央处理单元）或DSP（数字信号处理器）的处理器。通过执行存储在存储单元130或其它存储介质中的程序，控制单元100实现了后面描述的控制单元100的各种功能。要注意的是，组成控制单元100的各个块可全部包含在同一装置中或者这些块中的一些块可包含在其它装置（如服务器）中。

存储单元130利用诸如半导体存储器或硬盘的存储介质存储用于信息处理装置10处理的程序和数据。作为一个示例，存储单元130存储使计算机用作控制单元100的程序。例如，存储单元130还可以存储供控制单元100使用的数据。根据本实施例的存储单元130存储用于衣服和/或配件的三维数据作为要显示的虚拟对象。要注意的是，在本说明书中，表述“衣服和/或配件”可包括衣服和配件。这里，表述“配件”包括眼镜、帽子、腰带等。

操作输入单元120包括能够使用户输入信息的输入装置、输入控制电路等，其中，输入装置诸如为鼠标、键盘、触摸面板、一个或多个按钮、麦克风、一个或多个开关、一个或多个操纵杆或者遥控器，输入控制电路根据用户进行的输入产生输入信号并输出到控制单元100。通过对操作输入单元120进行操作，用户能够打开和关闭信息处理装置10的电源并给出诸如启动AR试穿***程序的指令。

照相机15（图像拍摄装置）利用诸如CCD（电荷耦合器件）或CMOS（互补金属氧化物半导体）的图像拍摄元件拍摄真实空间来产生拍摄图像。尽管在本公开的实施例中假定照相机15是与信息处理装置10分开构造的，但是照相机15可为信息处理装置10的一部分。

照相机15还将图像拍摄过程中使用的照相机15的设置信息提供给控制单元100。图4是用于解释真实空间中的照相机15与被摄体A之间的位置关系以及通过拍摄被摄体A而产生的拍摄图像A’的示图。为了易于示出，在图4中，在被摄体的同一侧示出了焦距f_real和在图像拍摄元件上产生的被摄体A（三维的，具有xyz坐标）的拍摄图像A’（二维的，具有xy坐标），其中，焦距f_real是从作为照相机15的镜头（未示出）的光学中心的主点至照相机15的图像拍摄元件（也未示出）的距离。如下面将描述的，计算从照相机15至被摄体A的距离d_real作为深度信息。主要根据焦距f_real决定照相机15的视角θ_real。作为照相机15的设置信息的示例，照相机15将焦距f_real(或视角θ_real）和拍摄图像A’的分辨率（即，像素数）提供给信息处理装置10。

传感器17具有从真实空间检测参数的功能。作为一个示例，如果传感器17由红外线传感器构成，则传感器17能够检测来自真实空间的红外线并将与检测到的红外线的量一致的电信号作为检测数据提供给信息处理装置10。传感器17的类型不限于红外线传感器。要注意的是，如果照相机15拍摄的图像作为检测数据被提供给信息处理装置10，则不需要提供传感器17。

显示装置19是由LCD（液晶显示器）、OLED（有机发光二极管）或CRT（阴极射线管）等构成的显示模块。尽管在本公开的实施例中设想了显示装置19与信息处理装置10分开构造的配置，但是显示装置19可为信息处理装置10的一部分。

接下来，将描述上述控制单元100的功能构成。如在前面所描述的，控制单元100包括骨骼位置计算单元101、动作检测单元103和显示控制单元105。

骨骼位置计算单元101

骨骼位置计算单元101根据检测数据计算在拍摄图像中出现的身体的骨骼位置。对于计算在拍摄图像中出现的物体的真实空间中骨骼位置的方法没有特别的限制。作为一个示例，骨骼位置计算单元101首先识别拍摄图像中物体所存在的区域（也被称作“物体存在区域”），并获取拍摄图像中的物体的深度信息。然后，骨骼位置计算单元101可根据物体存在区域的深度和形式（特征量）识别出现在拍摄图像中的物体的真实空间中的部位（头、左肩、右肩、躯干等）并计算各个部位的中心位置作为骨骼位置。这里，骨骼位置计算单元101能够利用存储在存储单元130中的特征量字典将从拍摄图像决定的特征量与预先在特征量字典中登记的物体的每个部位的特征量进行比较，从而识别包括在拍摄图像中的物体的部位。

可想到使用各种方法来识别物体存在区域。例如，如果拍摄图像作为检测数据被提供给信息处理装置10，则骨骼位置计算单元101可根据物体出现之前的拍摄图像与物体出现的拍摄图像之间的差异来识别物体存在区域。更具体地讲，骨骼位置计算单元101能够识别物体出现之前的拍摄图像与物体出现的拍摄图像之间的差异超过阈值的区域作为物体存在区域。

作为另一示例，如果传感器检测到的参数已经作为检测数据被提供给信息处理装置10，则骨骼位置计算单元101能够根据检测数据识别物体存在区域。更详细地讲，骨骼位置计算单元101能够识别检测到的红外线的量超过阈值的区域作为物体存在区域。

可以想到使用各种方法来获取拍摄图像中的物体的深度信息。例如，可以预先确定照相机15和物体之间的距离。也就是说，可以设置如下的限制：物体被补置在与照相机15相距预先确定的距离的位置处。如果设置了这种限制，则骨骼位置计算单元101可以将物体的深度信息（这里，照相机15和物体之间的距离）当作固定值（例如，2m）。

骨骼位置计算单元101还能够根据传感器17检测到的参数来计算拍摄图像中的物体的深度信息。更详细地讲，如果骨骼位置计算单元101从发射器装置（未示出）向物体发射诸如红外线的光，则将能够通过分析传感器17检测到的光来计算拍摄图像中的物体的深度信息。

作为另一示例，骨骼位置计算单元101能够根据传感器17检测到的光的相位延迟来计算拍摄图像中的物体的深度信息。这种方法有时被称作TOF（时间飞跃法，Time Of Flight）。或者，如果从发射器装置（未示出）发射的光由已知的图案组成，则骨骼位置计算单元101可通过分析传感器17检测到的光构成的图案的失真程度来计算拍摄图像中的物体的深度信息。

要注意的是，具有计算拍摄图像中的物体的深度信息的功能的图像拍摄装置被称作深度照相机，并且可通过立体照相机或激光测距扫描器来实现。骨骼位置计算单元101可从连接到信息处理装置10的深度照相机获取深度信息。

根据通过上述方法获取的物体存在区域的深度和形式（特征量），骨骼位置计算单元101识别在拍摄图像中出现的物体的真实空间中的部位（头、肩等）并计算各个部位的骨骼位置。现在将参照图5描述骨骼位置计算单元101计算的包括构成被摄体A的至少一个部位的骨骼位置的骨骼信息。

图5是用于解释骨骼信息的示图。尽管在图5中作为骨骼信息的一个示例给出了表示构成被摄体A的十五个部位的位置的坐标B1至B3、B6、B7、B9、B12、B13、B15、B17、B18、B20至B22，但是对包括在骨骼信息中的部位的数量没有特别限制。

要注意的是，坐标B1表示“头”的坐标，坐标B2表示“颈”的坐标，坐标B3表示“躯干”的坐标，坐标B6表示“右肩”的坐标，和坐标B7表示“右肘”的坐标。另外，坐标B9表示“右手”的坐标，坐标B12表示“左肩”的坐标，坐标B12表示“左肘”的坐标，以及坐标B15表示“左手”的坐标。

坐标B17表示“右髋”的坐标，坐标B18表示“右膝”的坐标，坐标B20表示“右脚”的坐标，以及坐标B21表示“左髋”的坐标。坐标B22表示“左膝”的坐标，坐标B24表示“左脚”的坐标。

根据本实施例的骨骼位置计算单元101如前所述地获取拍摄图像中的物体的深度信息，并且作为具体的示例，可从如上所述的深度照相机获取深度信息，作为根据深度而改变浓淡的拍摄图像（未示出）。

动作检测单元103

动作检测单元103根据骨骼位置计算单元101计算的骨骼位置随时间的变化来检测动作，并且如果已经做出有效姿势，则将检测到的有效姿势输出至显示控制单元105。动作检测单元103将检测到的动作与在预先存储在存储单元130中的姿势DB（数据库）中登记的姿势进行比较，以确定检测到的动作是否为有效姿势。作为一个示例，将把手从头向躯干移动的动作被登记在姿势DB中作为指示穿衣服的有效姿势。还将把手从躯干向头移动的动作登记在姿势DB中作为指示脱衣服的有效姿势。还将被摄体A沿基本水平方向旋转的动作登记在姿势DB中作为指示衣服的更换（即，脱并穿）的有效姿势。动作检测单元103将检测到的有效姿势输出到显示控制单元105。

要注意的是，可通过之前描述的基于骨骼信息的动作检测或者通过通常被称作“运动捕捉”的另一技术来实现对真实空间中的被摄体（例如，人）的动作的检测。例如，动作检测单元103可根据来自于附于被摄体的关节的加速度传感器等的检测参数来检测被摄体的动作。动作检测单元103还可以通过检测附于被摄体的标记的运动来检测动作。

显示控制单元105

显示控制单元105执行如下的控制：产生在拍摄图像中出现的被摄体上覆盖显示虚拟衣服的AR试穿图像，并在显示装置19上显示AR试穿图像。根据本实施例的显示控制单元105能够根据动作检测单元103检测到的动作（指示穿衣服或脱衣服的有效姿势）控制虚拟衣服的穿和脱。更具体地讲，显示控制单元105根据被摄体A的姿势（即，坐标的按时间顺序的变化）控制衣服的穿、脱或更换（即，脱和穿）。

这里，将参照图6描述将覆盖在拍摄图像上的虚拟衣服的产生。图6是用于解释虚拟空间中的虚拟照相机25与虚拟衣服C之间的位置关系以及通过投影（渲染）虚拟衣服C而产生的虚拟衣服图像C’（也称作“虚拟图像”）的示图。在图6中，按照与图4中示出的通过拍摄真实空间产生拍摄图像A’的方式相同的方式，渲染的虚拟衣服图像C’与虚拟衣服在同一侧示出。

根据拍摄真实空间的照相机15的设置（内部参数）来确定虚拟照相机25的设置（内部参数）。表述“照相机的设置（内部参数）”可为例如焦距f、视角θ和像素数。显示控制单元105设置虚拟照相机25的设置，以匹配真实空间的照相机15（该处理也被称作“初始化”）。

接下来，根据拍摄图像中的物体的深度信息，显示控制单元105根据被摄体的骨骼位置将虚拟衣服C布置在与虚拟照相机25分隔开距离d_virtual的位置处，所述距离d_virtual与从照相机15到真实空间中的被摄体A的距离d_real相同。显示控制单元105可根据已经预先建模的三维数据产生虚拟衣服C。如图6所示，例如，显示控制单元105能够通过由一组三角形的多边形构成虚拟衣服C的表面，以更真实的方式表现虚拟衣服的三维形式。如果被摄体A的骨骼位置随时间变化，则显示控制单元105能够改变虚拟衣服C的位置以追踪骨骼位置。

接下来，显示控制单元105通过渲染（即，投影）三维虚拟衣服C以利用虚拟照相机25产生二维平面图像，从而获取衣服图像C’（或“虚拟图像”）。然后，显示控制单元105可通过显示覆盖在拍摄图像A’（见图4）上的虚拟衣服图像C’来产生AR试穿图像。要注意的是，接下来将在“3.显示控制”部分中更详细地描述显示控制单元105对AR试穿图像的显示控制。

这就完成了对实现根据本公开实施例的AR试穿***的信息处理装置10的构成的详细描述。接下来，将描述信息处理装置10对AR试穿图像的显示控制。

3.显示控制

3-1.基本显示控制

图7是示出信息处理装置10执行的AR试穿图像的基本显示控制处理的流程图。如图7所示，首先，在步骤S110，显示控制单元105执行初始化，以使虚拟空间中的虚拟照相机25的设置与真实空间中的照相机15的设置相匹配。

接下来，在步骤S113中，骨骼位置计算单元101计算已经拍摄的真实空间中的被摄体A的骨骼位置（xyz坐标）并将骨骼位置输出至动作检测单元103和显示控制单元105。

之后，在步骤S116，显示控制单元115根据被摄体A的骨骼位置（xyz坐标）将虚拟衣服C布置在虚拟空间中。

接下来，在步骤S119，显示控制单元115执行如下控制（AR显示控制）：渲染虚拟衣服C以获取衣服图像C’（虚拟图像），通过将衣服图像C’叠加在拍摄图像A’上来绘制AR试穿图像，并在显示装置19上显示AR试穿图像。

在步骤S122，信息处理装置10重复执行步骤S113至S119直到给出结束指令。通过这样做，信息处理装置10能够提供实时追踪被摄体A的移动的AR试穿图像。

这就完成了对基本显示控制处理的描述。另外，根据本实施例的信息处理装置10能够根据被摄体A的动作改变虚拟衣服的穿和/或脱状态。现在将参照图8详细描述根据本实施例的根据姿势的穿和/脱控制。

3-2.根据姿势的穿和/或脱控制

图8是示出根据本实施例的信息处理装置10执行的根据姿势的穿和/或脱控制处理的流程图。图8中示出的处理示出了根据图7中示出的步骤S116至S119的显示控制执行的穿和/或脱控制。

首先，在图8中的步骤S116中，按照与图7中示出的相同步骤中的处理相同的方式，与被摄体A的骨骼位置一致地将虚拟衣服C布置在虚拟空间中。接下来，在步骤S119，按照与图7中示出的相同步骤中的处理相同的方式，通过显示覆盖在拍摄图像A’上的通过渲染虚拟衣服C而获取的衣服图像C’，在显示装置19上显示基本的AR试穿图像。

接下来，在步骤S125，动作检测单元103根据被摄体的手的骨骼位置（坐标）的按时间顺序的变化来检测姿势（动作）。

之后，在步骤S128，动作检测单元103确定检测到的姿势是否为有效姿势。

在步骤S131，显示控制单元105根据由动作检测单元103确定为有效姿势的姿势来控制衣服的穿和脱。这里，表述“衣服的穿和/脱的控制”包括如下的控制：显示覆盖在被摄体A上的虚拟衣服（即，衣服的“穿”）、删除在被摄体A上覆盖显示的虚拟衣服（即，衣服的“脱”）和将在被摄体A上覆盖显示的虚拟衣服更换为另一虚拟衣服（即，衣服的“更换”）。

可以想到指示衣服的穿和脱的各种有效姿势。现在将详细描述根据本公开的实施例的根据有效姿势的穿和/或脱控制的多个具体示例。穿控制的示例

图9是用于解释根据本实施例的根据有效穿姿势的穿控制的示图。要注意的是，图9的左侧由已经叠加了拍摄图像和被摄体的骨骼信息的图像的转变图组成。如图9的左边所示，动作检测单元103根据骨骼位置的按时间顺序的变化来检测动作。图9的右侧由显示控制单元105在显示装置19上显示的AR试穿图像的转变图组成。显示控制单元105根据骨骼位置计算单元101计算的骨骼位置（例如图9中的左边所示），显示覆盖在被摄体上的虚拟衣服。显示控制单元105还根据动作检测单元103检测到的诸如图9中的左边示出的移动来控制虚拟衣服的穿和脱。

如图9左边的骨骼位置的转变图所示，如果被摄体的坐标B15（左手）按时间顺序已经从头的坐标B1（头）变化至躯干的坐标B3（躯干），则动作检测单元103确定指示穿衣服的有效姿势。在这种情况下，如图9右边的AR试穿图像的转变图所示，显示控制单元105显示覆盖在被摄体A上的虚拟衣服C。通过这样做，能够实现AR试穿间的穿控制，以显示已经穿上虚拟衣服C的AR图像。

要注意的是，被摄体A可以预先选择要覆盖显示在被摄体A上的虚拟衣服C。尽管对选择方法没有特别的限制，但是作为一个示例，可通过执行下面的动作来进行选择：将手移动到显示器上的多个虚拟衣服之中的被摄体想试穿的虚拟衣服所显示的位置，然后抓握期望的虚拟衣服。另外，如果如图1所示在被摄体A的两侧显示虚拟衣服，则当右手已经做出穿姿势时可选择右边示出的虚拟衣服，并且当左手已经做出穿姿势时可选择左边示出的虚拟衣服。要注意的是，在检测到被摄体A沿水平方向移动作为试穿候选而显示在显示装置19上的虚拟衣服C的姿势时，显示控制装置105可在显示装置19上顺次地显示作为候选的其它虚拟衣服。

脱控制的示例

接下来，将参照图10描述根据本实施例的脱控制的一个示例。图10是用于解释根据本实施例的根据有效脱姿势的脱控制的示图。

如图10左边的骨骼位置的转变图所示，如果被摄体的坐标B15（左手）按时间顺序已经从躯干的坐标B3（躯干）变化至头的坐标B1（头），则动作检测单元103确定指示脱衣服的有效姿势。在这种情况下，显示控制单元105停止显示覆盖在被摄体A上的虚拟衣服C，如图10右边的AR试穿图像的转变图所示。通过这样做，能够实现AR试穿间的脱控制，以显示已脱去虚拟衣服C的AR图像。

更换控制的示例

接下来，将参照图11描述根据本实施例的更换控制的一个示例。图11是用于解释根据本实施例的依照有效的更换姿势的更换控制的示图。图11的左边示出了虚拟试穿之前的状态，图11的右边示出了根据沿旋转方向的移动的虚拟试穿之后的状态。

如图11的右上部所示，如果动作检测单元103已经检测到被摄体A沿基本水平方向的顺时针旋转，则显示控制单元105显示在显示装置19的屏幕左边显示的虚拟衣服23覆盖在被摄体A上。

如图11的右下部所示，如果动作检测单元103已经检测到被摄体A沿基本水平方向的逆时针旋转，则显示控制单元105显示在显示装置19的屏幕右边显示的虚拟衣服25覆盖在被摄体A上。

另外，如果被摄体A在虚拟衣服23被覆盖显示在被摄体A上的状态下逆时针旋转，则显示控制单元105执行将覆盖显示在被摄体A上的虚拟衣服23更换为屏幕右边显示的虚拟衣服25的更换控制。以同样的方式，如果被摄体A在虚拟衣服25被覆盖显示在被摄体A的状态下顺时针旋转，则显示控制单元105执行将覆盖显示在被摄体A上的虚拟衣服25更换为屏幕左边显示的虚拟衣服23的更换控制。

换鞋

尽管作为一个示例以上已经描述了虚拟衣服的穿和/或脱控制，但是根据本公开的实施例的AR试穿***的试穿对象不限于衣服，并且作为示例可为鞋、眼镜或腰带。因此，在一些情况下，指示穿和/或脱的有效姿势将根据试穿对象而不同。

作为一个示例，如果要换鞋，则在检测到被摄体A摇动他/她的脚的动作时，信息处理装置10可执行显示虚拟鞋覆盖在被摄体A的脚上的控制。更具体地讲，动作检测单元103根据被摄体A的脚的坐标B24或B20的按时间顺序的变化来检测脚的周期性移动并确定换鞋的有效姿势。当动作检测单元103已经检测到换鞋的有效姿势时，显示控制单元105执行显示预先选择的虚拟鞋覆盖在被摄体A的脚上的控制。

中间进展的显示

在上述的所有穿和/或脱控制中，显示控制单元105可执行与穿和/或脱动作的进展一致的显示控制。通过这样做，能够给出已经识别被摄体A的动作作为有效姿势的视觉反馈。由于这还使得可以进一步增强虚拟试穿间的真实性，所以能够提供更自然的AR试穿***。现在将参照图12对此进行更详细的描述。

图12是用于解释根据本公开的实施例的脱动作的中间进展的显示的示图。如在图12的上部所示，如果表示被摄体A的左手的骨骼位置的坐标B15从头向躯干移动，则如在图12的下部所示，显示控制单元105根据坐标B15的位置改变要覆盖显示的虚拟衣服的形状，以呈现出脱衣服的经过。

显示控制单元105还可以执行在穿和/或脱动作的进行过程中改变虚拟衣服的形装时考虑重力、风等影响的更高级的控制。例如，通过呈现出在风吹的同时在穿和/或脱动作的过程中虚拟衣服的形状等如何变化，能够提供更真实的AR试穿***。

4.结论

如前面所述，利用根据本公开的实施例的AR试穿***，通过根据被摄体的动作控制衣服的穿和/或脱，能够提供具有更高真实性的自然的AR试穿***。

另外，根据本实施例，通过根据穿和/或脱动作的中间进展改变虚拟衣服以显示更换衣服时的进展，能够提供甚至更真实的自然的AR试穿***。

本领域技术人员应该理解的是，根据设计要求和其它因素，可想出各种变型、组合、次组合和替换，因为它们都在权利要求及其等同物的范围内。

另外，尽管对上述的AR试穿***已经主要描述了试穿虚拟衣服的示例，但是试穿的物品不限于衣服，而是可以为诸如眼镜、帽子和腰带的配件。

另外，尽管对上述的AR试穿***已经描述了被摄体为人的情况，但是被摄体不限于人，而是可以为诸如狗或毛的动物。在这种情况下，能够提供显示例如覆盖在拍摄了动物的拍摄图像上的宠物衣服的图像的AR试穿***。

另外，本技术还可以被如下配置。

（1）

一种信息处理装置包括：

动作检测单元，检测已拍摄的被摄体的动作；和

显示控制单元，根据动作检测单元检测到的动作控制被覆盖显示在被摄体上的虚拟衣服或配件中的至少一个的穿或脱中的至少一个。

（2）

根据（1）所述的信息处理装置，

其中，显示控制单元与动作检测单元检测到的动作的进展一致地显示衣服或配件中的至少一个的穿或脱进展中的至少一个。

（3）

根据（1）或（2）所述的信息处理装置，

其中，动作检测单元检测到穿动作，并且

显示控制单元根据穿动作显示虚拟衣服覆盖在被摄体上。

（4）

根据（1）至（3）中任一项所述的信息处理装置，

其中，动作检测单元检测到脱动作，并且

显示控制单元根据脱动作停止显示在被摄体上覆盖显示的虚拟衣服。

（5）

根据（1）至（4）中任一项所述的信息处理装置，

其中，动作检测单元检测到被摄体沿基本水平方向旋转的旋转动作，并且

显示控制单元根据检测到的旋转动作，更换覆盖显示在被摄体上的虚拟衣服。

（6）

根据（1）至（5）中任一项所述的信息处理装置，

其中，动作检测单元检测到被摄体摇晃脚的动作，并且

显示控制单元根据检测到的摇晃脚的动作，执行更换覆盖显示在被摄体的脚上的虚拟鞋的控制。

（7）

一种显示控制方法，包括：

检测已拍摄的被摄体的动作；以及

根据检测到的动作，控制被覆盖显示在被摄体上的虚拟衣服或配件中的至少一个的穿或脱中的至少一个。

（8）

一种使计算机执行下述处理的程序：

检测已拍摄的被摄体的动作；以及

（9）

根据（8）所述的程序，

其中，控制穿或脱中的至少一个的处理与检测到的动作的进展一致地显示衣服或配件中的至少一个的穿或脱进展中的至少一个。

（10）

根据（8）和（9）中任一项所述的程序，

其中，检测动作的处理检测到穿动作，并且

控制的处理根据穿动作显示虚拟衣服覆盖在被摄体上。

（11）

根据（8）至（10）中任一项所述的程序，

其中，检测动作的处理检测到脱动作，并且

控制的处理根据脱动作停止显示在被摄体上覆盖显示的虚拟衣服。

（12）

根据（8）至（11）中任一项所述的程序，

其中，检测动作的处理检测到被摄体沿基本水平方向旋转的旋转动作，并且

控制的处理根据检测到的旋转动作更换覆盖显示在被摄体上的虚拟衣服。

（13）

根据（8）至（12）中任一项所述的程序，

其中，检测动作的处理检测到被摄体摇晃脚的动作，并且

控制的处理根据检测到的摇晃脚的动作执行更换覆盖显示在被摄体的脚上的虚拟鞋的控制。

本公开包含与2011年11月9日在日本专利局提交的第JP2011-245303号日本优先权专利申请中所公开的主题相关的主题，上述专利申请的全部内容通过引用包含于此。

Claims

1.一种信息处理装置，包括：

动作检测单元，检测已拍摄的被摄体的动作；和

显示控制单元，根据动作检测单元检测到的动作，控制被覆盖显示在被摄体上的虚拟衣服或配件中的至少一个的穿或脱中的至少一个。

2.根据权利要求1所述的信息处理装置，

其中，显示控制单元与动作检测单元检测到的动作的进展一致地显示衣服或配件中的至少一个的穿或脱的至少一个的进展。

3.根据权利要求1所述的信息处理装置，

其中，动作检测单元检测穿动作，并且

显示控制单元根据穿动作显示虚拟衣服覆盖在被摄体上。

4.根据权利要求1所述的信息处理装置，

其中，动作检测单元检测脱动作，并且

5.根据权利要求1所述的信息处理装置，

其中，动作检测单元检测被摄体沿基本水平方向旋转的旋转动作，并且

6.根据权利要求1所述的信息处理装置，

其中，动作检测单元检测被摄体摇晃脚的动作，并且

7.一种显示控制方法，包括：

检测已拍摄的被摄体的动作；以及

8.一种使计算机执行下述处理的程序：

检测已拍摄的被摄体的动作；以及

9.根据权利要求8所述的程序，

其中，控制穿或脱中的至少一个的处理与检测到的动作的进展一致地显示衣服或配件中的至少一个的穿或脱中的至少一个的进展。

10.根据权利要求8所述的程序，

其中，检测动作的处理检测穿动作，并且

控制的处理根据穿动作显示虚拟衣服覆盖在被摄体上。

11.根据权利要求8所述的程序，

其中，检测动作的处理检测脱动作，并且

12.根据权利要求8所述的程序，

其中，检测动作的处理检测被摄体沿基本水平方向旋转的旋转动作，并且

13.根据权利要求8所述的程序，

其中，检测动作的处理检测被摄体摇晃脚的动作，并且