JP2013101529A

JP2013101529A - Information processing apparatus, display control method, and program

Info

Publication number: JP2013101529A
Application number: JP2011245305A
Authority: JP
Inventors: Seiji Suzuki; 誠司鈴木
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2011-11-09
Filing date: 2011-11-09
Publication date: 2013-05-23
Also published as: CN103218773B; US9286722B2; US20130113789A1; CN103218773A

Abstract

PROBLEM TO BE SOLVED: To provide an information processing apparatus, a display control method, and a program achieving a more natural representation that enables a user to intuitively recognize the difference in size between an object in a real space and a virtual object.SOLUTION: There is provided an information processing apparatus including: a comparing unit for comparing a size of virtual clothing or accessories based on dimensions set in advance and a size of a subject that has been captured; and a display control unit for reshaping the virtual clothing or accessories in accordance with a comparison result produced by the comparing unit and displaying the reshaped virtual clothing or accessories overlaid on the subject.

Description

本開示は、情報処理装置、表示制御方法、およびプログラムに関する。 The present disclosure relates to an information processing device, a display control method, and a program.

仮想的な試着システムとして、ユーザを撮像した撮像画像に衣服の画像を合成する試着画像生成技術が様々提案されている。 As a virtual try-on system, various try-on image generation techniques for synthesizing an image of clothes with a captured image of a user have been proposed.

例えば、特許文献１では、ユーザの身体画像に衣服画像を合成する処理が開示されている。具体的には、特許文献１に記載の画像処理サーバは、ユーザの身体画像に添付されている身体プロファイルデータ（身長、肩幅等）および画像における身体の向きなどの情報に基づき、衣服画像のサイズ変更および向きの調整を行い、身体画像に合成する。 For example, Patent Document 1 discloses a process of synthesizing a clothing image with a user's body image. Specifically, the image processing server described in Patent Literature 1 is based on body profile data (height, shoulder width, etc.) attached to the body image of the user and information such as the body orientation in the image, and the size of the clothing image. Make changes and orientation adjustments and combine them with body images.

特開２００６−３０４３３１号公報JP 2006-304331 A

特許文献１に記載されるような試着画像生成技術では、合成する衣服画像の大きさは身体プロフィールデータに基づき、身体の大きさに合うようサイズ変更される。 In the try-on image generation technique described in Patent Document 1, the size of a clothing image to be synthesized is changed based on body profile data so as to match the size of the body.

また、撮像された画像内のユーザの動作に合わせて仮想衣服を重畳表示する仮想試着システムでは、画像内においてユーザの身体より大きいまたは小さい衣服画像がそのまま重畳表示されていた。若しくは、ユーザの指示に応じて衣服画像が拡大または縮小された上で、そのまま重畳表示されていた。 In addition, in a virtual try-on system in which virtual clothes are superimposed and displayed in accordance with the user's action in the captured image, a clothing image larger or smaller than the user's body is superimposed and displayed as it is in the image. Alternatively, the clothing image is enlarged or reduced in accordance with the user's instruction and displayed as it is superimposed.

しかしながら、実際は、身体より大きい衣服を試着すると衣服が垂れ下がり、また、身体より小さい衣服を試着すると衣服が伸びるので、上述したような衣服画像をそのまま合成した試着画像では不自然な表現となる。また、衣服画像を拡大／縮小した上でそのまま重畳表示する仮想試着技術では、衣服のサイズをユーザに認識させることが困難であった。 However, in actuality, when clothes larger than the body are tried on, the clothes hang down, and when clothes smaller than the body are tried on, the clothes are stretched. In addition, in the virtual try-on technique that displays a superimposed clothing image after enlarging / reducing the clothing image, it is difficult for the user to recognize the size of the clothing.

そこで、本開示では、より自然な表現で実空間の物体と仮想的な物体の大きさの違いを直感的にユーザに認識させることが可能な、新規かつ改良された情報処理装置、表示制御方法およびプログラムを提案する。 Therefore, in the present disclosure, a new and improved information processing apparatus and display control method capable of allowing a user to intuitively recognize the difference in size between a real space object and a virtual object with a more natural expression And suggest programs.

本開示によれば、予め設定された寸法に基づく仮想的な服飾品の大きさと、撮像された被写体の大きさとを比較する比較部と、前記比較部による比較結果に応じて、前記仮想的な服飾品を変形させ、前記被写体に重畳して表示する表示制御部と、を備える情報処理装置を提案する。 According to the present disclosure, a comparison unit that compares the size of a virtual clothing item based on a preset size and the size of the imaged subject, and the virtual unit according to a comparison result by the comparison unit An information processing apparatus is provided that includes a display control unit that deforms clothing items and displays the clothing items superimposed on the subject.

本開示によれば、予め設定された寸法に基づく仮想的な服飾品の大きさと、撮像された被写体の大きさとを比較するステップと、前記比較するステップによる比較結果に応じて、前記仮想的な服飾品を変形させ、前記被写体に重畳して表示するステップと、を含む表示制御方法を提案する。 According to the present disclosure, according to the comparison result of the step of comparing the size of the virtual clothing item based on the preset dimension and the size of the imaged subject, and the comparison step, the virtual The present invention proposes a display control method including the step of deforming clothing items and displaying them in a superimposed manner on the subject.

本開示によれば、予め設定された寸法に基づく仮想的な服飾品の大きさと、撮像された被写体の大きさとを比較する処理と、前記比較する処理による比較結果に応じて、前記仮想的な服飾品を変形させ、前記被写体に重畳して表示する処理と、をコンピュータに実行させる、プログラムを提案する。 According to the present disclosure, according to the comparison result of the process of comparing the size of the virtual clothing item based on the preset dimension and the size of the captured subject and the comparison process, the virtual A program is proposed for causing a computer to execute a process of deforming clothing items and displaying them in a superimposed manner on the subject.

以上説明したように本開示によれば、より自然な表現で実空間の物体と仮想的な物体の大きさの違いを直感的にユーザに認識させることが可能となる。 As described above, according to the present disclosure, it is possible to make the user intuitively recognize the difference in size between an object in real space and a virtual object with a more natural expression.

本開示の一実施形態によるＡＲ試着システムの概要を説明するための図である。It is a figure for demonstrating the outline | summary of AR fitting system by one Embodiment of this indication. 通常の仮想的な試着システムにおいて仮想衣服がそのまま合成される場合を説明するための図である。It is a figure for demonstrating the case where a virtual clothing is synthesize | combined as it is in the normal virtual fitting system. 本開示の一実施形態による情報処理装置の構成を示すブロック図である。It is a block diagram showing the composition of the information processor by one embodiment of this indication. 実空間におけるカメラと被写体の位置関係、および被写体を撮像した撮像画像を説明するための図である。It is a figure for demonstrating the positional relationship of the camera and a to-be-photographed object in real space, and the captured image which image | photographed the to-be-photographed object. 本開示の一実施形態による骨格情報を説明するための図である。It is a figure for demonstrating the skeleton information by one Embodiment of this indication. 仮想空間における仮想カメラと仮想衣服の位置関係、および仮想衣服を投影した仮想的な衣服画像を説明するための図である。It is a figure for demonstrating the positional relationship of the virtual camera and virtual clothing in virtual space, and the virtual clothing image which projected virtual clothing. 本開示の一実施形態によるＡＲ試着画像表示における基本的な表示制御処理を示すフローチャートである。5 is a flowchart illustrating a basic display control process in AR try-on image display according to an embodiment of the present disclosure. 本開示の一実施形態による仮想衣服の変形処理を示すフローチャートである。6 is a flowchart illustrating a deformation process of virtual clothes according to an embodiment of the present disclosure. 被写体より小さい仮想衣服の変形を説明するための図である。It is a figure for demonstrating a deformation | transformation of virtual clothes smaller than a to-be-photographed object. 被写体より大きい仮想衣服の変形を説明するための図である。It is a figure for demonstrating deformation | transformation of the virtual clothes larger than a to-be-photographed object. 本開示の一実施形態による仮想的なソファーカバーの変形を説明するための図である。It is a figure for explaining modification of a virtual sofa cover by one embodiment of this indication.

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Hereinafter, preferred embodiments of the present disclosure will be described in detail with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, duplication description is abbreviate | omitted by attaching | subjecting the same code | symbol.

また、説明は以下の順序で行うものとする。
１．本開示の一実施形態によるＡＲ試着システムの概要
２．情報処理装置の構成
３．表示制御
３−１．基本的な表示制御
３−２．仮想衣服の変形制御
４．まとめ The description will be made in the following order.
1. 1. Overview of AR try-on system according to an embodiment of the present disclosure 2. Configuration of information processing apparatus Display control 3-1. Basic display control 3-2. 3. Deformation control of virtual clothes Summary

＜１．本開示の一実施形態によるＡＲ試着システムの概要＞
近年、実世界に付加的な情報を重畳してユーザに呈示する拡張現実（ＡＲ：ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）と呼ばれる技術が注目されている。ＡＲ技術においてユーザに呈示される情報は、テキスト、アイコン又はアニメーションなどの様々な形態の仮想的なオブジェクトを用いて可視化され得る。ＡＲ技術の主要な適用分野の１つは、実世界でのユーザ活動の支援である。以下では、このＡＲ技術を試着システムに適用する。 <1. Overview of AR try-on system according to an embodiment of the present disclosure>
In recent years, a technique called augmented reality (AR) that superimposes additional information on the real world and presents it to the user has attracted attention. Information presented to the user in AR technology can be visualized using various forms of virtual objects such as text, icons or animations. One of the main areas of application of AR technology is support for user activities in the real world. In the following, this AR technology is applied to a fitting system.

ＡＲ技術を利用した試着システムは、ユーザの動作に合わせて仮想的な衣服画像を重畳表示することで、リアルタイムに仮想試着を体験することができる。また、本開示の一実施形態によるＡＲ試着システムは、実空間の物体である被写体の大きさと仮想物体である仮想衣服の大きさとの比較結果に基づいて仮想衣服を変形し、被写体に重畳表示する。これにより、より自然なＡＲ試着画像を表示でき、また、実空間の物体と仮想的な物体の大きさの違いを直感的にユーザに認識させることができる。 A try-on system using the AR technology can experience virtual try-on in real time by superimposing and displaying a virtual clothing image in accordance with the user's operation. In addition, the AR try-on system according to an embodiment of the present disclosure deforms virtual clothes based on a comparison result between the size of the subject that is an object in real space and the size of the virtual clothing that is a virtual object, and superimposes the virtual clothing on the subject. . As a result, a more natural AR fitting image can be displayed, and the user can intuitively recognize the difference in size between the real space object and the virtual object.

このような本開示の一実施形態によるＡＲ試着システムの概要を、図１を参照しながら説明する。図１に示すように、本開示の一実施形態によるＡＲ試着システム１は、情報処理装置１０、カメラ１５、センサ１７、および表示装置１９を有する。なお、ＡＲ試着システム１が設置される場所は特に限定されない。例えば、ＡＲ試着システム１は、ユーザの自宅内に設置されてもよいし、店頭に設置されてもよい。 The outline of the AR try-on system according to the embodiment of the present disclosure will be described with reference to FIG. As illustrated in FIG. 1, the AR try-on system 1 according to an embodiment of the present disclosure includes an information processing device 10, a camera 15, a sensor 17, and a display device 19. The place where the AR fitting system 1 is installed is not particularly limited. For example, the AR try-on system 1 may be installed in the user's home or in a store.

また、図１に示した例では、ＡＲ試着システム１を構成する複数の装置（情報処理装置１０、カメラ１５、センサ１７および表示装置１９）が別体に構成されているが、本開示によるＡＲ試着システム１の構成はこれに限定されない。例えば、ＡＲ試着システム１を構成する上記複数の装置のいずれかの組み合わせが一体化されていてもよい。また、例えば、ＡＲ試着システム１を構成する複数の装置は、スマートフォン、ＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔｓ）、携帯電話、携帯用音楽再生装置、携帯用映像処理装置または携帯用ゲーム機器に内蔵されていてもよい。 In the example illustrated in FIG. 1, a plurality of devices (the information processing device 10, the camera 15, the sensor 17, and the display device 19) configuring the AR fitting system 1 are configured separately, but the AR according to the present disclosure. The configuration of the fitting system 1 is not limited to this. For example, any combination of the plurality of devices constituting the AR fitting system 1 may be integrated. Further, for example, a plurality of devices constituting the AR try-on system 1 may be incorporated in a smartphone, a PDA (Personal Digital Assistant), a mobile phone, a portable music playback device, a portable video processing device, or a portable game device. Good.

カメラ１５（撮像装置）は、実空間に存在する物体を撮像する。実空間に存在する物体は、特に限定されないが、例えば、人物や動物などの生き物であってもよく、車庫やテレビ台などといった生き物以外であってもよい。図１に示した例では、実空間に存在する物体として被写体Ａ（例えば、人物）がカメラ１５により撮像される。カメラ１５により撮像された画像（撮像画像とも称す）は表示装置１９に表示される。表示装置１９に表示される撮像画像は、ＲＧＢ画像であってもよい。また、カメラ１５は、撮像画像を情報処理装置１０に送る。 The camera 15 (imaging device) images an object existing in real space. Although the object which exists in real space is not specifically limited, For example, creatures, such as a person and an animal, may be sufficient as creatures, such as a garage and a television stand. In the example shown in FIG. 1, a subject A (for example, a person) is imaged by the camera 15 as an object existing in real space. An image captured by the camera 15 (also referred to as a captured image) is displayed on the display device 19. The captured image displayed on the display device 19 may be an RGB image. In addition, the camera 15 sends the captured image to the information processing apparatus 10.

センサ１７は、実空間からパラメータを検出する機能を有し、検出データを情報処理装置１０に送る。例えば、センサ１７が赤外線センサにより構成されている場合、センサ部１７は、実空間から赤外線を検出し、赤外線量に応じた電気信号を検出データとして情報処理装置１０に供給することができる。情報処理装置１０は、例えば、検出データに基づいて実空間に存在する物体を認識することができる。センサ１７の種類は、赤外線センサに限定されない。なお、図１に示した例では、検出データがセンサ１７から情報処理装置１０に供給されることとしているが、情報処理装置１０に供給される検出データは、カメラ１５により撮像された画像であってもよい。 The sensor 17 has a function of detecting a parameter from the real space, and sends detection data to the information processing apparatus 10. For example, when the sensor 17 is configured by an infrared sensor, the sensor unit 17 can detect infrared rays from the real space and supply an electrical signal corresponding to the amount of infrared rays as detection data to the information processing apparatus 10. For example, the information processing apparatus 10 can recognize an object existing in the real space based on the detection data. The type of sensor 17 is not limited to an infrared sensor. In the example illustrated in FIG. 1, the detection data is supplied from the sensor 17 to the information processing apparatus 10, but the detection data supplied to the information processing apparatus 10 is an image captured by the camera 15. May be.

情報処理装置１０は、実空間に存在する物体の認識結果に応じて、撮像画像に対して仮想オブジェクトを合成したり撮像画像を変形したりすることにより、撮像画像を処理することができる。表示装置１９は、情報処理装置１０により処理された画像を表示することも可能である。 The information processing apparatus 10 can process a captured image by synthesizing a virtual object with the captured image or deforming the captured image according to a recognition result of an object existing in the real space. The display device 19 can also display the image processed by the information processing device 10.

例えば、図１に示すように、情報処理装置１０は、実空間の被写体Ａを認識し、衣服画像を合成した試着画像を表示装置１９にリアルタイムに表示させることができる。ここでは、ユーザの身体が実空間の映像であり、試着対象の衣服画像が実空間の映像に重畳表示された仮想オブジェクトである。これにより、ＡＲ試着システム１は、仮想的な試着をリアルタイムに提供することができる。 For example, as shown in FIG. 1, the information processing apparatus 10 can recognize a subject A in real space and cause a display device 19 to display a fitting image obtained by synthesizing a clothing image in real time. Here, the user's body is an image in real space, and a clothing object to be tried on is a virtual object superimposed on the image in real space. Thereby, the AR try-on system 1 can provide virtual try-on in real time.

ここで、通常の仮想的な試着システムでは、被写体に重畳表示される仮想衣服の大きさが被写体より大きい／小さいまま上書きされていた。図２は、このような通常の仮想的な試着システムにおいて仮想衣服がそのまま合成される場合について説明するための図である。 Here, in a normal virtual try-on system, the size of the virtual clothes superimposed on the subject is overwritten while being larger / smaller than the subject. FIG. 2 is a diagram for explaining a case where virtual clothes are synthesized as they are in such a normal virtual fitting system.

図２左に示すように、仮想衣服が撮像画像内の被写体より小さいまま仮想衣服が合成されると、被写体の領域が仮想衣服からはみ出てしまう。しかし、実際に身体より小さい衣服を試着すると、衣服は伸びるので、図２左に示すような試着画像は不自然な表現である。 As shown in the left of FIG. 2, if the virtual clothes are synthesized while the virtual clothes are smaller than the subject in the captured image, the area of the subject protrudes from the virtual clothes. However, when clothes that are smaller than the body are actually tried on, the clothes are stretched, so the try-on image shown on the left in FIG. 2 is an unnatural expression.

また、図２右に示すように、仮想衣服が撮像画像内の被写体より大きいまま仮想衣服が合成されると、被写体より仮想衣服の領域が大きいために、被写体の肩から仮想衣服が浮いたり、垂れ下がったりしない。しかし、実際に身体より大きい衣服の試着時は衣服が全体的に垂れ下がるので、図２右に示すような試着画像では不自然な表現となり、リアリティに欠ける。 In addition, as shown in the right of FIG. 2, when the virtual clothes are synthesized while the virtual clothes are larger than the subject in the captured image, the virtual clothes float from the shoulder of the subject because the area of the virtual clothes is larger than the subject, It doesn't hang down. However, when clothes that are actually larger than the body are actually tried on, the clothes hang down as a whole, so that the fitting image as shown in the right of FIG. 2 is unnatural and lacks reality.

また、上述したように、衣服画像を拡大／縮小した上でそのまま撮像画像（身体画像）に重畳表示する場合、実在する衣服のサイズとは無関係に衣服画像が調整される。しかし、インターネットを利用して衣服の購入を行う場合等、仮想試着システムを実在する衣服の購入検討に利用する場合は、実在の衣服のサイズを考慮した試着画像の生成が求められる。 Further, as described above, when a clothing image is enlarged / reduced and superimposed on a captured image (body image) as it is, the clothing image is adjusted regardless of the actual size of the clothing. However, when the virtual try-on system is used for purchase consideration of actual clothes, such as when purchasing clothes using the Internet, it is required to generate a try-on image in consideration of the size of the actual clothes.

そこで、本開示の一実施形態によるＡＲ試着システムでは、実空間の物体（ここでは、被写体）の大きさと仮想物体（ここでは、仮想衣服）の大きさの比較結果に基づいて仮想物体を変形し、被写体に重畳表示する。例えば、図１に示すように、被写体Ａに重畳表示される仮想衣服が重力方向に全体的に垂れ下がるよう変形されることで、被写体Ａは、仮想衣服のサイズが自分の身体より大きいことを直感的に認識することができる。なお、被写体Ａは、仮想衣服の大きさを、図１に示すように、表示装置１９に表示される「Ｓ」「Ｍ」「Ｌ」等のサイズアイコン群３０から任意に選択することができる。これにより、被写体Ａは、様々なサイズの仮想衣服を仮想試着することができる。 Therefore, in the AR try-on system according to an embodiment of the present disclosure, a virtual object is deformed based on a comparison result between the size of an object in real space (here, a subject) and the size of a virtual object (here, virtual clothing). And superimposed on the subject. For example, as shown in FIG. 1, the virtual clothing superimposed on the subject A is deformed so as to hang down in the direction of gravity, so that the subject A can intuitively understand that the size of the virtual clothing is larger than his / her body. Can be recognized. The subject A can arbitrarily select the size of the virtual clothes from a group of size icons 30 such as “S”, “M”, and “L” displayed on the display device 19 as shown in FIG. . Thus, the subject A can virtually try on virtual clothes of various sizes.

＜２．情報処理装置の構成＞
次に、本開示によるＡＲ試着システムを実現する情報処理装置１０の構成について、図３を参照して説明する。図３に示すように、情報処理装置１０は、制御部１００、操作入力部１２０、および記憶部１３０を有する。制御部１００は、骨格位置算出部１０１、表示制御部１０５、および比較部１０９を有する。また、情報処理装置１０には、カメラ１５、センサ１７および表示装置１９が、有線または無線により接続されている。 <2. Configuration of information processing apparatus>
Next, the configuration of the information processing apparatus 10 that implements the AR fitting system according to the present disclosure will be described with reference to FIG. As illustrated in FIG. 3, the information processing apparatus 10 includes a control unit 100, an operation input unit 120, and a storage unit 130. The control unit 100 includes a skeleton position calculation unit 101, a display control unit 105, and a comparison unit 109. In addition, a camera 15, a sensor 17, and a display device 19 are connected to the information processing apparatus 10 by wire or wirelessly.

制御部１００は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）またはＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）などのプロセッサに相当する。制御部１００は、記憶部１３０または他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する制御部１００の様々な機能を動作させる。なお、制御部１００を構成する各ブロックは、全てが同一の装置に組み込まれていなくてもよく、一部が他の装置（例えば、サーバ）に組み込まれていてもよい。 The control unit 100 corresponds to a processor such as a CPU (Central Processing Unit) or a DSP (Digital Signal Processor). The control unit 100 operates various functions of the control unit 100 to be described later by executing a program stored in the storage unit 130 or another storage medium. Note that all the blocks constituting the control unit 100 may not be incorporated in the same device, and some of them may be incorporated in another device (for example, a server).

記憶部１３０は、半導体メモリまたはハードディスクなどの記憶媒体を用いて、情報処理装置１０による処理のためのプログラムおよびデータを記憶する。例えば、制御部１００としてコンピュータを機能させるためのプログラムを記憶する。さらに、例えば、記憶部１３０は、制御部１００により使用されるデータを記憶する。また、本実施形態による記憶部１３０は、表示対象となる仮想オブジェクトとして、服飾品の３次元データを記憶する。また、本実施形態による記憶部１３０は、服飾品の３次元データに関連付けて、服飾品のサイズ情報を記憶する。サイズ情報とは、身丈、肩幅、身幅、袖丈、および袖幅等の服飾品の実寸情報である。実寸情報は、センチメートル単位で記憶されていてもよい。また、実寸情報は、服飾品のサイズ（Ｓ、Ｍ、Ｌ等）毎に記憶されていてもよい。なお、本明細書において、服飾品とは、衣服または装飾品を含む。また、装飾品とは、メガネ、帽子およびベルトなどを含む。 The storage unit 130 stores a program and data for processing by the information processing apparatus 10 using a storage medium such as a semiconductor memory or a hard disk. For example, a program for causing the computer to function as the control unit 100 is stored. Further, for example, the storage unit 130 stores data used by the control unit 100. Further, the storage unit 130 according to the present embodiment stores three-dimensional data of clothing items as a virtual object to be displayed. Further, the storage unit 130 according to the present embodiment stores the size information of the clothing in association with the three-dimensional data of the clothing. The size information is actual size information of clothing such as a body height, a shoulder width, a body width, a sleeve length, and a sleeve width. The actual size information may be stored in centimeter units. In addition, the actual size information may be stored for each size of clothing (S, M, L, etc.). In addition, in this specification, clothing items include clothes or decorative items. The decorative items include glasses, a hat, a belt, and the like.

操作入力部１２０は、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチ、レバーおよびリモートコントローラーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、制御部１００に出力する入力制御回路などから構成されている。ユーザは、操作入力部１２０を操作することにより、情報処理装置１０の電源ＯＮ／ＯＦＦや、ＡＲ試着システムプログラムの起動などを指示したりすることができる。 The operation input unit 120 generates an input signal based on an input by the user, such as a mouse, a keyboard, a touch panel, a button, a microphone, a switch, a lever, and a remote controller, and an input by the user. An input control circuit that outputs to By operating the operation input unit 120, the user can instruct power-on / off of the information processing apparatus 10 or activation of an AR try-on system program.

カメラ１５（撮像装置）は、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）またはＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を用いて実空間を撮像することにより、撮像画像を生成する。本開示の実施形態においては、カメラ１５が情報処理装置１０と別体に構成されていることを想定しているが、カメラ１５は、情報処理装置１０の一部であってもよい。 The camera 15 (imaging device) generates a captured image by imaging a real space using an imaging element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor). In the embodiment of the present disclosure, it is assumed that the camera 15 is configured separately from the information processing apparatus 10, but the camera 15 may be a part of the information processing apparatus 10.

また、カメラ１５は、撮像時におけるカメラ１５の設定情報を情報処理装置１０に供給する。ここで、図４に、実空間におけるカメラ１５と被写体Ａの位置関係、および被写体Ａを撮像した撮像画像Ａ’を説明するための図を示す。図４では、カメラ１５のレンズ（不図示）の光学的な中心である主点から、カメラ１５の撮像素子（不図示）までの焦点距離ｆ_ｒｅａｌと、撮像素子に写る被写体Ａ（３次元、ｘｙｚ座標）の撮像画像Ａ’（２次元、ｘｙ座標）を、便宜上被写体側に示す。カメラ１５から被写体Ａまでの距離ｄ_ｒｅａｌは、後述するように深度情報として算出される。また、カメラ１５の画角θ_ｒｅａｌは、主に焦点距離ｆ_ｒｅａｌに応じて決定される。カメラ１５は、カメラ１５の設定情報として、例えば焦点距離ｆ_ｒｅａｌ（または画角θ_ｒｅａｌ）および撮像画像Ａ’の画素数（すなわちピクセル数）を、情報処理装置１０に供給する。 In addition, the camera 15 supplies setting information of the camera 15 at the time of imaging to the information processing apparatus 10. Here, FIG. 4 is a diagram for explaining the positional relationship between the camera 15 and the subject A in the real space and the captured image A ′ obtained by capturing the subject A. In FIG. 4, the focal length _freal from the principal point that is the optical center of the lens (not shown) of the camera 15 to the image sensor (not shown) of the camera 15, and the subject A (three-dimensional, A captured image A ′ (two-dimensional, xy coordinates) of (xyz coordinates) is shown on the subject side for convenience. The distance _dreal from the camera 15 to the subject A is calculated as depth information as will be described later. Further, the angle of view θ _real of the camera 15 is determined mainly according to the focal length f _real . The camera 15 supplies, for example, the focal length f _real (or the angle of view θ _real ) and the number of pixels of the captured image A ′ (that is, the number of pixels) as the setting information of the camera 15 to the information processing apparatus 10.

センサ１７は、実空間からパラメータを検出する機能を有している。例えば、センサ１７が赤外線センサにより構成されている場合、センサ１７は、実空間から赤外線を検出し、赤外線量に応じた電気信号を検出データとして情報処理装置１０に供給することができる。センサ１７の種類は、赤外線センサに限定されない。なお、カメラ１５により撮像された画像が検出データとして情報処理装置１０に供給される場合には、センサ１７は存在しなくてもよい。 The sensor 17 has a function of detecting parameters from real space. For example, when the sensor 17 is configured by an infrared sensor, the sensor 17 can detect infrared rays from the real space and supply an electrical signal corresponding to the amount of infrared rays as detection data to the information processing apparatus 10. The type of sensor 17 is not limited to an infrared sensor. In addition, when the image imaged with the camera 15 is supplied to the information processing apparatus 10 as detection data, the sensor 17 does not need to exist.

表示装置１９は、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）、ＯＬＥＤ（Ｏｒｇａｎｉｃｌｉｇｈｔ−ＥｍｉｔｔｉｎｇＤｉｏｄｅ）またはＣＲＴ（ＣａｔｈｏｄｅＲａｙＴｕｂｅ）などにより構成される表示モジュールである。本開示の実施形態においては、表示装置１９が情報処理装置１０と別体に構成されていることを想定しているが、表示装置１９は、情報処理装置１０の一部であってもよい。 The display device 19 is a display module including an LCD (Liquid Crystal Display), an OLED (Organic light-Emitting Diode), or a CRT (Cathode Ray Tube). In the embodiment of the present disclosure, it is assumed that the display device 19 is configured separately from the information processing device 10, but the display device 19 may be a part of the information processing device 10.

続いて、上記制御部１００の機能構成について説明する。上述したように、制御部１００は、骨格位置算出部１０１、表示制御部１０５、および比較部１０９を有する。 Next, the functional configuration of the control unit 100 will be described. As described above, the control unit 100 includes the skeleton position calculation unit 101, the display control unit 105, and the comparison unit 109.

（骨格位置算出部１０１）
骨格位置算出部１０１は、検出データに基づいて撮像画像に映る物体の骨格位置を算出する。撮像画像に映る物体の実空間上の骨格位置を算出する手法は特に限定されない。例えば、骨格位置算出部１０１は、まず、撮像画像において物体の存在する領域（以下、「物体存在領域」とも称す。）を認識するとともに、撮像画像内の物体の深度情報を取得する。そして、骨格位置算出部１０１は、物体存在領域の深度と形（特徴量）に基づいて、撮像画像に映る物体の実空間上の部位（頭、左肩、右肩、腹部など）を認識し、各部位における中心位置を骨格位置として算出してもよい。ここで、骨格位置算出部１０１は、記憶部１３０に記憶された特徴量辞書を用いて、撮像画像から決定される特徴量を、当該特徴量辞書に予め登録された物体の部位ごとの特徴量と照合することにより、撮像画像に含まれる物体の部位を認識することができる。 (Skeleton position calculation unit 101)
The skeleton position calculation unit 101 calculates the skeleton position of the object shown in the captured image based on the detection data. The method for calculating the skeleton position of the object reflected in the captured image in the real space is not particularly limited. For example, the skeleton position calculation unit 101 first recognizes a region where an object exists in the captured image (hereinafter also referred to as “object presence region”), and acquires depth information of the object in the captured image. Then, the skeleton position calculation unit 101 recognizes a part of the object in real space (head, left shoulder, right shoulder, abdomen, etc.) shown in the captured image based on the depth and shape (feature amount) of the object existence region, You may calculate the center position in each site | part as a skeleton position. Here, the skeleton position calculation unit 101 uses the feature dictionary stored in the storage unit 130 to determine the feature determined from the captured image as the feature for each part of the object registered in the feature dictionary. Can be recognized to identify the part of the object included in the captured image.

物体存在領域を認識する手法としては様々な手法が想定される。例えば、撮像画像が検出データとして情報処理装置１０に供給された場合には、骨格位置算出部１０１は、物体が映る前の撮像画像と物体が映っている撮像画像との差分値に基づいて、物体存在領域を認識することができる。より詳細には、骨格位置算出部１０１は、物体が映る前の撮像画像と物体が映っている撮像画像との差分値が閾値を超える領域を、物体存在領域として認識することができる。 Various methods are assumed as a method for recognizing the object existence area. For example, when the captured image is supplied to the information processing apparatus 10 as detection data, the skeleton position calculation unit 101 is based on the difference value between the captured image before the object is reflected and the captured image where the object is reflected. An object presence area can be recognized. More specifically, the skeleton position calculation unit 101 can recognize an area where the difference value between the captured image before the object is reflected and the captured image where the object is reflected exceeds the threshold value as the object existence area.

また、例えば、センサ１７により検出されたパラメータが検出データとして情報処理装置１０に供給された場合には、骨格位置算出部１０１は、検出データに基づいて、物体存在領域を認識することができる。より詳細には、骨格位置算出部１０１は、検出される赤外線量が閾値を超える領域を、物体存在領域として認識することができる。 For example, when the parameter detected by the sensor 17 is supplied to the information processing apparatus 10 as detection data, the skeleton position calculation unit 101 can recognize the object presence region based on the detection data. More specifically, the skeleton position calculation unit 101 can recognize an area where the amount of detected infrared rays exceeds a threshold as an object presence area.

また、撮像画像内の物体の深度情報を取得する手法として様々な手法が想定される。例えば、カメラ１５と物体との距離をあらかじめ定めておくことが可能である。すなわち、あらかじめ定められた距離だけカメラ１５から離れた位置に物体が配置されるような制限を設ければよい。このような制限を設ければ、骨格位置算出部１０１は、物体の深度情報（ここでは、カメラ１５と物体との距離）を固定値（例えば、２ｍなど）として扱うことができる。 Moreover, various methods are assumed as a method of acquiring the depth information of the object in the captured image. For example, the distance between the camera 15 and the object can be determined in advance. That is, it is only necessary to provide a restriction that an object is arranged at a position away from the camera 15 by a predetermined distance. If such a restriction is provided, the skeleton position calculation unit 101 can handle the depth information of the object (here, the distance between the camera 15 and the object) as a fixed value (for example, 2 m).

また、骨格位置算出部１０１は、撮像画像内の物体の深度情報を、センサ１７により検出されたパラメータに基づいて算出することも可能である。より詳細には、骨格位置算出部１０１は、図示しない照射装置から赤外線などの光を物体に向けて照射した場合に、センサ１７により検出された光を解析することにより、撮像画像内の物体の深度情報を算出することができる。 The skeleton position calculation unit 101 can also calculate the depth information of the object in the captured image based on the parameter detected by the sensor 17. More specifically, the skeleton position calculation unit 101 analyzes the light detected by the sensor 17 when irradiating light such as infrared rays from an irradiation device (not shown) to the object, thereby analyzing the object in the captured image. Depth information can be calculated.

また、例えば骨格位置算出部１０１は、センサ１７により検出された光の位相遅れに基づいて、撮像画像内の物体の深度情報を算出することができる。この手法は、ＴＯＦ（ＴｉｍｅＯｆＦｌｉｇｈｔ）方式とも言われる。あるいは、図示しない照射装置から照射される光が既知のパターンから構成される場合には、骨格位置算出部１０１は、センサ１７により検出された光を構成するパターンの歪み具合を解析することにより、撮像画像内の物体の深度情報を算出してもよい。 For example, the skeleton position calculation unit 101 can calculate the depth information of the object in the captured image based on the phase delay of the light detected by the sensor 17. This technique is also called a TOF (Time Of Flight) system. Alternatively, when the light emitted from the irradiation device (not shown) is configured from a known pattern, the skeleton position calculation unit 101 analyzes the distortion of the pattern forming the light detected by the sensor 17, You may calculate the depth information of the object in a captured image.

なお、撮像画像内の物体の深度情報を算出する機能を有する撮像装置はデプスカメラと称され、ステレオカメラやレーザーレンジスキャナにより実現され得る。骨格位置算出部１０１は、情報処理装置１０に接続されるデプスカメラから深度情報を取得してもよい。 Note that an imaging apparatus having a function of calculating depth information of an object in a captured image is called a depth camera, and can be realized by a stereo camera or a laser range scanner. The skeleton position calculation unit 101 may acquire depth information from a depth camera connected to the information processing apparatus 10.

以上説明した各手法により取得した物体存在領域の深度と形（特徴量）に基づいて、骨格位置算出部１０１は、撮像画像に映る物体の実空間上の部位（頭、肩など）を認識し、各部位の骨格位置の座標を算出する。次に、骨格位置算出部１０１が算出した被写体Ａを構成する１以上の部位の骨格位置を含む骨格情報について図５を参照して説明する。 Based on the depth and shape (feature amount) of the object existence area acquired by each method described above, the skeleton position calculation unit 101 recognizes a part (head, shoulder, etc.) of the object shown in the captured image in real space. Then, the coordinates of the skeleton position of each part are calculated. Next, the skeleton information including the skeleton positions of one or more parts constituting the subject A calculated by the skeleton position calculation unit 101 will be described with reference to FIG.

図５は、被写体Ａを構成する１以上の部位の骨格位置（座標）を含む骨格情報を説明するための図である。図５に示した例では、骨格情報は、被写体Ａを構成する１５の部位の位置を示す座標Ｂ１〜Ｂ３、Ｂ６、Ｂ７、Ｂ９、Ｂ１２、Ｂ１３、Ｂ１５、Ｂ１７、Ｂ１８、Ｂ２０〜Ｂ２２、Ｂ２４として示されているが、骨格情報に含まれる部位の数は特に限定されない。 FIG. 5 is a diagram for explaining skeleton information including skeleton positions (coordinates) of one or more parts constituting the subject A. In the example illustrated in FIG. 5, the skeleton information includes coordinates B1 to B3, B6, B7, B9, B12, B13, B15, B17, B18, B20 to B22, and B24 that indicate the positions of 15 parts constituting the subject A. However, the number of parts included in the skeleton information is not particularly limited.

なお、座標Ｂ１は「Ｈｅａｄ」の座標を示し、座標Ｂ２は「Ｎｅｃｋ」の座標を示し、座標Ｂ３は「Ｔｏｒｓｏ」の座標を示し、座標Ｂ６は「ＲｉｇｈｔＳｈｏｕｌｄｅｒ」の座標を示し、座標Ｂ７は「ＲｉｇｈｔＥｌｂｏｗ」の座標を示している。また、座標Ｂ９は「ＲｉｇｈｔＨａｎｄ」の座標を示し、座標Ｂ１２は「ＬｅｆｔＳｈｏｕｌｄｅｒ」の座標を示し、座標Ｂ１３は「ＬｅｆｔＥｌｂｏｗ」の座標を示し、座標Ｂ１５は「ＬｅｆｔＨａｎｄ」の座標を示している。 Note that the coordinate B1 indicates the coordinate of “Head”, the coordinate B2 indicates the coordinate of “Neck”, the coordinate B3 indicates the coordinate of “Torso”, the coordinate B6 indicates the coordinate of “Right Shoulder”, and the coordinate B7 indicates The coordinates of “Right Elbow” are shown. The coordinate B9 indicates the coordinates of “Right Hand”, the coordinates B12 indicates the coordinates of “Left Shoulder”, the coordinates B13 indicates the coordinates of “Left Elbow”, and the coordinate B15 indicates the coordinates of “Left Hand”. Yes.

座標Ｂ１７は「ＲｉｇｈｔＨｉｐ」の座標を示し、座標Ｂ１８は「ＲｉｇｈｔＫｎｅｅ」の座標を示し、座標Ｂ２０は「ＲｉｇｈｔＦｏｏｔ」の座標を示し、座標Ｂ２１は「ｌｅｆｔＨｉｐ」の座標を示している。座標Ｂ２２は「ＬｅｆｔＫｎｅｅ」の座標を示し、座標Ｂ２４は「ＬｅｆｔＦｏｏｔ」の座標を示している。 A coordinate B17 indicates a coordinate of “Right Hip”, a coordinate B18 indicates a coordinate of “Right Knee”, a coordinate B20 indicates a coordinate of “Right Foot”, and a coordinate B21 indicates a coordinate of “left Hip”. A coordinate B22 indicates the coordinates of “Left Knee”, and a coordinate B24 indicates the coordinates of “Left Foot”.

また、本実施形態による骨格位置算出部１０１は、上述したように、撮像画像内の物体の深度情報を取得するが、具体的には、例えば深度の深さに応じて濃淡が変化する撮像画像（不図示）として上記デプスカメラから取得してもよい。 Further, as described above, the skeleton position calculation unit 101 according to the present embodiment acquires depth information of an object in a captured image. Specifically, for example, a captured image in which the density changes according to the depth of the depth, for example. You may acquire from the said depth camera as (not shown).

（比較部１０９）
比較部１０９は、サイズ情報（予め設定された寸法）に基づく仮想的な服飾品（ここでは、仮想衣服）の大きさと、撮像された被写体Ａの大きさとを比較し、比較結果を表示制御部１０５に出力する。なお、本実施形態による比較部１０９が行う大きさの比較の手法は様々想定され、特に限定されない。 (Comparator 109)
The comparison unit 109 compares the size of the virtual clothing (here, virtual clothing) based on the size information (preliminary dimensions) with the size of the imaged subject A, and displays the comparison result. To 105. Note that various methods of comparing the size performed by the comparison unit 109 according to the present embodiment are assumed and are not particularly limited.

例えば、被写体Ａと仮想衣服の大きさを２次元水準で比較する手法であってもよい。具体的には、比較部１０９は、まず撮像画像から被写体Ａの領域をピクセル単位でセグメンテーションし、被写体Ａの部分は白、その他の部分は黒で塗りつぶした被写体マスク画像を作成する。次に、被写体Ａに重畳表示する仮想衣服が描かれる部分を白、描かれない部分を黒で塗りつぶした衣服マスク画像を作成する。なお、被写体Ａに重畳表示する仮想衣服の領域は、後述する仮想空間において被写体Ａの骨格位置に合わせて置かれた仮想衣服Ｃを仮想カメラ２５によりレンダリングして取得した仮想画像Ｃ’に基づいて決定されてもよい。また、仮想空間に置かれる仮想衣服Ｃは、予めモデリングされた３次元データ、およびサイズ情報（身丈、肩幅および身幅等の実寸）に基づいて生成される。 For example, a method of comparing the size of the subject A and the virtual clothes on a two-dimensional level may be used. Specifically, the comparison unit 109 first segments the region of the subject A from the captured image in units of pixels, and creates a subject mask image in which the portion of the subject A is filled with white and the other portions are filled with black. Next, a clothing mask image is created in which a portion on which virtual clothes to be superimposed on the subject A are drawn is painted white and a portion not to be painted is painted black. Note that the area of the virtual clothes to be superimposed on the subject A is based on the virtual image C ′ obtained by rendering the virtual clothes C placed according to the skeleton position of the subject A in the virtual space described later by the virtual camera 25. It may be determined. The virtual clothes C placed in the virtual space are generated based on pre-modeled three-dimensional data and size information (actual sizes such as height, shoulder width, and width).

そして、比較部１０９は、「被写体マスク画像において白く、衣服マスク画像において黒い領域」と、「被写体マスク画像において黒く、衣服マスク画像において白い領域」との面積（ピクセル数）を比較し、比較結果を表示制御部１０５に出力する。 Then, the comparison unit 109 compares the areas (number of pixels) of the “white area in the subject mask image and the black area in the clothing mask image” with the “black area in the subject mask image and the white area in the clothing mask image”. Is output to the display control unit 105.

なお、「被写体マスク画像において白く、衣服マスク画像において黒い領域」は、被写体Ａの領域内であって、かつ仮想衣服が描画されない領域である。また、「被写体マスク画像において黒く、衣服マスク画像において白い領域」は、被写体Ａの領域外であって、かつ仮想衣服が描画される領域である。 Note that “a white area in the subject mask image and a black area in the clothes mask image” is an area within the area of the subject A and where virtual clothes are not drawn. Further, “a black area in the subject mask image and a white area in the clothing mask image” is an area outside the area of the subject A and where virtual clothes are drawn.

よって、「被写体マスク画像において白く、衣服マスク画像において黒い領域」の方が多い場合、被写体Ａより仮想衣服が小さいと言える。また、「被写体マスク画像において黒く、衣服マスク画像において白い領域」の方が多い場合、被写体Ａより仮想衣服が大きいと言える。 Therefore, if there are more “white areas in the subject mask image and black areas in the clothing mask image”, it can be said that the virtual clothes are smaller than the subject A. If there are more “black areas in the subject mask image and white areas in the clothes mask image”, it can be said that the virtual clothes are larger than the subject A.

また、被写体Ａと仮想衣服の大きさを３次元水準で比較する手法であってもよい。具体的には、比較部１０９は、被写体Ａの形状の特徴を示す特徴点の３次元座標（図４に示す座標Ｏ参照。）に基づき、被写体Ａの身丈、肩幅および身幅等の実寸（例えばセンチメートル単位）を認識する。なお、比較部１０９は、被写体Ａの特徴点（３次元座標）を上述した深度情報を用いて算出してもよい。 Alternatively, a method of comparing the size of the subject A and the virtual clothes on a three-dimensional level may be used. Specifically, the comparison unit 109 is based on the three-dimensional coordinates (see coordinates O shown in FIG. 4) of the feature points indicating the characteristics of the shape of the subject A, such as the actual size (for example, the height, shoulder width, and width of the subject A). Recognize centimeters. Note that the comparison unit 109 may calculate the feature point (three-dimensional coordinates) of the subject A using the depth information described above.

次に、比較部１０９は、被写体Ａに重畳表示される仮想衣服Ｃのサイズ情報（身丈、肩幅および身幅等の実寸、例えばセンチメートル単位）を記憶部１３０から抽出する。 Next, the comparison unit 109 extracts size information (actual dimensions such as height, shoulder width, and width, for example, in centimeters) of the virtual clothes C superimposed on the subject A from the storage unit 130.

そして、比較部１０９は、被写体Ａの身丈、肩幅等の実寸と、仮想衣服Ｃの身丈、肩幅等の実寸を比較し、比較結果を表示制御部１０５に出力する。 Then, the comparison unit 109 compares the actual size such as the height and shoulder width of the subject A with the actual size such as the height and shoulder width of the virtual clothing C, and outputs the comparison result to the display control unit 105.

（表示制御部１０５）
表示制御部１０５は、撮像画像に映る被写体に仮想衣服を重畳表示したＡＲ試着画像を生成し、表示装置１９に表示させる制御を行う。また、本実施形態による表示制御部１０５は、比較部１０９から出力された比較結果に基づき、被写体Ａに重畳表示する仮想衣服Ｃを変形させることで、実際の試着時の状態をより自然に表現できる。具体的には、表示制御部１０５は、被写体Ａより仮想衣服Ｃが大きい場合、仮想衣服Ｃが全体的に重力方向に垂れ下がるよう変形させる。また、表示制御部１０５は、被写体Ａより仮想衣服Ｃが小さい場合、仮想衣服Ｃが被写体Ａの大きさに合わせて伸びたように変形させる。 (Display control unit 105)
The display control unit 105 performs control to generate an AR dressing image in which virtual clothes are superimposed and displayed on a subject reflected in a captured image and display the AR dressing image on the display device 19. In addition, the display control unit 105 according to the present embodiment more naturally expresses the actual try-on state by deforming the virtual clothes C superimposed on the subject A based on the comparison result output from the comparison unit 109. it can. Specifically, when the virtual clothes C are larger than the subject A, the display control unit 105 deforms the virtual clothes C so that it hangs down in the direction of gravity as a whole. Further, when the virtual clothes C are smaller than the subject A, the display control unit 105 deforms the virtual clothes C so as to extend according to the size of the subject A.

ここで、撮像画像に重畳する仮想画像の生成について、図６を参照して説明する。図６は、仮想空間における仮想カメラ２５と仮想衣服Ｃの位置関係、および仮想衣服Ｃを投影（レンダリング）した仮想的な衣服画像Ｃ’（仮想画像とも称す）を説明するための図を示す。図６では、図４に示す実空間を撮像した撮像画像Ａ’と同様に、レンダリングした仮想的な衣服画像Ｃ’を、仮想衣服側に示す。 Here, generation of a virtual image to be superimposed on a captured image will be described with reference to FIG. FIG. 6 is a diagram for explaining a positional relationship between the virtual camera 25 and the virtual clothes C in the virtual space, and a virtual clothes image C ′ (also referred to as a virtual image) obtained by projecting (rendering) the virtual clothes C. In FIG. 6, the rendered virtual clothing image C ′ is shown on the virtual clothing side in the same manner as the captured image A ′ obtained by capturing the real space illustrated in FIG. 4.

仮想カメラ２５の設定（内部パラメータ）は、実空間を撮像するカメラ１５の設定（内部パラメータ）に合わせて決定される。カメラの設定（内部パラメータ）とは、例えば、焦点距離ｆ、画角θおよび画素数等である。表示制御部１０５は、仮想カメラ２５の設定を、実空間のカメラ１５と一致するよう設定する（初期化とも称す）。 The setting (internal parameter) of the virtual camera 25 is determined in accordance with the setting (internal parameter) of the camera 15 that captures an image of real space. The camera settings (internal parameters) are, for example, the focal length f, the angle of view θ, the number of pixels, and the like. The display control unit 105 sets the setting of the virtual camera 25 so as to match the camera 15 in the real space (also referred to as initialization).

次に、表示制御部１０５は、撮像画像内の物体の深度情報に基づいて、実空間におけるカメラ１５から被写体Ａまでの距離ｄ_ｒｅａｌと同じ距離ｄ_{ｖｅｒｔｕａｌ}だけ仮想カメラ２５から離れた位置に、被写体の骨格位置に合わせて仮想衣服Ｃを配置する。表示制御部１０５は、仮想衣服Ｃを、予めモデリングされた３次元データに基づいて生成してもよい。また、表示制御部１０５は、例えば図６に示すように、仮想衣服Ｃの表面を三角形のポリゴンの集合により構成することで、仮想衣服の３次元形状をよりリアルに表現することができる。また、被写体Ａの骨格位置が時間経過と共に変化する場合、表示制御部１０５は、骨格位置をトラッキングするよう仮想衣服Ｃの配置を変化させることができる。 Next, the display control unit 105, based on the depth information of the object in the captured image, a position from the camera 15 in the real space away from the same distance _{d Vertual} only the virtual camera 25 and the distance _{d real} to the subject A, subject The virtual clothes C are arranged according to the skeleton position. The display control unit 105 may generate the virtual clothes C based on three-dimensional data modeled in advance. Further, for example, as shown in FIG. 6, the display control unit 105 can more realistically represent the three-dimensional shape of the virtual clothes by configuring the surface of the virtual clothes C with a set of triangular polygons. When the skeleton position of the subject A changes with time, the display control unit 105 can change the arrangement of the virtual clothes C so as to track the skeleton position.

さらに、本実施形態による表示制御部１０５は、仮想衣服Ｃを予めモデリングされた３次元データに基づき生成する際、当該仮想衣服Ｃの３次元データに関連付けて記憶されているサイズ情報を利用する。なお、仮想衣服Ｃのサイズが複数ある場合（Ｓ、Ｍ、Ｌ等）、表示制御部１０５は、図１に示すようなサイズアイコン群３０を表示し、被写体Ａに任意のサイズを選択させてもよい。 Furthermore, the display control unit 105 according to the present embodiment uses the size information stored in association with the three-dimensional data of the virtual clothes C when generating the virtual clothes C based on the three-dimensional data modeled in advance. When there are a plurality of sizes of the virtual clothes C (S, M, L, etc.), the display control unit 105 displays the size icon group 30 as shown in FIG. 1 and causes the subject A to select an arbitrary size. Also good.

次に、表示制御部１０５は、仮想カメラ２５でレンダリング、すなわち３次元の衣服画像Ｃを２次元の平面画像に投影することで、衣服画像Ｃ’（仮想画像）を取得する。そして、表示制御部１０５は、撮像画像Ａ’（図４参照）に仮想的な衣服画像Ｃ’を重畳表示することでＡＲ試着画像を生成することができる。 Next, the display control unit 105 obtains a clothing image C ′ (virtual image) by rendering with the virtual camera 25, that is, by projecting the three-dimensional clothing image C onto a two-dimensional planar image. Then, the display control unit 105 can generate an AR dressing image by superimposing and displaying the virtual clothing image C ′ on the captured image A ′ (see FIG. 4).

ここで、本実施形態による表示制御部１０５は、上述したように、比較部１０９から出力された比較結果に基づき、被写体Ａに重畳表示する仮想衣服Ｃを変形させることで、実際の試着時の状態をより自然に表現する。例えば、表示制御部１０５は、仮想衣服Ｃの輪郭上の点（特徴点）と、これに最も近い被写体Ａの輪郭上の点（特徴点）を取得し、仮想衣服Ｃの特徴点を被写体Ａの特徴点、または重力方向に移動させることで、より自然な表現を実現する。なお、表示制御部１０５によるＡＲ試着画像の表示制御については、次の＜３．表示制御＞において詳細に説明する。 Here, as described above, the display control unit 105 according to the present embodiment deforms the virtual clothes C superimposed and displayed on the subject A based on the comparison result output from the comparison unit 109, so that the actual control can be performed. Express the state more naturally. For example, the display control unit 105 acquires a point (feature point) on the contour of the virtual clothing C and a point (feature point) on the contour of the subject A closest to the virtual clothing C, and determines the feature point of the virtual clothing C as the subject A. By moving in the feature point or gravity direction, more natural expression is realized. The display control of the AR fitting image by the display control unit 105 is described in <3. The display control> will be described in detail.

以上、本開示の一実施形態によるＡＲ試着システムを実現する情報処理装置１０の構成について詳細に説明した。続いて、情報処理装置１０によるＡＲ試着画像の表示制御について説明する。 The configuration of the information processing apparatus 10 that implements the AR try-on system according to the embodiment of the present disclosure has been described above in detail. Subsequently, display control of the AR try-on image by the information processing apparatus 10 will be described.

＜３．表示制御＞
［３−１．基本的な表示制御］
図７は、情報処理装置１０によるＡＲ試着画像の基本的な表示制御処理を示すフローチャートである。図７に示すように、まず、ステップＳ１１０において、表示制御部１０５は、仮想空間における仮想カメラ２５の設定を、実空間のカメラ１５の設定に一致させる初期化を行う。 <3. Display control>
[3-1. Basic display control]
FIG. 7 is a flowchart showing basic display control processing of an AR try-on image by the information processing apparatus 10. As shown in FIG. 7, first, in step S <b> 110, the display control unit 105 performs initialization to match the setting of the virtual camera 25 in the virtual space with the setting of the camera 15 in the real space.

次いで、ステップＳ１１３において、骨格位置算出部１０１は、撮像した実空間における被写体Ａの骨格位置（ｘｙｚ座標）を算出し、表示制御部１０５に出力する。 Next, in step S <b> 113, the skeleton position calculation unit 101 calculates the skeleton position (xyz coordinates) of the subject A in the captured real space, and outputs it to the display control unit 105.

次に、ステップＳ１１６において、表示制御部１０５は、仮想空間において、仮想衣服Ｃを被写体Ａの骨格位置（ｘｙｚ座標）に合わせて配置する。 Next, in step S116, the display control unit 105 arranges the virtual clothes C according to the skeleton position (xyz coordinates) of the subject A in the virtual space.

そして、ステップＳ１１９において、表示制御部１０５は、仮想衣服Ｃをレンダリングして衣服画像Ｃ’（仮想画像）を取得し、衣服画像Ｃ’を撮像画像Ａ’に重ねてＡＲ試着画像を描画し、表示装置１９に表示するよう制御する（ＡＲ表示制御）。 In step S119, the display control unit 105 renders the virtual clothes C to acquire the clothes image C ′ (virtual image), draws the AR dressing image by superimposing the clothes image C ′ on the captured image A ′, Control is performed to display on the display device 19 (AR display control).

また、情報処理装置１０は、ステップＳ１２２において、終了指示がなされるまで上記ステップＳ１１３からＳ１１９を繰り返し行う。これにより、情報処理装置１０は、被写体Ａの動きをトラッキングするＡＲ試着画像をリアルタイムで提供することができる。 Further, the information processing apparatus 10 repeats the above steps S113 to S119 until an end instruction is given in step S122. As a result, the information processing apparatus 10 can provide an AR dressing image that tracks the movement of the subject A in real time.

以上、基本的な表示制御処理について説明した。さらに、本実施形態による情報処理装置１０は、被写体Ａと仮想衣服Ｃの大きさを比較し、被写体Ａに重畳表示する仮想衣服Ｃを変形させることができる。以下、本実施形態による仮想衣服の変形制御について図８を参照して具体的に説明する。 The basic display control process has been described above. Furthermore, the information processing apparatus 10 according to the present embodiment can compare the size of the subject A and the virtual clothes C, and can deform the virtual clothes C superimposed on the subject A. Hereinafter, the deformation control of the virtual clothes according to the present embodiment will be specifically described with reference to FIG.

［３−２．仮想衣服の変形制御］
図８は、本実施形態の情報処理装置１０による仮想衣服の変形処理を示すフローチャートである。より具体的には、図８では、図７に示すステップＳ１１９のＡＲ表示制御の際に、被写体Ａの大きさと仮想衣服Ｃの大きさの比較結果に基づき、被写体Ａに重畳表示される仮想衣服Ｃの変形処理が行われる。 [3-2. Virtual clothing deformation control]
FIG. 8 is a flowchart showing the deformation process of the virtual clothes by the information processing apparatus 10 of this embodiment. More specifically, in FIG. 8, the virtual clothing displayed superimposed on the subject A based on the comparison result of the size of the subject A and the size of the virtual clothing C during the AR display control in step S <b> 119 shown in FIG. 7. C deformation processing is performed.

まず、図８のステップＳ１３１において、比較部１０９は、被写体Ａの大きさと、被写体Ａに重畳表示する仮想衣服Ｃの大きさを比較する。 First, in step S131 in FIG. 8, the comparison unit 109 compares the size of the subject A with the size of the virtual clothes C displayed superimposed on the subject A.

次いで、ステップＳ１３４において、比較部１０９による比較の結果、被写体Ａより仮想衣服Ｃの方が小さい場合、ステップＳ１３７において、表示制御部１０５は、仮想衣服Ｃを、被写体Ａの体形にぴったり合うよう変形させる。 Next, in step S134, if the result of the comparison by the comparison unit 109 is that the virtual clothing C is smaller than the subject A, the display control unit 105 deforms the virtual clothing C so as to fit the body shape of the subject A in step S137. Let

一方、ステップＳ１３４において、比較部１０９による比較の結果、被写体Ａより仮想衣服Ｃの方が大きい場合、ステップＳ１４０において、表示制御部１０５は、仮想衣服Ｃが全体的に重力方向（鉛直下向き）に垂れ下がるよう、仮想衣服Ｃを変形させる。 On the other hand, if the result of the comparison by the comparison unit 109 is that the virtual clothing C is larger than the subject A in step S134, the display control unit 105 in step S140 causes the virtual clothing C to be entirely in the gravity direction (vertically downward). The virtual clothes C are deformed so as to hang down.

そして、ステップＳ１４３において、表示制御部１０５は、比較部１０９による比較結果に基づいて変形させた仮想衣服Ｃを被写体Ａに重ねて描画し、ＡＲ試着画像を生成する。 In step S143, the display control unit 105 draws the virtual clothes C deformed based on the comparison result by the comparison unit 109 over the subject A, and generates an AR try-on image.

以上、本実施形態による仮想衣服Ｃの変形処理について説明した。次に、上述したステップＳ１３７およびＳ１４０における仮想衣服の変形について、具体例を挙げて説明する。 In the above, the deformation | transformation process of the virtual clothes C by this embodiment was demonstrated. Next, the deformation of the virtual clothes in steps S137 and S140 described above will be described with a specific example.

（変形例１）
上述したステップＳ１３７では、表示制御部１０５は、仮想衣服Ｃが被写体Ａより小さい場合に、仮想衣服Ｃを被写体Ａの体形にぴったり合うよう変形させる。以下、具体的な表示制御について図９を参照して説明する。 (Modification 1)
In step S137 described above, when the virtual clothing C is smaller than the subject A, the display control unit 105 deforms the virtual clothing C so as to fit the body shape of the subject A. Hereinafter, specific display control will be described with reference to FIG.

図９に示すように、仮想衣服Ｃの輪郭上の点（特徴点）を、当該特徴点に近い被写体Ａの輪郭上の点（特徴点）に移動させることで、表示制御部１０５は、仮想衣服Ｃを被写体Ａの体形にぴったり合うように変形させる。このとき、表示制御部１０５は、仮想衣服Ｃの輪郭上の特徴点の移動に応じて、仮想衣服Ｃ内の特徴点を補完しながら移動させてもよい。 As shown in FIG. 9, the display control unit 105 moves the point (feature point) on the contour of the virtual clothes C to the point (feature point) on the contour of the subject A close to the feature point. The clothes C are deformed so as to fit the body shape of the subject A. At this time, the display control unit 105 may move the feature points in the virtual clothes C while complementing the feature points in the virtual clothes C according to the movement of the feature points on the contour of the virtual clothes C.

このように、仮想衣服Ｃが被写体Ａの体形にぴったり合うよう仮想衣服Ｃを変形させて被写体Ａに重畳表示することで、仮想衣服Ｃのサイズが被写体Ａより小さいことを認識させ、かつ実際試着した場合に近い、より自然なＡＲ試着画像を提供することができる。 In this way, the virtual clothing C is deformed so that the virtual clothing C fits the body shape of the subject A and superimposed on the subject A so that the virtual clothing C is smaller than the subject A and is actually tried on. It is possible to provide a more natural AR try-on image close to the case.

（変形例２）
上述したステップＳ１４０では、表示制御部１０５は、仮想衣服Ｃが被写体Ａより大きい場合に、仮想衣服Ｃが重力方向（鉛直下向き）に全体的に垂れ下がるよう変形させる。以下、具体的な表示制御について図１０を参照して説明する。 (Modification 2)
In step S140 described above, when the virtual clothes C are larger than the subject A, the display control unit 105 deforms the virtual clothes C so as to hang down in the direction of gravity (vertically downward). Hereinafter, specific display control will be described with reference to FIG.

図１０に示すように、仮想衣服Ｃの輪郭上の点（特徴点）を、重力方向に移動させるが、肩など、仮想衣服Ｃの特徴点より下方向に被写体Ａの輪郭がある場合は、当該被写体Ａの輪郭上の特徴点まで移動させる。また、裾など、仮想衣服Ｃの特徴点より下方向に被写体Ａの輪郭がない場合は、鉛直下向きに仮想衣服Ｃの輪郭上の特徴点を移動させ、たるみを表現する。 As shown in FIG. 10, the point (feature point) on the contour of the virtual clothes C is moved in the direction of gravity, but when the contour of the subject A is below the feature point of the virtual clothes C, such as a shoulder, Move to the feature point on the contour of the subject A. Further, when there is no outline of the subject A below the feature point of the virtual clothes C, such as a skirt, the feature point on the outline of the virtual clothes C is moved vertically downward to express sagging.

このように、仮想衣服Ｃが全体的に垂れ下がるよう仮想衣服Ｃを変形させて被写体Ａに重畳表示することで、仮想衣服Ｃのサイズが被写体Ａより大きいことを認識させ、かつ実際試着した場合に近い、より自然なＡＲ試着画像を提供することができる。 In this way, when the virtual clothes C are deformed so that the virtual clothes C hang down as a whole and are superimposed on the subject A, the virtual clothes C is recognized to be larger than the subject A and actually tried on. A closer and more natural AR fitting image can be provided.

なお、表示制御部１０５は、衣服のたるみを誇張し、想定される実物の衣服のたるみより大きく表現してもよい。たるみを大きく表現することで、仮想衣服Ｃのサイズが大きいことを、より顕著に表現することができる。具体的には、仮想衣服Ｃの裾などの特徴点を鉛直下向きに移動させる距離を、想定より長くすることで、衣服のたるみを誇張して表現することができる。 Note that the display control unit 105 may exaggerate the sagging of clothes and express it larger than the sagging of actual clothes. By expressing the slack greatly, it can be expressed more significantly that the size of the virtual clothes C is large. Specifically, the sagging of the clothes can be exaggerated by making the distance for moving the feature point such as the hem of the virtual clothes C vertically downward longer than expected.

以上、変形例１および変形例２を挙げて、仮想衣服Ｃの変形について具体的に説明した。なお、上記特徴点の移動による仮想衣服Ｃの変形は、仮想カメラ２５がレンダリングして取得した衣服画像Ｃ’上の特徴点（２次元座標（ｘ，ｙ））を移動することにより実現してもよい。若しくは、仮想空間に置かれた３次元の仮想衣服Ｃの形状の特徴を示す特徴点（３次元座標（ｘ，ｙ，ｚ））を移動することにより実現してもよい。 The modification of the virtual garment C has been specifically described with reference to Modification 1 and Modification 2. The deformation of the virtual clothes C by the movement of the feature points is realized by moving the feature points (two-dimensional coordinates (x, y)) on the clothes image C ′ obtained by rendering by the virtual camera 25. Also good. Or you may implement | achieve by moving the feature point (three-dimensional coordinate (x, y, z)) which shows the feature of the shape of the three-dimensional virtual clothes C placed in the virtual space.

＜４．まとめ＞
上述したように、本開示の一実施形態によるＡＲ試着システムでは、被写体Ａと仮想衣服Ｃの大きさの比較結果に基づいて仮想衣服Ｃを変形させた上で、仮想衣服Ｃを被写体Ａに重畳表示する。これにより、被写体Ａと仮想衣服Ｃの大きさの違いを、より自然な表現で直感的にユーザに認識させることができる。 <4. Summary>
As described above, in the AR try-on system according to the embodiment of the present disclosure, the virtual clothes C are deformed based on the comparison result of the sizes of the subject A and the virtual clothes C, and the virtual clothes C are superimposed on the subject A. indicate. Thereby, the user can intuitively recognize the difference in size between the subject A and the virtual clothes C with a more natural expression.

例えば、仮想衣服Ｃが被写体Ａより小さい場合、仮想衣服Ｃを被写体Ａの体形にぴったり合うよう変形させる。また、仮想衣服Ｃが被写体Ａより大きい場合、仮想衣服Ｃを全体的に重力方向に垂れ下がるよう変形させる。 For example, when the virtual clothing C is smaller than the subject A, the virtual clothing C is deformed so as to fit the body shape of the subject A. When the virtual clothes C are larger than the subject A, the virtual clothes C are deformed so as to hang down in the direction of gravity as a whole.

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属
するものと了解される。 The preferred embodiments of the present disclosure have been described in detail above with reference to the accompanying drawings, but the present technology is not limited to such examples. It is obvious that a person having ordinary knowledge in the technical field of the present disclosure can come up with various changes or modifications within the scope of the technical idea described in the claims. Of course, it is understood that it belongs to the technical scope of the present disclosure.

例えば、上述したＡＲ試着システムでは、主に仮想衣服の試着を例として説明したが、試着対象は衣服に限らず、例えばメガネ、帽子およびベルトなどの装飾品であってもよい。 For example, in the above-described AR try-on system, description has been made mainly on the try-on of virtual clothes, but the try-on target is not limited to clothes, and may be decorative items such as glasses, hats, and belts.

また、上述したＡＲ試着システムでは、被写体が人物の場合について説明したが、被写体は人物に限定されず、例えば犬や猫などの動物であってもよい。この場合、動物を撮像した撮像画像に、例えばペット用の衣服画像を重畳表示するＡＲ試着システムを提供することができる。 In the AR try-on system described above, the case where the subject is a person has been described. However, the subject is not limited to a person, and may be an animal such as a dog or a cat. In this case, it is possible to provide an AR fitting system that superimposes and displays a clothing image for a pet on a captured image obtained by capturing an animal.

また、上記実施形態では、現実の物体として被写体Ａ、仮想的な物体として仮想衣服Ｃを例に挙げたが、本実施形態による現実の物体と仮想的な物体の組み合わせ例はこれに限られない。仮想的な物体は、布素材など変形可能な素材が想定される他の物体であってもよい。例えば、現実の物体として、椅子、ソファー、およびベッド等の家具が挙げられ、仮想的な物体として、椅子カバー、ソファーカバー、およびベッドカバー等が挙げられる。 In the above embodiment, the subject A is used as a real object and the virtual clothes C is used as a virtual object. However, the combination example of a real object and a virtual object according to this embodiment is not limited thereto. . The virtual object may be another object assumed to be a deformable material such as a cloth material. For example, furniture such as a chair, a sofa, and a bed can be used as the real object, and a chair cover, a sofa cover, and a bed cover can be used as the virtual object.

以下、実空間のソファーを撮像した撮像画像に、仮想的なソファーカバーを重畳表示する場合について図１１を参照して説明する。 Hereinafter, a case where a virtual sofa cover is superimposed and displayed on a captured image obtained by capturing an image of a real sofa will be described with reference to FIG.

図１１に示すように、表示制御部１０５は、仮想的なソファーカバーの輪郭上の特徴点を、重力方向に移動させることで、実際ソファーにソファーカバーを装着させた場合の状態をより自然に表現することができる。なお、表示制御部１０５は、仮想的なソファーカバーの輪郭上の特徴点の移動において、ソファーが置かれた床も考慮することで、さらに自然なＡＲ画像を表示することができる。 As shown in FIG. 11, the display control unit 105 moves the feature point on the contour of the virtual sofa cover in the direction of gravity, so that the state when the sofa cover is actually attached to the sofa is more natural. Can be expressed. Note that the display control unit 105 can display a more natural AR image by considering the floor on which the sofa is placed in moving the feature point on the contour of the virtual sofa cover.

なお、本技術は以下のような構成も取ることができる。
（１）
予め設定された寸法に基づく仮想的な服飾品の大きさと、撮像された被写体の大きさとを比較する比較部と、
前記比較部による比較結果に応じて、前記仮想的な服飾品を変形させ、前記被写体に重畳して表示する表示制御部と、
を備える、情報処理装置。
（２）
前記表示制御部は、前記仮想的な服飾品の形状の特徴を示す各特徴点を、前記被写体の輪郭上の特徴点まで、または重力方向に移動させることで、前記仮想的な服飾品を変形させる、前記（１）に記載の情報処理装置。
（３）
前記表示制御部は、前記仮想的な服飾品の方が小さい場合、前記仮想的な服飾品の輪郭が前記被写体の輪郭に合うよう前記仮想的な服飾品を変形させる、前記（１）または（２）に記載の情報処理装置。
（４）
前記表示制御部は、前記仮想的な服飾品の方が大きい場合、前記仮想的な服飾品の輪郭が重力方向に垂れ下がるよう前記仮想的な服飾品を変形させる、前記（１）から（３）のいずれか１項に記載の情報処理装置。
（５）
前記比較部は、２次元または３次元において前記仮想的な服飾品と前記被写体の大きさを比較する、前記（１）から（４）のいずれか１項に記載の情報処理装置。
（６）
前記特徴点は、２次元座標または３次元座標である、前記（２）に記載の情報処理装置。
（７）
予め設定された寸法に基づく仮想的な服飾品の大きさと、撮像された被写体の大きさとを比較するステップと、
前記比較するステップによる比較結果に応じて、前記仮想的な服飾品を変形させ、前記被写体に重畳して表示するステップと、
を含む、表示制御方法。
（８）
予め設定された寸法に基づく仮想的な服飾品の大きさと、撮像された被写体の大きさとを比較する処理と、
前記比較する処理による比較結果に応じて、前記仮想的な服飾品を変形させ、前記被写体に重畳して表示する処理と、
をコンピュータに実行させる、プログラム。
（９）
前記表示する処理は、前記仮想的な服飾品の形状の特徴を示す各特徴点を、前記被写体の輪郭上の特徴点まで、または重力方向に移動させることで、前記仮想的な服飾品を変形させる、前記（８）に記載のプログラム。
（１０）
前記表示する処理は、前記仮想的な服飾品の方が小さい場合、前記仮想的な服飾品の輪郭が前記被写体の輪郭に合うよう前記仮想的な服飾品を変形させる、前記（８）または（９）に記載のプログラム。
（１１）
前記表示する処理は、前記仮想的な服飾品の方が大きい場合、前記仮想的な服飾品の輪郭が重力方向に垂れ下がるよう前記仮想的な服飾品を変形させる、前記（８）から（１０）のいずれか１項に記載のプログラム。
（１２）
前記比較する処理は、２次元または３次元において前記仮想的な服飾品と前記被写体の大きさを比較する、前記（８）から（１１）のいずれか１項に記載の情報処理装置。
（１３）
前記特徴点は、２次元座標または３次元座標である、前記（８）に記載のプログラム。 In addition, this technique can also take the following structures.
(1)
A comparison unit that compares the size of the virtual clothing based on the preset dimensions and the size of the imaged subject;
In accordance with the comparison result by the comparison unit, a display control unit that deforms the virtual clothing and displays it superimposed on the subject;
An information processing apparatus comprising:
(2)
The display control unit deforms the virtual clothing item by moving each feature point indicating the shape feature of the virtual clothing item to a feature point on the contour of the subject or in a gravity direction. The information processing apparatus according to (1).
(3)
The display control unit, when the virtual clothing item is smaller, deforms the virtual clothing item so that the contour of the virtual clothing item matches the contour of the subject, (1) or ( The information processing apparatus according to 2).
(4)
The display control unit, when the virtual clothing item is larger, deforms the virtual clothing item so that the outline of the virtual clothing item hangs down in the direction of gravity. (1) to (3) The information processing apparatus according to any one of the above.
(5)
The information processing apparatus according to any one of (1) to (4), wherein the comparison unit compares the size of the subject with the virtual clothing item in two dimensions or three dimensions.
(6)
The information processing apparatus according to (2), wherein the feature point is a two-dimensional coordinate or a three-dimensional coordinate.
(7)
Comparing the size of the virtual clothing based on the preset dimensions with the size of the imaged subject;
In accordance with the comparison result of the comparing step, deforming the virtual clothing item and displaying it superimposed on the subject; and
Including a display control method.
(8)
A process of comparing the size of virtual clothing based on preset dimensions with the size of the imaged subject;
In accordance with the comparison result of the comparison process, the virtual clothing item is deformed and displayed superimposed on the subject; and
A program that causes a computer to execute.
(9)
The process of displaying deforms the virtual clothing item by moving each feature point indicating the shape feature of the virtual clothing item to a feature point on the contour of the subject or in the direction of gravity. The program according to (8).
(10)
In the display process, when the virtual clothing item is smaller, the virtual clothing item is deformed so that the contour of the virtual clothing item matches the contour of the subject. The program described in 9).
(11)
In the process of displaying, when the virtual clothing item is larger, the virtual clothing item is deformed so that the outline of the virtual clothing item hangs down in the direction of gravity. (8) to (10) The program according to any one of the above.
(12)
The information processing apparatus according to any one of (8) to (11), wherein the comparison processing compares the size of the subject with the virtual clothing item in two dimensions or three dimensions.
(13)
The program according to (8), wherein the feature point is a two-dimensional coordinate or a three-dimensional coordinate.

１０情報処理装置
１５カメラ
１７センサ
１９表示装置
１００制御部
１０１骨格位置算出部
１０５表示制御部
１０９比較部
１２０操作入力部
１３０記憶部
Ａ被写体
Ｂ座標（骨格位置）
Ｃ仮想衣服
DESCRIPTION OF SYMBOLS 10 Information processing apparatus 15 Camera 17 Sensor 19 Display apparatus 100 Control part 101 Skeletal position calculation part 105 Display control part 109 Comparison part 120 Operation input part 130 Storage part A Subject B Coordinate (skeleton position)
C virtual clothes

Claims

予め設定された寸法に基づく仮想的な服飾品の大きさと、撮像された被写体の大きさとを比較する比較部と、
前記比較部による比較結果に応じて、前記仮想的な服飾品を変形させ、前記被写体に重畳して表示する表示制御部と、
を備える、情報処理装置。 A comparison unit that compares the size of the virtual clothing based on the preset dimensions and the size of the imaged subject;
In accordance with the comparison result by the comparison unit, a display control unit that deforms the virtual clothing and displays it superimposed on the subject;
An information processing apparatus comprising:

前記表示制御部は、前記仮想的な服飾品の形状の特徴を示す各特徴点を、前記被写体の輪郭上の特徴点まで、または重力方向に移動させることで、前記仮想的な服飾品を変形させる、請求項１に記載の情報処理装置。 The display control unit deforms the virtual clothing item by moving each feature point indicating the shape feature of the virtual clothing item to a feature point on the contour of the subject or in a gravity direction. The information processing apparatus according to claim 1.

前記表示制御部は、前記仮想的な服飾品の方が小さい場合、前記仮想的な服飾品の輪郭が前記被写体の輪郭に合うよう前記仮想的な服飾品を変形させる、請求項１に記載の情報処理装置。 2. The display control unit according to claim 1, wherein when the virtual clothing item is smaller, the display control unit deforms the virtual clothing item so that an outline of the virtual clothing item matches an outline of the subject. Information processing device.

前記表示制御部は、前記仮想的な服飾品の方が大きい場合、前記仮想的な服飾品の輪郭が重力方向に垂れ下がるよう前記仮想的な服飾品を変形させる、請求項１に記載の情報処理装置。 2. The information processing according to claim 1, wherein when the virtual clothing item is larger, the display control unit deforms the virtual clothing item so that an outline of the virtual clothing item hangs down in a gravity direction. apparatus.

前記比較部は、２次元または３次元において前記仮想的な服飾品と前記被写体の大きさを比較する、請求項１に記載の情報処理装置。 The information processing apparatus according to claim 1, wherein the comparison unit compares the size of the virtual clothing and the subject in two dimensions or three dimensions.

前記特徴点は、２次元座標または３次元座標である、請求項２に記載の情報処理装置。 The information processing apparatus according to claim 2, wherein the feature point is a two-dimensional coordinate or a three-dimensional coordinate.

予め設定された寸法に基づく仮想的な服飾品の大きさと、撮像された被写体の大きさとを比較するステップと、
前記比較するステップによる比較結果に応じて、前記仮想的な服飾品を変形させ、前記被写体に重畳して表示するステップと、
を含む、表示制御方法。 Comparing the size of the virtual clothing based on the preset dimensions with the size of the imaged subject;
In accordance with the comparison result of the comparing step, deforming the virtual clothing item and displaying it superimposed on the subject; and
Including a display control method.

予め設定された寸法に基づく仮想的な服飾品の大きさと、撮像された被写体の大きさとを比較する処理と、
前記比較する処理による比較結果に応じて、前記仮想的な服飾品を変形させ、前記被写体に重畳して表示する処理と、
をコンピュータに実行させる、プログラム。 A process of comparing the size of virtual clothing based on preset dimensions with the size of the imaged subject;
In accordance with the comparison result of the comparison process, the virtual clothing item is deformed and displayed superimposed on the subject; and
A program that causes a computer to execute.

前記表示する処理は、前記仮想的な服飾品の形状の特徴を示す各特徴点を、前記被写体の輪郭上の特徴点まで、または重力方向に移動させることで、前記仮想的な服飾品を変形させる、請求項８に記載のプログラム。 The process of displaying deforms the virtual clothing item by moving each feature point indicating the shape feature of the virtual clothing item to a feature point on the contour of the subject or in the direction of gravity. The program according to claim 8.

前記表示する処理は、前記仮想的な服飾品の方が小さい場合、前記仮想的な服飾品の輪郭が前記被写体の輪郭に合うよう前記仮想的な服飾品を変形させる、請求項８に記載のプログラム。 The said process to display deform | transforms the said virtual clothing item so that the outline of the said virtual clothing item may match the outline of the said object, when the said virtual clothing item is smaller. program.

前記表示する処理は、前記仮想的な服飾品の方が大きい場合、前記仮想的な服飾品の輪郭が重力方向に垂れ下がるよう前記仮想的な服飾品を変形させる、請求項８に記載のプログラム。 The program according to claim 8, wherein the process of displaying deforms the virtual clothing so that an outline of the virtual clothing hangs down in a direction of gravity when the virtual clothing is larger.

前記比較する処理は、２次元または３次元において前記仮想的な服飾品と前記被写体の大きさを比較する、請求項８に記載の情報処理装置。 The information processing apparatus according to claim 8, wherein the comparing process compares the size of the subject with the virtual clothing item in two dimensions or three dimensions.

前記特徴点は、２次元座標または３次元座標である、請求項９に記載のプログラム。 The program according to claim 9, wherein the feature point is a two-dimensional coordinate or a three-dimensional coordinate.