JP2016045509A - Pseudo trial fitting device, pseudo trial fitting system, and pseudo trial fitting method - Google Patents
Pseudo trial fitting device, pseudo trial fitting system, and pseudo trial fitting method Download PDFInfo
- Publication number
- JP2016045509A JP2016045509A JP2014166738A JP2014166738A JP2016045509A JP 2016045509 A JP2016045509 A JP 2016045509A JP 2014166738 A JP2014166738 A JP 2014166738A JP 2014166738 A JP2014166738 A JP 2014166738A JP 2016045509 A JP2016045509 A JP 2016045509A
- Authority
- JP
- Japan
- Prior art keywords
- person data
- pseudo
- image
- user
- terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明は、擬似試着装置、擬似試着システム及び擬似試着方法に関する。 The present invention relates to a pseudo fitting device, a pseudo fitting system, and a pseudo fitting method.
ユーザが実際に試着を行うことなく、仮想的に試着を行うシステムがある。例えば、特許文献１には、ユーザが携帯端末を用いて洋服に取り付けられた値札等から入力した商品コードを会員ＩＤとともにサーバに送信し、サーバが会員ＩＤに対応付けられた全身画像と商品コードに対応する商品情報とを携帯端末に送信し、試着シミュレーション画像を携帯端末に表示する洋服試着シミュレーションシステムが記載されている。 There is a system in which users try on virtually without actually trying on. For example, in Patent Document 1, a product code input by a user from a price tag attached to clothes using a mobile terminal is transmitted to a server together with a member ID, and the whole body image and product code associated with the member ID are transmitted to the server. A clothing try-on simulation system is described in which product information corresponding to is transmitted to a mobile terminal and a try-on simulation image is displayed on the mobile terminal.
特許文献１に記載の洋服試着シミュレーションシステムでは、予め撮影所等においてユーザの全身を撮影し、ユーザの会員ＩＤに対応付けて全身の画像をサーバに登録しておく必要がある。このため、ユーザは擬似試着用のデータを登録する手間及び時間が必要となる。 In the clothes try-on simulation system described in Patent Document 1, it is necessary to capture the whole body of the user in advance at a photo studio or the like and register the whole body image in the server in association with the member ID of the user. For this reason, the user needs time and time to register the pseudo-try-on data.
本発明は、上記問題点に鑑みてなされたものであり、ユーザが擬似試着用のデータを予め登録することなく擬似試着を行うことが可能な擬似試着装置、擬似試着システム及び擬似試着方法を提供することを目的とする。 The present invention has been made in view of the above problems, and provides a pseudo-fitting device, a pseudo-try-on system, and a pseudo-fitting method that allow a user to perform pseudo-fitting without registering pseudo-fitting data in advance. The purpose is to do.
本発明の一態様に係る擬似試着装置は、擬似試着の対象物を端末装置のユーザが擬似試着した画像である擬似試着画像を、端末装置に提供する擬似試着装置である。この擬似試着装置は、来店したユーザである来店ユーザの画像である来店ユーザ画像を取得する画像取得手段と、画像取得手段によって取得された来店ユーザ画像に基づいて、来店ユーザのそれぞれに対応する擬似試着のための複数の人物データを作成する人物データ作成手段と、人物データ作成手段によって作成された複数の人物データを記憶する人物データ記憶手段と、端末装置において擬似試着の対象物に関する画像である対象物画像が撮像されたことに応じて、人物データ記憶手段に記憶された複数の人物データと端末装置のユーザの画像である端末ユーザ画像とを比較して、複数の人物データから端末ユーザ画像と類似する類似人物データを抽出する比較手段と、複数の商品のそれぞれに対応する擬似試着のための複数の商品データを記憶する商品データ記憶手段と、端末装置からの擬似試着要求に含まれる対象物画像に基づいて、商品データ記憶手段から擬似試着の対象物の商品データを取得する対象物認識手段と、比較手段によって抽出された類似人物データに基づいて特定された端末装置のユーザの人物データである端末ユーザ人物データと、対象物認識手段によって取得された商品データと、に基づいて、擬似試着画像を生成し、端末装置に擬似試着画像を送信する擬似試着手段と、を備える。 A pseudo-fitting device according to one aspect of the present invention is a pseudo-fitting device that provides a pseudo-fitting image, which is an image in which a user of a terminal device pseudo-fitting an object to be pseudo-fitted, to the terminal device. The pseudo-try-on device is configured to acquire an in-store user image, which is an image of the in-store user who is the in-store user, and a pseudo-corresponding to each of the in-store users based on the in-store user image acquired by the image acquisition unit. It is an image relating to an object for pseudo-fitting on a terminal device, person data creating means for creating a plurality of person data for fitting, person data storage means for storing a plurality of person data created by the person data creating means, and A plurality of person data stored in the person data storage means is compared with a terminal user image that is an image of a user of the terminal device in response to the object image being captured, and the terminal user image is obtained from the plurality of person data. A comparison means for extracting similar person data similar to a plurality of product data for pseudo-try-on corresponding to each of a plurality of products. Product data storage means for storing information, object recognition means for acquiring product data of the object for pseudo-try-on from the product data storage means based on the object image included in the pseudo-try-on request from the terminal device, and comparison means A pseudo-try-on image is generated based on the terminal user person data that is the person data of the user of the terminal device identified based on the similar person data extracted by the item data and the product data acquired by the object recognition unit. And pseudo-fitting means for transmitting a pseudo-fitting image to the terminal device.
この擬似試着装置によれば、端末装置のユーザの擬似試着のための人物データは、当該ユーザが来店した時に撮像された画像に基づいて作成され、記憶される。そして、端末装置において擬似試着の対象物画像が撮像されたことに応じて、記憶されている複数の人物データから、端末装置のユーザの画像である端末ユーザ画像と類似する類似人物データが抽出される。そして、抽出された類似人物データに基づいて特定された端末装置の端末ユーザ人物データと、端末装置からの擬似試着要求に含まれる対象物画像に基づいて取得された擬似試着の対象物の商品データと、に基づいて、擬似試着画像が生成され、端末装置に擬似試着画像が送信される。このように、端末装置のユーザが擬似試着の対象物に関する画像を撮像するだけで、擬似試着装置において、擬似試着のための端末ユーザ人物データが特定されるとともに、擬似試着の対象物の擬似試着のための商品データが取得され、擬似試着画像が生成されて、生成された擬似試着画像が端末装置に送信される。その結果、端末装置のユーザが擬似試着用のデータを予め登録することなく擬似試着を行うことが可能となる。 According to this pseudo-fitting device, the person data for the pseudo-fitting of the user of the terminal device is created and stored based on the image taken when the user visits the store. Then, similar person data similar to the terminal user image, which is the image of the user of the terminal device, is extracted from the stored plurality of person data in response to the object image of the pseudo-try-on being captured in the terminal device. The Then, the terminal user person data of the terminal device specified based on the extracted similar person data, and the product data of the pseudo-try-on target acquired based on the target image included in the pseudo-try-on request from the terminal device Based on the above, a pseudo fitting image is generated, and the pseudo fitting image is transmitted to the terminal device. In this way, the user of the terminal device simply captures an image relating to the object of the pseudo-fitting, and the terminal user person data for the pseudo-fitting is specified in the pseudo-fitting device, and the pseudo-fitting of the target of the pseudo-fitting is performed. Product data is acquired, a pseudo fitting image is generated, and the generated pseudo fitting image is transmitted to the terminal device. As a result, it becomes possible for the user of the terminal device to perform pseudo-fitting without registering pseudo-fitting data in advance.
比較手段は、複数の人物データの各々と端末ユーザ画像との類似度を算出し、類似度が所定値以上である人物データを類似人物データとして抽出してもよい。この場合、所定値が適切な値に設定されることによって、抽出される類似人物データの数を調整できる。これにより、端末ユーザ画像と非類似の人物データが抽出されることを防ぐとともに、類似人物データがより確実に抽出されるようにすることができる。その結果、類似人物データの抽出精度が向上でき、端末ユーザ人物データの特定をさらに確実に行うことが可能となる。 The comparison means may calculate a similarity between each of the plurality of person data and the terminal user image, and extract person data having a similarity equal to or greater than a predetermined value as similar person data. In this case, the number of similar person data to be extracted can be adjusted by setting the predetermined value to an appropriate value. Thereby, it is possible to prevent extraction of person data dissimilar to the terminal user image and to extract similar person data more reliably. As a result, the extraction accuracy of similar person data can be improved, and the terminal user person data can be specified more reliably.
比較手段は、２以上の類似人物データを抽出した場合、２以上の類似人物データを端末装置のユーザによって選択可能に端末装置に表示させてもよく、人物データ記憶手段は、２以上の類似人物データのうち、端末装置のユーザによって選択された類似人物データを端末ユーザ人物データとして特定してもよい。この場合、端末ユーザ画像と類似する類似人物データが複数個抽出された場合でも、ユーザ自身によって選択された類似人物データを端末ユーザ人物データとすることによって、端末ユーザ人物データの特定をより確実に行うことができる。 The comparison means may display two or more similar person data on the terminal device so that the user can select the two or more similar person data when the two or more similar person data are extracted. Of the data, the similar person data selected by the user of the terminal device may be specified as the terminal user person data. In this case, even when a plurality of similar person data similar to the terminal user image is extracted, the terminal user person data is more reliably specified by using the similar person data selected by the user as the terminal user person data. It can be carried out.
人物データ記憶手段は、複数の人物データに含まれる人物データを他の端末装置を識別する端末識別情報に対応付けて記憶してもよく、比較手段は、人物データ記憶手段に記憶された複数の人物データのうち、端末識別情報と対応付けられていない人物データと端末ユーザ画像とを比較して類似人物データを抽出してもよい。この場合、人物データ記憶手段において端末識別情報に対応付けられた人物データは、他の端末装置のユーザの人物データである。このため、端末識別情報に対応付けられている人物データと端末ユーザ画像とを比較する必要はないので、端末識別情報と対応付けられていない人物データと端末ユーザ画像とを比較して類似人物データを抽出するだけでよく、これにより擬似試着装置における処理の軽減が可能となる。 The person data storage means may store person data included in the plurality of person data in association with terminal identification information for identifying other terminal devices, and the comparison means may include a plurality of person data stored in the person data storage means. Similar person data may be extracted by comparing person data that is not associated with the terminal identification information with the terminal user image. In this case, the person data associated with the terminal identification information in the person data storage means is person data of a user of another terminal device. For this reason, since it is not necessary to compare the person data associated with the terminal identification information with the terminal user image, the person data not associated with the terminal identification information is compared with the terminal user image to obtain similar person data. Need only be extracted, which makes it possible to reduce processing in the pseudo-fitting device.
人物データ記憶手段は、端末ユーザ人物データが端末装置に記憶されたことを示す通知を端末装置から受信したことに応じて、複数の人物データから端末ユーザ人物データを削除してもよい。この場合、人物データ記憶手段に記憶されている複数の人物データから端末ユーザ人物データが削除されるので、人物データ記憶手段には、端末装置に対応付けられていない人物データが残る。これにより、端末装置と対応付けられていない人物データと端末ユーザ画像とを比較して類似人物データを抽出することができ、擬似試着装置における処理の軽減が可能となる。 The person data storage means may delete the terminal user person data from the plurality of person data in response to receiving a notification indicating that the terminal user person data has been stored in the terminal apparatus from the terminal apparatus. In this case, since the terminal user person data is deleted from the plurality of person data stored in the person data storage means, the person data not associated with the terminal device remains in the person data storage means. Thereby, person data that is not associated with the terminal device can be compared with the terminal user image to extract similar person data, and processing in the pseudo-fitting device can be reduced.
人物データ作成手段は、複数の人物データの各々について、当該人物データに対応する来店ユーザの移動履歴情報である人物移動履歴情報を作成してもよく、人物データ記憶手段は、複数の人物データの各々とともに、当該人物データに対応する人物移動履歴情報を記憶してもよく、比較手段は、人物データ記憶手段に記憶された複数の人物データと端末装置から受信した端末ユーザ画像とを比較するとともに、人物データ記憶手段に記憶された人物移動履歴情報と端末装置から受信したユーザの移動履歴情報である端末ユーザ移動履歴情報とを比較して、複数の人物データから類似人物データを抽出してもよい。この場合、人物データに対応する来店ユーザの移動履歴と端末装置のユーザの移動履歴とを比較することによって、類似人物データの抽出精度を向上することができ、端末ユーザ人物データの特定をさらに確実に行うことが可能となる。 The person data creation means may create person movement history information, which is movement history information of the visiting user corresponding to the person data, for each of the plurality of person data, and the person data storage means stores the plurality of person data. Along with each, person movement history information corresponding to the person data may be stored, and the comparing means compares the plurality of person data stored in the person data storage means with the terminal user image received from the terminal device. The person movement history information stored in the person data storage means and the terminal user movement history information that is the user movement history information received from the terminal device may be compared to extract similar person data from a plurality of person data. Good. In this case, by comparing the movement history of the visiting user corresponding to the person data and the movement history of the user of the terminal device, the extraction accuracy of the similar person data can be improved, and the terminal user person data can be specified more reliably. Can be performed.
ところで、本発明は、上記のように擬似試着装置の発明として記述できる他に、以下のように擬似試着システム及び擬似試着方法の発明としても記述することができる。これはカテゴリが異なるだけで、実質的に同一の発明であり、同様の作用及び効果を奏する。 By the way, the present invention can be described as an invention of a pseudo fitting device as described above, and can also be described as an invention of a pseudo fitting system and a pseudo fitting method as follows. This is substantially the same invention only in different categories, and has the same operations and effects.
すなわち、本発明の別の態様に係る擬似試着システムは、端末装置及び擬似試着装置を備え、擬似試着の対象物を端末装置のユーザが擬似試着した画像である擬似試着画像を、端末装置に提供する擬似試着システムである。端末装置は、端末装置のユーザの画像である端末ユーザ画像を記憶するユーザ画像記憶手段と、擬似試着の対象物に関する画像である対象物画像を取得する撮像手段と、撮像手段によって取得された対象物画像を含む擬似試着要求を擬似試着装置に送信する擬似試着要求手段と、擬似試着装置から受信した擬似試着画像を表示する表示手段と、を備える。擬似試着装置は、来店したユーザである来店ユーザの画像である来店ユーザ画像を取得する画像取得手段と、画像取得手段によって取得された来店ユーザ画像に基づいて、来店ユーザのそれぞれに対応する擬似試着のための複数の人物データを作成する人物データ作成手段と、人物データ作成手段によって作成された複数の人物データを記憶する人物データ記憶手段と、撮像手段によって対象物画像が取得されたことに応じて、人物データ記憶手段に記憶された複数の人物データとユーザ画像記憶手段に記憶された端末ユーザ画像とを比較して、複数の人物データから端末ユーザ画像と類似する類似人物データを抽出する比較手段と、複数の商品のそれぞれに対応する擬似試着のための複数の商品データを記憶する商品データ記憶手段と、擬似試着要求手段によって送信された擬似試着要求に含まれる対象物画像に基づいて、商品データ記憶手段から擬似試着の対象物の商品データを取得する対象物認識手段と、比較手段によって抽出された類似人物データに基づいて特定された端末装置のユーザの人物データである端末ユーザ人物データと、対象物認識手段によって取得された商品データと、に基づいて、擬似試着画像を生成し、端末装置に擬似試着画像を送信する擬似試着手段と、を備える。 That is, a pseudo-try-on system according to another aspect of the present invention includes a terminal device and a pseudo-try-on device, and provides the terminal device with a pseudo-try-on image, which is an image in which a user of the terminal device pseudo-wears on an object of pseudo-try-on. This is a pseudo fitting system. The terminal device includes: a user image storage unit that stores a terminal user image that is an image of a user of the terminal device; an imaging unit that acquires an object image that is an image related to a target for pseudo fitting; and an object acquired by the imaging unit A pseudo-try-on request unit that transmits a pseudo-try-on request including a physical image to the pseudo-fitting device; and a display unit that displays a pseudo-fitting image received from the pseudo-fitting device. The pseudo-try-on device is configured to acquire an in-store user image, which is an image of the in-store user who is the in-store user, and the pseudo-try-on corresponding to each of the in-store users based on the in-store user image acquired by the image acquisition unit. Data generating means for generating a plurality of person data for the user, a person data storing means for storing a plurality of person data generated by the person data generating means, and an object image is acquired by the imaging means A comparison of a plurality of person data stored in the person data storage means and a terminal user image stored in the user image storage means to extract similar person data similar to the terminal user image from the plurality of person data Means, product data storage means for storing a plurality of product data for pseudo-try-on corresponding to each of a plurality of products, Based on the object image included in the pseudo-try-on request transmitted by the try-on request means, the object recognition means for acquiring the product data of the object for pseudo-try-on from the product data storage means, and the similar person extracted by the comparison means Based on the terminal user person data, which is the person data of the user of the terminal device identified based on the data, and the product data acquired by the object recognition means, a pseudo-fitting image is generated, and the pseudo-fitting on the terminal device Pseudo fitting means for transmitting an image.
本発明のさらに別の態様に係る擬似試着方法は、擬似試着の対象物を端末装置のユーザが擬似試着した画像である擬似試着画像を、端末装置に提供する擬似試着装置が行う擬似試着方法である。この擬似試着方法は、来店したユーザである来店ユーザの画像である来店ユーザ画像を取得する画像取得ステップと、画像取得ステップにおいて取得された来店ユーザ画像に基づいて、来店ユーザのそれぞれに対応する擬似試着のための複数の人物データを作成する人物データ作成ステップと、人物データ作成ステップにおいて作成された複数の人物データを人物データ記憶手段に記憶する人物データ記憶ステップと、端末装置において擬似試着の対象物に関する画像である対象物画像が撮像されたことに応じて、人物データ記憶手段に記憶された複数の人物データと端末装置のユーザの画像である端末ユーザ画像とを比較して、複数の人物データから端末ユーザ画像と類似する類似人物データを抽出する比較ステップと、端末装置からの擬似試着要求に含まれる対象物画像に基づいて、複数の商品のそれぞれに対応する擬似試着のための複数の商品データを記憶する商品データ記憶手段から、擬似試着の対象物の商品データを取得する対象物認識ステップと、比較ステップにおいて抽出された類似人物データに基づいて特定された端末装置のユーザの人物データである端末ユーザ人物データと、対象物認識ステップにおいて取得された商品データと、に基づいて、擬似試着画像を生成し、端末装置に擬似試着画像を送信する擬似試着ステップと、を含む。 A pseudo-try-on method according to still another aspect of the present invention is a pseudo-try-on method performed by a pseudo-try-on device that provides a pseudo-try-on image, which is a pseudo-try-on image of an object of pseudo-try-on by a user of a terminal device, to a terminal device. is there. This pseudo-try-on method includes an image acquisition step of acquiring a store visit user image that is an image of a store visit user who is a store visit user, and a pseudo corresponding to each store visit user based on the store visit user image acquired in the image acquisition step. Person data creation step for creating a plurality of person data for try-on, a person data storage step for storing a plurality of person data created in the person data creation step in person data storage means, and a target for pseudo-fitting in the terminal device A plurality of persons are compared by comparing a plurality of person data stored in the person data storage means with a terminal user image that is an image of a user of the terminal device in response to an object image that is an image related to an object being captured. A comparison step of extracting similar person data similar to the terminal user image from the data, A target for acquiring product data of a pseudo-try-on object from product data storage means for storing a plurality of product data for pseudo-try-on corresponding to each of a plurality of products based on the object image included in the try-on request Based on the object recognition step, the terminal user person data that is the person data of the user of the terminal device identified based on the similar person data extracted in the comparison step, and the product data acquired in the object recognition step A pseudo-try-on step of generating a pseudo-try-on image and transmitting the pseudo-try-on image to the terminal device.
本発明によれば、ユーザが予め擬似試着用のデータを登録することなく擬似試着を行うことができる。 According to the present invention, it is possible for a user to perform pseudo fitting without registering pseudo trial wearing data in advance.
以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。図面の説明において、同一又は同等の要素には同一符号を用い、重複する説明を省略する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the description of the drawings, the same reference numerals are used for the same or equivalent elements, and redundant descriptions are omitted.
［第１実施形態］
図１は、第１実施形態に係る擬似試着システムの構成を概略的に示す図である。図１に示されるように、擬似試着システム１は、端末装置１０と、擬似試着装置３０と、撮像装置５０と、を含んで構成されており、所望の擬似試着の対象物を端末装置１０のユーザが擬似的に試着した画像である擬似試着画像を端末装置１０に提供するシステムである。
[First Embodiment]
FIG. 1 is a diagram schematically showing a configuration of a pseudo fitting system according to the first embodiment. As shown in FIG. 1, the pseudo-fitting system 1 includes a
端末装置１０は、擬似試着の対象物を撮像することによって、撮像した対象物を端末装置１０のユーザが擬似試着した擬似試着画像を表示する装置である。端末装置１０は、ユーザにより用いられ、撮像機能及び通信機能を有する装置である。端末装置１０は、例えば、スマートフォン等の携帯電話機、タブレット型端末、ノートＰＣ（Personal Computer）等である。擬似試着装置３０は、擬似試着画像を端末装置１０に提供する装置である。擬似試着装置３０は、例えば、情報処理装置によって構成されている。
The
撮像装置５０は、例えば、服、靴及び帽子等の擬似試着の対象となり得る商品を取り扱う店舗の店内に設けられており、店内の所定の範囲を撮像する装置である。撮像装置５０は、例えば、カメラ、３Ｄ（Dimension）センサ等である。撮像装置５０は、例えば、店舗の入り口等のように、店舗に来店したユーザである来店ユーザを撮像可能な範囲を常時撮像しており、撮像した画像を擬似試着装置３０に送信する。なお、端末装置１０と擬似試着装置３０との通信は、例えば、移動体通信網、無線ＬＡＮ（Local Area Network）等を介して行われる。擬似試着装置３０と撮像装置５０との通信は、例えば、有線ＬＡＮ、無線ＬＡＮ等を介して行われる。
The
端末装置１０は、機能的には、入力部１１と、撮像部１２と、ユーザ画像記憶部１３と、端末識別情報記憶部１４と、通信部１５と、制御部１６と、表示部１７と、を備える。端末装置１０は、図２に示されるハードウェアによって構成される。
Functionally, the
図２は、端末装置１０のハードウェア構成図である。図２に示されるように、端末装置１０は、物理的には、１又は複数のＣＰＵ（Central Processing Unit）１０１、主記憶装置であるＲＡＭ（RandomAccess Memory）１０２及びＲＯＭ（Read Only Memory)１０３、データ送受信デバイスである通信モジュール１０４、半導体メモリ等の補助記憶装置１０５、タッチパネル等のユーザの入力を受け付ける入力装置１０６、ディスプレイ等の出力装置１０７、並びに、カメラ等の撮像装置１０８等のハードウェアを備えるコンピュータとして構成される。図１における端末装置１０の各機能は、ＣＰＵ１０１、ＲＡＭ１０２等のハードウェア上に１又は複数の所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１０１の制御のもとで通信モジュール１０４、入力装置１０６、出力装置１０７及び撮像装置１０８を動作させるとともに、ＲＡＭ１０２及び補助記憶装置１０５におけるデータの読み出し及び書き込みを行うことで実現される。
FIG. 2 is a hardware configuration diagram of the
図１に戻って、端末装置１０の機能構成について詳細に説明する。入力部１１は、入力装置１０６を介してユーザの操作を受け付ける入力手段として機能する。入力部１１は、受け付けたユーザの操作に応じた情報を制御部１６に送信する。
Returning to FIG. 1, the functional configuration of the
撮像部１２は、所望の擬似試着の対象物（商品）に関する画像である対象物画像を取得する撮像手段として機能する。対象物画像としては、例えば、所望の擬似試着の対象物自体を撮像した画像、所望の擬似試着の対象物の画像を撮像した画像、または、所望の擬似試着の対象物に付された対象物を特定可能なコード（例えば、バーコード、ＱＲコード（登録商標））等を撮像した画像が挙げられる。撮像部１２は、対象物に関する撮像を行い、撮像した対象物画像を制御部１６に送信する。
The
ユーザ画像記憶部１３は、端末装置１０のユーザを特定可能な画像である端末ユーザ画像を記憶するユーザ画像記憶手段として機能する。端末ユーザ画像は、例えば、ユーザの顔等の画像である。ユーザ画像記憶部１３は、例えば、撮像部１２によって撮像されたユーザの画像を端末ユーザ画像として記憶してもよい。
The user
端末識別情報記憶部１４は、端末装置１０を識別可能な識別情報である端末識別情報を記憶する端末識別情報記憶手段として機能する。端末識別情報としては、例えば、ＭＳＩＳＤＮ（Mobile Subscriber ISDN Number：電話番号）、ＩＭＳＩ（InternationalMobile Subscriber Identity）等が挙げられる。
The terminal identification
通信部１５は、所定の情報を端末装置１０から擬似試着装置３０に送信し、擬似試着装置３０によって送信された情報を受信する通信手段として機能する。通信部１５は、受信した情報を制御部１６に送信する。
The
制御部１６は、端末装置１０における擬似試着に関する処理を制御する制御手段として機能する。制御部１６は、擬似試着要求部２１と、表示制御部２２と、を備える。
The
擬似試着要求部２１は、擬似試着要求を擬似試着装置３０に送信する擬似試着要求手段として機能する。擬似試着要求部２１は、撮像部１２から対象物画像を受信した場合、端末識別情報記憶部１４に記憶されている端末装置１０の端末識別情報を取得し、対象物画像及び端末識別情報を含む擬似試着要求を通信部１５を介して擬似試着装置３０に送信する。擬似試着要求部２１は、例えば、擬似試着のためのアプリケーション等によって擬似試着モードで端末装置１０が動作しているときに、撮像部１２から対象物画像を受信したことに応じて、擬似試着装置３０に擬似試着要求を送信する。擬似試着要求部２１は、擬似試着装置３０から通信部１５を介して端末ユーザ画像要求を受信した場合、ユーザ画像記憶部１３に記憶されている端末ユーザ画像を取得し、取得した端末ユーザ画像を通信部１５を介して擬似試着装置３０に送信する。
The pseudo try-on
表示制御部２２は、表示部１７の表示を制御する表示制御手段として機能する。表示制御部２２は、擬似試着装置３０から後述の類似人物データを受信した場合、受信した類似人物データを表示部１７に表示させ、端末装置１０のユーザに当該ユーザの人物データを選択させる。表示制御部２２は、人物データを選択する操作情報を入力部１１から受信すると、端末識別情報記憶部１４に記憶されている端末識別情報を取得し、選択された類似人物データと端末識別情報とを含む端末ユーザ人物データ通知を通信部１５を介して擬似試着装置３０に送信する。また、表示制御部２２は、擬似試着装置３０から擬似試着画像を受信した場合、表示部１７に擬似試着画像を表示させる。
The
表示部１７は、所定の情報を表示する表示手段として機能する。表示部１７は、表示制御部２２の制御に基づいて、例えば、擬似試着装置３０によって送信された類似人物データ、擬似試着装置３０によって生成された擬似試着画像等を表示する。
The
次に、擬似試着装置３０の機能構成について説明する。擬似試着装置３０は、機能的には、通信部３１と、画像取得部３２と、人物データ作成部３３と、人物データ記憶部３４と、比較部３５と、商品ＤＢ３６と、対象物認識部３７と、擬似試着部３８と、を備える。擬似試着装置３０は、図３に示されるハードウェアによって構成される。
Next, the functional configuration of the pseudo
図３は、擬似試着装置３０のハードウェア構成図である。図３に示されるように、擬似試着装置３０は、物理的には、１又は複数のＣＰＵ３０１、主記憶装置であるＲＡＭ３０２及びＲＯＭ３０３、データ送受信デバイスである通信モジュール３０４、並びに、ハードディスク等の補助記憶装置３０５等のハードウェアを備えるコンピュータとして構成される。図１における擬似試着装置３０の各機能は、図３に示されるＣＰＵ３０１、ＲＡＭ３０２等のハードウェア上に１又は複数の所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ３０１の制御のもとで通信モジュール３０４を動作させるとともに、ＲＡＭ３０２及び補助記憶装置３０５におけるデータの読み出し及び書き込みを行うことで実現される。
FIG. 3 is a hardware configuration diagram of the pseudo
図１に戻って、擬似試着装置３０の機能構成について詳細に説明する。通信部３１は、所定の情報を擬似試着装置３０から端末装置１０に送信し、端末装置１０によって送信された情報を受信する通信手段として機能する。通信部３１は、端末装置１０から受信した端末ユーザ人物データ通知を人物データ記憶部３４に送信し、端末装置１０から受信した端末ユーザ画像を比較部３５に送信し、端末装置１０から受信した擬似試着要求を擬似試着部３８に送信する。
Returning to FIG. 1, the functional configuration of the pseudo
画像取得部３２は、来店ユーザの画像である来店ユーザ画像を取得する画像取得手段として機能する。画像取得部３２は、撮像装置５０から画像を受信し、受信した画像から同一の来店ユーザの来店ユーザ画像を取得する。画像取得部３２は、取得した来店ユーザ画像を人物データ作成部３３に送信する。
The
人物データ作成部３３は、画像取得部３２によって取得された来店ユーザ画像に基づいて、来店ユーザのそれぞれに対応する擬似試着のための複数の人物データを作成する人物データ作成手段として機能する。人物データは、来店ユーザを特定可能であり、かつ、擬似試着に用いることが可能なデータであって、例えば、来店ユーザの体型等が反映されたデータである。人物データとして、例えば、来店ユーザの人体の３次元形状を示す３Ｄデータが用いられてもよい。人物データ作成部３３は、来店ユーザ画像から、来店ユーザの人物データを作成し、作成した人物データを人物データ記憶部３４に送信する。なお、ユーザ画像に基づく人物データの作成方法は、公知であるので、ここではその詳細な説明を省略する。
The person
人物データ記憶部３４は、人物データ作成部３３によって作成された複数の人物データを記憶する人物データ記憶手段として機能する。人物データ記憶部３４は、人物データを記憶する人物データテーブルを格納している。図４は、人物データ記憶部３４に格納される人物データテーブルの一例を示す図である。図４に示されるように、人物データテーブルには、端末識別情報と、人物データと、が少なくとも含まれている。この例では、人物データ「データＵ１」は、「ＡＡＡ」で識別される端末装置のユーザの人物データであることを示している。また、人物データ「データＵ２」に対応付けられた端末識別情報は「Ｎ／Ａ（Not Applicable）」である。これは、人物データ「データＵ２」が端末装置に未だ対応付けられていないことを示している。つまり、人物データ「データＵ２」は人物の特定がされる前のデータである。なお、人物データテーブルには、人物データそのものではなく、人物データを識別する人物データ識別情報が記憶されていてもよい。
The person
人物データ記憶部３４は、人物データ作成部３３によって作成された人物データを端末識別情報に対応付けることなく人物データテーブルに記憶する。人物データ記憶部３４は、擬似試着部３８から端末識別情報を受信すると、受信した端末識別情報をキーとして人物データテーブルを検索し、当該端末識別情報に対応付けられた人物データが人物データテーブルに存在するか否かを判定する。人物データ記憶部３４は、擬似試着部３８から受信した端末識別情報に対応付けられた人物データが人物データテーブルに存在すると判定した場合、その人物データを取得し、取得した人物データを擬似試着部３８に送信する。
The person
人物データ記憶部３４は、擬似試着部３８から受信した端末識別情報に対応付けられた人物データが人物データテーブルに存在しないと判定した場合に、端末ユーザ画像要求を通信部３１を介して端末装置１０に送信するとともに、人物データテーブルに記憶された複数の人物データのうち、端末識別情報と対応付けられていない人物データ、つまり、端末識別情報が「Ｎ／Ａ」である人物データを比較部３５に送信する。人物データ記憶部３４は、比較部３５によって抽出された類似人物データのうち、端末装置１０のユーザによって選択された類似人物データを、端末装置１０の端末ユーザ人物データとして特定する。人物データ記憶部３４は、特定した端末ユーザ人物データを端末装置１０の端末識別情報に対応付けて人物データテーブルに記憶する。
When the person
比較部３５は、人物データ記憶部３４の人物データテーブルに記憶された複数の人物データと端末ユーザ画像とを比較して、複数の人物データから端末ユーザ画像と類似する類似人物データを抽出する比較手段として機能する。具体的に説明すると、比較部３５は、人物データテーブルに記憶された複数の人物データのうち、端末識別情報と対応付けられていない人物データと、端末装置１０から受信した端末ユーザ画像とを比較して類似人物データを抽出する。比較部３５は、例えば、複数の人物データの各々と端末ユーザ画像との類似度を算出し、類似度が所定値以上である人物データを類似人物データとして抽出する。所定値は、例えば、数個程度の類似人物データが抽出され、かつ、非類似の人物データが抽出されない程度の値に設定される。比較部３５は、例えば、公知の顔認識技術を用いて、人物データの正面と端末ユーザ画像との類似度を算出する。
The
比較部３５は、抽出した類似人物データを通信部３１を介して端末装置１０に送信する。比較部３５は、２以上の類似人物データを抽出した場合、２以上の類似人物データを端末装置１０に表示させ、２以上の類似人物データのいずれかをユーザに選択させる。比較部３５は、１の類似人物データを抽出した場合、その類似人物データを端末装置１０に表示させて、ユーザに確認させるため選択させる。比較部３５は、１の類似人物データを抽出した場合に、ユーザに確認させることなく、その類似人物データを端末ユーザ人物データとして人物データ記憶部３４に送信してもよい。
The
商品ＤＢ３６は、擬似試着の対象となり得る複数の商品のそれぞれに対応する擬似試着のための複数の商品データを記憶する商品データ記憶手段として機能する。商品データは、擬似試着に用いることが可能なデータであり、例えば、商品の形状、サイズ及び色等が反映されたデータである。商品データとして、例えば、擬似試着の対象となり得る商品の３次元形状を示す３Ｄデータが用いられてもよい。商品ＤＢ３６は、商品データを記憶する商品データテーブルを格納している。
The
図５は、商品ＤＢ３６に格納される商品データテーブルの一例を示す図である。図５に示されるように、商品データテーブルには、商品を識別可能な識別情報である商品識別情報と、商品データと、が少なくとも含まれている。この例では、商品識別情報「ＸＸＸ」で識別される商品の商品データが、「データＣ１」であることを示している。
FIG. 5 is a diagram illustrating an example of a product data table stored in the
対象物認識部３７は、端末装置１０からの擬似試着要求に含まれる擬似試着の対象物画像に基づいて、商品ＤＢ３６から擬似試着の対象物の商品データを取得する対象物認識手段として機能する。対象物認識部３７は、擬似試着部３８から対象物画像を受信する。対象物認識部３７は、対象物画像が対象物自体、または、対象物の画像の画像である場合には、画像認識によってその商品を特定する。また、対象物認識部３７は、対象物画像が対象物に付されたコードである場合、画像認識によってコードを読み取り、商品を特定する。そして、対象物認識部３７は、特定した商品の商品識別情報をキーとして商品ＤＢ３６から対象物の商品データを取得する。対象物認識部３７は、取得した商品データを擬似試着部３８に送信する。
The target
擬似試着部３８は、比較部３５によって抽出された類似人物データに基づいて特定された端末装置１０のユーザの人物データである端末ユーザ人物データと、対象物認識部３７によって取得された商品データと、に基づいて、擬似試着画像を生成し、端末装置１０に擬似試着画像を送信する擬似試着手段として機能する。具体的に説明すると、擬似試着部３８は、端末装置１０から通信部３１を介して擬似試着要求を受信すると、擬似試着要求に含まれる端末識別情報を人物データ記憶部３４に送信し、端末識別情報に対応付けられた人物データを端末ユーザ人物データとして人物データ記憶部３４から取得する。
The pseudo-try-on
また、擬似試着部３８は、擬似試着要求に含まれる対象物画像を対象物認識部３７に送信し、擬似試着の対象物の商品データを対象物認識部３７から受信する。擬似試着部３８は、人物データ記憶部３４から取得した端末ユーザ人物データと、対象物認識部３７から受信した商品データと、を用いて、擬似試着画像を生成し、生成した擬似試着画像を通信部３１を介して端末装置１０に送信する。
Further, the pseudo-try-on
次に、図６を参照して、端末装置１０によって実行される擬似試着方法の一連の処理を説明する。図６は、端末装置１０が行う擬似試着方法の一連の処理を示すフローチャートである。図６に示される処理は、例えば、端末装置１０において擬似試着のためのアプリケーションが実行されたことに応じて開始される。
Next, with reference to FIG. 6, a series of processes of the pseudo fitting method executed by the
まず、撮像部１２が、対象物に関する撮像を行い、撮像した対象物画像を制御部１６に送信する（ステップＳ０１）。続いて、制御部１６の擬似試着要求部２１は、撮像部１２から対象物画像を受信したことに応じて、端末識別情報記憶部１４に記憶されている端末装置１０の端末識別情報を取得し、対象物画像及び端末識別情報を含む擬似試着要求を通信部１５を介して擬似試着装置３０に送信する（ステップＳ０２）。そして、擬似試着要求部２１は、擬似試着要求部２１が擬似試着装置３０から通信部１５を介して端末ユーザ画像要求を受信したか否かを判定する（ステップＳ０３）。
First, the
ステップＳ０３において、端末ユーザ画像要求を受信したと判定された場合（ステップＳ０３；Ｙｅｓ）、擬似試着要求部２１は、ユーザ画像記憶部１３に記憶されている端末ユーザ画像を取得し、取得した端末ユーザ画像を通信部１５を介して擬似試着装置３０に送信する（ステップＳ０４）。その後、表示制御部２２は、擬似試着装置３０から通信部１５を介して類似人物データを受信すると、端末装置１０のユーザに当該ユーザの人物データを選択させるために、表示部１７に類似人物データを表示させる（ステップＳ０５）。そして、表示制御部２２は、類似人物データからいずれかの類似人物データを選択する操作情報を入力部１１から受信すると、端末識別情報記憶部１４に記憶されている端末識別情報を取得し、端末装置１０のユーザによって選択された類似人物データと端末識別情報とを含む端末ユーザ人物データ通知を通信部１５を介して擬似試着装置３０に送信する（ステップＳ０６）。
If it is determined in step S03 that the terminal user image request has been received (step S03; Yes), the pseudo-try-on
続いて、表示制御部２２は、表示制御部２２が擬似試着装置３０から擬似試着画像を受信したか否かを判定する（ステップＳ０７）。また、ステップＳ０３において、端末ユーザ画像要求を受信していないと判定された場合も（ステップＳ０３；Ｎｏ）、ステップＳ０７の判定が行われる。ステップＳ０７において、擬似試着画像を受信していないと判定された場合（ステップＳ０７；Ｎｏ）、ステップＳ０３の判定が再び行われる。一方、ステップＳ０７において、擬似試着画像を受信したと判定された場合（ステップＳ０７；Ｙｅｓ）、表示制御部２２は、表示部１７に擬似試着画像を表示させて（ステップＳ０８）、端末装置１０によって実行される擬似試着処理が終了される。
Subsequently, the
次に、図７及び図８を参照して、擬似試着装置３０によって実行される擬似試着方法の一連の処理を説明する。図７は、擬似試着装置３０が行う擬似試着方法の一連の処理を示すフローチャートである。図８は、図７の端末ユーザ人物データ取得処理を詳細に示すフローチャートである。図７に示される処理は、例えば、撮像装置５０が来店ユーザを撮像したことに応じて開始される。
Next, with reference to FIG. 7 and FIG. 8, a series of processes of the pseudo fitting method executed by the pseudo
まず、画像取得部３２が、撮像装置５０から画像を受信し、受信した画像から来店ユーザ画像を取得する。そして、画像取得部３２は、取得した来店ユーザ画像を人物データ作成部３３に送信する（ステップＳ１１，画像取得ステップ）。そして、人物データ作成部３３は、来店ユーザ画像から来店ユーザの人物データを作成し、作成した人物データを人物データ記憶部３４に送信する（ステップＳ１２，人物データ作成ステップ）。そして、人物データ記憶部３４は、端末識別情報に対応付けることなく、人物データ作成部３３から受信した人物データを人物データテーブルに記憶する（ステップＳ１３，人物データ記憶ステップ）。
First, the
続いて、擬似試着部３８は、擬似試着部３８が端末装置１０から通信部３１を介して擬似試着要求を受信したか否かを判定する（ステップＳ１４）。ステップＳ１４において、擬似試着要求を受信していないと判定された場合（ステップＳ１４；Ｎｏ）、ステップＳ１１に戻ってステップＳ１１〜ステップＳ１３が繰り返される。一方、ステップＳ１４において、擬似試着要求を受信したと判定された場合（ステップＳ１４；Ｙｅｓ）、端末ユーザ人物データ取得処理が行われる（ステップＳ１５）。
Subsequently, the pseudo
図８に示されるように、端末ユーザ人物データ取得処理では、まず、擬似試着部３８が、受信した擬似試着要求に含まれる端末識別情報を人物データ記憶部３４に送信する。そして、人物データ記憶部３４は、擬似試着部３８から端末識別情報を受信すると、受信した端末識別情報に対応付けられた人物データが人物データテーブルに存在するか否かを判定する（ステップＳ２１）。ステップＳ２１において、受信した端末識別情報に対応付けられた人物データが人物データテーブルに存在しないと判定された場合（ステップＳ２１；Ｎｏ）、人物データ記憶部３４は、人物データテーブルに記憶された複数の人物データのうち、端末識別情報と対応付けられていない人物データ、つまり、端末識別情報が「Ｎ／Ａ」である人物データを取得し、比較部３５に送信する（ステップＳ２２）。そして、人物データ記憶部３４は、端末ユーザ画像要求を通信部３１を介して端末装置１０に送信する（ステップＳ２３）。
As shown in FIG. 8, in the terminal user person data acquisition process, first, the pseudo
その後、比較部３５は、端末装置１０から通信部３１を介して端末ユーザ画像を受信し、人物データ記憶部３４から受信した人物データと、端末装置１０から受信した端末ユーザ画像とを比較して類似人物データを抽出する（ステップＳ２４，比較ステップ）。例えば、比較部３５は、複数の人物データの各々と端末ユーザ画像との類似度を算出し、類似度が所定値以上である人物データを類似人物データとして抽出する。そして、比較部３５は、抽出した類似人物データを通信部３１を介して端末装置１０に送信する（ステップＳ２５）。
Thereafter, the
その後、人物データ記憶部３４は、端末装置１０から通信部３１を介して端末ユーザ人物データ通知を受信する。そして、人物データ記憶部３４は、端末ユーザ人物データ通知に含まれる類似人物データを端末ユーザ人物データとして特定し、端末ユーザ人物データ通知に含まれる端末識別情報に対応付けて人物データテーブルに記憶する（ステップＳ２６）。そして、人物データ記憶部３４は、擬似試着部３８から受信した端末識別情報に対応付けられた人物データを、人物データテーブルから取得し、取得した人物データを端末ユーザ人物データとして擬似試着部３８に送信する（ステップＳ２７）。
Thereafter, the person
一方、ステップＳ２１において、受信した端末識別情報に対応付けられた人物データが人物データテーブルに存在すると判定された場合（ステップＳ２１；Ｙｅｓ）、人物データ記憶部３４は、その人物データを人物データテーブルから取得し、取得した人物データを端末ユーザ人物データとして擬似試着部３８に送信する（ステップＳ２７）。
On the other hand, when it is determined in step S21 that the person data associated with the received terminal identification information exists in the person data table (step S21; Yes), the person
図７に戻って、擬似試着部３８は、擬似試着要求に含まれる対象物画像を対象物認識部３７に送信する。そして、対象物認識部３７は、擬似試着部３８から対象物画像を受信し、受信した対象物画像を画像認識することによって擬似試着の対象物である商品を特定する（ステップＳ１６，対象物認識ステップ）。そして、対象物認識部３７は、特定した商品の商品識別情報をキーとして商品ＤＢ３６から対象物の商品データを取得する（ステップＳ１７，対象物認識ステップ）。そして、対象物認識部３７は、取得した商品データを擬似試着部３８に送信する。続いて、擬似試着部３８は、ステップＳ１５において取得された端末ユーザ人物データと、ステップＳ１７において取得された商品データと、を用いて、擬似試着画像を生成し、生成した擬似試着画像を通信部３１を介して端末装置１０に送信する（ステップＳ１８，擬似試着ステップ）。このようにして、擬似試着装置３０によって実行される擬似試着処理が終了される。
Returning to FIG. 7, the pseudo-try-on
次に、擬似試着システム１、擬似試着装置３０及び擬似試着方法の作用効果について説明する。擬似試着システム１、擬似試着装置３０及び擬似試着方法によれば、端末装置１０のユーザの擬似試着のための人物データは、当該ユーザが来店した際に撮像された来店ユーザ画像に基づいて、人物データ作成部３３によって作成され、人物データ記憶部３４の人物データテーブルに記憶される。そして、端末装置１０において擬似試着の対象物画像が撮像されたことに応じて、人物データテーブルに記憶されている複数の人物データから、端末装置１０のユーザの画像である端末ユーザ画像と類似する類似人物データが抽出される。そして、抽出された類似人物データに基づいて特定された端末装置１０の端末ユーザ人物データと、端末装置１０からの擬似試着要求に含まれる対象物画像に基づいて取得された擬似試着の対象物の商品データと、に基づいて、擬似試着画像が生成され、端末装置１０に擬似試着画像が送信される。このように、端末装置１０のユーザが擬似試着の対象物に関する画像を撮像するだけで、擬似試着装置３０において、擬似試着のための端末ユーザ人物データが特定されるとともに、擬似試着の対象物の擬似試着のための商品データが取得され、擬似試着画像が生成されて、生成された擬似試着画像が端末装置１０に送信される。その結果、端末装置１０のユーザが擬似試着用のデータを予め登録することなく擬似試着を行うことが可能となる。
Next, the effects of the pseudo fitting system 1, the pseudo
つまり、撮像装置５０は店内の所定の範囲を常時撮像しているので、端末装置１０のユーザの撮像は、ユーザが来店した際に、ユーザが意識することなく自然に行われる。このため、端末装置１０のユーザは、店舗にある所望の商品を撮像するだけの簡単な操作で、撮像した商品を擬似的に試着した様子を端末装置１０で閲覧することができる。
That is, since the
また、比較部３５によって、複数の人物データの各々と端末ユーザ画像との類似度が算出され、類似度が所定値以上である人物データが類似人物データとして抽出される。この所定値が適切な値に設定されることによって、抽出される類似人物データの数が調整される。これにより、端末ユーザ画像と非類似の人物データが抽出されることを防ぐとともに、類似人物データがより確実に抽出されるようにすることができるので、類似人物データの抽出精度の向上が可能となる。
Further, the
２以上の類似人物データが抽出された場合、２以上の類似人物データが端末装置１０のユーザによって選択可能に端末装置１０に表示される。また、２以上の類似人物データのうち、端末装置１０のユーザによって選択された類似人物データが端末ユーザ人物データとして特定される。このため、端末ユーザ画像と類似する類似人物データが複数個抽出された場合でも、ユーザ自身によって選択された類似人物データを端末ユーザ人物データとすることによって、端末ユーザ人物データの特定をより確実に行うことができる。
When two or more similar person data are extracted, two or more similar person data are displayed on the
人物データ記憶部３４の人物データテーブルには、端末ユーザ人物データが端末識別情報に対応付けられて記憶されている。そして、人物データテーブルに記憶された複数の人物データのうち、端末識別情報と対応付けられていない人物データと端末ユーザ画像とが比較されて類似人物データが抽出される。このように、端末ユーザ人物データが端末識別情報に対応付けて記憶されるので、同じ端末装置１０から複数回の擬似試着要求を受信した場合には、２回目以降の擬似試着要求において、その端末装置１０の端末識別情報に対応付けられた端末ユーザ人物データを用いて擬似試着を行うことができる。このため、擬似試着要求を受信するごとに、端末ユーザ人物データを特定する必要がなく、擬似試着装置３０における処理の軽減が可能となる。また、端末装置１０からの初回の擬似試着要求では、人物データ記憶部３４において端末識別情報に対応付けられた人物データは、他の端末装置のユーザの人物データである。このため、端末識別情報に対応付けられている人物データと端末ユーザ画像とを比較する必要はないので、端末識別情報と対応付けられていない人物データと端末ユーザ画像とを比較して類似人物データを抽出するだけでよく、これにより擬似試着装置３０における処理の軽減が可能となる。
In the person data table of the person
［第２実施形態］
図９は、第２実施形態に係る擬似試着システムの構成を概略的に示す図である。図９に示されるように、第２実施形態に係る擬似試着システム１は、第１実施形態に係る擬似試着システム１と比較して、端末装置１０が端末識別情報記憶部１４に代えてユーザ人物データ記憶部１８を備える点、並びに、擬似試着要求部２１、表示制御部２２、人物データ記憶部３４及び擬似試着部３８の機能が相違している。
[Second Embodiment]
FIG. 9 is a diagram schematically illustrating a configuration of a pseudo try-on system according to the second embodiment. As shown in FIG. 9, the pseudo fitting system 1 according to the second embodiment is different from the pseudo fitting system 1 according to the first embodiment in that the
ユーザ人物データ記憶部１８は、端末装置１０のユーザの人物データである端末ユーザ人物データを記憶するユーザ人物データ記憶手段として機能する。ユーザ人物データ記憶部１８は、表示制御部２２から端末ユーザ人物データを受信し、受信した端末ユーザ人物データを記憶する。ユーザ人物データ記憶部１８は、擬似試着要求部２１からの取得要求に応じて、端末ユーザ人物データを記憶している場合には、端末ユーザ人物データを擬似試着要求部２１に送信し、端末ユーザ人物データを記憶していない場合には、端末ユーザ人物データを記憶していないことを示す通知を擬似試着要求部２１に送信する。
The user person
擬似試着要求部２１は、第１実施形態の擬似試着要求部２１とは異なり、対象物画像と端末装置１０の端末ユーザ人物データとを含む擬似試着要求を擬似試着装置３０に送信する。具体的には、擬似試着要求部２１は、例えば、擬似試着のためのアプリケーション等によって擬似試着モードで端末装置１０が動作しているときに、撮像部１２によって送信された対象物画像を受信したことに応じて、端末ユーザ人物データの取得要求をユーザ人物データ記憶部１８に送信する。そして、擬似試着要求部２１は、ユーザ人物データ記憶部１８からの応答に応じて、ユーザ人物データ記憶部１８に端末ユーザ人物データが記憶されているか否かを判定する。
Unlike the pseudo-try-on requesting
擬似試着要求部２１は、ユーザ人物データ記憶部１８から端末ユーザ人物データを記憶していないことを示す通知を受信した場合、ユーザ人物データ記憶部１８に端末ユーザ人物データが記憶されていないと判定する。擬似試着要求部２１は、ユーザ人物データ記憶部１８から端末ユーザ人物データを受信した場合、ユーザ人物データ記憶部１８に端末ユーザ人物データが記憶されていると判定する。
When the pseudo-try-on
擬似試着要求部２１は、ユーザ人物データ記憶部１８に端末ユーザ人物データが記憶されていないと判定した場合、ユーザ画像記憶部１３から端末ユーザ画像を取得し、端末ユーザ画像を含む比較要求を通信部１５を介して擬似試着装置３０に送信する。擬似試着要求部２１は、ユーザ人物データ記憶部１８に端末ユーザ人物データが記憶されていると判定した場合、撮像部１２によって撮像された対象物画像と端末装置１０の端末ユーザ人物データとを含む擬似試着要求を通信部１５を介して擬似試着装置３０に送信する。
When it is determined that the terminal user person data is not stored in the user person
表示制御部２２は、端末装置１０のユーザによって選択された類似人物データをユーザ人物データ記憶部１８に送信する点において、第１実施形態の表示制御部２２と異なる。具体的には、表示制御部２２は、人物データを選択する操作情報を入力部１１から受信すると、選択された類似人物データを端末ユーザ人物データとしてユーザ人物データ記憶部１８に送信するとともに、端末ユーザ人物データを含む端末ユーザ人物データ通知を通信部１５を介して擬似試着装置３０に送信する。
The
人物データ記憶部３４は、第１実施形態の人物データ記憶部３４とは異なり、いずれの人物データも端末識別情報に対応付けることなく人物データテーブルに格納している。人物データ記憶部３４は、端末装置１０から比較要求を受信すると、比較要求に含まれる端末ユーザ画像とともに、人物データテーブルに格納された全ての人物データを比較部３５に送信する。人物データ記憶部３４は、端末装置１０から端末ユーザ人物データ通知を受信したことに応じて、人物データテーブルに格納された複数の人物データから、端末ユーザ人物データ通知に含まれる端末ユーザ人物データを削除する。
Unlike the person
擬似試着部３８は、擬似試着要求に含まれる端末ユーザ人物データと、対象物認識部３７から受信した商品データと、を用いて、擬似試着画像を生成し、生成した擬似試着画像を通信部３１を介して端末装置１０に送信する。
The pseudo-try-on
次に、図１０を参照して、端末装置１０によって実行される擬似試着方法の一連の処理を説明する。図１０は、端末装置１０が行う擬似試着方法の一連の処理を示すフローチャートである。図１０に示される処理は、例えば、端末装置１０において擬似試着のためのアプリケーションが実行されたことに応じて開始される。
Next, with reference to FIG. 10, a series of processes of the pseudo fitting method executed by the
まず、撮像部１２が、対象物に関する撮像を行い、撮像した対象物画像を制御部１６に送信する（ステップＳ３１）。続いて、制御部１６の擬似試着要求部２１は、撮像部１２から対象物画像を受信したことに応じて、端末ユーザ人物データの取得要求をユーザ人物データ記憶部１８に送信する。そして、擬似試着要求部２１は、ユーザ人物データ記憶部１８からの応答に応じて、ユーザ人物データ記憶部１８に端末ユーザ人物データが記憶されているか否かを判定する（ステップＳ３２）。
First, the
ステップＳ３２において、ユーザ人物データ記憶部１８に端末ユーザ人物データが記憶されていないと判定された場合（ステップＳ３２；Ｎｏ）、擬似試着要求部２１は、ユーザ画像記憶部１３から端末ユーザ画像を取得し、端末ユーザ画像を含む比較要求を通信部１５を介して擬似試着装置３０に送信する（ステップＳ３３）。その後、表示制御部２２は、擬似試着装置３０から通信部１５を介して類似人物データを受信すると、端末装置１０のユーザに当該ユーザの人物データを選択させるために、表示部１７に類似人物データを表示させる（ステップＳ３４）。
When it is determined in step S32 that the terminal user person data is not stored in the user person data storage unit 18 (step S32; No), the pseudo-try-on requesting
そして、表示制御部２２は、人物データを選択する操作情報を入力部１１から受信すると、端末装置１０のユーザによって選択された類似人物データを端末ユーザ人物データとしてユーザ人物データ記憶部１８に記憶するとともに、端末ユーザ人物データ通知を通信部１５を介して擬似試着装置３０に送信し（ステップＳ３５）、ステップＳ３２の判定が再び行われる。
And the
一方、ステップＳ３２において、ユーザ人物データ記憶部１８に端末ユーザ人物データが記憶されていると判定された場合（ステップＳ３２；Ｙｅｓ）、擬似試着要求部２１は、撮像部１２により撮像された対象物画像と、ユーザ人物データ記憶部１８に記憶された端末ユーザ人物データと、を含む擬似試着要求を通信部１５を介して擬似試着装置３０に送信する（ステップＳ３６）。
On the other hand, when it is determined in step S32 that the terminal user person data is stored in the user person data storage unit 18 (step S32; Yes), the pseudo-try-on requesting
続いて、表示制御部２２は、表示制御部２２が擬似試着装置３０から擬似試着画像を受信したか否かを判定する（ステップＳ３７）。ステップＳ３７において、擬似試着画像を受信していないと判定された場合（ステップＳ３７；Ｎｏ）、ステップＳ３７の判定が再び行われる。一方、ステップＳ３７において、擬似試着画像を受信したと判定された場合（ステップＳ３７；Ｙｅｓ）、表示制御部２２は、表示部１７に擬似試着画像を表示させて（ステップＳ３８）、端末装置１０によって実行される擬似試着処理が終了される。
Subsequently, the
次に、図１１及び図１２を参照して、擬似試着装置３０によって実行される擬似試着方法の一連の処理を説明する。図１１は、擬似試着装置３０が行う擬似試着方法の一連の処理を示すフローチャートである。図１２は、図１１の端末ユーザ人物データ特定処理を詳細に示すフローチャートである。図１１に示される処理は、例えば、撮像装置５０が来店ユーザを撮像したことに応じて開始される。なお、ステップＳ４１〜ステップＳ４３は、ステップＳ１１〜ステップＳ１３と同様であるので、その説明を省略する。
Next, with reference to FIG. 11 and FIG. 12, a series of processes of the pseudo fitting method executed by the pseudo
ステップＳ４３に続いて、人物データ記憶部３４は、人物データ記憶部３４が端末装置１０から比較要求を受信したか否かを判定する（ステップＳ４４）。ステップＳ４４において、端末装置１０から比較要求を受信したと判定された場合（ステップＳ４４；Ｙｅｓ）、端末ユーザ人物データ特定処理が行われる（ステップＳ４５）。
Subsequent to step S43, the person
図１２に示されるように、端末ユーザ人物データ特定処理では、まず、人物データ記憶部３４が、受信した比較要求に含まれる端末ユーザ画像を取得し、取得した端末ユーザ画像を比較部３５に送信する（ステップＳ５１）。そして、人物データ記憶部３４は、人物データテーブルに格納された全ての人物データを取得し、取得した人物データを比較部３５に送信する（ステップＳ５２）。続いて、比較部３５は、人物データ記憶部３４から受信した人物データと端末ユーザ画像とを比較して類似人物データを抽出する（ステップＳ５３，比較ステップ）。例えば、比較部３５は、複数の人物データの各々と端末ユーザ画像との類似度を算出し、類似度が所定値以上である人物データを類似人物データとして抽出する。
As shown in FIG. 12, in the terminal user person data specifying process, first, the person
そして、比較部３５は、抽出した類似人物データを通信部３１を介して端末装置１０に送信する（ステップＳ５４）。その後、人物データ記憶部３４は、端末装置１０から端末ユーザ人物データ通知を受信したことに応じて、人物データテーブルに格納された複数の人物データから、当該端末ユーザ人物データ通知に含まれる端末ユーザ人物データを削除する（ステップＳ５５）。
And the
図１１に戻って、端末ユーザ人物データ特定処理が行われた後、ステップＳ４１に戻って、再びステップＳ４１〜ステップＳ４４が繰り返される。一方、ステップＳ４４において、端末装置１０から比較要求を受信していないと判定された場合（ステップＳ４４；Ｎｏ）、擬似試着部３８は、擬似試着部３８が端末装置１０から通信部３１を介して擬似試着要求を受信したか否かを判定する（ステップＳ４６）。ステップＳ４６において、擬似試着要求を受信していないと判定された場合（ステップＳ４６；Ｎｏ）、ステップＳ４１に戻ってステップＳ４１〜ステップＳ４４が繰り返される。一方、ステップＳ４６において、擬似試着要求を受信したと判定された場合（ステップＳ４６；Ｙｅｓ）、対象物認識処理（ステップＳ４７，対象物認識ステップ）、商品データ取得処理（ステップＳ４８，対象物認識ステップ）が順に行われる。ステップＳ４７及びステップＳ４８は、ステップＳ１６及びステップＳ１７と同様であるので、その説明を省略する。
Returning to FIG. 11, after the terminal user person data specifying process is performed, the process returns to step S41, and steps S41 to S44 are repeated again. On the other hand, if it is determined in step S44 that a comparison request has not been received from the terminal device 10 (step S44; No), the pseudo-try-on
そして、擬似試着部３８は、擬似試着要求に含まれる端末ユーザ人物データと、ステップＳ４８において対象物認識部３７から受信した商品データと、を用いて、擬似試着画像を生成し、生成した擬似試着画像を通信部３１を介して端末装置１０に送信する（ステップＳ４９，擬似試着ステップ）。このようにして、擬似試着装置３０によって実行される擬似試着処理が終了される。
Then, the pseudo-try-on
第２実施形態に係る擬似試着システム１、擬似試着装置３０及び擬似試着方法においても、第１実施形態に係る擬似試着システム１、擬似試着装置３０及び擬似試着方法と同様の効果が奏される。また、人物データ記憶部３４では、端末ユーザ人物データが端末装置１０のユーザ人物データ記憶部１８に記憶されたことを示す端末ユーザ人物データ通知が端末装置１０から受信されたことに応じて、複数の人物データから端末ユーザ人物データが削除される。これにより、人物データ記憶部３４には、端末装置１０に対応付けられていない人物データが残る。このため、端末装置１０と対応付けられていない人物データと端末ユーザ画像とが比較されて類似人物データが抽出されるので、擬似試着装置３０における処理の軽減が可能となる。
Also in the pseudo fitting system 1, the pseudo
［第３実施形態］
図１３は、第３実施形態に係る擬似試着システムの構成を概略的に示す図である。図１３に示されるように、第３実施形態に係る擬似試着システム１は、第２実施形態に係る擬似試着システム１と比較して、端末装置１０が位置情報取得部１９及び移動履歴情報記憶部２０をさらに備える点、並びに、擬似試着要求部２１、画像取得部３２、人物データ作成部３３、人物データ記憶部３４、比較部３５及び撮像装置５０の機能が相違している。
[Third Embodiment]
FIG. 13 is a diagram schematically illustrating a configuration of a pseudo try-on system according to the third embodiment. As shown in FIG. 13, the pseudo-try-on system 1 according to the third embodiment is different from the pseudo-try-on system 1 according to the second embodiment in that the
位置情報取得部１９は、端末装置１０の位置情報を取得する位置情報取得手段として機能する。位置情報取得部１９は、例えば、予め定められた時間ごとに端末装置１０の位置情報を取得する。この位置情報は、例えば、一辺が５ｍ〜８ｍ程度の大きさのエリア単位での位置を示す情報である。位置情報取得部１９は、例えば、ＷｉＦｉ（Wireless Fidelity）、ＢＬＥ（Bluetooth（登録商標） Low Energy）、ＲＦＩＤ（Radio Frequency Identification）、ＰＤＲ（PedestrianDead Reckoning）またはこれらの組み合わせ等を用いて、位置情報を取得する。位置情報取得部１９は、取得した位置情報を、位置情報を取得した時刻を示す時刻情報とともに移動履歴情報記憶部２０に送信する。
The position
移動履歴情報記憶部２０は、端末装置１０のユーザの移動履歴情報である端末ユーザ移動履歴情報を記憶する移動履歴情報記憶手段として機能する。移動履歴情報記憶部２０は、位置情報取得部１９によって逐次取得された位置情報と、当該位置情報を取得した時刻情報と、を対応付けて記憶することによって、位置情報と時刻情報との組み合わせの時系列データである端末装置１０の端末ユーザ移動履歴情報を構成している。
The movement history
擬似試着要求部２１は、第２実施形態の擬似試着要求部２１と比較して、ユーザ人物データ記憶部１８に端末ユーザ人物データが記憶されていないと判定した場合の動作が異なる。つまり、擬似試着要求部２１は、ユーザ人物データ記憶部１８に端末ユーザ人物データが記憶されていないと判定した場合、ユーザ画像記憶部１３から端末ユーザ画像を取得するとともに、移動履歴情報記憶部２０から端末ユーザ移動履歴情報を取得し、端末ユーザ画像及び端末ユーザ移動履歴情報を含む比較要求を通信部１５を介して擬似試着装置３０に送信する。
Compared to the pseudo-try-on requesting
撮像装置５０は、第１及び第２実施形態の撮像装置５０の機能に加えて、画像とともに、当該撮像装置５０を識別する撮像装置識別情報と、撮像した時刻を示す撮像時刻情報と、を擬似試着装置３０に送信する。図１４に示されるように、複数の撮像装置５０（５０ａ，５０ｂ，５０ｃ，５０ｄ）は、それぞれが店舗内の所定の範囲を撮像するように配置されており、店舗内のユーザが移動し得るすべての範囲を撮像している。
In addition to the functions of the
画像取得部３２は、第１及び第２実施形態の画像取得部３２と比較して取得する情報が異なる。つまり、第１及び第２実施形態の画像取得部３２が、画像を撮像装置５０から受信し、受信した画像から取得した来店ユーザ画像を人物データ作成部３３に送信するのに対し、画像取得部３２は、画像と、当該画像を撮像した撮像装置５０の撮像装置識別情報と、当該画像の撮像時刻情報と、を撮像装置５０から受信する。画像取得部３２は、受信した画像から来店ユーザ画像を取得し、来店ユーザ画像を撮像した撮像装置５０の撮像装置識別情報と、来店ユーザ画像を撮像した撮像時刻情報とともに、人物データ作成部３３に送信する。
The
人物データ作成部３３は、第１及び第２実施形態の人物データ作成部３３の機能に加えて、来店ユーザの移動履歴情報である人物移動履歴情報を作成する機能を有する。つまり、人物データ作成部３３は、撮像装置５０の撮像装置識別情報と、当該撮像装置５０が撮像する範囲の位置と、を対応付けて記憶している。そして、人物データ作成部３３は、作成した複数の人物データの各々について、当該人物データを作成するために用いた来店ユーザ画像を撮像した撮像装置５０の撮像装置識別情報及び撮像時刻情報を時系列に配置することにより、当該人物データに対応する来店ユーザの人物移動履歴情報を作成する。
The person
例えば、図１４に示されるように、撮像装置５０ａ、撮像装置５０ｃ、撮像装置５０ｄによって撮像された画像から、その順に来店ユーザ画像が取得された場合、人物データ作成部３３は、これらの画像が繋ぎ合わせられることによって、来店ユーザＵの移動した経路Ｒを作成する。また、位置Ｐ１及び位置Ｐ２において、来店ユーザＵが滞在していたこともわかる。人物データ作成部３３は、このようにして作成した人物データ及び人物移動履歴情報を人物データ記憶部３４に送信する。
For example, as shown in FIG. 14, when store visit user images are acquired in that order from images captured by the imaging device 50 a, the
人物データ記憶部３４は、人物データに加えて、人物移動履歴情報を記憶する点で、第１及び第２実施形態の人物データ記憶部３４と異なる。つまり、人物データ記憶部３４は、人物データ作成部３３によって作成された複数の人物データの各々とともに、当該人物データに対応する来店ユーザの人物移動履歴情報を記憶する。人物データ記憶部３４は、人物データと人物移動履歴情報とを対応付けて人物データテーブルに記憶している。図１５は、人物データ記憶部３４に格納される人物データテーブルの一例を示す図である。図１５に示されるように、人物データテーブルには、人物データと、人物移動履歴情報と、が少なくとも含まれている。この例では、人物データ「データＵ１」に対応する来店ユーザは、人物移動履歴情報「移動履歴Ｌ１」によって示される移動を行ったことを示す。また、人物データ「データＵ２」に対応する来店ユーザは、人物移動履歴情報「移動履歴Ｌ２」によって示される移動を行ったことを示す。なお、人物データテーブルには、人物データそのものではなく、人物データを識別する人物データ識別情報が記憶されていてもよい。
The person
人物データ記憶部３４は、端末装置１０から比較要求を受信すると、比較要求に含まれる端末ユーザ画像及び端末ユーザ移動履歴情報とともに、人物データテーブルに格納された全ての人物データ及び人物移動履歴情報を比較部３５に送信する。人物データ記憶部３４は、端末装置１０から端末ユーザ人物データの通知を受信したことに応じて、人物データテーブルに格納された複数の人物データから、当該端末ユーザ人物データ及びその人物データに対応付けられた人物移動履歴情報を削除する。
When receiving the comparison request from the
比較部３５は、第１及び第２実施形態の比較部３５の機能に加えて、移動履歴情報の比較をさらに行う。つまり、比較部３５は、人物データ記憶部３４の人物データテーブルに記憶された複数の人物データと端末装置１０から受信した端末ユーザ画像とを比較するとともに、人物データ記憶部３４の人物データテーブルに記憶された人物移動履歴情報と端末装置１０から受信したユーザの端末ユーザ移動履歴情報とを比較して、複数の人物データから類似人物データを抽出する。具体的に説明すると、比較部３５は、人物データテーブルに記憶された複数の人物データと、端末装置１０から受信した端末ユーザ画像とを比較して、類似する人物データを抽出する。比較部３５は、例えば、複数の人物データの各々と端末ユーザ画像との類似度を算出し、類似度が所定値以上である人物データを抽出する。所定値は、例えば、数個程度の類似人物データが抽出され、かつ、非類似の人物データが抽出されない程度の値に設定される。
The
比較部３５は、さらに、抽出した人物データに対応付けられた人物移動履歴情報と、端末装置１０から受信した端末ユーザ移動履歴情報とを比較して類似人物データを抽出する。比較部３５は、例えば、各人物移動履歴情報と端末ユーザ移動履歴情報との類似度を算出し、類似度が所定値よりも小さい人物移動履歴情報に対応付けられた人物データを、端末ユーザ画像との類似度によって抽出した人物データから除外することによって、類似人物データを得る。所定値は、例えば、端末ユーザ移動履歴情報と人物移動履歴情報とが明らかに異なる移動を示している部分を含む場合の類似度に設定される。
The
次に、図１６を参照して、端末装置１０によって実行される擬似試着方法の一連の処理を説明する。図１６は、端末装置１０が行う擬似試着方法の一連の処理を示すフローチャートである。図１６に示される処理は、例えば、端末装置１０において擬似試着のためのアプリケーションが実行されたことに応じて開始される。
Next, with reference to FIG. 16, a series of processes of the pseudo fitting method executed by the
まず、位置情報取得部１９が、例えば、予め定められた時間ごとに端末装置１０の位置情報及び時刻情報を取得し、移動履歴情報記憶部２０に記憶することによって、端末装置１０の端末ユーザ移動履歴情報を取得する（ステップＳ６１）。ステップＳ６１に続いて実行されるステップＳ６２及びステップＳ６３は、ステップＳ３１及びステップＳ３２と同様であるので、その説明を省略する。
First, the location
そして、ステップＳ６３において、ユーザ人物データ記憶部１８に端末ユーザ人物データが記憶されていないと判定された場合（ステップＳ６３；Ｎｏ）、擬似試着要求部２１は、ユーザ画像記憶部１３から端末ユーザ画像を取得するとともに、移動履歴情報記憶部２０から端末ユーザ移動履歴情報を取得し、端末ユーザ画像及び端末ユーザ移動履歴情報を含む比較要求を通信部１５を介して擬似試着装置３０に送信する（ステップＳ６４）。ステップＳ６４に続いて実行されるステップＳ６５〜ステップＳ６９は、ステップＳ３４〜ステップＳ３８と同様であるので、その説明を省略する。
When it is determined in step S63 that the terminal user person data is not stored in the user person data storage unit 18 (step S63; No), the pseudo-try-on requesting
次に、図１７及び図１８を参照して、擬似試着装置３０によって実行される擬似試着方法の一連の処理を説明する。図１７は、擬似試着装置３０が行う擬似試着方法の一連の処理を示すフローチャートである。図１８は、図１７の端末ユーザ人物データ特定処理を詳細に示すフローチャートである。図１７に示される処理は、例えば、撮像装置５０が来店ユーザを撮像したことに応じて開始される。
Next, with reference to FIG. 17 and FIG. 18, a series of processes of the pseudo fitting method executed by the pseudo
まず、画像取得部３２が、画像と、当該画像を撮像した撮像装置５０の撮像装置識別情報と、当該画像の撮像時刻情報と、を撮像装置５０から受信する（ステップＳ７１，画像取得ステップ）。そして、画像取得部３２は、受信した画像から来店ユーザ画像を取得し、取得した来店ユーザ画像を撮像した撮像装置５０の撮像装置識別情報、及び、当該来店ユーザ画像を撮像した撮像時刻情報とともに人物データ作成部３３に送信する。
First, the
そして、人物データ作成部３３は、画像取得部３２によって取得された来店ユーザ画像に基づいて、来店ユーザのそれぞれに対応する擬似試着のための複数の人物データを作成する。さらに、人物データ作成部３３は、作成した複数の人物データの各々について、当該人物データを作成するために用いた来店ユーザ画像の撮像装置識別情報及び撮像時刻情報を時系列に配置することにより、当該人物データに対応する来店ユーザの人物移動履歴情報を作成する（ステップＳ７２，人物データ作成ステップ）。そして、人物データ作成部３３は、作成した人物データ及び人物移動履歴情報を人物データ記憶部３４に送信する。
Then, the person
続いて、人物データ記憶部３４は、人物データ作成部３３から受信した人物データと人物移動履歴情報とを対応付けて人物データテーブルに記憶する（ステップＳ７３，人物データ記憶ステップ）。その後、人物データ記憶部３４は、人物データ記憶部３４が端末装置１０から比較要求を受信したか否かを判定する（ステップＳ７４）。ステップＳ７４において、端末装置１０から比較要求を受信したと判定された場合（ステップＳ７４；Ｙｅｓ）、端末ユーザ人物データ特定処理が行われる（ステップＳ７５）。
Subsequently, the person
図１８に示されるように、端末ユーザ人物データ特定処理では、まず、人物データ記憶部３４が、受信した比較要求に含まれる端末ユーザ画像及び端末ユーザ移動履歴情報を取得し、取得した端末ユーザ画像及び端末ユーザ移動履歴情報を比較部３５に送信する（ステップＳ８１）。そして、人物データ記憶部３４は、人物データテーブルに格納された全ての人物データ及び人物移動履歴情報を取得し、取得した人物データ及び人物移動履歴情報を比較部３５に送信する（ステップＳ８２）。
As shown in FIG. 18, in the terminal user person data specifying process, first, the person
続いて、比較部３５は、人物データ記憶部３４から受信した人物データと端末ユーザ画像とを比較して、類似する人物データを抽出する（ステップＳ８３，比較ステップ）。例えば、比較部３５は、複数の人物データの各々と端末ユーザ画像との類似度を算出し、類似度が所定値以上である人物データを抽出する。さらに、比較部３５は、抽出した人物データに対応付けられた人物移動履歴情報と、端末ユーザ移動履歴情報とを比較して類似人物データを抽出する（ステップＳ８４，比較ステップ）。例えば、比較部３５は、各人物移動履歴情報と端末ユーザ移動履歴情報との類似度を算出し、類似度が所定値よりも小さい人物移動履歴情報に対応付けられた人物データを、端末ユーザ画像との比較により抽出された人物データから除外することによって、類似人物データを取得する。
Subsequently, the
そして、比較部３５は、取得した類似人物データを通信部３１を介して端末装置１０に送信する（ステップＳ８５）。その後、人物データ記憶部３４は、端末装置１０から端末ユーザ人物データ通知を受信したことに応じて、人物データテーブルに格納された複数の人物データから、当該端末ユーザ人物データ通知に含まれる端末ユーザ人物データ及びその人物データに対応付けられた人物移動履歴情報を削除する（ステップＳ８６）。
And the
図１７に戻って、端末ユーザ人物データ特定処理が行われた後、ステップＳ７１に戻って、再びステップＳ７１〜ステップＳ７４が繰り返される。一方、ステップＳ７４において、端末装置１０から比較要求を受信していないと判定された場合（ステップＳ７４；Ｎｏ）、擬似試着部３８は、擬似試着部３８が端末装置１０から通信部３１を介して擬似試着要求を受信したか否かを判定する（ステップＳ７６）。以降、ステップＳ７６〜ステップＳ７９は、ステップＳ４６〜ステップＳ４９と同様であるので、その説明を省略する。
Returning to FIG. 17, after the terminal user person data specifying process is performed, the process returns to step S71, and steps S71 to S74 are repeated again. On the other hand, if it is determined in step S74 that a comparison request has not been received from the terminal device 10 (step S74; No), the pseudo-try-on
この第３実施形態に係る擬似試着システム１、擬似試着装置３０及び擬似試着方法においても、第２実施形態に係る擬似試着システム１、擬似試着装置３０及び擬似試着方法と同様の効果が奏される。また、複数の人物データの各々について、当該人物データに対応する人物移動履歴情報が作成され、人物データ記憶部３４の人物データテーブルに記憶されている。そして、人物データテーブルに記憶された複数の人物データと端末装置１０から受信された端末ユーザ画像とが比較されるとともに、人物データテーブルに記憶された人物移動履歴情報と端末装置１０から受信された端末ユーザ移動履歴情報とが比較されて、複数の人物データから類似人物データが抽出される。このため、人物データに対応する来店ユーザの移動履歴と端末装置１０のユーザの移動履歴とが比較されることによって、類似人物データの抽出精度を向上することができ、端末ユーザ人物データの特定をさらに確実に行うことが可能となる。
Also in the pseudo try-on system 1, the pseudo try-on
なお、本発明は、上述した実施形態に限定されるものではない。例えば、比較部３５は、さらにユーザ属性に関するユーザ属性情報を比較することによって、類似人物データを抽出してもよい。具体的には、端末装置１０は、端末装置１０のユーザのユーザ属性情報を記憶するユーザ属性情報記憶部をさらに備えてもよく、人物データ記憶部３４は、人物データ作成部３３によって作成された複数の人物データの各々とともに、当該人物データに対応するユーザ属性情報を記憶してもよい。ユーザ属性情報記憶部には、例えば、擬似試着のためのアプリケーションの設定またはアンケートに端末装置１０のユーザが年齢、性別、身長等のユーザ属性を入力することによって、予めユーザ属性情報が記憶されてもよい。人物データ作成部３３は、複数の人物データの各々について、例えば、顔認識技術によってユーザ属性情報を取得し、ユーザ属性情報を人物データに対応付けて人物データ記憶部３４の人物データテーブルに記憶してもよい。そして、比較部３５は、ユーザ属性情報記憶部に記憶されているユーザ属性情報と、人物データに対応付けられたユーザ属性情報との類似度を算出し、例えば、類似度が所定の値よりも小さい人物データを類似人物データから除外してもよい。
In addition, this invention is not limited to embodiment mentioned above. For example, the
また、擬似試着装置３０は、コーディネートＤＢをさらに備えてもよい。コーディネートＤＢは、例えば、身長等の体型、年齢、性別等のユーザ属性に対応付けて、ユーザ属性に応じた服、靴、帽子等の組み合せを示すコーディネート情報を記憶している。この場合、擬似試着装置３０は、端末ユーザ人物データから端末装置１０のユーザのユーザ属性情報を取得し、取得したユーザ属性情報と、対象物認識部３７によって認識された商品と、に基づいてコーディネート情報を端末装置１０に送信し、端末装置１０の表示部１７に表示させてもよい。
Moreover, the pseudo
また、擬似試着装置３０は、生成した擬似試着画像を店舗または製造業者に送信してもよい。この場合、店舗は、擬似試着画像をコーディネート情報として参考にすることができる。また、店舗及び製造業者は、頻繁に試着される商品を認識することができ、マーケティングに活用することができる。
Moreover, the pseudo
１…擬似試着システム、１０…端末装置、１２…撮像部（撮像手段）、１３…ユーザ画像記憶部（ユーザ画像記憶手段）、１４…端末識別情報記憶部、１７…表示部（表示手段）、１８…ユーザ人物データ記憶部、１９…位置情報取得部、２０…移動履歴情報記憶部、２１…擬似試着要求部（擬似試着要求手段）、２２…表示制御部、３０…擬似試着装置、３２…画像取得部（画像取得手段）、３３…人物データ作成部（人物データ作成手段）、３４…人物データ記憶部（人物データ記憶手段）、３５…比較部（比較手段）、３６…商品ＤＢ（商品データ記憶手段）、３７…対象物認識部（対象物認識手段）、３８…擬似試着部（擬似試着手段）、５０…撮像装置。
DESCRIPTION OF SYMBOLS 1 ... Pseudo fitting system, 10 ... Terminal device, 12 ... Imaging part (imaging means), 13 ... User image storage part (user image storage means), 14 ... Terminal identification information storage part, 17 ... Display part (display means), DESCRIPTION OF
Claims (8)
来店したユーザである来店ユーザの画像である来店ユーザ画像を取得する画像取得手段と、
前記画像取得手段によって取得された前記来店ユーザ画像に基づいて、前記来店ユーザのそれぞれに対応する擬似試着のための複数の人物データを作成する人物データ作成手段と、
前記人物データ作成手段によって作成された前記複数の人物データを記憶する人物データ記憶手段と、
前記端末装置において擬似試着の対象物に関する画像である対象物画像が撮像されたことに応じて、前記人物データ記憶手段に記憶された前記複数の人物データと前記端末装置のユーザの画像である端末ユーザ画像とを比較し、前記複数の人物データから前記端末ユーザ画像と類似する類似人物データを抽出する比較手段と、
複数の商品のそれぞれに対応する擬似試着のための複数の商品データを記憶する商品データ記憶手段と、
前記端末装置からの擬似試着要求に含まれる前記対象物画像に基づいて、前記商品データ記憶手段から前記擬似試着の対象物の商品データを取得する対象物認識手段と、
前記比較手段によって抽出された前記類似人物データに基づいて特定された前記端末装置のユーザの人物データである端末ユーザ人物データと、前記対象物認識手段によって取得された前記商品データと、に基づいて、擬似試着画像を生成し、前記端末装置に前記擬似試着画像を送信する擬似試着手段と、
を備える、擬似試着装置。 A pseudo-try-on device that provides the terminal device with a pseudo-try-on image, which is an image in which a user of the terminal device pseudo-wears an object of pseudo-try-on,
Image acquisition means for acquiring a visit user image that is an image of a visit user who is a visitor;
Person data creation means for creating a plurality of person data for pseudo-try-on corresponding to each of the store visit users based on the store visit user image acquired by the image acquisition means;
Person data storage means for storing the plurality of person data created by the person data creation means;
A terminal that is an image of the plurality of person data stored in the person data storage means and an image of a user of the terminal device in response to an image of the object that is an image related to the object to be pseudo-fitted in the terminal device. Comparing means for comparing user images and extracting similar person data similar to the terminal user image from the plurality of person data;
Product data storage means for storing a plurality of product data for pseudo-try-on corresponding to each of a plurality of products;
Based on the object image included in the pseudo-try-on request from the terminal device, object recognition means for acquiring the product data of the pseudo-try-on object from the product data storage means;
Based on terminal user person data that is person data of a user of the terminal device specified based on the similar person data extracted by the comparison unit, and the product data acquired by the object recognition unit Pseudo-fitting means for generating a pseudo-fitting image and transmitting the pseudo-fitting image to the terminal device;
A pseudo-fitting device comprising:
前記人物データ記憶手段は、前記２以上の類似人物データのうち、前記端末装置のユーザによって選択された類似人物データを前記端末ユーザ人物データとして特定する、請求項１または請求項２に記載の擬似試着装置。 When the comparison means extracts two or more similar person data, the two or more similar person data are displayed on the terminal device so as to be selectable by a user of the terminal device;
3. The pseudo according to claim 1, wherein the person data storage unit specifies similar person data selected by a user of the terminal device among the two or more similar person data as the terminal user person data. 4. Try-on device.
前記比較手段は、前記人物データ記憶手段に記憶された前記複数の人物データのうち、前記端末識別情報と対応付けられていない人物データと前記端末ユーザ画像とを比較して前記類似人物データを抽出する、請求項１〜請求項３のいずれか一項に記載の擬似試着装置。 The person data storage means stores the person data included in the plurality of person data in association with terminal identification information for identifying other terminal devices;
The comparison means compares the terminal user image with person data that is not associated with the terminal identification information among the plurality of person data stored in the person data storage means, and extracts the similar person data The pseudo-fitting device according to any one of claims 1 to 3.
前記人物データ記憶手段は、前記複数の人物データの各々とともに、当該人物データに対応する人物移動履歴情報を記憶し、
前記比較手段は、前記人物データ記憶手段に記憶された前記複数の人物データと前記端末装置から受信した前記端末ユーザ画像とを比較するとともに、前記人物データ記憶手段に記憶された前記人物移動履歴情報と前記端末装置から受信したユーザの移動履歴情報である端末ユーザ移動履歴情報とを比較して、前記複数の人物データから前記類似人物データを抽出する、請求項１〜請求項５のいずれか一項に記載の擬似試着装置。 The person data creation means creates, for each of the plurality of person data, person movement history information that is movement history information of a store visitor corresponding to the person data,
The person data storage means stores person movement history information corresponding to the person data together with each of the plurality of person data,
The comparison means compares the plurality of person data stored in the person data storage means with the terminal user image received from the terminal device, and the person movement history information stored in the person data storage means And the terminal user movement history information which is the movement history information of the user received from the terminal device, and the similar person data is extracted from the plurality of person data. The pseudo-fitting device described in the item.
前記端末装置は、
前記端末装置のユーザの画像である端末ユーザ画像を記憶するユーザ画像記憶手段と、
擬似試着の対象物に関する画像である対象物画像を取得する撮像手段と、
前記撮像手段によって取得された前記対象物画像を含む擬似試着要求を前記擬似試着装置に送信する擬似試着要求手段と、
前記擬似試着装置から受信した擬似試着画像を表示する表示手段と、
を備え、
前記擬似試着装置は、
来店したユーザである来店ユーザの画像である来店ユーザ画像を取得する画像取得手段と、
前記画像取得手段によって取得された前記来店ユーザ画像に基づいて、前記来店ユーザのそれぞれに対応する擬似試着のための複数の人物データを作成する人物データ作成手段と、
前記人物データ作成手段によって作成された前記複数の人物データを記憶する人物データ記憶手段と、
前記撮像手段によって前記対象物画像が取得されたことに応じて、前記人物データ記憶手段に記憶された前記複数の人物データと前記ユーザ画像記憶手段に記憶された前記端末ユーザ画像とを比較して、前記複数の人物データから前記端末ユーザ画像と類似する類似人物データを抽出する比較手段と、
複数の商品のそれぞれに対応する擬似試着のための複数の商品データを記憶する商品データ記憶手段と、
前記擬似試着要求手段によって送信された前記擬似試着要求に含まれる前記対象物画像に基づいて、前記商品データ記憶手段から前記擬似試着の対象物の商品データを取得する対象物認識手段と、
前記比較手段によって抽出された前記類似人物データに基づいて特定された前記端末装置のユーザの人物データである端末ユーザ人物データと、前記対象物認識手段によって取得された前記商品データと、に基づいて、前記擬似試着画像を生成し、前記端末装置に前記擬似試着画像を送信する擬似試着手段と、
を備える、擬似試着システム。 A pseudo-try-on system that includes a terminal device and a pseudo-try-on device, and provides a pseudo-try-on image, which is an image in which a user of the terminal device performs pseudo-try-on on an object of pseudo-try-on, to the terminal device,
The terminal device
User image storage means for storing a terminal user image which is an image of the user of the terminal device;
An imaging means for acquiring an object image which is an image relating to an object for pseudo fitting;
A pseudo-try-on requesting means for transmitting a pseudo-try-on request including the object image acquired by the imaging means to the pseudo-fitting device;
Display means for displaying a pseudo fitting image received from the pseudo fitting device;
With
The pseudo fitting device is
Image acquisition means for acquiring a visit user image that is an image of a visit user who is a visitor;
Person data creation means for creating a plurality of person data for pseudo-try-on corresponding to each of the store visit users based on the store visit user image acquired by the image acquisition means;
Person data storage means for storing the plurality of person data created by the person data creation means;
In response to the acquisition of the object image by the imaging means, the plurality of person data stored in the person data storage means and the terminal user image stored in the user image storage means are compared. Comparing means for extracting similar person data similar to the terminal user image from the plurality of person data;
Product data storage means for storing a plurality of product data for pseudo-try-on corresponding to each of a plurality of products;
Based on the object image included in the pseudo-try-on request transmitted by the pseudo-try-on request means, object recognition means for acquiring product data of the object of the pseudo-try-on from the product data storage means;
Based on terminal user person data that is person data of a user of the terminal device specified based on the similar person data extracted by the comparison unit, and the product data acquired by the object recognition unit , Pseudo fitting means for generating the pseudo fitting image and transmitting the pseudo fitting image to the terminal device;
A pseudo fitting system.
来店したユーザである来店ユーザの画像である来店ユーザ画像を取得する画像取得ステップと、
前記画像取得ステップにおいて取得された前記来店ユーザ画像に基づいて、前記来店ユーザのそれぞれに対応する擬似試着のための複数の人物データを作成する人物データ作成ステップと、
前記人物データ作成ステップにおいて作成された前記複数の人物データを人物データ記憶手段に記憶する人物データ記憶ステップと、
前記端末装置において擬似試着の対象物に関する画像である対象物画像が撮像されたことに応じて、前記人物データ記憶手段に記憶された前記複数の人物データと前記端末装置のユーザの画像である端末ユーザ画像とを比較して、前記複数の人物データから前記端末ユーザ画像と類似する類似人物データを抽出する比較ステップと、
複数の商品のそれぞれに対応する擬似試着のための複数の商品データを記憶する商品データ記憶手段から、前記端末装置からの擬似試着要求に含まれる前記対象物画像に基づいて前記擬似試着の対象物の商品データを取得する対象物認識ステップと、
前記比較ステップにおいて抽出された前記類似人物データに基づいて特定された前記端末装置のユーザの人物データである端末ユーザ人物データと、前記対象物認識ステップにおいて取得された前記商品データと、に基づいて、擬似試着画像を生成し、前記端末装置に前記擬似試着画像を送信する擬似試着ステップと、
を含む、擬似試着方法。 A pseudo-try-on method performed by a pseudo-wear device that provides a pseudo-try-on image, which is an image in which a user of a terminal device pseudo-wears an object of pseudo-wear, to the terminal device,
An image acquisition step of acquiring a store visit user image that is an image of a store visit user who is a visitor;
A person data creation step of creating a plurality of person data for pseudo-fitting corresponding to each of the store visit users based on the store visit user image acquired in the image acquisition step;
A person data storage step of storing the plurality of person data created in the person data creation step in a person data storage means;
A terminal that is an image of the plurality of person data stored in the person data storage means and an image of a user of the terminal device in response to an image of the object that is an image related to the object to be pseudo-fitted in the terminal device. A comparison step of comparing the user image and extracting similar person data similar to the terminal user image from the plurality of person data;
From the product data storage means for storing a plurality of product data for pseudo-try-on corresponding to each of a plurality of products, the object of the pseudo-try-on based on the object image included in the pseudo-try-on request from the terminal device Object recognition step for acquiring product data of
Based on terminal user person data that is person data of a user of the terminal device identified based on the similar person data extracted in the comparison step, and the product data acquired in the object recognition step A pseudo fitting step of generating a pseudo fitting image and transmitting the pseudo fitting image to the terminal device;
Including pseudo fitting methods.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014166738A JP2016045509A (en) | 2014-08-19 | 2014-08-19 | Pseudo trial fitting device, pseudo trial fitting system, and pseudo trial fitting method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014166738A JP2016045509A (en) | 2014-08-19 | 2014-08-19 | Pseudo trial fitting device, pseudo trial fitting system, and pseudo trial fitting method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016045509A true JP2016045509A (en) | 2016-04-04 |
Family
ID=55636072
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014166738A Pending JP2016045509A (en) | 2014-08-19 | 2014-08-19 | Pseudo trial fitting device, pseudo trial fitting system, and pseudo trial fitting method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016045509A (en) |
-
2014
- 2014-08-19 JP JP2014166738A patent/JP2016045509A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220261812A1 (en) | Interfacing with a point of sale system from a computer vision system | |
| US11138420B2 (en) | People stream analysis method, people stream analysis apparatus, and people stream analysis system | |
| JP6223735B2 (en) | SEARCH CONTROL DEVICE, SEARCH CONTROL METHOD, AND PROGRAM | |
| KR101620938B1 (en) | A cloth product information management apparatus and A cloth product information management sever communicating to the appartus, a server recommending a product related the cloth, a A cloth product information providing method | |
| JP2018084890A (en) | Information processing unit, information processing method, and program | |
| US11941604B2 (en) | Automatic payment system | |
| JP5264634B2 (en) | Coordinating system, coordinating method and program | |
| JP2007011543A (en) | Article-wearing simulation system, article-wearing simulation method, and the like | |
| JP2017211932A (en) | Information processing device, information processing system, program and information processing method | |
| KR102125314B1 (en) | Method and Apparatus for Providing Product Information by Using Store and Image Information | |
| JP2018128955A (en) | Screen shot image analyzer, screen shot image analysis method, and program | |
| JP6687199B2 (en) | Product shelf position registration program and information processing device | |
| KR20200132897A (en) | Store system, method, and apparatus for processing information of clothes to be tried on | |
| JP6699518B2 (en) | Image recognition processing method, image recognition processing program, data providing method, data providing system, data providing program, recording medium, processor and electronic device | |
| CN106303401B (en) | Video monitoring method, equipment and system thereof and video monitoring method based on shopping mall | |
| JP2009199438A (en) | Image acquisition system | |
| EP3489870A1 (en) | System and method for collecting and/or retrieving information relating to objects | |
| WO2019134501A1 (en) | Method and device for simulating fit of garment on user, storage medium, and mobile terminal | |
| JP2016045509A (en) | Pseudo trial fitting device, pseudo trial fitting system, and pseudo trial fitting method | |
| JP2017046324A (en) | User terminal, object recognition server, notification method and user terminal program | |
| JPWO2015125455A1 (en) | Sales support device, sales system, sales support method, and program | |
| TW201822034A (en) | Collection system, program for terminal, and collection method | |
| JP6210554B2 (en) | Recognition device, recognition program, and recognition method | |
| JP7148950B2 (en) | Server device, commercial facility information system, and behavior history presentation method | |
| JP5555736B2 (en) | Product selection support system and program thereof |