JP7198962B1

JP7198962B1 - METHOD, INFORMATION PROCESSING DEVICE, AND PROGRAM FOR SUPPORTING HAIR STYLE ADJUSTMENT

Info

Publication number: JP7198962B1
Application number: JP2022131405A
Authority: JP
Inventors: 宗明山本; 俊彦小菅
Original assignee: Aderans Co Ltd
Current assignee: Aderans Co Ltd
Priority date: 2022-08-19
Filing date: 2022-08-19
Publication date: 2023-01-04
Anticipated expiration: 2042-08-19
Also published as: JP2024028058A

Abstract

【課題】施術者が対象者の頭髪スタイルを調整する場合に、対象者の理想の頭髪スタイルが得られ易くなるように支援する方法、情報処理装置及びプログラムを提供する。【解決手段】対象者の頭髪スタイルの調整を支援する情報処理装置が実行する方法は、対象者の理想の頭髪スタイルを持つ仮想対象者の頭部を含んだ仮想対象者画像を表示する工程と、１以上のカメラで撮影された対象者の１以上の撮影画像に含まれる対象者の頭髪の画像に基づいて、髪の色、髪の長さ、髪の太さ、毛量及び毛流の少なくとも１つに関する対象者の頭髪の特徴を判定する工程と、判定された対象者の頭髪の特徴と、仮想対象者画像に表れる仮想対象者の頭髪の特徴とを比較し、当該比較の結果に基づいて、対象者の頭髪と仮想対象者の頭髪との少なくとも１つの相違を検出する工程と、検出された前記相違に関する情報を表示する工程とを有する。【選択図】図４A method, an information processing device, and a program are provided for assisting a practitioner to easily obtain an ideal hair style for a subject when the practitioner adjusts the subject's hair style. A method executed by an information processing device for assisting adjustment of a hair style of a subject includes displaying a virtual subject image including a head of a virtual subject having an ideal hair style of the subject. , based on the image of the subject's hair included in one or more captured images of the subject captured by one or more cameras, hair color, hair length, hair thickness, hair volume, and hair flow determining at least one hair characteristic of the subject; comparing the determined hair characteristic of the subject with the hair characteristic of the virtual subject appearing in the image of the virtual subject; detecting at least one difference between the subject's hair and the virtual subject's hair based on the method; and displaying information about the detected difference. [Selection drawing] Fig. 4

Description

本発明は、頭髪スタイルの調整を支援する方法、情報処理装置及びプログラムに関する。 The present invention relates to a method, an information processing device, and a program for supporting hair style adjustment.

美容院などでカットやヘアセットを行った場合、後になって自分が思い描いていた頭髪スタイルと異なるように感じ、不満が残ることがある。このような問題に対して、下記の特許文献には、画面に自分の顔及び頭部を立体画像として表示させ、その頭髪スタイルを所定の項目から任意に選択し、カット、カール、染色等の補正を加えることができるソフトウェアが記載されている。事前に頭髪スタイルのシミュレーション画像を見ることにより、理想の頭髪スタイルのイメージが明確になり、その理想形を美容師などへ明確に伝え易くなる。 When a haircut or hair set is performed at a beauty salon, etc., the hair style may later feel different from what one had envisioned, and dissatisfaction may remain. In order to solve such problems, the following patent documents disclose that the user displays his/her face and head as a three-dimensional image on the screen, selects the hair style arbitrarily from predetermined items, and cuts, curls, dyes, etc. Software is described that can apply corrections. By seeing the simulation image of the hair style in advance, the image of the ideal hair style becomes clear, and it becomes easy to clearly convey the ideal form to the beautician or the like.

特開２０１０－１０４７３７号公報JP 2010-104737 A

ところで、ウィッグや増毛術によって頭髪スタイルを変更する場合、美容院などに比べて費用が高額であることや、容姿の変化に対する顧客の期待感が高いことなどから、変更後の頭髪スタイルに対する僅かな違和感でも顧客の不満が生じ易い。例えば、新たに製作されたオーダーメイドのウィッグを顧客に装着して頭髪スタイルの調整（カット、ヘアセットなど）を行う場合、顧客のイメージしている頭髪スタイルをよく理解せずに頭髪のカットなどが行われると、仕上がった頭髪スタイルに対して顧客の不満が生じ易くなる。 By the way, when changing the hair style by wigs or hair extensions, the cost is high compared to beauty salons, etc., and customers have high expectations for changes in appearance. Customer dissatisfaction is likely to occur even if there is a sense of incongruity. For example, when adjusting the hair style (cutting, hair setting, etc.) by wearing a newly made custom-made wig to a customer, cutting the hair without fully understanding the hair style that the customer has in mind. is performed, the customer is likely to be dissatisfied with the finished hair style.

本発明はかかる事情に鑑みてなされたものであり、その目的は、施術者が対象者の頭髪スタイルを調整する場合に、対象者の理想の頭髪スタイルが得られ易くなるように支援する方法、プログラム及び情報処理装置を提供することにある。 The present invention has been made in view of such circumstances, and its object is a method of assisting a subject to easily obtain an ideal hair style when the practitioner adjusts the subject's hair style. It is to provide a program and an information processing device.

本発明の第１の態様は、施術者による対象者の頭髪スタイルの調整を支援する情報処理装置が実行する方法であって、前記情報処理装置が、前記対象者の理想の頭髪スタイルを持つ仮想対象者の頭部を含んだ仮想対象者画像を表示する工程と、前記情報処理装置が、１以上のカメラで撮影された前記対象者の１以上の撮影画像に含まれる前記対象者の頭髪の画像に基づいて、髪の色、髪の長さ、髪の太さ、毛量及び毛流の少なくとも１つに関する前記対象者の頭髪の特徴を判定する工程と、前記情報処理装置が、判定された前記対象者の頭髪の前記特徴と、前記仮想対象者画像に表れる前記仮想対象者の頭髪の前記特徴とを比較し、当該比較の結果に基づいて、前記対象者の頭髪と前記仮想対象者の頭髪との少なくとも１つの相違を検出する工程と、前記情報処理装置が、検出された前記相違に関する情報を表示する工程とを有する方法である。 A first aspect of the present invention is a method executed by an information processing device for assisting a practitioner in adjusting a hair style of a subject, wherein the information processing device uses a virtual hair style having an ideal hair style of the subject. a step of displaying a virtual subject image including the subject's head; determining, based on the image, the characteristics of the subject's hair regarding at least one of hair color, hair length, hair thickness, hair volume, and hair flow; comparing the characteristics of the hair of the subject to the characteristics of the hair of the virtual subject appearing in the image of the virtual subject, and based on the result of the comparison, the hair of the subject and the virtual subject and the information processing device displaying information about the detected difference.

本発明の第２の態様は、上記第１の態様に係る方法の各工程を実行する手段を備えた情報処理装置である。 A second aspect of the present invention is an information processing apparatus comprising means for executing each step of the method according to the first aspect.

本発明の第３の態様は、施術者による対象者の頭髪スタイルの調整を支援する情報処理装置であって、処理部と、前記処理部が実行可能な命令を含むプログラムを記憶した記憶部とを有し、前記プログラムが、上記第１の態様に係る方法の各工程を前記処理部に実行させる前記命令を含む、情報処理装置である。 A third aspect of the present invention is an information processing device for assisting a practitioner in adjusting a hair style of a subject, comprising: a processing unit; and a storage unit storing a program including instructions executable by the processing unit. and wherein the program includes the instruction for causing the processing unit to execute each step of the method according to the first aspect.

本発明の第４の態様は、コンピュータが実行可能な命令を含むプログラムであって、上記第１の態様に係る方法の各工程を前記コンピュータに実行させる前記命令を含んだプログラムである。 A fourth aspect of the present invention is a program comprising computer-executable instructions, the program comprising the instructions for causing the computer to execute each step of the method according to the first aspect.

本発明によれば、施術者が対象者の頭髪スタイルを調整する場合に、対象者の理想の頭髪スタイルが得られ易くなるように支援する方法、プログラム及び情報処理装置を提供できる。 Advantageous Effects of Invention According to the present invention, it is possible to provide a method, a program, and an information processing device that assist a practitioner to easily obtain an ideal hair style for a subject when the practitioner adjusts the subject's hair style.

図１は、本実施形態に係るシステムの構成の一例を示す図である。FIG. 1 is a diagram showing an example of the configuration of a system according to this embodiment. 図２Ａは、対象者情報に含まれる情報を説明するための図である。図２Ｂは、仮想対象者モデル関連情報に含まれる情報を説明するための図である。FIG. 2A is a diagram for explaining information included in subject information. FIG. 2B is a diagram for explaining information included in the virtual subject model related information. 図３は、本実施形態に係る情報処理装置の構成の一例を示す図である。FIG. 3 is a diagram showing an example of the configuration of the information processing apparatus according to this embodiment. 図４は、第１の実施形態に係る頭髪スタイル調整支援方法の一例を説明するためのフローチャートである。FIG. 4 is a flowchart for explaining an example of a hair style adjustment support method according to the first embodiment. 図５Ａ及び図５Ｂは、対象者用表示部の画面の一例を示す図である。5A and 5B are diagrams showing examples of screens of the subject display unit. 図６は、施術者用表示部の画面の一例を示す図である。FIG. 6 is a diagram showing an example of a screen of the operator's display unit. 図７は、第２の実施形態に係る頭髪スタイル調整支援方法の一例を説明するためのフローチャートである。FIG. 7 is a flowchart for explaining an example of a hair style adjustment support method according to the second embodiment. 図８Ａ及び図８Ｂは、対象者用表示部の画面の一例を示す図である。8A and 8B are diagrams showing examples of screens of the subject display unit. 図９は、第３の実施形態に係る情報処理装置の構成の一例を示す図である。FIG. 9 is a diagram illustrating an example of the configuration of an information processing apparatus according to the third embodiment; 図１０は、第３の実施形態に係る頭髪スタイル調整支援方法の一例を説明するためのフローチャートである。FIG. 10 is a flowchart for explaining an example of a hair style adjustment support method according to the third embodiment. 図１１は、仮想３次元空間に配置された仮想対象者モデルと仮想カメラを説明するための図である。FIG. 11 is a diagram for explaining a virtual subject model and a virtual camera arranged in a virtual three-dimensional space. 図１２は、第４の実施形態に係る頭髪スタイル調整支援方法の一例を説明するためのフローチャートである。FIG. 12 is a flowchart for explaining an example of a hair style adjustment support method according to the fourth embodiment. 図１３Ａ及は、仮想３次元空間に配置された仮想対象者モデルと仮想カメラを説明するための図である。図１３Ｂは、仮想３次元空間に配置された対象者モデルと仮想カメラを説明するための図である。FIG. 13A and FIG. 13A are diagrams for explaining a virtual subject model and a virtual camera arranged in a virtual three-dimensional space. FIG. 13B is a diagram for explaining the target person model and the virtual camera arranged in the virtual three-dimensional space. 図１４Ａ～図１４Ｃは、対象者用表示部の画面の一例を示す図である。14A to 14C are diagrams showing examples of screens of the subject display section. 図１５は、第５の実施形態における対象者用表示部の画面の一例を示す図である。FIG. 15 is a diagram showing an example of the screen of the subject display section in the fifth embodiment.

以下、本発明の実施形態を図面に基づいて説明する。なお、以下の説明では、同一の部材には同一の符号を付し、一度説明した部材については適宜その説明を省略する。 BEST MODE FOR CARRYING OUT THE INVENTION An embodiment of the present invention will be described below with reference to the drawings. In the following description, the same members are denoted by the same reference numerals, and the description of members that have already been described will be omitted as appropriate.

＜第１の実施形態＞
図１は、本実施形態に係るシステムの構成の一例を示す図である。図１の例に示すシステムは、インターネットなどの通信ネットワーク９を介して互いに通信可能なサーバ１と情報処理装置３を有する。 <First embodiment>
FIG. 1 is a diagram showing an example of the configuration of a system according to this embodiment. The system shown in the example of FIG. 1 has a server 1 and an information processing device 3 that can communicate with each other via a communication network 9 such as the Internet.

（サーバ１）
サーバ１は、ウィッグや増毛術などによって頭髪に関する顧客の課題を解決するサービスを提供する事業者により運営される装置である。サーバ１は、顧客（以下、「対象者」とも呼ばれる。）に関する各種の情報の管理や、マーケティング戦略の参考になる顧客情報の分析（成約率、定着率の分析など）を行う。またサーバ１は、顧客情報を分析して得られたデータから、成約率及び定着率の向上に役立つ施策を判定する処理、顧客と担当者（接客の担当者、施術を担当する施術者）との相性を判定して顧客ごとに適切な担当者を判定する処理などを行う。サーバ１は、これらの分析処理や判定処理において１以上の機械学習モデルを用いてもよい。 (server 1)
The server 1 is a device operated by a business operator that provides a service for solving customers' problems related to hair using wigs, hair extensions, and the like. The server 1 manages various types of information about customers (hereinafter also referred to as "targets") and analyzes customer information that serves as a reference for marketing strategies (contract rate, retention rate, etc.). In addition, the server 1, from the data obtained by analyzing the customer information, processes to determine measures useful for improving the contract rate and retention rate, It performs processing such as determining the compatibility of each customer and determining the appropriate person in charge for each customer. The server 1 may use one or more machine learning models in these analysis processes and judgment processes.

（記憶装置２）
記憶装置２は、顧客（対象者）に関する種々の情報を記憶する。サーバ１と記憶装置２は、任意の通信路（ＬＡＮ、専用回線網、インターネットなど）を介して通信可能である。例えば記憶装置２は、複数の装置からのアクセスを受け付ける１以上のファイルサーバや１以上のデータベースサーバなどに含まれていてもよいし、サーバ１のみアクセス可能な専用の１以上の記憶装置でもよい。図１の例において、記憶装置２は、対象者情報２１と、仮想対象者モデル２２と、仮想対象者モデル関連情報２３を記憶する。 (storage device 2)
The storage device 2 stores various information regarding customers (target persons). The server 1 and the storage device 2 can communicate via any communication path (LAN, leased line network, Internet, etc.). For example, the storage device 2 may be included in one or more file servers or one or more database servers that accept access from a plurality of devices, or may be one or more dedicated storage devices accessible only by the server 1. . In the example of FIG. 1 , the storage device 2 stores subject information 21 , a virtual subject model 22 , and virtual subject model related information 23 .

対象者情報２１は、対象者（顧客）に関する各種の情報を含んでおり、１つの対象者情報２１が一人の対象者に対応する。対象者情報２１は、図２Ａの例に示すように、以下の情報の少なくとも一部を含む。
・個々の対象者を識別する情報（対象者ＩＤ）
・個人情報（名前、住所、連絡先など）
・対象者の行動に関する履歴情報（ウェブサイトのアクセス履歴、来店の履歴、商品・サービスの購入履歴など）
・対象者の外観に関する特徴情報（顔の特徴、頭髪の特徴）
・対象者の外観に影響を与え得る属性情報（性別、年齢、身長、体型、職業、学歴、趣味、ファッションに関する好みなど）
・対象者に関して保存されている３次元モデルを識別するための情報（後述する仮想対象者モデルＩＤなど） The target person information 21 includes various types of information about the target person (customer), and one target person information 21 corresponds to one target person. The target person information 21 includes at least part of the following information, as shown in the example of FIG. 2A.
・Information that identifies individual subjects (subject ID)
・Personal information (name, address, contact information, etc.)
・History information on the behavior of the target (website access history, store visit history, product/service purchase history, etc.)
・Feature information on the subject's appearance (facial features, hair features)
・Attribute information that can affect the appearance of the subject (gender, age, height, body type, occupation, educational background, hobbies, fashion preferences, etc.)
・Information for identifying the three-dimensional model stored for the subject (virtual subject model ID, etc., which will be described later)

仮想対象者モデル２２は、対象者にとっての理想の頭髪スタイルを持つ仮想的な対象者（仮想対象者）の頭部の３次元モデルである。仮想対象者モデル２２は、例えば、予め準備された複数の仮想対象者モデル２２の中から自分の理想に近いものとして対象者が選択したものでもよいし、３次元モデルの作成や編集が可能な所定のソフトウェアを用いて対象者が自ら作成したものでもよいし、頭髪に関する対象者へのヒアリングの結果に基づいて担当者が作成若しくは選択し、対象者が了承したものでもよい。 The virtual subject model 22 is a three-dimensional model of the head of a virtual subject (virtual subject) having an ideal hair style for the subject. The virtual subject model 22 may be, for example, one selected by the subject from a plurality of virtual subject models 22 prepared in advance as being close to his/her own ideal, or it is possible to create and edit a three-dimensional model. It may be created by the subject himself/herself using predetermined software, or may be created or selected by the person in charge based on the results of interviews with the subject regarding the hair and approved by the subject.

仮想対象者モデル関連情報２３は、仮想対象者モデル２２に対応付けられ情報であり、図２Ｂに示すように、以下の情報の少なくとも一部を含む。
・個々の仮想対象者モデルを識別する情報（仮想対象者モデルＩＤ）
・仮想対象者の頭髪スタイルに関する情報（頭髪スタイルの分類など）
・対象者の外観に関する特徴情報（顔の特徴、頭髪の特徴）
・対象者の外観に影響を与え得る属性情報（性別、年齢、身長、体型など） The virtual subject model related information 23 is information associated with the virtual subject model 22, and includes at least part of the following information as shown in FIG. 2B.
・Information that identifies each virtual subject model (virtual subject model ID)
・Information about the hair style of the virtual target (classification of hair style, etc.)
・Feature information on the subject's appearance (facial features, hair features)
・Attribute information that may affect the appearance of the subject (gender, age, height, body type, etc.)

なお、仮想対象者モデル関連情報２３は、仮想対象者の頭髪に関する特徴情報として、例えば髪の色、髪の長さ、髪の太さ、毛量、毛流などの情報を含んでいてもよい。また仮想対象者モデル関連情報２３は、頭部の表面を区分する複数の領域の各々について、頭髪に関するこれらの特徴情報を含んでいてもよい。 Note that the virtual subject model related information 23 may include information such as hair color, hair length, hair thickness, hair volume, hair flow, etc., as characteristic information about the virtual subject's hair. . The virtual subject model-related information 23 may also include these feature information regarding the hair for each of a plurality of regions that divide the surface of the head.

（情報処理装置３）
情報処理装置３は、施術者による対象者の頭髪スタイルの調整を支援する処理を行う。例えば、施術者は、対象者にウィッグを装着させた状態でカットやヘアセットなどを行うことにより、対象者の頭髪スタイルを調整する。情報処理装置３は、この作業において施術者が対象者の頭髪スタイルを仮想対象者の頭髪スタイルへ近づけ易くなるように支援する処理を行う。 (Information processing device 3)
The information processing device 3 performs processing for assisting the operator in adjusting the hair style of the subject. For example, the practitioner adjusts the subject's hair style by cutting or setting the subject while the subject is wearing the wig. In this work, the information processing device 3 performs a process of assisting the practitioner to easily bring the hair style of the target person closer to the hair style of the virtual target person.

情報処理装置３は、例えば図３に示すように、通信部３１と、記憶部３２と、処理部３３と、入力部３４と、対象者用表示部３５と、施術者用表示部３６と、カメラ３７を有する。 For example, as shown in FIG. 3, the information processing device 3 includes a communication unit 31, a storage unit 32, a processing unit 33, an input unit 34, a subject display unit 35, a practitioner display unit 36, It has a camera 37 .

通信部３１は、通信ネットワーク９を介して他の装置（サーバ１など）と通信を行う。通信部３１は、例えばイーサネット（登録商標）や無線ＬＡＮなどの所定の通信規格に準拠して通信を行う装置（ネットワークインターフェースカードなど）を含む。 The communication unit 31 communicates with other devices (such as the server 1 ) via the communication network 9 . The communication unit 31 includes a device (such as a network interface card) that performs communication in compliance with a predetermined communication standard such as Ethernet (registered trademark) or wireless LAN.

入力部３４は、ユーザの操作に応じた指示やその他の情報を処理部３３に入力する。例えば入力部３４は、タッチパネル、タッチパッド、キーボード、マウス、ボタン、スイッチなどの入力機能を備えた機器を少なくとも１つ含む。 The input unit 34 inputs instructions and other information to the processing unit 33 according to the user's operation. For example, the input unit 34 includes at least one device with an input function such as a touch panel, touch pad, keyboard, mouse, button, switch, or the like.

対象者用表示部３５は、対象者向けの映像を表示する装置であり、例えば施術者によって対象者の頭髪スタイルの調整が行われているときに、対象者の頭髪スタイルと比較される仮想対象者の画像を表示する。対象者用表示部３５は、例えば液晶ディスプレイ、有機ＥＬディスプレイ、プロジェクタなど、処理部３３において生成される映像信号に応じた映像を表示する任意の表示機器を含む。 The target person display unit 35 is a device for displaying images for the target person. display the person's image. The subject display unit 35 includes any display device, such as a liquid crystal display, an organic EL display, or a projector, which displays an image according to the image signal generated by the processing unit 33 .

施術者用表示部３６は、施術者向けの映像を表示する装置であり、例えば、施術者によって対象者の頭髪スタイルの調整が行われているときに、対象者の頭髪と仮想対象者の頭髪との相違に関する情報などを表示する。施術者用表示部３６は、例えば液晶ディスプレイ、有機ＥＬディスプレイ、プロジェクタなど、処理部３３において生成される映像信号に応じた映像を表示する任意の表示機器を含む。施術者用表示部３６は、施術者の頭部に装着可能なウェアラブル装置のディスプレイでもよい。 The practitioner display unit 36 is a device that displays an image for the practitioner. Display information about differences from . The operator's display unit 36 includes any display device, such as a liquid crystal display, an organic EL display, a projector, etc., that displays an image according to the image signal generated by the processing unit 33 . The operator display unit 36 may be a display of a wearable device that can be worn on the operator's head.

カメラ３７は、対象者を撮影してその撮影画像のデータを出力する装置であり、例えばＣＣＤ（charge coupled device）などの撮像素子、撮像素子に光を導く光学系、撮像素子で得られた画像信号を処理する画像処理装置などを含む。 The camera 37 is a device that photographs a subject and outputs the data of the photographed image. It includes an image processing device that processes signals.

またカメラ３７は、対象物までの距離（奥行き）に関する情報を取得可能なセンサ（測距センサ）含んでもよく、対象物の撮影画像とともに対象物までの距離の情報を取得してもよい。測距センサは、例えば、対象物へ照射した光と対象物からの反射光とに基づいて距離を測定するＬｉＤＡＲ（light detection and ranging）方式のセンサでもよいし、２つの撮像素子で同時に撮像された画像の視差の情報に基づいて対象物までの距離を測定するステレオカメラ方式のセンサでもよい。 The camera 37 may also include a sensor (distance measuring sensor) capable of acquiring information on the distance (depth) to the object, and may acquire information on the distance to the object together with the photographed image of the object. The ranging sensor may be, for example, a LiDAR (light detection and ranging) sensor that measures the distance based on the light emitted to the object and the reflected light from the object, or may be imaged by two imaging elements at the same time. A stereo camera type sensor that measures the distance to the object based on the parallax information of the captured image may also be used.

なおカメラ３７は、対象者が施術中に座る位置に対して常に固定された場所に設置されていてもよいし、施術者や対象者が任意に移動できるようになっていてもよい。例えばカメラ３７は、施術者の頭部に装着可能なウェアラブル装置に取り付けられていてもよく、その場合、施術者の目線と概ね等しい方向を撮影するように姿勢が設定されていてもよい。 Note that the camera 37 may be installed at a position that is always fixed relative to the position where the subject sits during the treatment, or may be arbitrarily moved by the practitioner or the subject. For example, the camera 37 may be attached to a wearable device that can be worn on the operator's head, and in that case, the camera 37 may be set so as to capture images in a direction substantially equal to the operator's line of sight.

記憶部３２は、処理部３３において実行可能な命令を含む１以上のプログラム３２１や、処理部３３による処理の過程で一時的に保存されるデータ、処理部３３の処理に利用されるデータ、処理部３３の処理の結果として得られたデータなどを記憶する。記憶部３２は、例えば、主記憶装置（ＲＡＭ、ＲＯＭなど）と補助記憶装置（フラッシュメモリ、ＳＳＤ、ハードディスク、メモリカード、光ディスクなど）を含んでよい。記憶部３２は、１つの記憶装置から構成されてもよいし、複数の記憶装置から構成されてもよい。記憶部３２が複数の記憶装置から構成される場合、各記憶装置は、コンピュータのバスや他の任意の通信手段を介して処理部３３と接続されてよい。 The storage unit 32 stores one or more programs 321 including instructions executable by the processing unit 33, data temporarily stored during processing by the processing unit 33, data used for processing by the processing unit 33, and processing. Data obtained as a result of the processing of the unit 33 and the like are stored. The storage unit 32 may include, for example, a main storage device (RAM, ROM, etc.) and an auxiliary storage device (flash memory, SSD, hard disk, memory card, optical disk, etc.). The storage unit 32 may be configured from one storage device, or may be configured from a plurality of storage devices. When the storage unit 32 is composed of a plurality of storage devices, each storage device may be connected to the processing unit 33 via a computer bus or any other means of communication.

処理部３３は、情報処理装置３の全体的な動作を統括的に司り、施術者による対象者の頭髪スタイルの調整を支援する所定の情報処理を実行する。処理部３３は、例えば、記憶部３２に格納された１以上のプログラム３２１の命令に応じて処理を実行する１以上のプロセッサ（ＣＰＵ（central processing unit）、ＭＰＵ（micro-processing unit）、ＤＳＰ（digital signal processor）など）を含む。処理部３３は、記憶部３２に記憶される１以上のプログラム３２１の命令を１以上のプロセッサが実行することにより、コンピュータとして動作する。 The processing unit 33 controls the overall operation of the information processing device 3 and executes predetermined information processing to assist the practitioner in adjusting the hair style of the subject. The processing unit 33 includes, for example, one or more processors (CPU (central processing unit), MPU (micro-processing unit), DSP ( digital signal processors), etc.). The processing unit 33 operates as a computer when one or more processors execute instructions of one or more programs 321 stored in the storage unit 32 .

処理部３３は、特定の機能を実現するように構成された１つ以上の専用のハードウェア（ＡＳＩＣ（application specific integrated circuit）、ＦＰＧＡ（field-programmable gate array）など）を含んでもよい。この場合、処理部３３は、本実施形態において説明する全ての処理をコンピュータにおいて実行してもよいし、少なくとも一部の処理を専用のハードウェアにおいて実行してもよい。 The processing unit 33 may include one or more dedicated hardware (application specific integrated circuit (ASIC), field-programmable gate array (FPGA), etc.) configured to implement specific functions. In this case, the processing unit 33 may execute all the processes described in this embodiment in a computer, or may execute at least part of the processes in dedicated hardware.

プログラム３２１は、例えばコンピュータ読み取り可能な記録媒体（光ディスク、メモリカード、ＵＳＢメモリ、その他の非一時的な有形の媒体）に記録されていてもよい。処理部３３は、そのような記録媒体に記録された１以上のプログラム３２１の少なくとも一部を不図示の記録媒体読み取り装置（光ディスク装置など）やインターフェース装置（ＵＳＢインターフェース）により読み込んで、記憶部３２に書き込んでもよい。あるいは処理部３３は、通信ネットワーク９に接続される他の装置から通信部３１により１以上のプログラム３２１の少なくとも一部をダウンロードして、記憶部３２に書き込んでもよい。プログラム３２１は、頭髪スタイルの調整を支援する後述の処理の少なくとも一部を処理部３３において実行させるプログラムを含む。 The program 321 may be recorded on, for example, a computer-readable recording medium (optical disk, memory card, USB memory, other non-temporary tangible medium). The processing unit 33 reads at least part of one or more programs 321 recorded on such a recording medium by a recording medium reading device (such as an optical disk device) or an interface device (USB interface) (not shown), and stores the program 321 in the storage unit 32. can be written to. Alternatively, the processing unit 33 may download at least a part of one or more programs 321 from another device connected to the communication network 9 through the communication unit 31 and write the downloaded program 321 to the storage unit 32 . The program 321 includes a program that causes the processing unit 33 to execute at least a part of the later-described processing for supporting hair style adjustment.

（頭髪スタイルの調整の支援方法）
図４は、第１の実施形態に係る頭髪スタイル調整支援方法の一例を説明するためのフローチャートであり、情報処理装置３において実行される処理の各工程を示す。
施術者によって対象者の頭髪スタイルの調整が行われているとき、情報処理装置３の処理部３３がカメラ３７を起動して対象者の撮影を開始し、カメラ３７が撮影した対象者の撮影画像を取得する（ＳＴ１００）。また処理部３３は、対象者の理想の頭髪スタイルを持つ仮想対象者モデル２２をサーバ１に要求し、記憶装置２に記憶された仮想対象者モデル２２をサーバ１から取得する（ＳＴ１０５）。 (Method of Supporting Adjustment of Hair Style)
FIG. 4 is a flowchart for explaining an example of a hair style adjustment support method according to the first embodiment, showing each step of processing executed by the information processing device 3. As shown in FIG.
When the hair style of the subject is being adjusted by the practitioner, the processing unit 33 of the information processing device 3 activates the camera 37 to start photographing the subject, and the photographed image of the subject photographed by the camera 37 is displayed. (ST100). The processing unit 33 also requests the virtual subject model 22 having the subject's ideal hair style from the server 1, and acquires the virtual subject model 22 stored in the storage device 2 from the server 1 (ST105).

処理部３３は、サーバ１から取得した仮想対象者モデル２２に基づいて、仮想対象者の頭部を含んだ仮想対象者画像を生成する（ＳＴ１２０）。仮想対象者画像は、図１１に示すように、仮想的な３次元空間（仮想３次元空間）に置かれた仮想対象者モデル２２を、仮想的なカメラ（仮想カメラ６）で撮影した場合に得られる写真に相当する２次元の画像である。処理部３３は、この仮想カメラ６の位置、撮影方向及び姿勢を設定するカメラ設定指示を入力部３４において入力する。処理部３３は、カメラ設定指示を入力した場合、カメラ設定指示が指示する位置、撮影方向及び姿勢に設定された仮想カメラ６により仮想対象者モデル２２を撮影した場合の画像を仮想対象者画像として生成する。従って対象者は、カメラ設定指示を利用することにより、所望の方向から仮想対象者モデル２２を見た仮想対象者画像を生成させることが可能となる。 The processing unit 33 generates a virtual subject image including the head of the virtual subject based on the virtual subject model 22 acquired from the server 1 (ST120). As shown in FIG. 11, the virtual subject image is obtained by photographing a virtual subject model 22 placed in a virtual three-dimensional space (virtual three-dimensional space) with a virtual camera (virtual camera 6). It is a two-dimensional image corresponding to the resulting photograph. The processing unit 33 inputs a camera setting instruction for setting the position, shooting direction and attitude of the virtual camera 6 through the input unit 34 . When a camera setting instruction is input, the processing unit 33 captures an image of the virtual subject model 22 with the virtual camera 6 set to the position, shooting direction, and posture indicated by the camera setting instruction as a virtual subject image. Generate. Therefore, by using the camera setting instruction, the subject can generate a virtual subject image of the virtual subject model 22 viewed from a desired direction.

情報処理装置３の処理部３３は、仮想対象者モデル２２に基づく仮想対象者画像が生成されると、この生成された仮想対象者画像を対象者用表示部３５において表示する（ＳＴ１４５）。このとき、処理部３３は、カメラ３７が撮影した対象者の撮影画像と仮想対象者画像とを例えば図５Ａに示すように並べて表示する。図５Ａに示す対象者用表示部３５の画面Ａ１では、対象者の撮影画像Ａ１１の隣に仮想対象者画像Ａ１２が表示される。 When the virtual subject image based on the virtual subject model 22 is generated, the processing section 33 of the information processing device 3 displays the generated virtual subject image on the subject display section 35 (ST145). At this time, the processing unit 33 displays the captured image of the target person captured by the camera 37 and the virtual target person image side by side, for example, as shown in FIG. 5A. On the screen A1 of the subject display unit 35 shown in FIG. 5A, a virtual subject image A12 is displayed next to the captured image A11 of the subject.

あるいは、処理部３３は、図５Ｂに示す対象者用表示部３５の画面Ａ２のように、カメラ３７が撮影した対象者の撮影画像と仮想対象者画像とを重ねて表示してもよい。図５Ｂの例では、対象者の撮影画像Ａ２１に仮想対象者画像Ａ２２の頭髪部分が重ねて表示されている。例えば、処理部３３は、カメラ３７の撮影画像において対象者の頭部が位置する範囲を画像認識処理により特定して、その範囲に仮想対象者モデル２２の頭髪の部分のみを適当な透明度で固定表示する。この状態で、対象者が、自らの頭髪と仮想対象者モデル２２の頭髪部分とが重なるように頭の位置を微調整することにより、図５Ｂに示すように対象者と仮想対象者の頭髪が重なった画像を表示させることができる。 Alternatively, the processing unit 33 may display the image of the subject captured by the camera 37 and the virtual subject image in a superimposed manner, like the screen A2 of the subject display unit 35 shown in FIG. 5B. In the example of FIG. 5B, the hair portion of the virtual subject image A22 is displayed superimposed on the captured image A21 of the subject. For example, the processing unit 33 identifies the range in which the subject's head is located in the captured image of the camera 37 by image recognition processing, and fixes only the hair portion of the virtual subject model 22 to that range with appropriate transparency. indicate. In this state, the subject finely adjusts the position of the head so that the subject's hair overlaps the hair of the virtual subject model 22, so that the subject and the virtual subject's hair are aligned as shown in FIG. 5B. Overlapping images can be displayed.

また、情報処理装置３の処理部３３は、ステップＳＴ１５５～ＳＴ１７０において、施術者用表示部３６に表示させる施術者用の情報を取得する処理を行う。 In steps ST155 to ST170, the processing section 33 of the information processing device 3 performs a process of acquiring information for the practitioner to be displayed on the display section 36 for the practitioner.

まず処理部３３は、カメラ３７で撮影された対象者の１以上の撮影画像に含まれる対象者の頭髪の画像に基づいて、対象者の頭髪の特徴を判定する（ＳＴ１５５）。例えば処理部３３は、対象者の髪の色、髪の長さ、髪の太さ、毛量、毛流などの特徴の少なくとも１つを、１以上の撮影画像に基づいて判定する。 First, the processing unit 33 determines the characteristics of the subject's hair based on the image of the subject's hair included in one or more captured images of the subject captured by the camera 37 (ST155). For example, the processing unit 33 determines at least one of characteristics such as the subject's hair color, hair length, hair thickness, hair volume, and hair flow based on one or more captured images.

処理部３３は、頭髪の特徴を判定する場合、例えば撮影画像に含まれる頭髪部分を画像認識処理により識別する。複数の撮影画像が得られる場合、処理部３３は、各撮影画像で識別された頭髪部分を同定して組み合わせることにより、同一の毛髪が連続して表れた画像を構成してもよい。また処理部３３は、識別した頭髪部分の画像から、画像認識処理によって個々の髪の毛（あるいは複数本の髪の毛の束）を更に識別してもよい。処理部３３は、撮影画像から識別した頭髪部分、個々の髪の毛、髪の束などの画像に基づいて、上述した頭髪の特徴（髪の色、髪の長さ、髪の太さ、毛量、毛流など）を判定する。 When determining the characteristics of the hair, the processing unit 33 identifies, for example, the hair portion included in the captured image by image recognition processing. When a plurality of photographed images are obtained, the processing unit 33 may identify and combine the hair portions identified in each photographed image to compose an image in which the same hair appears continuously. Further, the processing unit 33 may further identify individual hairs (or bundles of a plurality of hairs) from the identified image of the hair portion by image recognition processing. The processing unit 33 determines the above-described hair characteristics (hair color, hair length, hair thickness, hair volume, hair flow, etc.).

なお、処理部３３は、撮影画像から頭髪部分や個々の髪の毛、髪の束などを識別する処理において、任意の機械学習アルゴリズムにより生成された学習済モデルを用いてよい。すなわち、処理部３３は、与えられた画像から画像中の頭髪部分や個々の髪の毛、髪の束などを識別するように生成された学習済モデルに対して、カメラ３７が撮像した対象者の撮影画像を適用することにより、撮影画像における頭髪部分や個々の髪の毛、髪の束などを識別してよい。
また処理部３３は、頭髪部分の画像や個々の髪の毛の画像や髪の束の画像に基づいて髪の特徴を判定する処理においても、学習済モデルを用いてよい。すなわち、処理部３３は、与えられた頭髪の画像から頭髪の特徴を判定するように生成された学習済モデルに対して、撮影画像から識別された頭髪部分の画像や、個々の髪の毛の画像、髪の束の画像などを適用することにより、撮影画像に表れた頭髪の特徴を判定してもよい。
このような学習済モデルの生成に用いる機械学習アルゴリズムは任意でよく、例えばニューラルネットワーク、サポートベクターマシン、線形回帰、ロジスティック回帰、決定木、ランダムフォレスト、勾配ブースティングなどの公知のアルゴリズムを用いることができる。 Note that the processing unit 33 may use a learned model generated by an arbitrary machine learning algorithm in the process of identifying hair portions, individual hairs, hair bundles, and the like from the captured image. That is, the processing unit 33 captures the image of the subject captured by the camera 37 with respect to the trained model generated so as to identify the hair portions, individual hairs, bundles of hair, etc. in the image from the given image. By applying the image, hair portions, individual hairs, hair strands, etc. in the captured image may be identified.
The processing unit 33 may also use the learned model in the process of determining the characteristics of the hair based on the image of the hair portion, the image of each individual hair, or the image of the bundle of hair. That is, the processing unit 33 applies the image of the hair portion identified from the photographed image, the image of the individual hair, and the The characteristics of the hair appearing in the captured image may be determined by applying an image of a bundle of hair or the like.
Any machine learning algorithm may be used to generate such a trained model. For example, known algorithms such as neural networks, support vector machines, linear regression, logistic regression, decision trees, random forests, and gradient boosting can be used. can.

処理部３３は、上述した頭髪の特徴の判定を、対象者の頭部の表面を区分する複数の領域の各々について行ってもよい。この場合、処理部３３は、頭部における複数の領域を識別する処理においても、学習済モデルを用いてもよい。すなわち、与えられた頭部の画像から頭部の複数の領域を識別するように生成された学習済モデルに対して、対象者の撮影画像を適用することにより、撮影画像に表れた対象者の頭部の表面を区分する複数の領域を識別してもよい。 The processing unit 33 may perform the above-described determination of the hair characteristics for each of a plurality of regions that divide the surface of the subject's head. In this case, the processing unit 33 may use the learned model also in the process of identifying multiple regions in the head. That is, by applying the photographed image of the subject to the trained model generated so as to identify multiple areas of the head from the given head image, Multiple regions may be identified that delineate the surface of the head.

処理部３３は、撮影画像に基づいて対象者の頭髪の特徴が判定されると、この判定された頭髪の特徴と、仮想対象者画像に表れる仮想対象者の頭髪の特徴とを比較し、当該比較の結果に基づいて、対象者の頭髪と仮想対象者の頭髪との少なくとも１つの相違を検出する（ＳＴ１６０）。例えば処理部３３は、仮想対象者モデル２２について予め準備された仮想対象者モデル関連情報２３（図２Ｂ）における仮想対象者の頭髪の特徴に関する特徴情報と、ステップＳＴ１５５で判定された特徴情報とを比較することにより、特徴ごとの相違を検出する。処理部３３は、頭髪の特徴が数値で表される場合、その数値の差（髪色の色差、髪の長さの差、髪の太さの差、単位面積あたりの毛量の差、毛髪の最小曲率半径の差など）を特徴の相違として検出してよい。 When the feature of the subject's hair is determined based on the photographed image, the processing unit 33 compares the determined feature of the hair with the feature of the virtual subject's hair that appears in the virtual subject's image. At least one difference between the subject's hair and the virtual subject's hair is detected based on the result of the comparison (ST160). For example, the processing unit 33 combines the feature information about the hair feature of the virtual subject in the virtual subject model related information 23 (FIG. 2B) prepared in advance for the virtual subject model 22 and the feature information determined in step ST155. The comparison detects feature-wise differences. When the characteristics of the hair are represented by numerical values, the processing unit 33 calculates the difference in the numerical values (color difference in hair color, difference in hair length, difference in hair thickness, difference in amount of hair per unit area, hair ) may be detected as feature differences.

処理部３３は、ステップＳＴ１６０で検出された頭髪の特徴の相違に応じて、相違を解消するのに適した施術手段を判定する（ＳＴ１６５）。例えば処理部３３は、髪の長さの差や毛量の差に応じて、頭髪をカットするハサミの種類、カット方法、カットする長さなどを判定する。この施術手段の判定基準は、例えば、特徴の相違を示す数値に応じて予め定められていてもよい。 The processing unit 33 determines a treatment means suitable for eliminating the difference according to the difference in the hair characteristics detected in step ST160 (ST165). For example, the processing unit 33 determines the type of scissors for cutting the hair, the cutting method, the length to be cut, etc., according to the difference in hair length and hair volume. The criterion for this treatment method may be determined in advance according to, for example, numerical values indicating differences in features.

なお処理部３３は、熟練した施術者が選択する施術手段を教師データとして任意の機械学習アルゴリズムにより生成された学習済モデルを用いて、施術手段の判定を行ってもよい。この場合、頭髪の特徴の相違を示す数値と、熟練した施術者が選択する施術手段との相関関係に基づいて、頭髪の特徴の相違を示す数値が与えられた場合に施術手段を判定するように、任意の機械学習アルゴリズムを用いて学習済モデルが予め生成される。処理部３３は、この学習済モデルに対して、ステップＳＴ１６０で検出された特徴情報の相違を示す数値を適用することにより、施術手段を判定する。 Note that the processing unit 33 may determine the treatment method using a trained model generated by an arbitrary machine learning algorithm using the treatment method selected by a skilled practitioner as teacher data. In this case, based on the correlation between the numerical value indicating the difference in the hair characteristics and the treatment method selected by the skilled practitioner, the treatment method is determined when the numerical value indicating the difference in the hair characteristics is given. First, a trained model is generated in advance using any machine learning algorithm. The processing unit 33 determines the treatment method by applying a numerical value indicating the difference in the feature information detected in step ST160 to this learned model.

また処理部３３は、ステップＳＴ１６０で検出された頭髪の特徴の相違に応じて、仮想対象者の頭髪が対象者の頭髪において再現された度合を示す再現度を取得する（ＳＴ１７０）。例えば処理部３３は、頭髪の特徴ごとに得られた特徴の相違を示す数値に基づいて、特徴の相違が小さいほど再現の度合いが高いことを示すように、予め定めた数式などに基づいて再現度を取得する。処理部３３は、頭髪の特徴ごとに再現度を取得してもよいし、全ての特徴の相違に基づいた総合的な再現度を取得してもよい。 In addition, the processing unit 33 acquires the degree of reproduction indicating the degree of reproduction of the hair of the virtual subject in the hair of the subject according to the difference in the hair features detected in step ST160 (ST170). For example, the processing unit 33 reproduces data based on a predetermined mathematical formula or the like, based on numerical values indicating differences in features obtained for each feature of hair, so that the smaller the difference in features, the higher the degree of reproduction. Get degrees. The processing unit 33 may acquire the reproducibility for each feature of the hair, or may acquire the overall reproducibility based on the differences in all the features.

情報処理装置３の処理部３３は、ステップＳＴ１６０で検出された頭髪の特徴の相違、ステップＳＴ１６５で判定された施術手段、及び、ステップＳＴ１７０で取得された再現度をそれぞれ含んだ施術者用の情報を施術者用表示部３６において表示する（ＳＴ１７５）。 The processing unit 33 of the information processing device 3 generates information for the practitioner including the differences in the hair characteristics detected in step ST160, the treatment method determined in step ST165, and the degree of reproduction obtained in step ST170. is displayed on the operator display unit 36 (ST175).

図６は、施術者用表示部３６の画面の一例を示す図である。図６に示す画面Ｂ１には、カメラ３７で撮影された対象者の撮影画像Ｂ１１と、仮想対象者画像Ｂ１２とが並んで表示される。対象者の撮影画像Ｂ１１には、ステップＳＴ１６０で検出された特徴の相違を生じている箇所が丸印Ｂ１３によって強調表示表されている。施術者がその丸印Ｂ１３をマウス操作やジェスチャー操作などによって指示すると、指示された丸印Ｂ１３を示す矢印Ｂ１４が表示され、その丸印Ｂ１３に対応する特徴の相違に関する情報が、画面Ｂ１の下側の領域Ｂ１５に表示される。領域Ｂ１５には、特徴の相違を解消するのに適した施術手段に関する情報も表示される。また、画面Ｂ１の上側には、仮想対象者の頭髪が対象者において再現された度合いを示す再現度が表示される。 FIG. 6 is a diagram showing an example of the screen of the operator display unit 36. As shown in FIG. On the screen B1 shown in FIG. 6, a photographed image B11 of the subject photographed by the camera 37 and a virtual subject image B12 are displayed side by side. In the photographed image B11 of the subject, the portion where the feature difference detected in step ST160 occurs is highlighted by a circle B13. When the practitioner designates the circle B13 by mouse operation, gesture operation, or the like, an arrow B14 indicating the designated circle B13 is displayed, and information on the difference in features corresponding to the circle B13 is displayed at the bottom of the screen B1. is displayed in the area B15 on the side. The area B15 also displays information on treatment means suitable for eliminating the difference in features. Further, on the upper side of the screen B1, a degree of reproducibility indicating the degree to which the hair of the virtual target person is reproduced in the target person is displayed.

処理部３３は、所定の終了操作が行われるまで（ＳＴ１８０）、ステップＳＴ１２５～ＳＴ１７５の処理を繰り返し、対象者用表示部３５と施術者用表示部３６の画面の表示を更新する。 The processing unit 33 repeats the processing of steps ST125 to ST175 until a predetermined end operation is performed (ST180), and updates the screen displays of the subject display unit 35 and the practitioner display unit 36. FIG.

以上説明したように、本実施形態によれば、対象者の理想の頭髪スタイルを持つ仮想対象者の画像が対象者用表示部３５や施術者用表示部３６において表示されるとともに、仮想対象者の頭髪と対象者の頭髪との相違に関する情報が施術者用表示部３６において表示される。そのため、対象者の頭髪スタイルを調整している施術者は、対象者の理想の頭髪スタイルと、その理想の頭髪スタイルに対する相違とを確認しながら施術を行うことができる。従って、施術者が対象者の頭髪スタイルを調整する場合に、対象者の理想の頭髪スタイルが得られ易くなるように施術者を支援することができる。 As described above, according to the present embodiment, the image of the virtual subject having the subject's ideal hair style is displayed on the subject display unit 35 and the practitioner display unit 36, and the image of the virtual subject is displayed. The information about the difference between the hair of the subject and the hair of the subject is displayed on the operator display section 36 . Therefore, the practitioner who is adjusting the subject's hair style can perform the treatment while confirming the subject's ideal hair style and differences from the ideal hair style. Therefore, when the practitioner adjusts the subject's hair style, it is possible to assist the practitioner so that the subject's ideal hair style can be easily obtained.

また、本実施形態によれば、仮想対象者と対象者との頭髪の相違を解消するのに適した施術手段が施術者用表示部３６において表示されるため、施術者は、対象者の頭髪スタイルを理想の頭髪スタイルへ近づける施術を行い易くなる。 Further, according to the present embodiment, since the treatment means suitable for eliminating the difference in the hair between the virtual target and the target is displayed on the display unit 36 for the operator, the operator can It becomes easier to perform a treatment that brings the style closer to the ideal hair style.

また、本実施形態によれば、仮想対象者の頭髪が対象者の頭髪において再現された度合を示す再現度が施術者用表示部３６において表示されるため、施術者は、対象者の頭髪スタイルが理想の頭髪スタイルへ近づいたか否かを見極め易くなる。 Further, according to the present embodiment, the degree of reproduction indicating the degree to which the hair of the virtual subject is reproduced in the hair of the subject is displayed on the display unit 36 for the practitioner. It becomes easier to determine whether or not the hair style has approached the ideal hair style.

また、本実施形態によれば、対象者の撮影画像と仮想対象者画像とが対象者用表示部３５において並べて表示されたり、重ねて表示されたりするため、対象者や施術者が、対象者の頭髪スタイルが理想に近づいているかどうかを明確に把握できる。これにより、対象者が少しでも違和感を覚えた場合には、その違和感を施術者に対して具体的に示すことが可能になるため、施術者と対象者との意思疎通が非常に容易になるとともに、理想の頭髪スタイルとの乖離による対象者の不満を大幅に減らすことができる。 Further, according to the present embodiment, the captured image of the subject and the virtual subject image are displayed side by side or displayed in an overlapping manner on the subject display unit 35, so that the subject or the practitioner can You can clearly see whether your hair style is closer to your ideal. As a result, if the subject feels even a little uncomfortable, it is possible to specifically show the discomfort to the practitioner, so communication between the practitioner and the subject is greatly facilitated. At the same time, it is possible to greatly reduce the dissatisfaction of the subject due to the deviation from the ideal hair style.

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。
図７は、第２の実施形態に係る頭髪スタイル調整支援方法の一例を説明するためのフローチャートである。図７に示すフローチャートは、既に説明した図４に示すフローチャートにおけるステップＳＴ１２０をステップＳＴ１２５及びＳＴ１３０に置き換えたものであり、他のステップは図４に示すフローチャートと同じである。また、情報処理装置３の構成は既に説明した図３に示すものと同じである。ここでは、図４に示すフローチャートの処理との相違点を中心に説明する。 <Second embodiment>
Next, a second embodiment of the invention will be described.
FIG. 7 is a flowchart for explaining an example of a hair style adjustment support method according to the second embodiment. The flowchart shown in FIG. 7 is obtained by replacing step ST120 in the already described flowchart shown in FIG. 4 with steps ST125 and ST130, and other steps are the same as the flowchart shown in FIG. The configuration of the information processing device 3 is the same as that shown in FIG. 3 already described. Here, differences from the processing of the flowchart shown in FIG. 4 will be mainly described.

第２の実施形態において、情報処理装置３は、対象者の撮影画像に表れる対象者の頭部の姿勢に合わせて、仮想対象者画像に表れる仮想対象者の頭部の姿勢を変更する。そのために、まず処理部３３は、カメラ３７で撮影された対象者の撮影画像から、ヒトの頭部における所定の複数の部位に対応した対象者の頭部における複数の部位を識別する（ＳＴ１２５）。例えば処理部３３は、対象者の撮影画像から、目、鼻、顎などの頭髪によって隠され難い部位を識別する。 In the second embodiment, the information processing device 3 changes the orientation of the head of the virtual subject appearing in the image of the virtual subject in accordance with the orientation of the head of the subject appearing in the captured image of the subject. For this purpose, first, the processing unit 33 identifies a plurality of parts of the subject's head corresponding to a plurality of predetermined parts of the human head from the photographed image of the subject photographed by the camera 37 (ST125). . For example, the processing unit 33 identifies regions such as the eyes, nose, and chin that are difficult to hide with hair from the photographed image of the subject.

処理部３３は、対象者の頭部における複数の部位（目、鼻、顎など）を特定すると、識別された対象者の複数の部位が撮影画像の中で持つ位置関係と、仮想対象者モデルの複数の部位が仮想対象者画像の中で持つ位置関係とが近似するように、仮想対象者画像を生成する。例えば処理部３３は、対象者の両目、鼻、顎が撮影画像の中で持つ位置関係と、仮想対象者の両目、鼻、顎が仮想対象者画像の中で持つ位置関係とが近似するように、仮想３次元空間における仮想カメラの位置、撮影方向及び姿勢を求めて、その仮想カメラから仮想対象者モデルを撮影した場合に得られる２次元画像を仮想対象者画像として取得する。 After specifying a plurality of parts (eyes, nose, chin, etc.) in the subject's head, the processing unit 33 determines the positional relationship of the identified parts of the subject in the photographed image and the virtual subject model. A virtual subject image is generated so that the positional relationship of the plurality of parts in the virtual subject image approximates. For example, the processing unit 33 is arranged so that the positional relationship between the eyes, nose, and chin of the subject in the photographed image approximates the positional relationship between the eyes, nose, and chin of the virtual subject in the image of the virtual subject. Next, the position, photographing direction and posture of the virtual camera in the virtual three-dimensional space are obtained, and a two-dimensional image obtained when the virtual subject model is photographed from the virtual camera is acquired as the virtual subject image.

図８Ａ及び図８Ｂは、本実施形態に係る情報処理装置３における対象者用表示部３５の画面の一例を示す図である。図８Ａに示す画面Ａ３において、撮影画像Ａ３１－１に表れる対象者は概ね正面方向を向いており、仮想対象者画像Ａ３２－１に表れる仮想対象者も概ね正面方向を向いている。一方、図８Ｂに示す画面Ａ３において、撮影画像Ａ３１－２に表れる対象者は顔を右側に向けており、仮想対象者画像Ａ３２－２に表れる仮想対象者も顔を右側に向けている。 8A and 8B are diagrams showing examples of screens of the subject display unit 35 in the information processing apparatus 3 according to this embodiment. In the screen A3 shown in FIG. 8A, the subject appearing in the photographed image A31-1 is generally facing the front, and the virtual subject appearing in the virtual subject image A32-1 is also generally facing the front. On the other hand, in the screen A3 shown in FIG. 8B, the face of the subject appearing in the photographed image A31-2 is turned to the right, and the face of the virtual subject appearing in the virtual subject image A32-2 is also turned to the right.

このように、本実施形態によれば、撮影画像に表れる対象者の頭部に姿勢に合わせて、仮想対象者画像に表れる仮想対象者の頭部の姿勢も更新され、両者の頭部が同様な姿勢で表示される。従って、対象者の頭髪スタイルと仮想対象者の頭髪スタイルとを見比べ易くすることができる。 As described above, according to the present embodiment, the posture of the head of the virtual subject appearing in the image of the virtual subject is updated in accordance with the posture of the head of the subject appearing in the captured image, and the heads of both are the same. displayed in a pose. Therefore, it is possible to easily compare the target person's hair style and the virtual target person's hair style.

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。
図９は、第３の実施形態に係る情報処理装置３の構成の一例を示す図である。図９に示す情報処理装置３は、図２に示す情報処理装置３と同様の構成を有するとともに、測距センサ３８を有する。 <Third Embodiment>
Next, a third embodiment of the invention will be described.
FIG. 9 is a diagram showing an example of the configuration of the information processing device 3 according to the third embodiment. The information processing device 3 shown in FIG. 9 has the same configuration as the information processing device 3 shown in FIG.

本実施形態において、カメラ３７は対象者に対して移動可能であり、例えば施術者が装着するウェアラブル装置などに取り付けられている。測距センサ３８は、カメラ３７を含んだ一定範囲内にある物体の表面までの距離を点群情報として計測する。測距センサ３８は、例えばＬｉＤＡＲ方式のセンサやステレオカメラ方式のセンサを含む。 In this embodiment, the camera 37 is movable with respect to the subject, and is attached to, for example, a wearable device worn by the operator. The ranging sensor 38 measures the distance to the surface of an object within a certain range including the camera 37 as point group information. The ranging sensor 38 includes, for example, a LiDAR sensor or a stereo camera sensor.

図１０は、第３の実施形態に係る頭髪スタイル調整支援方法の一例を説明するためのフローチャートである。図１０に示すフローチャートは、既に説明した図４に示すフローチャートにおけるステップＳＴ１２０をステップＳＴ１３５及びＳＴ１４０に置き換えたものであり、他のステップは図４に示すフローチャートと同じである。ここでは、図４に示すフローチャートの処理との相違点を中心に説明する。 FIG. 10 is a flowchart for explaining an example of a hair style adjustment support method according to the third embodiment. The flowchart shown in FIG. 10 is obtained by replacing step ST120 in the already-described flowchart shown in FIG. 4 with steps ST135 and ST140, and other steps are the same as the flowchart shown in FIG. Here, differences from the processing of the flowchart shown in FIG. 4 will be mainly described.

情報処理装置３の処理部３３は、測距センサ３８において検出された点群情報に基づいて、対象者に対するカメラ３７の位置、撮影方向及び姿勢に関するカメラ情報を取得する（ＳＴ１３５）。例えば処理部３３は、測距センサ３８において検出された点群情報が表す物体の中からカメラ３７に対応する点群情報を識別するとともに、識別されたカメラ３７の点群情報に基づいてカメラ３７の位置と姿勢を判定する。 The processing unit 33 of the information processing device 3 acquires camera information regarding the position, photographing direction and posture of the camera 37 with respect to the subject, based on the point cloud information detected by the distance measuring sensor 38 (ST135). For example, the processing unit 33 identifies the point cloud information corresponding to the camera 37 from among the objects represented by the point cloud information detected by the ranging sensor 38, and based on the identified point cloud information of the camera 37, the camera 37 determine the position and orientation of

本実施形態では、仮想対象者モデルが配置される仮想３次元空間（図１１）において仮想対象者画像を撮影する仮想カメラの位置、撮影方向及び姿勢と、実空間の対象者を撮影するカメラ３７の位置、撮影方向及び姿勢とが所定の対応関係にある場合、対象者が所定の顔の姿勢を保っている状態（例えば、椅子などに座って対象者用表示部３５の画面に正対している状態）で撮影された撮影画像に表れる対象者の顔の姿勢と、仮想対象者画像に表れる前記仮想対象者の顔の姿勢とが近似する。 In this embodiment, in the virtual three-dimensional space (FIG. 11) in which the virtual target person model is arranged, the position, shooting direction, and posture of a virtual camera that takes an image of the virtual target person, and the camera 37 that takes an image of the target person in the real space. When the position, shooting direction, and posture of , have a predetermined correspondence relationship, the subject maintains a predetermined facial posture (for example, sitting in a chair and facing the screen of the display unit 35 for the subject) The posture of the face of the subject appearing in the photographed image taken in the state where the virtual subject is present is similar to the posture of the face of the virtual subject appearing in the image of the virtual subject.

そこで処理部３３は、取得したカメラ情報が示すカメラ３７の位置、撮影方向及び姿勢に対して、上述した所定の対応関係を持つように仮想カメラ６（図１１）の位置、撮影方向及び姿勢を設定し、その仮想カメラ６が仮想対象者モデル２２（図１１）を撮影した場合に得られる画像を仮想対象者画像として生成する（ＳＴ１４０）。 Therefore, the processing unit 33 adjusts the position, shooting direction, and orientation of the virtual camera 6 (FIG. 11) so as to have the above-described predetermined correspondence with the position, shooting direction, and orientation of the camera 37 indicated by the acquired camera information. An image obtained when the virtual camera 6 photographs the virtual subject model 22 (FIG. 11) is generated as a virtual subject image (ST140).

本実施形態によれば、カメラ３７の位置や撮影方向を変えることによって撮影画像における対象者の顔の姿勢が変化すると、この変化に合わせて仮想対象者画像における仮想対象者の顔の姿勢も変化する。これにより、仮想対象者画像に表れる仮想対象者の顔の姿勢と、撮影画像に表れる対象者の顔の姿勢とが近似した状態に保たれる。従って、対象者の頭髪スタイルと仮想対象者の頭髪スタイルとを見比べ易くすることができる。 According to the present embodiment, when the posture of the face of the subject in the captured image changes by changing the position or the shooting direction of the camera 37, the posture of the face of the virtual subject in the image of the virtual subject also changes in accordance with this change. do. As a result, the posture of the face of the virtual subject appearing in the image of the virtual subject and the posture of the face of the subject appearing in the captured image are maintained in a state of approximation. Therefore, it is possible to easily compare the target person's hair style and the virtual target person's hair style.

＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。
図１２は、第４の実施形態に係る頭髪スタイル調整支援方法の一例を説明するためのフローチャートである。図１２に示すフローチャートは、既に説明した図４に示すフローチャートにステップＳＴ１１０及びＳＴ１１５を追加したものであり、他のステップは図４に示すフローチャートと同じである。また、情報処理装置３の構成は既に説明した図３に示すものと同じである。ここでは、図４に示すフローチャートの処理との相違点を中心に説明する。 <Fourth Embodiment>
Next, a fourth embodiment of the invention will be described.
FIG. 12 is a flowchart for explaining an example of a hair style adjustment support method according to the fourth embodiment. The flowchart shown in FIG. 12 is obtained by adding steps ST110 and ST115 to the already explained flowchart shown in FIG. 4, and other steps are the same as the flowchart shown in FIG. The configuration of the information processing device 3 is the same as that shown in FIG. 3 already described. Here, differences from the processing of the flowchart shown in FIG. 4 will be mainly described.

情報処理装置３の処理部３３は、カメラ３７で撮影された対象者の１以上の撮影画像に基づいて、対象者の頭部の３次元モデルである対象者モデル２４を取得する（ＳＴ１１０）。例えば処理部３３は、複数のカメラ３７で対象者を複数の方向から同時に撮影し、各カメラ３７で得られた撮影画像に基づいて対象者モデル２４を取得する。 The processing unit 33 of the information processing device 3 acquires the subject model 24, which is a three-dimensional model of the subject's head, based on one or more captured images of the subject captured by the camera 37 (ST110). For example, the processing unit 33 simultaneously captures images of the target person from multiple directions with a plurality of cameras 37 and acquires the target person model 24 based on the images captured by the respective cameras 37 .

処理部３３は、ステップＳＴ１１０において取得された対象者モデル２４に基づいて、対象者の頭部を含んだ対象者画像を生成する（ＳＴ１１５）。すなわち処理部３３は、図１３Ｂに示すように、仮想３次元空間に配置された対象者モデル２４を仮想３次元空間内の仮想カメラ６により撮影した画像に相当する対象者画像を生成する。処理部３３は、仮想カメラ６の位置、撮影方向及び姿勢を設定するカメラ設定指示が入力された場合、このカメラ設定指示に応じた位置、撮影方向及び姿勢に設定された仮想カメラ６により対象者モデル２４を撮影した画像に相当する対象者画像を生成する。 The processing unit 33 generates a subject image including the subject's head based on the subject model 24 acquired in step ST110 (ST115). That is, as shown in FIG. 13B, the processing unit 33 generates a subject image corresponding to an image of the subject model 24 arranged in the virtual three-dimensional space captured by the virtual camera 6 in the virtual three-dimensional space. When a camera setting instruction for setting the position, shooting direction, and orientation of the virtual camera 6 is input, the processing unit 33 captures the image of the subject using the virtual camera 6 set to the position, shooting direction, and orientation according to the camera setting instruction. A subject image corresponding to the captured image of the model 24 is generated.

また処理部３３は、ステップＳＴ１０５において取得された仮想対象者モデル２２に基づいて、仮想対象者の頭部を含んだ仮想対象者画像を生成する（ＳＴ１２０）。すなわち、処理部３３は、対象者モデル２４と同じ仮想３次元空間において対象者モデル２４が配置された場所と重なる場所に、対象者モデル２４の替わりに配置された対象者モデル２４を、ステップＳＴ１１５と同じ位置、撮影方向及び姿勢に設定された仮想カメラ６によって撮影した画像に相当する仮想対象者画像を生成する。この場合、処理部３３は、図１３Ａと図１３Ｂに示すように、左右方向、前後方向及び上下方向がそれぞれ仮想対象者モデル２２と同じ方向を向くように、仮想対象者モデル２２の姿勢を設定する。また、仮想カメラ６の位置、撮影方向及び姿勢を設定するカメラ設定指示が入力された場合は、対象者画像を生成した場合と同じカメラ設定指示に応じた位置、撮影方向及び姿勢に設定された仮想カメラ６により仮想対象者モデル２２を撮影した画像に相当する仮想対象者画像を生成する。 The processing unit 33 also generates a virtual subject image including the head of the virtual subject based on the virtual subject model 22 acquired in step ST105 (ST120). That is, the processing unit 33 places the subject person model 24 arranged instead of the subject person model 24 in a place overlapping the place where the subject person model 24 is arranged in the same virtual three-dimensional space as the subject person model 24 in step ST115. A virtual target person image corresponding to the image captured by the virtual camera 6 set to the same position, shooting direction and posture as in . In this case, as shown in FIGS. 13A and 13B, the processing unit 33 sets the posture of the virtual target person model 22 so that the horizontal direction, the front-rear direction, and the vertical direction are the same as the virtual target person model 22. do. Further, when a camera setting instruction for setting the position, shooting direction, and orientation of the virtual camera 6 is input, the position, shooting direction, and orientation are set according to the same camera setting instruction as when the target person image is generated. A virtual subject image corresponding to an image of the virtual subject model 22 photographed by the virtual camera 6 is generated.

図１４Ａ～図１４Ｃは、対象者用表示部３５の画面の一例を示す図である。本実施形態に係る情報処理装置３における対象者用表示部３５の画面の一例を示す図である。図１４Ａ～図１４Ｃに示す画面Ａ４では、対象者などが入力するカメラ設定指示に応じて、対象者モデル２４から生成される対象者画像（Ａ４１－１～Ａ４１－３）の顔の向きが変化しているとともに、同じカメラ設定指示に応じて、仮想対象者モデル２２から生成される仮想対象者画像（Ａ４２－１～Ａ４２－３）の顔の向きも変化している。このとき、対象者画像（Ａ４１－１～Ａ４１－３）の顔の向きと仮想対象者画像（Ａ４２－１～Ａ４２－３）の顔の向きとがほぼ同じになっているため、両者の違いを見比べ易くなっている。 14A to 14C are diagrams showing examples of screens of the subject display section 35. FIG. 3 is a diagram showing an example of a screen of a subject display section 35 in the information processing apparatus 3 according to the present embodiment; FIG. On the screen A4 shown in FIGS. 14A to 14C, the face direction of the target person images (A41-1 to A41-3) generated from the target person model 24 changes according to the camera setting instructions input by the target person. At the same time, the face direction of the virtual subject images (A42-1 to A42-3) generated from the virtual subject model 22 is also changed according to the same camera setting instruction. At this time, since the face direction of the target person images (A41-1 to A41-3) and the face direction of the virtual target person images (A42-1 to A42-3) are almost the same, the difference between the two is are easier to compare.

このように、本実施形態によれば、カメラ設定指示を利用して対象者画像に表れる対象者の頭部の向き及び仮想対象者画像に表れる仮想対象者の頭部の向きを変化させることが可能であり、対象者は自分の頭を動かすことなく様々な方向から自分の頭髪と仮想対象者の頭髪を見ることができる。またこのとき、対象者画像に表れる対象者の頭部の向きと仮想対象者画像に表れる仮想対象者の頭部の向きがほぼ同じになるため、対象者の頭髪スタイルと仮想対象者の頭髪スタイルとを見比べ易くすることができる。 As described above, according to the present embodiment, it is possible to change the orientation of the head of the subject appearing in the image of the subject and the orientation of the head of the virtual subject appearing in the image of the virtual subject using the camera setting instruction. It is possible and the subject can see his hair and the virtual subject's hair from different directions without moving his head. Also, at this time, since the direction of the head of the subject appearing in the image of the subject and the direction of the head of the virtual subject appearing in the image of the virtual subject are almost the same, the hair style of the subject and the hair style of the virtual subject can be easily compared with.

＜第５の実施形態＞
次に、本発明の第５の実施形態について説明する。
図１５は、第５の実施形態に係る情報処理装置３における対象者用表示部３５の画面の一例を示す図である。第５の実施形態に係る情報処理装置３では、カメラ３７による対象者の撮影画像が対象者用表示部３５の画面Ａ５に表示されず、その代わりに、対象者用表示部３５の画面Ａ５の前方に配置された鏡３５２に対象者Ｏ１の鏡像Ｍ１が映る。鏡３５２は対象者Ｏ１に面して配置されており、光を部分的に透過する性質を持つ。対象者用表示部３５の画面Ａ５は、対象者Ｏ１側から見て鏡３５２の背後に位置する。対象者用表示部３５は、鏡３５２を介して対象者Ｏ１が視認可能な画像を表示する。情報処理装置３の処理部３３は、この対象者用表示部３５の画面Ａ５において、鏡３５２に映る対象者Ｏ１の鏡像Ｍ１とともに仮想対象者画像Ａ５１を表示する。 <Fifth Embodiment>
Next, a fifth embodiment of the invention will be described.
FIG. 15 is a diagram showing an example of the screen of the subject display section 35 in the information processing apparatus 3 according to the fifth embodiment. In the information processing apparatus 3 according to the fifth embodiment, the image of the subject photographed by the camera 37 is not displayed on the screen A5 of the subject display section 35. Instead, the screen A5 of the subject display section 35 is displayed. A mirror image M1 of the subject O1 is reflected in the mirror 352 placed in front. The mirror 352 is arranged facing the subject O1 and has the property of partially transmitting light. The screen A5 of the subject display unit 35 is located behind the mirror 352 when viewed from the subject O1 side. The subject display unit 35 displays an image that can be visually recognized by the subject O1 through the mirror 352 . The processing unit 33 of the information processing device 3 displays the virtual subject image A51 together with the mirror image M1 of the subject O1 reflected in the mirror 352 on the screen A5 of the subject display unit 35 .

このように、本実施形態によれば、鏡３５２に映った対象者Ｏ１の鏡像Ｍ１と鏡３５２を透過した仮想対象者画像Ａ５１とを見比べることが可能である。これにより、対象者は、施術中において現在の頭髪スタイルと理想の頭髪スタイルとを容易に見比べることができる。 Thus, according to this embodiment, it is possible to visually compare the mirror image M1 of the subject O1 reflected on the mirror 352 and the virtual subject image A51 transmitted through the mirror 352 . This allows the subject to easily compare the current hair style and the ideal hair style during the treatment.

なお、上記に本実施形態およびその適用例を説明したが、本発明はこれらの例に限定されるものではない。例えば、前述の各実施形態またはその適用例に対して、当業者が適宜、構成要素の追加、削除、設計変更を行ったものや、各実施形態の特徴を適宜組み合わせたものも、本発明の要旨を備えている限り、本発明の範囲に包含される。 Although the present embodiment and its application examples have been described above, the present invention is not limited to these examples. For example, those skilled in the art may appropriately add, delete, or change the design of the above-described embodiments or their application examples, or may combine the features of the embodiments as appropriate. As long as it has the gist, it is included in the scope of the present invention.

１…サーバ、２…記憶装置、２１…対象者情報、２２…仮想対象者モデル、２３…仮想対象者モデル関連情報、２４…対象者モデル、３…情報処理装置、３１…通信部、３２…記憶部、３２１…プログラム、３３…処理部、３４…入力部、３５…対象者用表示部、３６…施術者用表示部、３７…カメラ、３８…測距センサ DESCRIPTION OF SYMBOLS 1... Server 2... Storage device 21... Subject information 22... Virtual subject model 23... Virtual subject model related information 24... Subject model 3... Information processing apparatus 31... Communication unit 32... Memory unit 321 Program 33 Processing unit 34 Input unit 35 Subject display unit 36 Practitioner display unit 37 Camera 38 Ranging sensor

Claims

施術者による対象者の頭髪スタイルの調整を支援する情報処理装置が実行する方法であって、
前記情報処理装置が、前記対象者の理想の頭髪スタイルを持つ仮想対象者の頭部を含んだ仮想対象者画像を表示する工程と、
前記情報処理装置が、１以上のカメラで撮影された前記対象者の１以上の撮影画像に含まれる前記対象者の頭髪の画像に基づいて、髪の色、髪の長さ、髪の太さ、毛量及び毛流の少なくとも１つに関する前記対象者の頭髪の特徴を判定する工程と、
前記情報処理装置が、判定された前記対象者の頭髪の前記特徴と、前記仮想対象者画像に表れる前記仮想対象者の頭髪の前記特徴とを比較し、当該比較の結果に基づいて、前記対象者の頭髪と前記仮想対象者の頭髪との少なくとも１つの相違を検出する工程と、
前記情報処理装置が、検出された前記相違に関する情報を表示する工程と
を有する方法。 A method executed by an information processing device that supports adjustment of a subject's hair style by a practitioner,
a step of the information processing device displaying a virtual subject image including the head of the virtual subject having the subject's ideal hair style;
The information processing device determines the hair color, hair length, and hair thickness based on the image of the subject's hair included in one or more captured images of the subject taken by one or more cameras. , determining characteristics of the subject's hair in terms of at least one of hair volume and hair flow;
The information processing device compares the determined feature of the hair of the subject with the feature of the hair of the virtual subject appearing in the virtual subject image, and based on the result of the comparison, the subject detecting at least one difference between a person's hair and said virtual subject's hair;
and the information processing device displaying information about the detected discrepancies.

前記情報処理装置が、検出された前記相違に応じて、前記相違を解消するのに適した施術手段を判定する工程と、
前記情報処理装置が、判定された前記施術手段に関する情報を前記施術者用の表示装置において表示する工程とを有する、
請求項１に記載の方法。 a step in which the information processing device determines a treatment means suitable for resolving the difference according to the detected difference;
the information processing device displaying information regarding the determined treatment means on a display device for the operator;
The method of claim 1.

前記情報処理装置が、検出された前記相違に応じて、前記仮想対象者の頭髪が前記対象者の頭髪において再現された度合を示す再現度を取得する工程を有し、
前記相違に関する情報を表示する工程は、取得した前記再現度を表示することを含む、
請求項１に記載の方法。 The information processing device acquires a degree of reproduction indicating the degree to which the hair of the virtual subject is reproduced in the hair of the subject according to the detected difference,
The step of displaying information about the difference includes displaying the obtained recall.
The method of claim 1.

前記仮想対象者画像を表示する工程は、前記対象者の前記撮影画像と前記仮想対象者画像とを並べて表示すること、又は、前記対象者の前記撮影画像と前記仮想対象者画像との少なくとも一部を重ねて表示することを含む、
請求項１に記載の方法。 The step of displaying the virtual subject image includes displaying the photographed image of the subject and the virtual subject image side by side, or at least one of the photographed image of the subject and the virtual subject image. including superimposing the
The method of claim 1.

前記仮想対象者画像は、前記仮想対象者の頭部の３次元モデルである仮想対象者モデルに基づく画像であり、
前記情報処理装置が、前記対象者の前記撮影画像から、ヒトの頭部における所定の複数の部位に対応した前記対象者の前記頭部における複数の前記部位を識別する工程と、
前記情報処理装置が、識別された前記対象者の複数の前記部位が前記撮影画像の中で持つ位置関係と、前記仮想対象者モデルの複数の前記部位が前記仮想対象者画像の中で持つ位置関係とが近似するように、前記仮想対象者画像を生成する工程とを有する、
請求項４に記載の方法。 The virtual subject image is an image based on a virtual subject model, which is a three-dimensional model of the virtual subject's head,
a step in which the information processing device identifies a plurality of parts of the head of the subject corresponding to a plurality of predetermined parts of the head of the subject from the photographed image of the subject;
The positional relationship of the plurality of parts of the identified subject in the photographed image, and the positions of the plurality of parts of the virtual subject model in the virtual subject image. and generating the virtual subject image such that the relationship is approximated.
5. The method of claim 4.

前記仮想対象者画像は、前記仮想対象者の頭部の３次元モデルである仮想対象者モデルに基づく画像であり、
前記仮想対象者モデルが配置される仮想３次元空間において前記仮想対象者画像を撮影する仮想カメラの位置、撮影方向及び姿勢と、前記対象者を撮影する前記カメラの位置、撮影方向及び姿勢とが所定の対応関係にある場合、前記対象者が所定の顔の姿勢を保っている状態で撮影された前記撮影画像に表れる前記対象者の顔の姿勢と、前記仮想対象者画像に表れる前記仮想対象者の顔の姿勢とが近似し、
前記情報処理装置が、前記対象者に対する前記カメラの位置、撮影方向及び姿勢に関するカメラ情報を取得する工程と、
前記情報処理装置が、取得された前記カメラ情報が示す前記カメラの位置、撮影方向及び姿勢に対して前記所定の対応関係を持つように位置、撮影方向及び姿勢を設定された前記仮想カメラが前記仮想対象者モデルを撮影した場合に得られる画像を、前記仮想対象者画像として生成する工程とを有する、
請求項４に記載の方法。 The virtual subject image is an image based on a virtual subject model, which is a three-dimensional model of the virtual subject's head,
The position, shooting direction and orientation of a virtual camera that shoots the image of the virtual subject in the virtual three-dimensional space in which the virtual subject model is arranged, and the position, shooting direction and posture of the camera that shoots the subject. When there is a predetermined correspondence relationship, the facial posture of the subject appearing in the photographed image taken with the subject maintaining a predetermined facial posture, and the virtual object appearing in the virtual subject image. The posture of the person's face is similar,
a step in which the information processing device acquires camera information regarding the position, shooting direction, and posture of the camera with respect to the subject;
The virtual camera having the position, shooting direction, and orientation set so as to have the predetermined correspondence with the position, shooting direction, and orientation of the camera indicated by the acquired camera information. generating an image obtained when the virtual subject model is photographed as the virtual subject image;
5. The method of claim 4.

前記情報処理装置が、１以上のカメラで撮影された前記対象者の１以上の撮影画像に基づいて、前記対象者の頭部の３次元モデルである対象者モデルを取得する工程と、
前記情報処理装置が、前記対象者モデルに基づいて、前記対象者の頭部を含んだ対象者画像を生成する工程と、
前記情報処理装置が、前記仮想対象者の頭部の３次元モデルである仮想対象者モデルに基づいて、前記仮想対象者の頭部を含んだ前記仮想対象者画像を生成する工程とを有し、
前記仮想対象者画像を表示する工程は、前記対象者モデルに基づいて取得した前記対象者画像と前記仮想対象者画像とを並べて表示すること、又は、取得した前記対象者画像と前記仮想対象者画像との少なくとも一部を重ねて表示することを含む、
請求項１に記載の方法。 a step in which the information processing device acquires a subject model, which is a three-dimensional model of the subject's head, based on one or more captured images of the subject captured by one or more cameras;
a step of the information processing device generating a subject image including the head of the subject based on the subject model;
the information processing device generating the virtual subject image including the head of the virtual subject based on a virtual subject model that is a three-dimensional model of the head of the virtual subject. ,
The step of displaying the virtual subject image includes displaying the subject image obtained based on the subject model and the virtual subject image side by side, or displaying the obtained subject image and the virtual subject image side by side. including overlaying at least a portion of the image;
The method of claim 1.

前記対象者画像を生成する工程は、
仮想３次元空間に配置された前記対象者モデルを前記仮想３次元空間内の仮想カメラにより撮影した画像に相当する前記対象者画像を生成することと、
前記仮想カメラの位置、撮影方向及び姿勢を設定するカメラ設定指示が入力された場合は、当該カメラ設定指示に応じた位置、撮影方向及び姿勢に設定された前記仮想カメラにより前記対象者モデルを撮影した画像に相当する前記対象者画像を生成することとを含み、
前記仮想対象者画像を生成する工程は、
前記仮想３次元空間において前記対象者モデルが配置された場所と重なる場所に、前記対象者モデルの替わりに配置された前記仮想対象者モデルであって、左右方向、前後方向及び上下方向がそれぞれ前記対象者モデルと同じ方向を向くように姿勢が設定された前記仮想対象者モデルを、前記仮想カメラにより撮影した画像に相当する前記仮想対象者画像を生成することと、
前記カメラ設定指示が入力された場合は、当該カメラ設定指示に応じた位置、撮影方向及び姿勢に設定された前記仮想カメラにより前記仮想対象者モデルを撮影した画像に相当する前記対象者画像を生成することとを含む、
請求項７に記載の方法。 The step of generating the subject image includes:
Generating the target person image corresponding to an image of the target person model placed in the virtual three-dimensional space and photographed by a virtual camera in the virtual three-dimensional space;
When a camera setting instruction for setting the position, shooting direction and attitude of the virtual camera is input, the subject model is shot by the virtual camera set to the position, shooting direction and attitude according to the camera setting instruction. generating an image of the subject corresponding to the image obtained by
The step of generating the virtual subject image includes:
The virtual subject model arranged in place of the subject model in a place overlapping the place where the subject model is arranged in the virtual three-dimensional space, wherein the left-right direction, the front-rear direction and the up-down direction are respectively the generating the virtual target person image corresponding to an image captured by the virtual camera of the virtual target person model whose posture is set so as to face the same direction as the target person model;
When the camera setting instruction is input, the subject image corresponding to the image of the virtual subject model captured by the virtual camera set to the position, shooting direction, and posture according to the camera setting instruction is generated. including doing
8. The method of claim 7.

前記仮想対象者画像を表示する工程は、前記対象者に面して配置された鏡であって、光を部分的に透過する前記鏡を介して前記対象者が視認可能な画像を表示する表示装置において、前記鏡に映る前記対象者の鏡像とともに前記仮想対象者画像を表示することを含む、
請求項１に記載の方法。 The step of displaying the image of the virtual subject includes displaying an image visible to the subject through the mirror arranged to face the subject and partially transmitting light. in a device, displaying the virtual subject image along with a mirror image of the subject in the mirror;
The method of claim 1.

請求項１～請求項９のいずれか一項に記載された方法の各工程を実行する手段を備えた情報処理装置。 An information processing apparatus comprising means for executing each step of the method according to any one of claims 1 to 9.

コンピュータが実行可能な命令を含むプログラムであって、
請求項１～請求項９のいずれか一項に記載された方法の各工程を前記コンピュータに実行させる前記命令を含んだプログラム。 A program comprising computer-executable instructions,
A program containing the instructions for causing the computer to perform the steps of the method according to any one of claims 1 to 9.