JP7198962B1 - METHOD, INFORMATION PROCESSING DEVICE, AND PROGRAM FOR SUPPORTING HAIR STYLE ADJUSTMENT - Google Patents
METHOD, INFORMATION PROCESSING DEVICE, AND PROGRAM FOR SUPPORTING HAIR STYLE ADJUSTMENT Download PDFInfo
- Publication number
- JP7198962B1 JP7198962B1 JP2022131405A JP2022131405A JP7198962B1 JP 7198962 B1 JP7198962 B1 JP 7198962B1 JP 2022131405 A JP2022131405 A JP 2022131405A JP 2022131405 A JP2022131405 A JP 2022131405A JP 7198962 B1 JP7198962 B1 JP 7198962B1
- Authority
- JP
- Japan
- Prior art keywords
- subject
- virtual
- image
- hair
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 title claims abstract description 50
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 210000004209 hair Anatomy 0.000 claims abstract description 171
- 230000037308 hair color Effects 0.000 claims abstract description 7
- 230000003741 hair volume Effects 0.000 claims abstract description 7
- 230000001815 facial effect Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 description 88
- 210000003128 head Anatomy 0.000 description 30
- 238000010586 diagram Methods 0.000 description 20
- 238000004891 communication Methods 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 3
- 230000003796 beauty Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000975 dye Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
【課題】施術者が対象者の頭髪スタイルを調整する場合に、対象者の理想の頭髪スタイルが得られ易くなるように支援する方法、情報処理装置及びプログラムを提供する。【解決手段】対象者の頭髪スタイルの調整を支援する情報処理装置が実行する方法は、対象者の理想の頭髪スタイルを持つ仮想対象者の頭部を含んだ仮想対象者画像を表示する工程と、1以上のカメラで撮影された対象者の1以上の撮影画像に含まれる対象者の頭髪の画像に基づいて、髪の色、髪の長さ、髪の太さ、毛量及び毛流の少なくとも1つに関する対象者の頭髪の特徴を判定する工程と、判定された対象者の頭髪の特徴と、仮想対象者画像に表れる仮想対象者の頭髪の特徴とを比較し、当該比較の結果に基づいて、対象者の頭髪と仮想対象者の頭髪との少なくとも1つの相違を検出する工程と、検出された前記相違に関する情報を表示する工程とを有する。【選択図】図4A method, an information processing device, and a program are provided for assisting a practitioner to easily obtain an ideal hair style for a subject when the practitioner adjusts the subject's hair style. A method executed by an information processing device for assisting adjustment of a hair style of a subject includes displaying a virtual subject image including a head of a virtual subject having an ideal hair style of the subject. , based on the image of the subject's hair included in one or more captured images of the subject captured by one or more cameras, hair color, hair length, hair thickness, hair volume, and hair flow determining at least one hair characteristic of the subject; comparing the determined hair characteristic of the subject with the hair characteristic of the virtual subject appearing in the image of the virtual subject; detecting at least one difference between the subject's hair and the virtual subject's hair based on the method; and displaying information about the detected difference. [Selection drawing] Fig. 4
Description
本発明は、頭髪スタイルの調整を支援する方法、情報処理装置及びプログラムに関する。 The present invention relates to a method, an information processing device, and a program for supporting hair style adjustment.
美容院などでカットやヘアセットを行った場合、後になって自分が思い描いていた頭髪スタイルと異なるように感じ、不満が残ることがある。このような問題に対して、下記の特許文献には、画面に自分の顔及び頭部を立体画像として表示させ、その頭髪スタイルを所定の項目から任意に選択し、カット、カール、染色等の補正を加えることができるソフトウェアが記載されている。事前に頭髪スタイルのシミュレーション画像を見ることにより、理想の頭髪スタイルのイメージが明確になり、その理想形を美容師などへ明確に伝え易くなる。 When a haircut or hair set is performed at a beauty salon, etc., the hair style may later feel different from what one had envisioned, and dissatisfaction may remain. In order to solve such problems, the following patent documents disclose that the user displays his/her face and head as a three-dimensional image on the screen, selects the hair style arbitrarily from predetermined items, and cuts, curls, dyes, etc. Software is described that can apply corrections. By seeing the simulation image of the hair style in advance, the image of the ideal hair style becomes clear, and it becomes easy to clearly convey the ideal form to the beautician or the like.
ところで、ウィッグや増毛術によって頭髪スタイルを変更する場合、美容院などに比べて費用が高額であることや、容姿の変化に対する顧客の期待感が高いことなどから、変更後の頭髪スタイルに対する僅かな違和感でも顧客の不満が生じ易い。例えば、新たに製作されたオーダーメイドのウィッグを顧客に装着して頭髪スタイルの調整(カット、ヘアセットなど)を行う場合、顧客のイメージしている頭髪スタイルをよく理解せずに頭髪のカットなどが行われると、仕上がった頭髪スタイルに対して顧客の不満が生じ易くなる。 By the way, when changing the hair style by wigs or hair extensions, the cost is high compared to beauty salons, etc., and customers have high expectations for changes in appearance. Customer dissatisfaction is likely to occur even if there is a sense of incongruity. For example, when adjusting the hair style (cutting, hair setting, etc.) by wearing a newly made custom-made wig to a customer, cutting the hair without fully understanding the hair style that the customer has in mind. is performed, the customer is likely to be dissatisfied with the finished hair style.
本発明はかかる事情に鑑みてなされたものであり、その目的は、施術者が対象者の頭髪スタイルを調整する場合に、対象者の理想の頭髪スタイルが得られ易くなるように支援する方法、プログラム及び情報処理装置を提供することにある。 The present invention has been made in view of such circumstances, and its object is a method of assisting a subject to easily obtain an ideal hair style when the practitioner adjusts the subject's hair style. It is to provide a program and an information processing device.
本発明の第1の態様は、施術者による対象者の頭髪スタイルの調整を支援する情報処理装置が実行する方法であって、前記情報処理装置が、前記対象者の理想の頭髪スタイルを持つ仮想対象者の頭部を含んだ仮想対象者画像を表示する工程と、前記情報処理装置が、1以上のカメラで撮影された前記対象者の1以上の撮影画像に含まれる前記対象者の頭髪の画像に基づいて、髪の色、髪の長さ、髪の太さ、毛量及び毛流の少なくとも1つに関する前記対象者の頭髪の特徴を判定する工程と、前記情報処理装置が、判定された前記対象者の頭髪の前記特徴と、前記仮想対象者画像に表れる前記仮想対象者の頭髪の前記特徴とを比較し、当該比較の結果に基づいて、前記対象者の頭髪と前記仮想対象者の頭髪との少なくとも1つの相違を検出する工程と、前記情報処理装置が、検出された前記相違に関する情報を表示する工程とを有する方法である。 A first aspect of the present invention is a method executed by an information processing device for assisting a practitioner in adjusting a hair style of a subject, wherein the information processing device uses a virtual hair style having an ideal hair style of the subject. a step of displaying a virtual subject image including the subject's head; determining, based on the image, the characteristics of the subject's hair regarding at least one of hair color, hair length, hair thickness, hair volume, and hair flow; comparing the characteristics of the hair of the subject to the characteristics of the hair of the virtual subject appearing in the image of the virtual subject, and based on the result of the comparison, the hair of the subject and the virtual subject and the information processing device displaying information about the detected difference.
本発明の第2の態様は、上記第1の態様に係る方法の各工程を実行する手段を備えた情報処理装置である。 A second aspect of the present invention is an information processing apparatus comprising means for executing each step of the method according to the first aspect.
本発明の第3の態様は、施術者による対象者の頭髪スタイルの調整を支援する情報処理装置であって、処理部と、前記処理部が実行可能な命令を含むプログラムを記憶した記憶部とを有し、前記プログラムが、上記第1の態様に係る方法の各工程を前記処理部に実行させる前記命令を含む、情報処理装置である。 A third aspect of the present invention is an information processing device for assisting a practitioner in adjusting a hair style of a subject, comprising: a processing unit; and a storage unit storing a program including instructions executable by the processing unit. and wherein the program includes the instruction for causing the processing unit to execute each step of the method according to the first aspect.
本発明の第4の態様は、コンピュータが実行可能な命令を含むプログラムであって、上記第1の態様に係る方法の各工程を前記コンピュータに実行させる前記命令を含んだプログラムである。 A fourth aspect of the present invention is a program comprising computer-executable instructions, the program comprising the instructions for causing the computer to execute each step of the method according to the first aspect.
本発明によれば、施術者が対象者の頭髪スタイルを調整する場合に、対象者の理想の頭髪スタイルが得られ易くなるように支援する方法、プログラム及び情報処理装置を提供できる。 Advantageous Effects of Invention According to the present invention, it is possible to provide a method, a program, and an information processing device that assist a practitioner to easily obtain an ideal hair style for a subject when the practitioner adjusts the subject's hair style.
以下、本発明の実施形態を図面に基づいて説明する。なお、以下の説明では、同一の部材には同一の符号を付し、一度説明した部材については適宜その説明を省略する。 BEST MODE FOR CARRYING OUT THE INVENTION An embodiment of the present invention will be described below with reference to the drawings. In the following description, the same members are denoted by the same reference numerals, and the description of members that have already been described will be omitted as appropriate.
<第1の実施形態>
図1は、本実施形態に係るシステムの構成の一例を示す図である。図1の例に示すシステムは、インターネットなどの通信ネットワーク9を介して互いに通信可能なサーバ1と情報処理装置3を有する。
<First embodiment>
FIG. 1 is a diagram showing an example of the configuration of a system according to this embodiment. The system shown in the example of FIG. 1 has a server 1 and an
(サーバ1)
サーバ1は、ウィッグや増毛術などによって頭髪に関する顧客の課題を解決するサービスを提供する事業者により運営される装置である。サーバ1は、顧客(以下、「対象者」とも呼ばれる。)に関する各種の情報の管理や、マーケティング戦略の参考になる顧客情報の分析(成約率、定着率の分析など)を行う。またサーバ1は、顧客情報を分析して得られたデータから、成約率及び定着率の向上に役立つ施策を判定する処理、顧客と担当者(接客の担当者、施術を担当する施術者)との相性を判定して顧客ごとに適切な担当者を判定する処理などを行う。サーバ1は、これらの分析処理や判定処理において1以上の機械学習モデルを用いてもよい。
(server 1)
The server 1 is a device operated by a business operator that provides a service for solving customers' problems related to hair using wigs, hair extensions, and the like. The server 1 manages various types of information about customers (hereinafter also referred to as "targets") and analyzes customer information that serves as a reference for marketing strategies (contract rate, retention rate, etc.). In addition, the server 1, from the data obtained by analyzing the customer information, processes to determine measures useful for improving the contract rate and retention rate, It performs processing such as determining the compatibility of each customer and determining the appropriate person in charge for each customer. The server 1 may use one or more machine learning models in these analysis processes and judgment processes.
(記憶装置2)
記憶装置2は、顧客(対象者)に関する種々の情報を記憶する。サーバ1と記憶装置2は、任意の通信路(LAN、専用回線網、インターネットなど)を介して通信可能である。例えば記憶装置2は、複数の装置からのアクセスを受け付ける1以上のファイルサーバや1以上のデータベースサーバなどに含まれていてもよいし、サーバ1のみアクセス可能な専用の1以上の記憶装置でもよい。図1の例において、記憶装置2は、対象者情報21と、仮想対象者モデル22と、仮想対象者モデル関連情報23を記憶する。
(storage device 2)
The
対象者情報21は、対象者(顧客)に関する各種の情報を含んでおり、1つの対象者情報21が一人の対象者に対応する。対象者情報21は、図2Aの例に示すように、以下の情報の少なくとも一部を含む。
・個々の対象者を識別する情報(対象者ID)
・個人情報(名前、住所、連絡先など)
・対象者の行動に関する履歴情報(ウェブサイトのアクセス履歴、来店の履歴、商品・サービスの購入履歴など)
・対象者の外観に関する特徴情報(顔の特徴、頭髪の特徴)
・対象者の外観に影響を与え得る属性情報(性別、年齢、身長、体型、職業、学歴、趣味、ファッションに関する好みなど)
・対象者に関して保存されている3次元モデルを識別するための情報(後述する仮想対象者モデルIDなど)
The
・Information that identifies individual subjects (subject ID)
・Personal information (name, address, contact information, etc.)
・History information on the behavior of the target (website access history, store visit history, product/service purchase history, etc.)
・Feature information on the subject's appearance (facial features, hair features)
・Attribute information that can affect the appearance of the subject (gender, age, height, body type, occupation, educational background, hobbies, fashion preferences, etc.)
・Information for identifying the three-dimensional model stored for the subject (virtual subject model ID, etc., which will be described later)
仮想対象者モデル22は、対象者にとっての理想の頭髪スタイルを持つ仮想的な対象者(仮想対象者)の頭部の3次元モデルである。仮想対象者モデル22は、例えば、予め準備された複数の仮想対象者モデル22の中から自分の理想に近いものとして対象者が選択したものでもよいし、3次元モデルの作成や編集が可能な所定のソフトウェアを用いて対象者が自ら作成したものでもよいし、頭髪に関する対象者へのヒアリングの結果に基づいて担当者が作成若しくは選択し、対象者が了承したものでもよい。
The
仮想対象者モデル関連情報23は、仮想対象者モデル22に対応付けられ情報であり、図2Bに示すように、以下の情報の少なくとも一部を含む。
・個々の仮想対象者モデルを識別する情報(仮想対象者モデルID)
・仮想対象者の頭髪スタイルに関する情報(頭髪スタイルの分類など)
・対象者の外観に関する特徴情報(顔の特徴、頭髪の特徴)
・対象者の外観に影響を与え得る属性情報(性別、年齢、身長、体型など)
The virtual subject model related
・Information that identifies each virtual subject model (virtual subject model ID)
・Information about the hair style of the virtual target (classification of hair style, etc.)
・Feature information on the subject's appearance (facial features, hair features)
・Attribute information that may affect the appearance of the subject (gender, age, height, body type, etc.)
なお、仮想対象者モデル関連情報23は、仮想対象者の頭髪に関する特徴情報として、例えば髪の色、髪の長さ、髪の太さ、毛量、毛流などの情報を含んでいてもよい。また仮想対象者モデル関連情報23は、頭部の表面を区分する複数の領域の各々について、頭髪に関するこれらの特徴情報を含んでいてもよい。
Note that the virtual subject model related
(情報処理装置3)
情報処理装置3は、施術者による対象者の頭髪スタイルの調整を支援する処理を行う。例えば、施術者は、対象者にウィッグを装着させた状態でカットやヘアセットなどを行うことにより、対象者の頭髪スタイルを調整する。情報処理装置3は、この作業において施術者が対象者の頭髪スタイルを仮想対象者の頭髪スタイルへ近づけ易くなるように支援する処理を行う。
(Information processing device 3)
The
情報処理装置3は、例えば図3に示すように、通信部31と、記憶部32と、処理部33と、入力部34と、対象者用表示部35と、施術者用表示部36と、カメラ37を有する。
For example, as shown in FIG. 3, the
通信部31は、通信ネットワーク9を介して他の装置(サーバ1など)と通信を行う。通信部31は、例えばイーサネット(登録商標)や無線LANなどの所定の通信規格に準拠して通信を行う装置(ネットワークインターフェースカードなど)を含む。
The
入力部34は、ユーザの操作に応じた指示やその他の情報を処理部33に入力する。例えば入力部34は、タッチパネル、タッチパッド、キーボード、マウス、ボタン、スイッチなどの入力機能を備えた機器を少なくとも1つ含む。
The
対象者用表示部35は、対象者向けの映像を表示する装置であり、例えば施術者によって対象者の頭髪スタイルの調整が行われているときに、対象者の頭髪スタイルと比較される仮想対象者の画像を表示する。対象者用表示部35は、例えば液晶ディスプレイ、有機ELディスプレイ、プロジェクタなど、処理部33において生成される映像信号に応じた映像を表示する任意の表示機器を含む。
The target
施術者用表示部36は、施術者向けの映像を表示する装置であり、例えば、施術者によって対象者の頭髪スタイルの調整が行われているときに、対象者の頭髪と仮想対象者の頭髪との相違に関する情報などを表示する。施術者用表示部36は、例えば液晶ディスプレイ、有機ELディスプレイ、プロジェクタなど、処理部33において生成される映像信号に応じた映像を表示する任意の表示機器を含む。施術者用表示部36は、施術者の頭部に装着可能なウェアラブル装置のディスプレイでもよい。
The
カメラ37は、対象者を撮影してその撮影画像のデータを出力する装置であり、例えばCCD(charge coupled device)などの撮像素子、撮像素子に光を導く光学系、撮像素子で得られた画像信号を処理する画像処理装置などを含む。
The
またカメラ37は、対象物までの距離(奥行き)に関する情報を取得可能なセンサ(測距センサ)含んでもよく、対象物の撮影画像とともに対象物までの距離の情報を取得してもよい。測距センサは、例えば、対象物へ照射した光と対象物からの反射光とに基づいて距離を測定するLiDAR(light detection and ranging)方式のセンサでもよいし、2つの撮像素子で同時に撮像された画像の視差の情報に基づいて対象物までの距離を測定するステレオカメラ方式のセンサでもよい。
The
なおカメラ37は、対象者が施術中に座る位置に対して常に固定された場所に設置されていてもよいし、施術者や対象者が任意に移動できるようになっていてもよい。例えばカメラ37は、施術者の頭部に装着可能なウェアラブル装置に取り付けられていてもよく、その場合、施術者の目線と概ね等しい方向を撮影するように姿勢が設定されていてもよい。
Note that the
記憶部32は、処理部33において実行可能な命令を含む1以上のプログラム321や、処理部33による処理の過程で一時的に保存されるデータ、処理部33の処理に利用されるデータ、処理部33の処理の結果として得られたデータなどを記憶する。記憶部32は、例えば、主記憶装置(RAM、ROMなど)と補助記憶装置(フラッシュメモリ、SSD、ハードディスク、メモリカード、光ディスクなど)を含んでよい。記憶部32は、1つの記憶装置から構成されてもよいし、複数の記憶装置から構成されてもよい。記憶部32が複数の記憶装置から構成される場合、各記憶装置は、コンピュータのバスや他の任意の通信手段を介して処理部33と接続されてよい。
The
処理部33は、情報処理装置3の全体的な動作を統括的に司り、施術者による対象者の頭髪スタイルの調整を支援する所定の情報処理を実行する。処理部33は、例えば、記憶部32に格納された1以上のプログラム321の命令に応じて処理を実行する1以上のプロセッサ(CPU(central processing unit)、MPU(micro-processing unit)、DSP(digital signal processor)など)を含む。処理部33は、記憶部32に記憶される1以上のプログラム321の命令を1以上のプロセッサが実行することにより、コンピュータとして動作する。
The
処理部33は、特定の機能を実現するように構成された1つ以上の専用のハードウェア(ASIC(application specific integrated circuit)、FPGA(field-programmable gate array)など)を含んでもよい。この場合、処理部33は、本実施形態において説明する全ての処理をコンピュータにおいて実行してもよいし、少なくとも一部の処理を専用のハードウェアにおいて実行してもよい。
The
プログラム321は、例えばコンピュータ読み取り可能な記録媒体(光ディスク、メモリカード、USBメモリ、その他の非一時的な有形の媒体)に記録されていてもよい。処理部33は、そのような記録媒体に記録された1以上のプログラム321の少なくとも一部を不図示の記録媒体読み取り装置(光ディスク装置など)やインターフェース装置(USBインターフェース)により読み込んで、記憶部32に書き込んでもよい。あるいは処理部33は、通信ネットワーク9に接続される他の装置から通信部31により1以上のプログラム321の少なくとも一部をダウンロードして、記憶部32に書き込んでもよい。プログラム321は、頭髪スタイルの調整を支援する後述の処理の少なくとも一部を処理部33において実行させるプログラムを含む。
The
(頭髪スタイルの調整の支援方法)
図4は、第1の実施形態に係る頭髪スタイル調整支援方法の一例を説明するためのフローチャートであり、情報処理装置3において実行される処理の各工程を示す。
施術者によって対象者の頭髪スタイルの調整が行われているとき、情報処理装置3の処理部33がカメラ37を起動して対象者の撮影を開始し、カメラ37が撮影した対象者の撮影画像を取得する(ST100)。また処理部33は、対象者の理想の頭髪スタイルを持つ仮想対象者モデル22をサーバ1に要求し、記憶装置2に記憶された仮想対象者モデル22をサーバ1から取得する(ST105)。
(Method of Supporting Adjustment of Hair Style)
FIG. 4 is a flowchart for explaining an example of a hair style adjustment support method according to the first embodiment, showing each step of processing executed by the
When the hair style of the subject is being adjusted by the practitioner, the
処理部33は、サーバ1から取得した仮想対象者モデル22に基づいて、仮想対象者の頭部を含んだ仮想対象者画像を生成する(ST120)。仮想対象者画像は、図11に示すように、仮想的な3次元空間(仮想3次元空間)に置かれた仮想対象者モデル22を、仮想的なカメラ(仮想カメラ6)で撮影した場合に得られる写真に相当する2次元の画像である。処理部33は、この仮想カメラ6の位置、撮影方向及び姿勢を設定するカメラ設定指示を入力部34において入力する。処理部33は、カメラ設定指示を入力した場合、カメラ設定指示が指示する位置、撮影方向及び姿勢に設定された仮想カメラ6により仮想対象者モデル22を撮影した場合の画像を仮想対象者画像として生成する。従って対象者は、カメラ設定指示を利用することにより、所望の方向から仮想対象者モデル22を見た仮想対象者画像を生成させることが可能となる。
The
情報処理装置3の処理部33は、仮想対象者モデル22に基づく仮想対象者画像が生成されると、この生成された仮想対象者画像を対象者用表示部35において表示する(ST145)。このとき、処理部33は、カメラ37が撮影した対象者の撮影画像と仮想対象者画像とを例えば図5Aに示すように並べて表示する。図5Aに示す対象者用表示部35の画面A1では、対象者の撮影画像A11の隣に仮想対象者画像A12が表示される。
When the virtual subject image based on the
あるいは、処理部33は、図5Bに示す対象者用表示部35の画面A2のように、カメラ37が撮影した対象者の撮影画像と仮想対象者画像とを重ねて表示してもよい。図5Bの例では、対象者の撮影画像A21に仮想対象者画像A22の頭髪部分が重ねて表示されている。例えば、処理部33は、カメラ37の撮影画像において対象者の頭部が位置する範囲を画像認識処理により特定して、その範囲に仮想対象者モデル22の頭髪の部分のみを適当な透明度で固定表示する。この状態で、対象者が、自らの頭髪と仮想対象者モデル22の頭髪部分とが重なるように頭の位置を微調整することにより、図5Bに示すように対象者と仮想対象者の頭髪が重なった画像を表示させることができる。
Alternatively, the
また、情報処理装置3の処理部33は、ステップST155~ST170において、施術者用表示部36に表示させる施術者用の情報を取得する処理を行う。
In steps ST155 to ST170, the
まず処理部33は、カメラ37で撮影された対象者の1以上の撮影画像に含まれる対象者の頭髪の画像に基づいて、対象者の頭髪の特徴を判定する(ST155)。例えば処理部33は、対象者の髪の色、髪の長さ、髪の太さ、毛量、毛流などの特徴の少なくとも1つを、1以上の撮影画像に基づいて判定する。
First, the
処理部33は、頭髪の特徴を判定する場合、例えば撮影画像に含まれる頭髪部分を画像認識処理により識別する。複数の撮影画像が得られる場合、処理部33は、各撮影画像で識別された頭髪部分を同定して組み合わせることにより、同一の毛髪が連続して表れた画像を構成してもよい。また処理部33は、識別した頭髪部分の画像から、画像認識処理によって個々の髪の毛(あるいは複数本の髪の毛の束)を更に識別してもよい。処理部33は、撮影画像から識別した頭髪部分、個々の髪の毛、髪の束などの画像に基づいて、上述した頭髪の特徴(髪の色、髪の長さ、髪の太さ、毛量、毛流など)を判定する。
When determining the characteristics of the hair, the
なお、処理部33は、撮影画像から頭髪部分や個々の髪の毛、髪の束などを識別する処理において、任意の機械学習アルゴリズムにより生成された学習済モデルを用いてよい。すなわち、処理部33は、与えられた画像から画像中の頭髪部分や個々の髪の毛、髪の束などを識別するように生成された学習済モデルに対して、カメラ37が撮像した対象者の撮影画像を適用することにより、撮影画像における頭髪部分や個々の髪の毛、髪の束などを識別してよい。
また処理部33は、頭髪部分の画像や個々の髪の毛の画像や髪の束の画像に基づいて髪の特徴を判定する処理においても、学習済モデルを用いてよい。すなわち、処理部33は、与えられた頭髪の画像から頭髪の特徴を判定するように生成された学習済モデルに対して、撮影画像から識別された頭髪部分の画像や、個々の髪の毛の画像、髪の束の画像などを適用することにより、撮影画像に表れた頭髪の特徴を判定してもよい。
このような学習済モデルの生成に用いる機械学習アルゴリズムは任意でよく、例えばニューラルネットワーク、サポートベクターマシン、線形回帰、ロジスティック回帰、決定木、ランダムフォレスト、勾配ブースティングなどの公知のアルゴリズムを用いることができる。
Note that the
The
Any machine learning algorithm may be used to generate such a trained model. For example, known algorithms such as neural networks, support vector machines, linear regression, logistic regression, decision trees, random forests, and gradient boosting can be used. can.
処理部33は、上述した頭髪の特徴の判定を、対象者の頭部の表面を区分する複数の領域の各々について行ってもよい。この場合、処理部33は、頭部における複数の領域を識別する処理においても、学習済モデルを用いてもよい。すなわち、与えられた頭部の画像から頭部の複数の領域を識別するように生成された学習済モデルに対して、対象者の撮影画像を適用することにより、撮影画像に表れた対象者の頭部の表面を区分する複数の領域を識別してもよい。
The
処理部33は、撮影画像に基づいて対象者の頭髪の特徴が判定されると、この判定された頭髪の特徴と、仮想対象者画像に表れる仮想対象者の頭髪の特徴とを比較し、当該比較の結果に基づいて、対象者の頭髪と仮想対象者の頭髪との少なくとも1つの相違を検出する(ST160)。例えば処理部33は、仮想対象者モデル22について予め準備された仮想対象者モデル関連情報23(図2B)における仮想対象者の頭髪の特徴に関する特徴情報と、ステップST155で判定された特徴情報とを比較することにより、特徴ごとの相違を検出する。処理部33は、頭髪の特徴が数値で表される場合、その数値の差(髪色の色差、髪の長さの差、髪の太さの差、単位面積あたりの毛量の差、毛髪の最小曲率半径の差など)を特徴の相違として検出してよい。
When the feature of the subject's hair is determined based on the photographed image, the
処理部33は、ステップST160で検出された頭髪の特徴の相違に応じて、相違を解消するのに適した施術手段を判定する(ST165)。例えば処理部33は、髪の長さの差や毛量の差に応じて、頭髪をカットするハサミの種類、カット方法、カットする長さなどを判定する。この施術手段の判定基準は、例えば、特徴の相違を示す数値に応じて予め定められていてもよい。
The
なお処理部33は、熟練した施術者が選択する施術手段を教師データとして任意の機械学習アルゴリズムにより生成された学習済モデルを用いて、施術手段の判定を行ってもよい。この場合、頭髪の特徴の相違を示す数値と、熟練した施術者が選択する施術手段との相関関係に基づいて、頭髪の特徴の相違を示す数値が与えられた場合に施術手段を判定するように、任意の機械学習アルゴリズムを用いて学習済モデルが予め生成される。処理部33は、この学習済モデルに対して、ステップST160で検出された特徴情報の相違を示す数値を適用することにより、施術手段を判定する。
Note that the
また処理部33は、ステップST160で検出された頭髪の特徴の相違に応じて、仮想対象者の頭髪が対象者の頭髪において再現された度合を示す再現度を取得する(ST170)。例えば処理部33は、頭髪の特徴ごとに得られた特徴の相違を示す数値に基づいて、特徴の相違が小さいほど再現の度合いが高いことを示すように、予め定めた数式などに基づいて再現度を取得する。処理部33は、頭髪の特徴ごとに再現度を取得してもよいし、全ての特徴の相違に基づいた総合的な再現度を取得してもよい。
In addition, the
情報処理装置3の処理部33は、ステップST160で検出された頭髪の特徴の相違、ステップST165で判定された施術手段、及び、ステップST170で取得された再現度をそれぞれ含んだ施術者用の情報を施術者用表示部36において表示する(ST175)。
The
図6は、施術者用表示部36の画面の一例を示す図である。図6に示す画面B1には、カメラ37で撮影された対象者の撮影画像B11と、仮想対象者画像B12とが並んで表示される。対象者の撮影画像B11には、ステップST160で検出された特徴の相違を生じている箇所が丸印B13によって強調表示表されている。施術者がその丸印B13をマウス操作やジェスチャー操作などによって指示すると、指示された丸印B13を示す矢印B14が表示され、その丸印B13に対応する特徴の相違に関する情報が、画面B1の下側の領域B15に表示される。領域B15には、特徴の相違を解消するのに適した施術手段に関する情報も表示される。また、画面B1の上側には、仮想対象者の頭髪が対象者において再現された度合いを示す再現度が表示される。
FIG. 6 is a diagram showing an example of the screen of the
処理部33は、所定の終了操作が行われるまで(ST180)、ステップST125~ST175の処理を繰り返し、対象者用表示部35と施術者用表示部36の画面の表示を更新する。
The
以上説明したように、本実施形態によれば、対象者の理想の頭髪スタイルを持つ仮想対象者の画像が対象者用表示部35や施術者用表示部36において表示されるとともに、仮想対象者の頭髪と対象者の頭髪との相違に関する情報が施術者用表示部36において表示される。そのため、対象者の頭髪スタイルを調整している施術者は、対象者の理想の頭髪スタイルと、その理想の頭髪スタイルに対する相違とを確認しながら施術を行うことができる。従って、施術者が対象者の頭髪スタイルを調整する場合に、対象者の理想の頭髪スタイルが得られ易くなるように施術者を支援することができる。
As described above, according to the present embodiment, the image of the virtual subject having the subject's ideal hair style is displayed on the
また、本実施形態によれば、仮想対象者と対象者との頭髪の相違を解消するのに適した施術手段が施術者用表示部36において表示されるため、施術者は、対象者の頭髪スタイルを理想の頭髪スタイルへ近づける施術を行い易くなる。
Further, according to the present embodiment, since the treatment means suitable for eliminating the difference in the hair between the virtual target and the target is displayed on the
また、本実施形態によれば、仮想対象者の頭髪が対象者の頭髪において再現された度合を示す再現度が施術者用表示部36において表示されるため、施術者は、対象者の頭髪スタイルが理想の頭髪スタイルへ近づいたか否かを見極め易くなる。
Further, according to the present embodiment, the degree of reproduction indicating the degree to which the hair of the virtual subject is reproduced in the hair of the subject is displayed on the
また、本実施形態によれば、対象者の撮影画像と仮想対象者画像とが対象者用表示部35において並べて表示されたり、重ねて表示されたりするため、対象者や施術者が、対象者の頭髪スタイルが理想に近づいているかどうかを明確に把握できる。これにより、対象者が少しでも違和感を覚えた場合には、その違和感を施術者に対して具体的に示すことが可能になるため、施術者と対象者との意思疎通が非常に容易になるとともに、理想の頭髪スタイルとの乖離による対象者の不満を大幅に減らすことができる。
Further, according to the present embodiment, the captured image of the subject and the virtual subject image are displayed side by side or displayed in an overlapping manner on the
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。
図7は、第2の実施形態に係る頭髪スタイル調整支援方法の一例を説明するためのフローチャートである。図7に示すフローチャートは、既に説明した図4に示すフローチャートにおけるステップST120をステップST125及びST130に置き換えたものであり、他のステップは図4に示すフローチャートと同じである。また、情報処理装置3の構成は既に説明した図3に示すものと同じである。ここでは、図4に示すフローチャートの処理との相違点を中心に説明する。
<Second embodiment>
Next, a second embodiment of the invention will be described.
FIG. 7 is a flowchart for explaining an example of a hair style adjustment support method according to the second embodiment. The flowchart shown in FIG. 7 is obtained by replacing step ST120 in the already described flowchart shown in FIG. 4 with steps ST125 and ST130, and other steps are the same as the flowchart shown in FIG. The configuration of the
第2の実施形態において、情報処理装置3は、対象者の撮影画像に表れる対象者の頭部の姿勢に合わせて、仮想対象者画像に表れる仮想対象者の頭部の姿勢を変更する。そのために、まず処理部33は、カメラ37で撮影された対象者の撮影画像から、ヒトの頭部における所定の複数の部位に対応した対象者の頭部における複数の部位を識別する(ST125)。例えば処理部33は、対象者の撮影画像から、目、鼻、顎などの頭髪によって隠され難い部位を識別する。
In the second embodiment, the
処理部33は、対象者の頭部における複数の部位(目、鼻、顎など)を特定すると、識別された対象者の複数の部位が撮影画像の中で持つ位置関係と、仮想対象者モデルの複数の部位が仮想対象者画像の中で持つ位置関係とが近似するように、仮想対象者画像を生成する。例えば処理部33は、対象者の両目、鼻、顎が撮影画像の中で持つ位置関係と、仮想対象者の両目、鼻、顎が仮想対象者画像の中で持つ位置関係とが近似するように、仮想3次元空間における仮想カメラの位置、撮影方向及び姿勢を求めて、その仮想カメラから仮想対象者モデルを撮影した場合に得られる2次元画像を仮想対象者画像として取得する。
After specifying a plurality of parts (eyes, nose, chin, etc.) in the subject's head, the
図8A及び図8Bは、本実施形態に係る情報処理装置3における対象者用表示部35の画面の一例を示す図である。図8Aに示す画面A3において、撮影画像A31-1に表れる対象者は概ね正面方向を向いており、仮想対象者画像A32-1に表れる仮想対象者も概ね正面方向を向いている。一方、図8Bに示す画面A3において、撮影画像A31-2に表れる対象者は顔を右側に向けており、仮想対象者画像A32-2に表れる仮想対象者も顔を右側に向けている。
8A and 8B are diagrams showing examples of screens of the
このように、本実施形態によれば、撮影画像に表れる対象者の頭部に姿勢に合わせて、仮想対象者画像に表れる仮想対象者の頭部の姿勢も更新され、両者の頭部が同様な姿勢で表示される。従って、対象者の頭髪スタイルと仮想対象者の頭髪スタイルとを見比べ易くすることができる。 As described above, according to the present embodiment, the posture of the head of the virtual subject appearing in the image of the virtual subject is updated in accordance with the posture of the head of the subject appearing in the captured image, and the heads of both are the same. displayed in a pose. Therefore, it is possible to easily compare the target person's hair style and the virtual target person's hair style.
<第3の実施形態>
次に、本発明の第3の実施形態について説明する。
図9は、第3の実施形態に係る情報処理装置3の構成の一例を示す図である。図9に示す情報処理装置3は、図2に示す情報処理装置3と同様の構成を有するとともに、測距センサ38を有する。
<Third Embodiment>
Next, a third embodiment of the invention will be described.
FIG. 9 is a diagram showing an example of the configuration of the
本実施形態において、カメラ37は対象者に対して移動可能であり、例えば施術者が装着するウェアラブル装置などに取り付けられている。測距センサ38は、カメラ37を含んだ一定範囲内にある物体の表面までの距離を点群情報として計測する。測距センサ38は、例えばLiDAR方式のセンサやステレオカメラ方式のセンサを含む。
In this embodiment, the
図10は、第3の実施形態に係る頭髪スタイル調整支援方法の一例を説明するためのフローチャートである。図10に示すフローチャートは、既に説明した図4に示すフローチャートにおけるステップST120をステップST135及びST140に置き換えたものであり、他のステップは図4に示すフローチャートと同じである。ここでは、図4に示すフローチャートの処理との相違点を中心に説明する。 FIG. 10 is a flowchart for explaining an example of a hair style adjustment support method according to the third embodiment. The flowchart shown in FIG. 10 is obtained by replacing step ST120 in the already-described flowchart shown in FIG. 4 with steps ST135 and ST140, and other steps are the same as the flowchart shown in FIG. Here, differences from the processing of the flowchart shown in FIG. 4 will be mainly described.
情報処理装置3の処理部33は、測距センサ38において検出された点群情報に基づいて、対象者に対するカメラ37の位置、撮影方向及び姿勢に関するカメラ情報を取得する(ST135)。例えば処理部33は、測距センサ38において検出された点群情報が表す物体の中からカメラ37に対応する点群情報を識別するとともに、識別されたカメラ37の点群情報に基づいてカメラ37の位置と姿勢を判定する。
The
本実施形態では、仮想対象者モデルが配置される仮想3次元空間(図11)において仮想対象者画像を撮影する仮想カメラの位置、撮影方向及び姿勢と、実空間の対象者を撮影するカメラ37の位置、撮影方向及び姿勢とが所定の対応関係にある場合、対象者が所定の顔の姿勢を保っている状態(例えば、椅子などに座って対象者用表示部35の画面に正対している状態)で撮影された撮影画像に表れる対象者の顔の姿勢と、仮想対象者画像に表れる前記仮想対象者の顔の姿勢とが近似する。
In this embodiment, in the virtual three-dimensional space (FIG. 11) in which the virtual target person model is arranged, the position, shooting direction, and posture of a virtual camera that takes an image of the virtual target person, and the
そこで処理部33は、取得したカメラ情報が示すカメラ37の位置、撮影方向及び姿勢に対して、上述した所定の対応関係を持つように仮想カメラ6(図11)の位置、撮影方向及び姿勢を設定し、その仮想カメラ6が仮想対象者モデル22(図11)を撮影した場合に得られる画像を仮想対象者画像として生成する(ST140)。
Therefore, the
本実施形態によれば、カメラ37の位置や撮影方向を変えることによって撮影画像における対象者の顔の姿勢が変化すると、この変化に合わせて仮想対象者画像における仮想対象者の顔の姿勢も変化する。これにより、仮想対象者画像に表れる仮想対象者の顔の姿勢と、撮影画像に表れる対象者の顔の姿勢とが近似した状態に保たれる。従って、対象者の頭髪スタイルと仮想対象者の頭髪スタイルとを見比べ易くすることができる。
According to the present embodiment, when the posture of the face of the subject in the captured image changes by changing the position or the shooting direction of the
<第4の実施形態>
次に、本発明の第4の実施形態について説明する。
図12は、第4の実施形態に係る頭髪スタイル調整支援方法の一例を説明するためのフローチャートである。図12に示すフローチャートは、既に説明した図4に示すフローチャートにステップST110及びST115を追加したものであり、他のステップは図4に示すフローチャートと同じである。また、情報処理装置3の構成は既に説明した図3に示すものと同じである。ここでは、図4に示すフローチャートの処理との相違点を中心に説明する。
<Fourth Embodiment>
Next, a fourth embodiment of the invention will be described.
FIG. 12 is a flowchart for explaining an example of a hair style adjustment support method according to the fourth embodiment. The flowchart shown in FIG. 12 is obtained by adding steps ST110 and ST115 to the already explained flowchart shown in FIG. 4, and other steps are the same as the flowchart shown in FIG. The configuration of the
情報処理装置3の処理部33は、カメラ37で撮影された対象者の1以上の撮影画像に基づいて、対象者の頭部の3次元モデルである対象者モデル24を取得する(ST110)。例えば処理部33は、複数のカメラ37で対象者を複数の方向から同時に撮影し、各カメラ37で得られた撮影画像に基づいて対象者モデル24を取得する。
The
処理部33は、ステップST110において取得された対象者モデル24に基づいて、対象者の頭部を含んだ対象者画像を生成する(ST115)。すなわち処理部33は、図13Bに示すように、仮想3次元空間に配置された対象者モデル24を仮想3次元空間内の仮想カメラ6により撮影した画像に相当する対象者画像を生成する。処理部33は、仮想カメラ6の位置、撮影方向及び姿勢を設定するカメラ設定指示が入力された場合、このカメラ設定指示に応じた位置、撮影方向及び姿勢に設定された仮想カメラ6により対象者モデル24を撮影した画像に相当する対象者画像を生成する。
The
また処理部33は、ステップST105において取得された仮想対象者モデル22に基づいて、仮想対象者の頭部を含んだ仮想対象者画像を生成する(ST120)。すなわち、処理部33は、対象者モデル24と同じ仮想3次元空間において対象者モデル24が配置された場所と重なる場所に、対象者モデル24の替わりに配置された対象者モデル24を、ステップST115と同じ位置、撮影方向及び姿勢に設定された仮想カメラ6によって撮影した画像に相当する仮想対象者画像を生成する。この場合、処理部33は、図13Aと図13Bに示すように、左右方向、前後方向及び上下方向がそれぞれ仮想対象者モデル22と同じ方向を向くように、仮想対象者モデル22の姿勢を設定する。また、仮想カメラ6の位置、撮影方向及び姿勢を設定するカメラ設定指示が入力された場合は、対象者画像を生成した場合と同じカメラ設定指示に応じた位置、撮影方向及び姿勢に設定された仮想カメラ6により仮想対象者モデル22を撮影した画像に相当する仮想対象者画像を生成する。
The
図14A~図14Cは、対象者用表示部35の画面の一例を示す図である。本実施形態に係る情報処理装置3における対象者用表示部35の画面の一例を示す図である。図14A~図14Cに示す画面A4では、対象者などが入力するカメラ設定指示に応じて、対象者モデル24から生成される対象者画像(A41-1~A41-3)の顔の向きが変化しているとともに、同じカメラ設定指示に応じて、仮想対象者モデル22から生成される仮想対象者画像(A42-1~A42-3)の顔の向きも変化している。このとき、対象者画像(A41-1~A41-3)の顔の向きと仮想対象者画像(A42-1~A42-3)の顔の向きとがほぼ同じになっているため、両者の違いを見比べ易くなっている。
14A to 14C are diagrams showing examples of screens of the
このように、本実施形態によれば、カメラ設定指示を利用して対象者画像に表れる対象者の頭部の向き及び仮想対象者画像に表れる仮想対象者の頭部の向きを変化させることが可能であり、対象者は自分の頭を動かすことなく様々な方向から自分の頭髪と仮想対象者の頭髪を見ることができる。またこのとき、対象者画像に表れる対象者の頭部の向きと仮想対象者画像に表れる仮想対象者の頭部の向きがほぼ同じになるため、対象者の頭髪スタイルと仮想対象者の頭髪スタイルとを見比べ易くすることができる。 As described above, according to the present embodiment, it is possible to change the orientation of the head of the subject appearing in the image of the subject and the orientation of the head of the virtual subject appearing in the image of the virtual subject using the camera setting instruction. It is possible and the subject can see his hair and the virtual subject's hair from different directions without moving his head. Also, at this time, since the direction of the head of the subject appearing in the image of the subject and the direction of the head of the virtual subject appearing in the image of the virtual subject are almost the same, the hair style of the subject and the hair style of the virtual subject can be easily compared with.
<第5の実施形態>
次に、本発明の第5の実施形態について説明する。
図15は、第5の実施形態に係る情報処理装置3における対象者用表示部35の画面の一例を示す図である。第5の実施形態に係る情報処理装置3では、カメラ37による対象者の撮影画像が対象者用表示部35の画面A5に表示されず、その代わりに、対象者用表示部35の画面A5の前方に配置された鏡352に対象者O1の鏡像M1が映る。鏡352は対象者O1に面して配置されており、光を部分的に透過する性質を持つ。対象者用表示部35の画面A5は、対象者O1側から見て鏡352の背後に位置する。対象者用表示部35は、鏡352を介して対象者O1が視認可能な画像を表示する。情報処理装置3の処理部33は、この対象者用表示部35の画面A5において、鏡352に映る対象者O1の鏡像M1とともに仮想対象者画像A51を表示する。
<Fifth Embodiment>
Next, a fifth embodiment of the invention will be described.
FIG. 15 is a diagram showing an example of the screen of the
このように、本実施形態によれば、鏡352に映った対象者O1の鏡像M1と鏡352を透過した仮想対象者画像A51とを見比べることが可能である。これにより、対象者は、施術中において現在の頭髪スタイルと理想の頭髪スタイルとを容易に見比べることができる。
Thus, according to this embodiment, it is possible to visually compare the mirror image M1 of the subject O1 reflected on the
なお、上記に本実施形態およびその適用例を説明したが、本発明はこれらの例に限定されるものではない。例えば、前述の各実施形態またはその適用例に対して、当業者が適宜、構成要素の追加、削除、設計変更を行ったものや、各実施形態の特徴を適宜組み合わせたものも、本発明の要旨を備えている限り、本発明の範囲に包含される。 Although the present embodiment and its application examples have been described above, the present invention is not limited to these examples. For example, those skilled in the art may appropriately add, delete, or change the design of the above-described embodiments or their application examples, or may combine the features of the embodiments as appropriate. As long as it has the gist, it is included in the scope of the present invention.
1…サーバ、2…記憶装置、21…対象者情報、22…仮想対象者モデル、23…仮想対象者モデル関連情報、24…対象者モデル、3…情報処理装置、31…通信部、32…記憶部、321…プログラム、33…処理部、34…入力部、35…対象者用表示部、36…施術者用表示部、37…カメラ、38…測距センサ
DESCRIPTION OF SYMBOLS 1...
Claims (11)
前記情報処理装置が、前記対象者の理想の頭髪スタイルを持つ仮想対象者の頭部を含んだ仮想対象者画像を表示する工程と、
前記情報処理装置が、1以上のカメラで撮影された前記対象者の1以上の撮影画像に含まれる前記対象者の頭髪の画像に基づいて、髪の色、髪の長さ、髪の太さ、毛量及び毛流の少なくとも1つに関する前記対象者の頭髪の特徴を判定する工程と、
前記情報処理装置が、判定された前記対象者の頭髪の前記特徴と、前記仮想対象者画像に表れる前記仮想対象者の頭髪の前記特徴とを比較し、当該比較の結果に基づいて、前記対象者の頭髪と前記仮想対象者の頭髪との少なくとも1つの相違を検出する工程と、
前記情報処理装置が、検出された前記相違に関する情報を表示する工程と
を有する方法。 A method executed by an information processing device that supports adjustment of a subject's hair style by a practitioner,
a step of the information processing device displaying a virtual subject image including the head of the virtual subject having the subject's ideal hair style;
The information processing device determines the hair color, hair length, and hair thickness based on the image of the subject's hair included in one or more captured images of the subject taken by one or more cameras. , determining characteristics of the subject's hair in terms of at least one of hair volume and hair flow;
The information processing device compares the determined feature of the hair of the subject with the feature of the hair of the virtual subject appearing in the virtual subject image, and based on the result of the comparison, the subject detecting at least one difference between a person's hair and said virtual subject's hair;
and the information processing device displaying information about the detected discrepancies.
前記情報処理装置が、判定された前記施術手段に関する情報を前記施術者用の表示装置において表示する工程とを有する、
請求項1に記載の方法。 a step in which the information processing device determines a treatment means suitable for resolving the difference according to the detected difference;
the information processing device displaying information regarding the determined treatment means on a display device for the operator;
The method of claim 1.
前記相違に関する情報を表示する工程は、取得した前記再現度を表示することを含む、
請求項1に記載の方法。 The information processing device acquires a degree of reproduction indicating the degree to which the hair of the virtual subject is reproduced in the hair of the subject according to the detected difference,
The step of displaying information about the difference includes displaying the obtained recall.
The method of claim 1.
請求項1に記載の方法。 The step of displaying the virtual subject image includes displaying the photographed image of the subject and the virtual subject image side by side, or at least one of the photographed image of the subject and the virtual subject image. including superimposing the
The method of claim 1.
前記情報処理装置が、前記対象者の前記撮影画像から、ヒトの頭部における所定の複数の部位に対応した前記対象者の前記頭部における複数の前記部位を識別する工程と、
前記情報処理装置が、識別された前記対象者の複数の前記部位が前記撮影画像の中で持つ位置関係と、前記仮想対象者モデルの複数の前記部位が前記仮想対象者画像の中で持つ位置関係とが近似するように、前記仮想対象者画像を生成する工程とを有する、
請求項4に記載の方法。 The virtual subject image is an image based on a virtual subject model, which is a three-dimensional model of the virtual subject's head,
a step in which the information processing device identifies a plurality of parts of the head of the subject corresponding to a plurality of predetermined parts of the head of the subject from the photographed image of the subject;
The positional relationship of the plurality of parts of the identified subject in the photographed image, and the positions of the plurality of parts of the virtual subject model in the virtual subject image. and generating the virtual subject image such that the relationship is approximated.
5. The method of claim 4.
前記仮想対象者モデルが配置される仮想3次元空間において前記仮想対象者画像を撮影する仮想カメラの位置、撮影方向及び姿勢と、前記対象者を撮影する前記カメラの位置、撮影方向及び姿勢とが所定の対応関係にある場合、前記対象者が所定の顔の姿勢を保っている状態で撮影された前記撮影画像に表れる前記対象者の顔の姿勢と、前記仮想対象者画像に表れる前記仮想対象者の顔の姿勢とが近似し、
前記情報処理装置が、前記対象者に対する前記カメラの位置、撮影方向及び姿勢に関するカメラ情報を取得する工程と、
前記情報処理装置が、取得された前記カメラ情報が示す前記カメラの位置、撮影方向及び姿勢に対して前記所定の対応関係を持つように位置、撮影方向及び姿勢を設定された前記仮想カメラが前記仮想対象者モデルを撮影した場合に得られる画像を、前記仮想対象者画像として生成する工程とを有する、
請求項4に記載の方法。 The virtual subject image is an image based on a virtual subject model, which is a three-dimensional model of the virtual subject's head,
The position, shooting direction and orientation of a virtual camera that shoots the image of the virtual subject in the virtual three-dimensional space in which the virtual subject model is arranged, and the position, shooting direction and posture of the camera that shoots the subject. When there is a predetermined correspondence relationship, the facial posture of the subject appearing in the photographed image taken with the subject maintaining a predetermined facial posture, and the virtual object appearing in the virtual subject image. The posture of the person's face is similar,
a step in which the information processing device acquires camera information regarding the position, shooting direction, and posture of the camera with respect to the subject;
The virtual camera having the position, shooting direction, and orientation set so as to have the predetermined correspondence with the position, shooting direction, and orientation of the camera indicated by the acquired camera information. generating an image obtained when the virtual subject model is photographed as the virtual subject image;
5. The method of claim 4.
前記情報処理装置が、前記対象者モデルに基づいて、前記対象者の頭部を含んだ対象者画像を生成する工程と、
前記情報処理装置が、前記仮想対象者の頭部の3次元モデルである仮想対象者モデルに基づいて、前記仮想対象者の頭部を含んだ前記仮想対象者画像を生成する工程とを有し、
前記仮想対象者画像を表示する工程は、前記対象者モデルに基づいて取得した前記対象者画像と前記仮想対象者画像とを並べて表示すること、又は、取得した前記対象者画像と前記仮想対象者画像との少なくとも一部を重ねて表示することを含む、
請求項1に記載の方法。 a step in which the information processing device acquires a subject model, which is a three-dimensional model of the subject's head, based on one or more captured images of the subject captured by one or more cameras;
a step of the information processing device generating a subject image including the head of the subject based on the subject model;
the information processing device generating the virtual subject image including the head of the virtual subject based on a virtual subject model that is a three-dimensional model of the head of the virtual subject. ,
The step of displaying the virtual subject image includes displaying the subject image obtained based on the subject model and the virtual subject image side by side, or displaying the obtained subject image and the virtual subject image side by side. including overlaying at least a portion of the image;
The method of claim 1.
仮想3次元空間に配置された前記対象者モデルを前記仮想3次元空間内の仮想カメラにより撮影した画像に相当する前記対象者画像を生成することと、
前記仮想カメラの位置、撮影方向及び姿勢を設定するカメラ設定指示が入力された場合は、当該カメラ設定指示に応じた位置、撮影方向及び姿勢に設定された前記仮想カメラにより前記対象者モデルを撮影した画像に相当する前記対象者画像を生成することとを含み、
前記仮想対象者画像を生成する工程は、
前記仮想3次元空間において前記対象者モデルが配置された場所と重なる場所に、前記対象者モデルの替わりに配置された前記仮想対象者モデルであって、左右方向、前後方向及び上下方向がそれぞれ前記対象者モデルと同じ方向を向くように姿勢が設定された前記仮想対象者モデルを、前記仮想カメラにより撮影した画像に相当する前記仮想対象者画像を生成することと、
前記カメラ設定指示が入力された場合は、当該カメラ設定指示に応じた位置、撮影方向及び姿勢に設定された前記仮想カメラにより前記仮想対象者モデルを撮影した画像に相当する前記対象者画像を生成することとを含む、
請求項7に記載の方法。 The step of generating the subject image includes:
Generating the target person image corresponding to an image of the target person model placed in the virtual three-dimensional space and photographed by a virtual camera in the virtual three-dimensional space;
When a camera setting instruction for setting the position, shooting direction and attitude of the virtual camera is input, the subject model is shot by the virtual camera set to the position, shooting direction and attitude according to the camera setting instruction. generating an image of the subject corresponding to the image obtained by
The step of generating the virtual subject image includes:
The virtual subject model arranged in place of the subject model in a place overlapping the place where the subject model is arranged in the virtual three-dimensional space, wherein the left-right direction, the front-rear direction and the up-down direction are respectively the generating the virtual target person image corresponding to an image captured by the virtual camera of the virtual target person model whose posture is set so as to face the same direction as the target person model;
When the camera setting instruction is input, the subject image corresponding to the image of the virtual subject model captured by the virtual camera set to the position, shooting direction, and posture according to the camera setting instruction is generated. including doing
8. The method of claim 7.
請求項1に記載の方法。 The step of displaying the image of the virtual subject includes displaying an image visible to the subject through the mirror arranged to face the subject and partially transmitting light. in a device, displaying the virtual subject image along with a mirror image of the subject in the mirror;
The method of claim 1.
請求項1~請求項9のいずれか一項に記載された方法の各工程を前記コンピュータに実行させる前記命令を含んだプログラム。 A program comprising computer-executable instructions,
A program containing the instructions for causing the computer to perform the steps of the method according to any one of claims 1 to 9.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022131405A JP7198962B1 (en) | 2022-08-19 | 2022-08-19 | METHOD, INFORMATION PROCESSING DEVICE, AND PROGRAM FOR SUPPORTING HAIR STYLE ADJUSTMENT |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022131405A JP7198962B1 (en) | 2022-08-19 | 2022-08-19 | METHOD, INFORMATION PROCESSING DEVICE, AND PROGRAM FOR SUPPORTING HAIR STYLE ADJUSTMENT |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7198962B1 true JP7198962B1 (en) | 2023-01-04 |
JP2024028058A JP2024028058A (en) | 2024-03-01 |
Family
ID=84777482
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022131405A Active JP7198962B1 (en) | 2022-08-19 | 2022-08-19 | METHOD, INFORMATION PROCESSING DEVICE, AND PROGRAM FOR SUPPORTING HAIR STYLE ADJUSTMENT |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7198962B1 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000231623A (en) | 1999-02-12 | 2000-08-22 | Iwao Horii | Hairstyle composition system for hairdressing |
JP2015225367A (en) | 2014-05-26 | 2015-12-14 | 株式会社RBadvance | Hairdresser support system |
JP2021022939A (en) | 2016-10-28 | 2021-02-18 | マクセル株式会社 | Method of protecting content |
JP6969766B1 (en) | 2021-07-30 | 2021-11-24 | 怜子 住田 | Hairstyle treatment support equipment and support programs |
US20220192346A1 (en) | 2019-05-06 | 2022-06-23 | CareOS | Smart mirror system and methods of use thereof |
-
2022
- 2022-08-19 JP JP2022131405A patent/JP7198962B1/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000231623A (en) | 1999-02-12 | 2000-08-22 | Iwao Horii | Hairstyle composition system for hairdressing |
JP2015225367A (en) | 2014-05-26 | 2015-12-14 | 株式会社RBadvance | Hairdresser support system |
JP2021022939A (en) | 2016-10-28 | 2021-02-18 | マクセル株式会社 | Method of protecting content |
US20220192346A1 (en) | 2019-05-06 | 2022-06-23 | CareOS | Smart mirror system and methods of use thereof |
JP6969766B1 (en) | 2021-07-30 | 2021-11-24 | 怜子 住田 | Hairstyle treatment support equipment and support programs |
Also Published As
Publication number | Publication date |
---|---|
JP2024028058A (en) | 2024-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109690617B (en) | System and method for digital cosmetic mirror | |
CN110023814B (en) | Face model capture by wearable device | |
JP6750504B2 (en) | Information processing apparatus, information processing method, and program | |
US10134193B2 (en) | Smart mirror system for hairstyling using virtual reality | |
US10911695B2 (en) | Information processing apparatus, information processing method, and computer program product | |
JP3408524B2 (en) | Makeup advice providing method and makeup advice providing program | |
CN109310196B (en) | Makeup assisting device and makeup assisting method | |
CN108712948B (en) | System and method for automatic hair styling treatment and hair cutting device | |
JP7278724B2 (en) | Information processing device, information processing method, and information processing program | |
KR101997702B1 (en) | 3D simulation system for hair-styling | |
JP2001346627A (en) | Make-up advice system | |
WO2015152028A1 (en) | Makeup assistance device and recording medium | |
US20230290082A1 (en) | Representation of users based on current user appearance | |
US9330300B1 (en) | Systems and methods of analyzing images | |
KR101719927B1 (en) | Real-time make up mirror simulation apparatus using leap motion | |
JP7198962B1 (en) | METHOD, INFORMATION PROCESSING DEVICE, AND PROGRAM FOR SUPPORTING HAIR STYLE ADJUSTMENT | |
JP2018115399A (en) | Manufacturing method of wig, and selling method and program of the same | |
JP2019133276A (en) | Image processing system and terminal | |
JP7198963B1 (en) | METHOD, INFORMATION PROCESSING APPARATUS, AND PROGRAM FOR SUPPORTING HAIR STYLE VISUALIZATION | |
JP5146705B2 (en) | Hair style advice method | |
KR102660188B1 (en) | Beauty electronic mirror system | |
JP2017016418A (en) | Hairstyle proposal system | |
US20240005537A1 (en) | User representation using depths relative to multiple surface points | |
WO2022190954A1 (en) | Information processing device, method, program, system, and beauty care method | |
CN117389676B (en) | Intelligent hairstyle adaptive display method based on display interface |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220825 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220825 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221219 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7198962 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |