JP7485114B2 - 報知装置、報知方法及びプログラム - Google Patents

報知装置、報知方法及びプログラム Download PDF

Info

Publication number
JP7485114B2
JP7485114B2 JP2023017214A JP2023017214A JP7485114B2 JP 7485114 B2 JP7485114 B2 JP 7485114B2 JP 2023017214 A JP2023017214 A JP 2023017214A JP 2023017214 A JP2023017214 A JP 2023017214A JP 7485114 B2 JP7485114 B2 JP 7485114B2
Authority
JP
Japan
Prior art keywords
notification
user
unit
physical condition
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023017214A
Other languages
English (en)
Other versions
JP2023057107A (ja
Inventor
奈都美 浜岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2018231743A external-priority patent/JP7225749B2/ja
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of JP2023057107A publication Critical patent/JP2023057107A/ja
Application granted granted Critical
Publication of JP7485114B2 publication Critical patent/JP7485114B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D42/00Hand, pocket, or shaving mirrors
    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D42/00Hand, pocket, or shaving mirrors
    • A45D42/08Shaving mirrors
    • A45D42/10Shaving mirrors illuminated
    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/02Furniture or other equipment specially adapted for hairdressers' rooms and not covered elsewhere
    • A45D44/04Special adaptations of portable frames or racks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/542Event management; Broadcasting; Multicasting; Notifications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/162Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D2044/007Devices for determining the condition of hair or skin or for selecting the appropriate cosmetic or hair treatment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Illuminated Signs And Luminous Advertising (AREA)

Description

本発明は、報知装置、報知方法及びプログラムに関する。
近年、ユーザの状態(例えば、体調に関する状態や、化粧に関する状態)を示す情報を取得し、取得した情報を様々に利用する技術が存在する。
例えば、特許文献1には、ユーザの顔の情報を取得し、取得した顔の情報に基づいた報知を、ユーザに対して行うという構成が開示されている。
特開2014-166218号公報
しかしながら、特許文献1に開示の技術等の従来の技術では、或る時点でのユーザの状態に基づいた報知を行うにとどまる。そのため、ユーザが、自身の状態の変化を認識することが難しい場合があった。例えば、ユーザが、マッサージ等の施術により表情が改善したかを認識することや、化粧を適切に行うことができたかを認識することが難しい場合があった。
本発明は、このような状況に鑑みてなされたものであり、ユーザの状態の変化を、ユーザに対してより適切に認識させることを目的とする。
上記目的を達成するため、本発明の一態様の報知装置は、
ユーザの顔情報を取得する顔情報取得手段と、
前記顔情報取得手段が取得した前記顔情報に基づいて、前記ユーザの体調が良好か否か
を判定する判定手段と、
前記判定手段が前記ユーザの体調が優れないと判定した場合に、前記ユーザの体調情報
が強調されるように前記ユーザの顔を照らすことが可能な発光部の発光状態を制御する第
1報知と、前記ユーザの体調を改善させるための施術方法を、報知部を介して報知する第
2報知と、の両方を行うか、又は、前記第1報知と前記第2報知を選択的に行うよう制御する制御手段と、
を備えることを特徴とする。
本発明によれば、ユーザの状態の変化を、ユーザに対してより適切に認識させることができる。
本発明の一実施形態に係る報知装置の前面の外観構成を示す構成図である。 報知装置の側面の外観構成を示す構成図である。 報知装置のハードウェアの構成を示すブロック図である。 報知装置の機能的構成のうち、体調報知処理を実行するための機能的構成を示す機能ブロック図である。 報知装置が実行する体調報知処理の流れを説明するフローチャートである。 報知装置が実行する体調報知処理時の、鏡部及び報知部の遷移について説明するイメージ図である。 報知装置の機能的構成のうち、化粧報知処理を実行するための機能的構成を示す機能ブロック図である。 報知装置が実行する化粧報知処理の流れを説明するフローチャートである。
以下、本発明の実施形態について、図面を用いて説明する。
本発明の一実施形態に係る報知装置1は、ユーザが携帯可能な自立式の鏡として構成される。そして、報知装置1は、鏡に正対したユーザの体調情報を取得する。また、報知装置1は、報知手段を制御することにより、体調情報を改善させるための支援情報を報知する。更に、報知装置1は、支援情報の報知後に、体調情報が改善したか否かを判定する。
このような報知装置1によれば、ユーザは、支援情報により、体調情報を改善するための方法を把握することができる。また、報知装置1は、体調情報を改善するための方法を把握したユーザの体調が改善したか否かを判定した上で、任意の処理を行うことができる。すなわち、報知装置1によれば、ユーザ自身の体調情報を、ユーザに対してより適切に認識させることが可能となる。
[外観構成]
図1は、本発明の一実施形態に係る報知装置1の前面の外観構成を示す構成図である。また、図2は、報知装置1の側面の外観構成を示す構成図である。報知装置1の前面の大きさは、例えば、ISO(International Organization for Standardization)216で規定されるA4サイズに形成される。
図1及び図2に示すように、報知装置1は、鏡部30と、脚部31とを含んで構成される。鏡部30は、反射面を有した鏡である。
脚部31及びヒンジ部32は、報知装置1を自立させるための機構である。脚部31は、ヒンジ部32によって鏡部30に回動可能に接合される。
図2(A)に示すように、ユーザは、報知装置1を携帯する際に、鏡部30の側面と、脚部31の側面とを揃えて、嵩張らない形状として持ち運ぶことができる。一方で、図2(B)に示すように、ユーザは、報知装置1を机等に設置して利用する際には、ヒンジ部32を中心点として脚部31を回動させることにより、報知装置1を自立させることができる。なお、報知装置1を自立可能とするために、ヒンジ部32は、脚部31が所定の角度を保った状態で保持するための構造を有している。
図1に示すように、報知装置1は、更に、撮像部16、発光部17、入力部18、及び表示部19を備えている。
撮像部16は、報知装置1の利用時に、鏡部30に正対するユーザを被写体として撮像する部分である。撮像部16は、鏡部30に正対するユーザの顔画像を撮像可能な位置に配置される。
発光部17は、鏡部30に正対するユーザを照らすために発光する部分である。発光部17が、ユーザを照らすことにより、報知装置1は、照明付きの鏡(「女優ミラー」と呼ばれる場合もある。)として機能する。また、発光部17は、後述の体調報知処理における、報知部として報知も行う。
なお、発光部17は、鏡部30の両端それぞれに複数箇所配置される。ただし、図示の都合上、図1では、1つの発光部17についてのみ符号を付し、他の発光部17については符号を省略する。
入力部18は、ユーザによる操作入力を受け付ける部分である。図1では、操作内容に応じた入力部18として、入力部18a、入力部18b、入力部18c、及び入力部18dを図示する。ここで、入力部18aは、メイクモードへの切り替えを行うための操作を受け付ける。また、入力部18bは、ケアモードへの切り替えを行うための操作を受け付ける。更に、入力部18cは、各種の設定を行うための設定モードへの切り替えを行うための操作を受け付ける。更に、入力部18dは、報知装置1の電源のオン/オフの切り替えを行うための操作を受け付ける。
表示部19は、後述の体調報知処理における、報知部として報知を行う部分である。表示部19は、文字等のメッセージや、画像等を表示する。また、表示部19は、撮像部16が撮像した、鏡部30に正対するユーザの顔画像を表示してもよい。報知装置1では、鏡部30を構成する反射部の反射面と、表示部19の表示面とが、ユーザから同時に視認可能に、鏡部30に正対するユーザの視認方向に重畳して配置される。
例えば、液晶ディスプレイにより構成された表示部19が、ハーフミラーにより構成された鏡部30の視認方向における奥側に、並行に重ねて配置される。
このような配置により、ユーザは鏡部30により反射された自身の顔と、表示部19に表示された情報とを同時に視認することができる。なお、図1の例では、画面上部に表示部19の表示領域を設け、画面下部に鏡部30の反射領域を設けている。
以上、報知装置1の外観構造について説明をした。ただし、この構造は一例に過ぎず、報知装置1の外観構造は、この例に限定されない。
例えば、撮像部16は、図1に示すように鏡部30の上部に配置されてもよいが、例えば、鏡部30の下部に配置されてもよい。また、表示部19と同様に、撮像部16が、ハーフミラーにより構成された鏡部30の視認方向における奥側に、並行に重ねて配置されるようにしてもよい。
また、例えば、発光部17が、鏡部30の上部や下部に配置されてもよく、鏡部30の周辺全体に配置されてもよい。更に、例えば、入力部18の数や配置が変更されてもよい。また、例えば、表示部19の一部がタッチパネルとして構成され、入力部18と表示部19とが一体に構成されてもよい。
更に、例えば、表示部19により実現される表示領域は、画面上部に配置してもよいが、他の位置に配置してもよい。例えば、鏡部30の中央部分にユーザの顔が映し出されることを想定し、その中央部分の周辺に表示領域を配置するようにしてもよい。
更に、例えば、報知装置1の前面の一部に鏡部30を配置し、前面の他の一部に表示部19を配置するようにしてもよい。つまり、鏡部30と表示部19とを必ずしも重畳して配置させなくてもよい。
[ハードウェア構成]
図3は、報知装置1のハードウェアの構成を示すブロック図である。
図3に示すように、報知装置1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、撮像部16と、発光部17と、入力部18と、表示部19と、記憶部20と、ドライブ21と、を備えている。
CPU11は、ROM12に記録されているプログラム、または、記憶部20からRAM13にロードされたプログラムに従って各種の処理を実行する。
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、撮像部16と、発光部17と、入力部18と、表示部19と、記憶部20と、及びドライブ21が接続されている。
撮像部16は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
撮像部16にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
イメージセンサは、光電変換素子や、AFE(Analog Front End)等から構成される。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部16の出力信号として出力される。
このような撮像部16の出力信号は、CPU11等に適宜供給される。
発光部17は、RGBカラーモデルにおける各色に対応するLED(Light Emitting Diode)等の発光体と、RGBカラーモデルに基づいて発光体の発光における色成分を調整可能な制御回路とから構成される。発光部17は、報知装置1の起動と共に、RGBの色成分を所定の状態に調整して発光することにより、ユーザを照らす。この所定の状態とは、鏡部30に映し出されたユーザの顔が自然に見える状態である。また、発光部17は、CPU11からの指示に基づいて、例えばRに対応する発光体の発光を抑えることにより、例えば、R成分を軽減させて発光する。
入力部18は、各種ボタン等で構成され、ユーザの指示操作に応じて各種情報を入力する。
表示部19は、液晶ディスプレイ等で構成され、CPU11が出力する画像データに対応する画像を表示する。鏡部30は、ハーフミラーで構成され、例えば、ユーザの顔が映し出される。表示部19と、鏡部30の配置については、図1を参照して上述した通りである。
記憶部20は、DRAM(Dynamic Random Access Memory)等の半導体メモリで構成され、各種データを記憶する。
ドライブ21には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア100が適宜装着される。リムーバブルメディア100には、後述の体調報知処理を実行するためのプログラムや、画像データ等の各種データが格納される。ドライブ21によってリムーバブルメディア100から読み出されたプログラムや、画像データ等の各種のデータは、必要に応じて記憶部20にインストールされる。
なお、報知装置1は、上述したハードウェア構成に加えて、他のハードウェア構成を更に備えていてもよい。例えば、報知装置1は、ランプやスピーカあるいは振動用モータ等で構成され、光や音声あるいはバイブレーション信号を出力する出力部を備えていてもよい。また、例えば、報知装置1は、インターネットを含むネットワークを介して他の装置(図示せず)との間で通信を行うための通信部等を備えていてもよい。
[機能的構成]
図4は、報知装置1の機能的構成のうち、体調報知処理を実行するための機能的構成を示す機能ブロック図である。
体調報知処理とは、報知装置1が体調情報に基づいた報知を行う一連の処理である。
体調報知処理が実行される場合、図4に示すように、CPU11において、体調情報取得部111と、判定部112と、選択部113と、制御部114とが機能する。
また、記憶部20の一領域には、判定情報記憶部201と、報知情報記憶部202とが設定される。
判定情報記憶部201には、判定部112が体調情報についての判定を行うための情報が格納される。具体的には、体調報知処理において取得したユーザの体調情報や、判定の基準となる体調情報が格納される。
報知情報記憶部202には、制御部114の制御に基づいて、発光部17や表示部19が報知を行うための情報が格納される。具体的には、発光部17の発光を制御するための制御情報や、表示部19に表示をするための文字データ(テキストデータ)や画像データが格納される。以下の説明において、発光部17と表示部19の双方を、適宜「報知部」と称する。
なお、判定情報記憶部201や、報知情報記憶部202に格納される体調情報や報知情報等の各種のデータについては、記憶部20にのみ格納されていてもよいが、ドライブ21によってリムーバブルメディア100から適宜読み出されるようにしてもよい。
体調情報取得部111は、ユーザの体調を示す情報である体調情報を取得する部分である。本実施形態において、体調情報取得部111は、撮像部16が撮像した画像を解析して、解析結果を体調情報として取得する。ここで、図1を参照して上述したように撮像部16は、鏡部30に正対したユーザの顔が撮像される位置に配置される。従って、撮像部16が撮像したこの画像には、ユーザの顔部分の画像が含まれている。
体調情報取得部111は、まず、この画像を解析して、画像内におけるユーザの顔部分に対応する領域を特定する。例えば、体調情報取得部111は、画像内におけるユーザの顔の輪郭を抽出したり、目等の特徴点を抽出したりすることにより、ユーザの顔部分に対応する領域を特定する。次に、体調情報取得部111は、特定したユーザの顔部分に対応する領域の各画素について、色についての解析を行う。例えば、各画素についてRGB値を算出し、各画素のRの値を積算することにより、ユーザの体調情報とする。
つまり、本実施形態では、ユーザの顔の赤みを、ユーザの体調やメンタルの状態を示す体調情報として利用する。これは、一般に青白い顔よりも、赤みを帯びた顔の方が、疲れを感じさせず健康的な顔色であると捉えられるからである。
なお、各画素のRの値を積算する際に、重み付けを行うようにしてもよい。例えば、ユーザの顔部分に対応する領域を特定する際に、赤みが特徴として出やすい頬や唇の領域を更に特定する。そして、この赤みが特徴として出やすい頬や唇の領域のRの値については、他の領域のRの値よりも重みをつけて積算を行うようにしてもよい。
体調情報取得部111は、体調報知処理の開始時に、上述のように解析を行うことにより体調情報を取得する(以下、この体調情報を「第1の体調情報」と称する。)。また、その後所定時間が経過すると、体調情報取得部111は、上述のように解析を行うことにより再度体調情報を取得する(以下、この体調情報を「第2の体調情報」と称する。)。
そして、体調情報取得部111は、このように解析を行うことにより取得した体調情報のそれぞれを、判定情報として、判定情報記憶部201に格納する。また、体調情報取得部111は、過去に取得した体調情報の履歴の平均値を、基準となる体調情報(以下、この体調情報を「基準体調情報」と称する。)として判定情報記憶部201に格納する。
判定部112は、判定情報記憶部201に格納されている体調情報に基づいた判定を行う部分である。この点、上述したように、本実施形態では、ユーザの顔に赤みに対応するRの値を体調情報としている。そこで、判定部112は、ユーザの顔に赤みに対応するRの値に基づいて判定を行う。
判定部112は、まず第1の体調情報と、基準体調情報とを比較し、この比較結果に基づいて、体調報知処理の開始時のユーザの体調情報が基準と比べて良好であるか否かを判定する。
具体的には、判定部112は、第1の体調情報と、基準体調情報とを比較し、基準体調情報よりも第1の体調情報の方がRの値が高い場合に、体調報知処理の開始時のユーザの体調が良好であると判定する。なお、第1の体調情報と、基準体調情報とを比較するためにRの値を用いたがこれに限らず、RGBのうち少なくとも1つ以上のパラメータとして比較を行ってもよく、更には画像解析や生体センサから得られる生体情報を用いて比較を行うようにしてもよい。
また、判定部112は、第1の体調情報と、第2の体調情報とを比較し、この比較結果に基づいて、体調情報が改善したか否かを判定する。
具体的には、判定部112は、第1の体調情報と、第2の体調情報とを比較し、第1の体調情報のRの値よりも第2の体調情報のRの値の方が所定値以上増加していた場合に、体調報知処理を行ったことによりユーザの体調情報が改善したと判定する。なお、第1の体調情報と、第2の体調情報との比較においてもRの値を用いたがこれに限らず、RGBのうち少なくとも1つ以上のパラメータとして比較を行ってもよく、更には画像解析や生体センサから得られる生体情報を用いて比較を行うようにしてもよい。
判定部112は、このような判定により得られた判定結果を、後述の制御部114に対して出力する。
選択部113は、体調報知処理において、報知に用いる報知部を選択する部分である。選択部113は、体調情報に基づいて決定される報知の内容等に応じて、適切な報知部を選択する。
制御部114は、判定部112の判定結果に基づいて、選択部113が選択した報知部を制御することにより報知を実行する部分である。
これら各部が協働して実行される報知の具体的な内容については、以下の[動作]の説明において詳細に説明する。
[動作]
次に、報知装置1の動作を説明する。
図5は、報知装置1が実行する体調報知処理の流れを説明するフローチャートである。また、図6は、体調報知処理時の鏡部30及び報知部(すなわち、発光部17及び表示部19)の遷移について説明するイメージ図である。
体調報知処理は、報知装置1の起動と共に開始される。
ステップS11において、体調情報取得部111は、撮像部16の撮像した画像を解析することにより、鏡部30の前にユーザ検出すると、第1の体調情報を取得する。
ステップS12において、判定部112は、ステップS11にて取得された第1の体調情報と、判定情報記憶部201に格納された基準体調情報とを比較し、体調報知処理の開始時のユーザの体調が良好であるか否かを判定する。
ユーザの体調が良好である場合には、ステップS12においてYesと判定され、処理は終了する。すなわち、ユーザの体調が良好であるので、特に報知を行うことなく処理を終了する。この場合、報知装置1は、発光する発光部17と、ユーザを映し出す鏡部30とにより、照明付きの鏡として機能する。一方で、ユーザの体調が良好でないと判定された場合には、ステップS12においてNoとなり、処理はステップS13に進む。
ステップS13において、選択部113及び制御部114が協働することにより、ユーザに対して報知を行う。この報知において、例えば、選択部113は、報知部として表示部19を選択する。そして、制御部114は、ユーザに対して、例えば、「顔色が優れませんよ。」や「疲れているようですよ。」等の体調に係るアドバイスを含むメッセージやイラストを表示部19に表示することで報知する。この場合に、後述のメイクモードへの設定を促すメッセージとして、例えば「メイクをしますか?」等のメッセージを更に表示部19に表示すようにしてもよい。
ステップS13における報知を行った場合の、鏡部30及び報知部(すなわち、発光部17及び表示部19)の状態について図6(A)として示す。この場合、発光部17は、報知装置1の起動と共に、RGBの色成分を所定の状態に調整して発光している。また、鏡部30には、この所定の状態に調整された発光により照らされたユーザの顔が映し出される。更に、表示部19には、上述したようなメッセージが表示される。
ユーザは、このような報知を受けることにより、自身の体調が良好でないことに気付くことができる。
ステップS14において、制御部114は、現在何れのモードに設定されているかを判定する。ここで、本実施形態では、「メイクモード」と「ケアモード」の2つのモードを設ける。そして、制御部114は、図1に示した入力部18aや入力部18bによるユーザの操作に基づいて、何れかのモードに設定をする。ユーザの操作に基づいた設定は、体調報知処理に先立って予め行われてもよいし、体調報知処理の過程において行われてもよい。例えば、ステップS13の報知を受けたユーザが操作を行うことにより、モードが設定されてもよい。
ユーザがメイクモードを選択したことにより、メイクモードに設定されている場合には、ステップS14において「メイクモード」と判定され、処理はステップS15に進む。一方で、ユーザがケアモードを選択したことにより、ケアモードに設定されている場合には、ステップS14において「ケアモード」と判定され、処理はステップS18に進む。
メイクモードが選択されている場合は、ステップS15において、選択部113及び制御部114が協働することにより、ユーザに対して報知を行う。この報知において、例えば、選択部113は、報知部として発光部17を選択する。そして、制御部114は、発光部17を制御することにより、意図的に発光部17のRの成分を抑制する。これにより、ユーザの顔に赤みが足りず、顔色が悪い事を強調する。つまり、制御部114は、体調情報取得部111が取得する体調情報をより強調する。また、ユーザに対しても、鏡部30に映し出される顔の赤みという体調情報をより強調する。更に、選択部113は、報知部として表示部19を選択する。そして、制御部114は、ユーザに対して、例えば、メイクのサンプル画像とサンプルが使用している色見本を表示部19に表示することで報知する。
ステップS15における報知を行った場合の、鏡部30及び報知部(すなわち、発光部17及び表示部19)の状態について図6(B-1)として示す。この場合、発光部17は、意図的にRの成分を抑制した発光をしている。また、鏡部30には、このRの成分を抑制した発光により照らされたユーザの顔が映し出される。更に、表示部19には、メイクのサンプル画像とサンプルが使用している色見本が表示される。
ユーザは、このような報知を受けることにより、適切なメイクを行うことができる。特に、顔色が悪い事が強調されているため、これを補うようなメイクを行うことができる。なお、例えば、撮像部16の撮像した画像を解析することによりユーザがメイクを開始したことを検知したら、発光部17によるRの成分を抑制した発光から、R成分の抑制を解除した自然な発光に切り替えてもよい。このようにすることにより、ユーザは、R成分の抑制を解除した自然な発光のもとで、自身に施したメイクの進捗やメイク度合いを正確に把握しながらメイクすることができる。
ステップS16において、判定部112は、第1の体調情報と、第2の体調情報とを比較し、この比較結果に基づいて、体調情報が改善したか否かを判定する。この第2の体調情報は、ステップS15における報知後に、ユーザにより行われたメイクにて赤系の粉体等の化粧品(例えば、赤系の口紅やチーク等)がユーザの顔に塗られたことにより、顔に赤味が着色されたユーザの体調情報である。
第1の体調情報のRの値よりも第2の体調情報のRの値の方が所定値以上増加していない場合には、体調情報が改善していないことから、ステップS16においてNoと判定され、ステップS16を繰り返す。これは、ユーザによりメイクが未だ不十分であることを示す。
一方で、第1の体調情報のRの値よりも第2の体調情報のRの値の方が所定値以上増加していた場合には、体調情報が改善していることから、ステップS16においてYesと判定され、処理はステップS17に進む。これは、ユーザにより適切にメイクが行われたことを示す。
なお、判定部112は、R成分が抑制された発光で晒されたユーザの顔に関する情報を取得した後に、その発光に晒された顔に対する色調の影響を後処理により除外した上で、第1の体調情報と第2の体調情報との比較を行うようにしてもよいし、比較に用いられるユーザの顔画像を取得する際は発光を止める、またはRの成分の抑制を止めた自然光で顔を照らすようにしてもよい。このような処理を行うことで、判定部112による判定時に赤色成分が抑制された発光の影響を加味した上で比較判定を行うよう必要をなくすことができる。
ステップS17において、選択部113及び制御部114が協働することにより、ユーザに対して報知を行う。この報知において、例えば、選択部113は、報知部として発光部17を選択する。そして、制御部114は、発光部17を制御することにより、発光部17の発光状態を報知装置1の起動時と同様の、所定の状態に戻す。この所定の状態とは、上述したように、鏡部30に映し出されたユーザの顔が自然に見える状態である。また、選択部113は、報知部として表示部19を選択する。そして、制御部114は、ユーザに対して、例えば、「メイクにより顔色が改善しました。」等の体調に係るアドバイスを含むメッセージを文字やイラストを表示部19に表示することで報知する。
ステップS17における報知を行った場合の、鏡部30及び報知部(すなわち、発光部17及び表示部19)の状態について図6(B-2)として示す。この場合、発光部17は、意図的にRの成分を抑制した状態から、鏡部30に映し出されたユーザの顔が自然に見える状態に戻る。更に、表示部19には、上述したようなメッセージが表示される。
ユーザは、メッセージを確認することにより、顔色が改善したことを把握できる。また、ユーザは、鏡部30に映し出されたユーザの顔が自然に見える状態で、メイク後の顔を確認することができる。これにより、体調報知処理は終了する。
一方で、ケアモードが選択されている場合は、ステップS18において、選択部113及び制御部114が協働することにより、ユーザに対して報知を行う。この報知において、例えば、選択部113は、報知部として表示部19を選択する。そして、制御部114は、ユーザに対して、例えば、血行をよくするためのマッサージの方法を表示部19に表示することで報知する。
ステップS18における報知を行った場合の、鏡部30及び報知部(すなわち、発光部17及び表示部19)の状態について図6(C-1)として示す。この場合、表示部19には、血行をよくするためのマッサージの方法が表示される。
ユーザは、このような報知を受けることにより、血行をよくするためのマッサージを行うことができる。
ステップS19において、判定部112は、ステップS18の報知が行われてから所定時間が経過したか否かを判定する。所定時間は、マッサージによって血行がよくなるのに十分な時間とする。所定時間が経過していない場合には、ステップS19においてNoと判定され、ステップS19の判定が繰り返される。一方で、所定時間が経過した場合には、ステップS19においてYesと判定され、処理はステップS20に進む。
ステップS20において、判定部112は、第1の体調情報と、第2の体調情報とを比較し、この比較結果に基づいて、体調情報が改善したか否かを判定する。この第2の体調情報は、血行をよくするためのマッサージを行った後のユーザの体調情報である。
第1の体調情報のRの値よりも第2の体調情報のRの値の方が所定値以上増加していた場合には、体調情報が改善していることから、ステップS20においてYesと判定され、処理はステップS21に進む。これは、ユーザにより血行をよくするためのマッサージが行われたことにより、血行がよくなり、顔に赤味が出たことを示す。
ステップS21において、選択部113及び制御部114が協働することにより、ユーザに対して報知を行う。この報知において、例えば、選択部113は、報知部として表示部19を選択する。そして、制御部114は、ユーザに対して、例えば、「マッサージにより顔色が改善しました。」等のメッセージを文字やイラストを表示部19に表示することで報知する。
ステップS21における報知を行った場合の、鏡部30及び報知部(すなわち、発光部17及び表示部19)の状態について図6(C-2)として示す。この場合、表示部19には、上述したようなメッセージが表示される。
ユーザは、メッセージを確認することにより、顔色が改善したことを把握できる。これにより、体調報知処理は終了する。
一方で、第1の体調情報のRの値よりも第2の体調情報のRの値の方が所定値以上増加していない場合には、体調情報が改善していないことから、ステップS20においてNoと判定され、処理はステップS22に進む。これは、十分にマッサージを行ったにも関わらず、血行が良くならず、顔に赤みが出ていないことを示す。この点、メイクモードの場合には、メイクを継続することにより、最終的に体調情報が改善する(すなわち、最終的にRの値が所定値以上増加する)と考えられるので、ステップS16のように体調情報が改善するまで判定を継続した。しかしながら、ケアモードの場合には、十分にマッサージを行ったにも関わらず、体調情報が改善しないのであれば、ユーザは現在体調不良であり、これ以上マッサージを継続しても、体調情報が改善しないと考えられる。そのため、ステップS16のように判定を継続することなく、ステップS22に進む。
ステップS22において、選択部113及び制御部114が協働することにより、ユーザに対して報知を行う。この報知において、例えば、選択部113は、報知部として表示部19を選択する。そして、制御部114は、ユーザに対して、例えば、「マッサージを行いましたが顔色が改善しませんでした。」等のメッセージを文字やイラストを表示部19に表示することで報知する。ユーザは、メッセージを確認することにより、顔色が改善しなかったことを把握できる。そのため、ユーザは、自身が貧血や胃潰瘍等の状態にある可能性があることを把握できる。また、これに応じて病院にて受信すること等も検討することができる。これにより、体調報知処理は終了する。
以上説明した処理により、報知装置1は、取得した体調情報を改善するための支援情報を、ユーザに対して報知することができる。従って、ユーザは、体調情報を改善するための方法を把握することができる。
以上のように構成される報知装置1あるいは以下で後述する変形例のように構成される報知装置1は、体調情報取得部111あるいは化粧情報取得部115と、報知部としての発光部17及び表示部19と、制御部114と、判定部112とを備える。
体調情報取得部111あるいは化粧情報取得部115は、顔情報を取得する。
報知部としての発光部17及び表示部19は、顔情報に基づく報知を行う。
判定部112は、報知前の顔情報と、報知後の顔情報との変化を判定する。
制御部114は、判定部112による判定結果に基づいて報知部としての発光部17及び表示部19による報知を制御する。
これにより、報知装置1は、取得した顔情報に基づいたユーザ自身の変化を、ユーザに対して報知することができる。従って、ユーザは、ユーザ自身の状態の変化(例えば、体調情報の変化や、化粧での変化)を把握することができる。すなわち、報知装置1によれば、ユーザの状態の変化を、ユーザに対してより適切に認識させることができる。
報知装置1は、報知部としての発光部17及び表示部19を複数種備えると共に、選択部113を更に備える。
選択部113は、報知部としての発光部17及び表示部19の種類を選択する。
制御部114は、選択部113により選択された報知部としての発光部17及び表示部19による報知を制御する。
これにより、報知装置1は、選択した報知部により、報知することができる。従って、報知装置1は、例えば、ユーザが設定したモードそれぞれに適した報知を行うことができる。
判定部112は、報知前の顔情報と報知後の顔情報との差分を算出する。
制御部114は、判定部112が算出した差分を前記報知部としての発光部17及び表示部19に報知させる。
これにより、報知装置1は、取得した顔情報に基づいたユーザ自身の変化を示す情報である顔情報の差分を、ユーザに対して報知することができる。従って、ユーザは、ユーザ自身の変化を示す情報である顔情報の差分を把握することができる。
制御部114は、顔情報を強調するように報知部としての発光部17及び表示部19に報知させる。
これにより、ユーザは、通常であれば気付きにくい自身の状態を、より適切に把握することができる。
制御部114は、顔情報に応じた所定の行動を促す情報を報知部としての発光部17及び表示部19に報知させる。
これにより、ユーザは、顔情報に応じた所定の行動を行うことができ、これに伴い体調を改善したり、適切に化粧を行ったりすることが可能となる。
体調情報取得部111あるいは化粧情報取得部115は、顔情報として顔情報の取得対象である被写体の画像を取得し、
判定部112は、被写体の画像に基づいて、報知前の顔情報と、報知後の顔情報との変化を判定する。
これにより、報知装置1は、ユーザの顔画像等に基づいて、体調情報が改善したか否かや、化粧が適切に行えたか否かを、判定することができる。例えば、顔画像を解析することにより特定した顔色の変化に基づいて判定をすることができる。
報知部としての発光部17及び表示部19は発光により報知を行うものであり、
制御部114は、判定部112による判定結果に基づいて報知部としての発光部17及び表示部19の発光を制御する。
これにより、報知装置1は、発光を利用して報知を行うことができる。例えば、発光におけるRGB成分の内の、Rの成分を軽減する制御することにより、ユーザの顔色を強調するような報知ができる。
報知部としての発光部17及び表示部19は文字により報知を行うものであり、
制御部114は、判定部112による判定結果に基づいて報知部としての発光部17及び表示部19により報知される文字を制御する。
これにより、報知装置1は、文字を用いたメッセージ文等で報知をすることができる。
報知部としての発光部17及び表示部19は文字により報知を行うものであり、
制御部114は、判定部112による判定結果に基づいて報知部としての発光部17及び表示部19により報知される文字の表示位置を制御する。
これにより、報知装置1は、文字を用いたメッセージ文等の表示位置を制御した上で報知をすることができる。
報知装置1は、顔情報の取得対象である被写体を表示する表示部19もしくは鏡部30を有する。
これにより、報知装置1は、鏡や、ディスプレイ等の画像表示部により、ユーザの顔等を、ユーザに視認させることができる。
表示部の表示面と、報知部としての発光部17及び表示部19の表示面とが、同時に視認可能に視認方向に重畳して配置される。
これにより、ユーザは、表示部により反射等される自身の顔等と、報知される情報とを同時に視認することができる。
体調情報取得部111あるいは化粧情報取得部115は、顔情報として体調に関する情報又は化粧に関する情報を取得する。
これにより、報知の前後における、体調に関する変化又は化粧に関する変化について判定をすることができる。そのため、体調に関する変化又は化粧に関する変化に基づいた報知を行うことが可能となる。
報知部としての発光部17及び表示部19は、顔情報に基づいて、支援情報又は評価情報を報知する。
これにより、ユーザは、自身の顔情報に基づいた、支援情報(例えば、体調を改善させるためのアドバイス)や、評価情報(例えば、化粧に関する評価)の報知を受けることができる。
[効果]
次に、上述した実施形態が奏する効果について説明をする。
前提として、例えば、就職活動中の人物や接客業に従事している人物は、立場上、疲れた顔や不健康に見える顔を他人に見せることは望ましくない。そこで、これらの人物は、自宅等で鏡に映し出された自身の顔等を確認しながら化粧等を行うことにより、疲れた顔や不健康な顔をカバーする。
しかし化粧のプロや化粧方法を教わったことがある人以外は疲れた顔をどうやってカバーできるのか手段がわからない。特に体調不良や寝不足の時は「どうしたらカバーしよう?」などと考える余裕すらない。仕事・家事・育児・介護等の連続で日々の疲労が蓄積した慢性疲労の場合、自分が疲れた顔をしている(顔色が悪い)という自覚がそもそもなく他人に指摘されて初めて気づく人も多い。疲れが顔に出ていることに自覚がないまま行動していると、第一印象で就職活動や接客・商談が上手くいかないといった悪循環に陥る上、健康を損ね病気の原因にも繋がる。
そこで、ユーザは上述した実施形態を利用することにより、以下のような効果を得ることができる。
慢性疲労の場合、顔色の悪さや疲れた表情をしていることに本人は気づきにくい。慢性疲労の影には病気が潜んでいる場合もある。しかしながら、本実施形態によれば、血色を良く見せる化粧やマッサージを促すことできるので、見た目を改善するだけではなく、本人に自覚を促すことができる。
また、就職活動や接客業の人達は、不健康な印象を第一印象で与えてしまうと失敗する。しかしながら、本実施形態によれば、起床時に洗面台の鏡で疲れた顔をしていたとしても、鏡がその場で元気に見せるメイクの提案をしてくれるため、忙しい朝に慌てなくても印象が良いメイクを施すことができる。
更に、本実施形態によれば、鏡が教えてくれることで、わざわざ調べなくても、メイクの方法やマッサージの方法がわかる。
更に、本実施形態によれば、マッサージをしても顔色の悪さが抜けない場合は病気の疑いがあることから、大病になる前に体調不良に気づくことが出来る。
[変形例]
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
[過去の体調情報を用いる変形例]
例えば、上述の実施形態において、判定部112は、ステップS13における報知後に、ステップS16やステップS20にて判定を行っていた。そして、この判定では、判定部112は、第1の体調情報と第2の体調情報とを比較し、この比較結果に基づいて、体調情報が改善したか否かを判定していた。
これを変形して、判定部112は、ステップS13における報知後に、ステップS16やステップS20にて、過去に取得した体調情報(以下、この体調情報を「過去体調情報」と称する。)と第2の体調情報とを比較するようにしてもよい。ここで、過去体調情報とは、ステップS13における報知前に、体調情報取得部111が、撮像部16の撮像した画像を解析することにより取得した体調情報である。
具体的には、例えば、体調情報取得部111は、前回の体調報知処理において取得した第1の体調情報や第2の体調情報を、判定情報記憶部201に格納しておく。そして、今回の体調報知処理では、判定部112は、判定情報記憶部201に格納されている、これら第1の体調情報や第2の体調情報を過去体調情報として利用する。これにより、判定部112は、例えば前日の体調情報(過去体調情報)と、今の体調情報(第2の体調情報)との比較を行うことができる。
また、この比較では、上述した実施形態のように、比較結果に基づいて、体調情報が改善したか否かを判定してもよいが、変化の有無や変化の度合いを判定してもよい。この場合、例えば、判定部112は、過去体調情報と、第2の体調情報との差分を算出することにより判定を行う。算出される差分は、例えば、Rの値の差分である。
そして、この比較が終了後、ステップS17、ステップS21及びステップS22における報知に代えて、選択部113及び制御部114が協働することにより、ユーザに対して、差分を示すメッセージを報知するようにしてもよい。
この報知において、例えば、選択部113は、報知部として表示部19を選択する。そして、制御部114は、ユーザに対して、例えば、「昨日に比べて顔色が優れませんよ。」や「昨日よりも元気な顔色ですね。」等の差分を示すメッセージを文字やイラストを表示部19に表示することで報知する。
このように、過去体調情報との比較を行ったり、過去体調情報との差分を報知したりすることによっても、ユーザ自身の体調の変化を、ユーザに対してより適切に認識させることが可能となる。
なお、判定部112が、過去体調情報と、第2の体調情報とを比較するためにRの値の差分を算出し、このRの値の差分を報知する例について説明したがこれに限られない。判定部112は、RGBのうち少なくとも1つ以上のパラメータについて差分の算出を行ってもよく、更には画像解析や生体センサから得られる生体情報について差分の算出を行うようにしてもよい。また、制御部114は、ユーザに対して、これらの差分を報知するようにしてもよい。更に、過去体調情報は、過去のある時点で取得した体調情報であってもよいが、過去の複数の時点で取得した複数の体調情報の平均値であってもよい。
[他の体調情報を用いる変形例]
他にも、例えば、上述の実施形態において、ユーザの顔領域のRの値を体調情報として利用して、体調報知処理を行っていた。これを変形して、他の体調情報を用いて、体調報知処理を行うようにしてもよい。例えば、撮像部16に赤外線フィルタ等を用いることにより、体調情報取得部111が、ユーザの体温を取得するようにする。そして、このユーザの体温を体調情報として利用するようにしてもよい。
[報知方法を異ならせる変形例]
他にも、例えば、上述の実施形態において、報知を行う場合に、所定のメッセージを報知する場合に、選択部113は、表示部19を選択していた。そして、制御部114は、表示部19にメッセージを表示することにより報知を行っていた。これを変形して、他の方法で報知を行うようにしてもよい。例えば、選択部113は、図示を省略したスピーカを選択するようにしてもよい。そして、制御部114は、所定のメッセージに対応する音声をスピーカから出力するようにしてもよい。
[発光部を他の用途に用いる変形例]
他にも、例えば、発光部17を他の用途に利用するようにしてもよい。例えば、ユーザの血圧に働きかける用途に発光部17を利用するようにしてもよい。
この場合、体調情報取得部111が、外部の血圧測定機器と通信を行う等して、ユーザの血圧情報を取得する。そして、制御部114が、取得した血圧情報に応じて発光部17の発光を制御する。具体的には、取得した血圧の値が高い場合には、制御部114は、発光部17を制御することによりBの成分を増加させて青色系で発光するように制御する。青色系の発光をみることで、血圧が下がる効果があるためである。一方で、取得した血圧の値が低い場合には、制御部114は、発光部17を制御することによりRの成分を増加させて赤色系で発光するように制御する。赤色系の発光をみることで、血圧が上がる効果があるためである。
[化粧に対する評価に適用する変形例]
上述した実施形態では、報知装置1は、取得した体調情報を改善するための支援情報をユーザに対して報知していた。これに限らず、報知装置1は、他の情報をユーザに対して報知するようにしてもよい。例えば、報知装置1は、体調情報を改善するための支援情報ではなく、ユーザに施された化粧に対する評価を含む評価情報を報知するようにしてもよい。そのために報知装置1は、本変形例において、上述した実施形態で行った「体調報知処理」ではなく、「化粧報知処理」を行う。この化粧報知処理を行うための機能的構成及び動作について、以下、図7及び図8を参照して説明する。
(機能的構成)
図7は、報知装置1の機能的構成のうち、化粧報知処理を実行するための機能的構成を示す機能ブロック図である。
化粧報知処理とは、報知装置1がユーザに施された化粧に対する評価を含む評価情報を報知する一連の処理である。
化粧報知処理が実行される場合、図7に示すように、CPU11において、化粧情報取得部115と、判定部112と、選択部113と、制御部114とが機能する。上述の実施形態における、体調報知処理が実行される場合と比較して、体調情報取得部111が、化粧情報取得部115に置き換わっている点で相違する。
また、記憶部20の一領域には、判定情報記憶部201と、報知情報記憶部202とが設定される。
判定情報記憶部201には、判定部112が化粧の状態を示す化粧情報についての判定を行うための情報が格納される。具体的には、化粧報知処理での判定の基準となる化粧情報(以下、「化粧情報目標値」と称する。)や、化粧報知処理において取得したユーザの化粧情報(以下、「化粧情報実測値」と称する。)が格納される。
ここで、化粧情報目標値や化粧情報実測値といった各化粧情報としては、例えば、顔部分に対応する各領域(以下、「評価対象領域」と称する。)の各画素についての色を示す情報を用いることができる。
例えば、頬、唇、目元、まつ毛、及びTゾーンといった化粧の対象となる器官や部位に対応する領域を評価対象領域とすることができる。この場合、評価対象領域は、ユーザの設定や化粧の内容等に応じて、複数設定されてもよいし、1つのみ設定されてもよい。
また、例えば、これら評価対象領域における、各画素についてのRGB値を化粧情報として用いることができる。ここで、上述した実施形態では、各画素についてのRGB値のうち、ユーザの顔の赤みを示すRの値を、ユーザの体調情報として用いていた。
これに対して、化粧は、赤以外の、赤や黄色あるいは黒といった様々な色に対応する化粧品も利用して行なわれる。そこで、化粧情報目標値や化粧情報実測値といった各化粧情報としては、Rの値のみならず、Gの値やBの値も用いるようにするとよい。
ただしこれは、一例であり、化粧情報として、RGBのうち少なくとも1つ以上の値を用いるようにしてもよく、更には画像解析等から得られる他の情報を化粧情報として用いるようにしてもよい。
これら各化粧情報の取得は、後述の化粧情報取得部115が行う。化粧情報取得部115は、化粧情報目標値を、お手本となるモデル等の人物の画像から抽出することにより取得する。あるいは、化粧情報取得部115は、化粧情報目標値を、報知装置1のユーザの画像に対して、美肌処理等の所定の処理を行い、処理後の画像から抽出することにより取得する。
また、化粧情報取得部115は、化粧情報実測値を、撮像部16が撮像した画像を解析して、解析結果に基づいて取得する。
化粧情報取得部115は、取得した各化粧情報を、判定情報記憶部201に格納する。
なお、化粧情報取得部115による、化粧情報目標値の取得は、化粧報知処理が実行される都度行なわれてもよいし、化粧報知処理に先立って行なわれてもよい。化粧報知処理に先立って行なわれた場合には、化粧情報目標値が、ユーザごとに設けられたデータベース等の形式で、判定情報記憶部201に格納される。そして、化粧情報取得部115が、化粧報知処理が実行される都度、格納されている化粧情報目標値を読み込んで利用する。
報知情報記憶部202には、制御部114の制御に基づいて、発光部17や表示部19が報知を行うための情報が格納される。具体的には、発光部17の発光を制御するための制御情報や、表示部19に表示をするための文字データ(テキストデータ)や画像データが格納される。
なお、判定情報記憶部201や、報知情報記憶部202に格納される各化粧情報や報知情報等の各種のデータについては、記憶部20にのみ格納されていてもよいが、ドライブ21によってリムーバブルメディア100から適宜読み出されるようにしてもよい。
化粧情報取得部115は、判定情報記憶部201の説明において上述したように、化粧情報目標値や化粧情報実測値といった各化粧情報を取得する部分である。
化粧情報取得部115は、上述したように、お手本となるモデル等の人物の画像からの抽出等を行うことにより、化粧情報目標値を取得する。
また、化粧情報取得部115は、撮像部16が撮像した画像を解析して、解析結果に基づいて化粧情報実測値を取得する。ここで、図1を参照して上述したように撮像部16は、鏡部30に正対したユーザの顔が撮像される位置に配置される。従って、撮像部16が撮像したユーザの顔部分の画像を解析して、解析結果に基づいて化粧情報実測値を取得する。
そして、化粧情報取得部115は、このように取得した各化粧情報のそれぞれを、判定情報として、判定情報記憶部201に格納する。
判定部112は、判定情報記憶部201に格納されている各化粧情報に基づいて、化粧が適切に行なわれたか否かを判定する部分である。
ここで、本変形例では、第1の時点で化粧情報取得部115が測定した化粧情報実測値(以下、「第1の化粧情報実測値」と称する。)と、第1の時点よりも後の第2の時点で化粧情報取得部115が測定した化粧情報実測値(以下、「第2の化粧情報実測値」と称する。)を用いた判定を行う。
そのために、判定部112は、化粧情報目標値と、各化粧情報実測値それぞれとについて差分を算出する。また、判定部112は、化粧情報目標値と第1の化粧情報実測値との差分(以下、「第1の差分」と称する。)と、化粧情報目標値と第2の化粧情報実測値との差分(以下、「第2の差分」と称する。)を比較する。そして、判定部112は、第2の差分が、第1の差分から変化している場合に、化粧情報実測値が変化したと判定する。これにより、ユーザの化粧情報実測値の変化を判定することができる。
この場合に、判定部112は、例えば、第2の差分が、第1の差分よりも小さくなっている場合には、より化粧情報目標値に近づくように変化したと判定する。これにより、判定部112は、第2の時点では第1の時点に比べて、適切に化粧が行えていると判定することができる。
一方で、判定部112は、例えば、第2の差分が、第1の差分よりも大きくなっている場合には、より化粧情報目標値から遠ざかるように変化したと判定する。これにより、判定部112は、第2の時点では第1の時点に比べて、適切に化粧が行えていない(すなわち、不適切な化粧が行なわれている)と判定することができる。
また、これらの場合に、判定部112は、例えば、報知を行う前の時点を第1の時点とし、報知を行った後の時点を第2の時点とすることにより、報知前後におけるユーザの化粧情報実測値の変化を判定することができる。
また、本変形例では、判定部112は、化粧情報目標値と、各化粧情報実測値とを用いた判定も行う。そのために、判定部112は、化粧情報目標値と、各化粧情報実測値(例えば、直近の実測値である、第2の化粧情報実測値)との差分を、所定の閾値と比較する。そして、判定部112は、化粧情報目標値と、化粧情報実測値との差分が、所定の閾値よりも小さくなった場合に、化粧における目標に達成したと判定する。
ここで、化粧情報目標値と、化粧情報実測値との差分が、所定の閾値よりも小さくなった場合とは、ユーザが化粧を適切に行なったことにより、目標に近づいた化粧を行うことができた場合に相当する。また、判定部112は、評価対象領域が複数ある場合には、この複数の評価対象領域のそれぞれについて上述の判定を行う。
判定部112は、これら各判定により得られた判定結果を、後述の選択部113や、制御部114に対して出力する。これにより、後述の選択部113及び制御部114は、これら各判定の結果に基づいて、報知を制御することができる。
選択部113は、化粧報知処理において、報知に用いる報知部を選択する部分である。選択部113は、判定部112の判定結果に基づいて決定される報知の内容等に応じて、適切な報知部を選択する。
制御部114は、判定部112の判定結果に基づいて、選択部113が選択した報知部を制御することにより報知を実行する部分である。
これら各部が協働して実行される報知の具体的な内容については、以下の[動作]の説明において詳細に説明する。
(動作)
次に、本変形例における報知装置1の動作を説明する。図8は、報知装置1が実行する化粧報知処理の流れを説明するフローチャートである。
化粧報知処理は、例えば、報知装置1の起動と共に開始される。
ステップS31において、化粧情報取得部115は、撮像部16の撮像した画像を解析することにより、鏡部30の前に正対したユーザを検出する。
ステップS32において、化粧情報取得部115は、鏡部30の前に正対したユーザに対して、フェイストラッキングを行うことにより、評価対象領域を検出する。フェイストラッキングは、画像解析により、ユーザの輪郭や、ユーザの特徴点(例えば、各器官等の位置を示す特徴点)を特定することにより実現できる。
ステップS33において、化粧情報取得部115は、ステップS32にて検出した各評価対象領域それぞれについての、化粧情報目標値を取得する。
ステップS34において、化粧情報取得部115は、ステップS32にて検出した各評価対象領域それぞれについての、化粧情報実測値を取得する。
ステップS35において、判定部112は、ステップS33にて取得した化粧情報目標値と、ステップS34にて取得した化粧情報実測値との差分を算出する。この差分は、上述した第2の差分に相当する。また、今回行ったステップS35よりも、前の時点に行ったステップS35にて算出した差分は、上述した第1の差分に相当する。
ステップS36において、判定部112は、差分に基づいて化粧情報実測値が変化したか否かを判定する。具体的には、判定部112は、上述したように、第1の差分と、第2の差分を比較する。そして、第2の差分が、第1の差分から変化している場合に、化粧情報実測値が変化したと判定する。この場合に、上述したように、更に、第2の差分が第1の差分よりも小さくなる変化をしたか、あるいは、第2の差分が第1の差分よりも大きくなる変化をしたかも判定するようにしてもよい。
化粧情報実測値が変化(大きくなる変化及び小さくなる変化の双方を含む)した場合は、ステップS36においてYesと判定され、処理はステップS37に進む。一方で、化粧情報実測値が変化(大きくなる変化及び小さくなる変化の双方を含む)しなかった場合、あるいは略変化しなかった場合は、ステップS36においてNoと判定され、処理はステップS34に戻り、現在の第2の差分を新たな第1の差分として、再度、化粧情報実測値の計測が行なわれる。
なお、今回が一回目の処理である場合には、第1の差分は存在せず、今回算出した第2の差分のみが存在することになるので、この場合にも、ステップS36においてNoと判定され、処理はステップS34に戻り、現在の第2の差分を新たな第1の差分として、再度、化粧情報実測値の計測が行なわれる。
ステップS37において、選択部113及び制御部114が協働することにより、ユーザに対して報知を行う。この報知において、例えば、選択部113は、報知部として表示部19を選択する。そして、制御部114は、ユーザに対して、例えば、ステップS37にて変化したと判定された内容や、変化したと判定された評価対象領域を示すメッセージや、イラストを表示部19に表示することで報知する。
例えば、第2の差分が第1の差分よりも小さくなる変化をした場合には、制御部114は、例えば「メイクが適切に行えていますよ!」等の、ユーザに施された化粧が適切である旨の評価を含むメッセージを更に表示部19に表示すようにしてもよい。一方で、第2の差分が第1の差分よりも大きくなる変化をした場合には、制御部114は、例えば「メイクが上手くいっていないようです!」等の、ユーザに施された化粧に対する評価を含むメッセージを更に表示部19に表示すようにしてもよい。
また、制御部114は、例えば、第1の差分や第2の差分の値そのものや、第1の差分や第2の差分の変化量を、化粧の達成値としてユーザに対して報知するようにしてもよい。例えば、これらの値を達成率としてユーザに対して報知するようにしてもよい。
この場合に、例えば、RGBそれぞれ値のどの値が、もっとも化粧情報目標値との差分が大きいか(又は小さいか)をユーザに対して報知するようにしてもよい。例えば、評価対象領域がユーザの唇であり、Rの値の差分が大きい場合に、「唇に赤みが足りないようです。赤い口紅をもう少し塗って下さい。」等の、ユーザに施された化粧が不適切である旨の評価や、化粧の改善方法を含むメッセージを更に表示部19に表示すようにしてもよい。
ステップS38において、判定部112は、ステップS35にて算出した、化粧情報目標値と、第2の化粧情報実測値との差分(すなわち、第2の差分)を、所定の閾値と比較することにより、目標に到達した評価対象領域(すなわち、適切に化粧をすることができた評価対象領域)があったか否かを判定する。目標に到達した評価対象領域があった場合は、ステップS38においてYesと判定され、処理はステップS39に進む。一方で、目標に到達した評価対象領域がなかった場合は、ステップS38においてNoと判定され、処理はステップS34に戻り、現在の第2の差分を新たな第1の差分として、再度、化粧情報実測値の計測が行なわれる。
ステップS39において、選択部113及び制御部114が協働することにより、ユーザに対して報知を行う。この報知において、例えば、選択部113は、報知部として表示部19を選択する。そして、制御部114は、ユーザに対して、例えば、ステップS38にて目標に到達したと判定された評価対象領域を示すメッセージや、イラストを表示部19に表示することで報知する。この場合に、例えば「メイクが適切に行えていますよ!」等の、ユーザに施された化粧に対する評価を含むメッセージを更に表示部19に表示すようにしてもよい。
ステップS40において、判定部112は、全ての評価対象領域についてステップS39の報知を行ったか否か(すなわち、全ての評価対象領域が目標に到達したか否か)を判定する。
全ての評価対象領域についてステップS39の報知を行った場合は、ステップS40においてYesと判定され、本処理は終了する。一方で、全ての評価対象領域についてステップS39の報知を行っていない場合は、ステップS40においてNoと判定され、処理はステップS34に戻り、現在の第2の差分を新たな第1の差分として、再度、化粧情報実測値の計測が行なわれる。
以上説明した化粧報知処理により、報知装置1は、ユーザに施された化粧に対する評価を含む評価情報を報知することができる。従って、ユーザは、自身に施した化粧が適切であるか否かを把握することができる。
なお、上述した化粧報知処理では、ユーザに施された化粧に対する評価を含む評価情報として、目標に到達したか否かと、目標に到達した評価対象領域が何れの領域であるかを報知していた。これに限らず、更に段階的な評価を行い、この段階的な評価結果を報知するようにしてもよい。例えば、所定の閾値を段階的に複数設け、化粧情報目標値と、化粧情報実測値との差分が何れかの閾値以下になる都度、異なる内容の報知を行うようにしてもよい。
この場合、例えば、第1の閾値と、これよりも小さな第2の閾値を設ける。そして、化粧が開始されて、化粧情報目標値と、化粧情報実測値との差分が第1の閾値以下となった時点で、「もう少しで目標に到達します!」等のメッセージを報知する。また、化粧が継続されて、化粧情報目標値と、化粧情報実測値との差分が第2の閾値以下となった時点で、「目標に到達しました!」等のメッセージを報知する。
これにより、ユーザに対して段階的な評価を含む評価情報を報知することができる。また、このような段階的な報知を、複数の評価対象領域それぞれについて行うようにしてもよい。更に、段階は、このように2つではなく、より多く設けるようにしてもよい。
また、上述した化粧報知処理では、第1の差分と第2の差分の変化がない場合に、ステップS36においてNoと判定しているが、特にこの判定に関する報知を行っていなかった。これに限らず、例えば、「お化粧状態に変化がないようです。指定の箇所に対してお化粧してみて下さい。」等のメッセージを報知するようにしてもよい。また、所定の時間が経過する間、第1の差分と第2の差分の変化がなく、ステップS36においてNoの判定が継続した場合に、化粧報知処理を終了するようにしてもよい。
また、上述した化粧報知処理では、ステップS36において、第1の差分と第2の差分を比較することにより、化粧情報実測値が変化したか否かを判定していた。これに限らず、第1の化粧情報実測値それ自身と、第2の化粧情報実測値それ自身とを比較することにより、化粧情報実測値が変化したか否かを判定するようにしてもよい。また、この場合に、第2の化粧情報実測値が、第1の化粧情報実測値から、どのように変化したか(例えば、RGBの値が増加したか減少したか)と、化粧情報目標値とを比較することにより、第2の時点では第1の時点に比べて、適切に化粧が行えているか否かの判定を行うこともできる。
更に、上述した化粧報知処理では、ステップS38において、化粧情報目標値と第2の化粧情報実測値との差分(すなわち、第2の差分)を、所定の閾値と比較することにより、目標に到達した評価対象領域(すなわち、適切に化粧をすることができた評価対象領域)があったか否かを判定していた。これに限らず、第2の化粧情報実測値それ自身と、所定の閾値とを比較することにより、目標に到達した評価対象領域があったか否かを判定するようにしてもよい。
つまり、化粧報知処理において、各化粧情報目標値の差分を算出することなく、判定を行うようにしてもよい。
また、化粧情報目標値の取得の方法を異ならせるようにしてもよい。この場合、例えば、報知装置1は、上述した化粧報知処理に先立って仮想的な化粧(以下、「バーチャルメイク」と称する。)を行う。バーチャルメイクでは、撮像部16において撮像したユーザの画像と、仮想的な化粧品に対応する色とを重畳して表示部19に表示する。また、ユーザによる操作に基づいて、仮想的な化粧品による化粧の状態を異ならせる。例えば、仮想的な化粧品が仮想的なチークである場合に、ユーザの操作に応じて、チークを乗せる位置と形状を異ならせる。あるいは、ユーザの顔の各領域を検出して、チークを乗せる位置と形状を、検出したユーザの顔の各領域の位置と形状に自動的に合わせる。
これにより、ユーザが目標とすべき適切なバーチャルメイクを行うことができる。そして、適切なバーチャルメイクにおける、化粧部分のRGB値や、化粧部分の形状を、化粧情報目標値として取得する。
その上で、上述した化粧報知処理において実際に化粧を行うことにより、バーチャルメイクにより取得した化粧情報目標値を利用した、実際の化粧の評価を行うことができる。これにより、ユーザが実際に様々な化粧品を用いた化粧を行うことなく(すなわち、バーチャルメイクを行うのみで)、ユーザの顔をお手本とした化粧情報目標値を取得することが可能となる。
ただし、これに限らず、化粧品販売店の店頭等で、美容部員等の専門家に実際に化粧をしてもらった顔を撮像部16で撮影して、その画像から化粧情報目標値を取得するようにしてもよい。これにより、専門家が行った化粧が施された、ユーザの顔をお手本とした化粧情報目標値を取得することが可能となる。
また、このようにして、ユーザの顔をお手本とした化粧情報目標値を取得した場合に、上述した化粧報知処理において、化粧情報目標値を極めて薄く表示するようにしてもよい。例えば、化粧情報目標値を高い透過率(例えば、90~95%の透過率)で表示したり、化粧情報目標値に対応する形状の縁取り、あるいはメイク手本画像等を表示するようにしたりしてもよい。このようにすれば、上述した化粧報知処理において、ユーザは具体的な目標(手本)を参照しながら、化粧を行うことができる。これにより、化粧情報目標値を、単に化粧の評価に用いるのみならず、ユーザによる化粧の利便性を向上させるためにも用いることができる。
また、本変形例と、上述した実施形態とを組み合わせるようにしてもよい。すなわち、ユーザの選択操作や、設定等に応じて、体調報知処理と化粧報知処理を選択的に行うようにしてもよい。
[体調報知処理の変形例]
図5のフローチャートを参照して上述した体調報知処理は一例であり、これに限らない。
例えば、ステップS16において、判定部112は、第1の体調情報と、第2の体調情報とを比較し、この比較結果に基づいて、体調情報が改善したか否かを判定していた。この処理を変形し、ステップS16において、判定部112は、基準体調情報と第1の体調情報との差分及び基準体調情報と第2の体調情報との差分を比較するようにしてもよい。そして、その差分の比較結果に基づいて、体調情報がどのように変化したかを判定してもよい。具体的には、第1の体調情報と基準体調情報との差分に比べて第2の体調情報と基準体調情報との差分が減少していたら体調が改善したと判定し、S16においてYesと判定するようにし、また、第1の体調情報と基準体調情報との差分に比べて第2の体調情報と基準体調情報との差分が増加または変化していなかったら体調が改善していないと判定し、S16においてNoと判定するようにしてもよい。
そして、ステップS17において、選択部113及び制御部114が協働することにより、ユーザに対して、メイクにより、体調情報が改善した旨を示す報知を行うようにしてもよい。更に、ステップS17おける報知後に、第2の体調情報と基準体調情報との差分と所定の閾値とを比較することにより、現時点の状態が目標に到達した評価対象領域(すなわち、体調が確実に改善したことを示す評価対象領域)となったか否かを判定するようにしてもよい。また、この判定において、現時点の状態が目標に達到したと判定された場合に、その旨の報知を行ってから、本体調報知処理を終了するようにしてもよい。
このように変形することにより、メイクにより、ユーザの体調情報が改善するまで、体調報知処理を継続することが可能となる。
同様に、ステップS20においても、判定部112は、基準体調情報と、第2の体調情報とを比較するようにしてもよい。この場合、基準体調情報と第1の体調情報との差分及び基準体調情報と第2の体調情報との差分を比較するようにしてもよい。そして、その差分の比較結果に基づいて、体調情報がどのように変化したかを判定してもよい。具体的には、第1の体調情報と基準体調情報との差分に比べて第2の体調情報と基準体調情報との差分が減少していたら体調が改善したと判定し、S20においてYesと判定するようにし、また、第1の体調情報と基準体調情報との差分に比べて第2の体調情報と基準体調情報との差分が増加または変化していなかったら体調が改善していないと判定し、S20においてNoと判定するようにしてもよい。
そして、ステップS21において、選択部113及び制御部114が協働することにより、ユーザに対して、マッサージにより、体調情報が改善した旨を示す報知を行うようにしてもよい。更に、ステップS21おける報知後に、第2の体調情報と基準体調情報との差分と所定の閾値とを比較することにより、現時点の状態が目標に到達した評価対象領域(すなわち、体調が確実に改善したことを示す評価対象領域)となったか否かを判定するようにしてもよい。また、この判定において、現時点の状態が目標に達到したと判定された場合に、その旨の報知を行ってから、本体調報知処理を終了するようにしてもよい。
このように変形することにより、マッサージにより、ユーザの体調情報が改善するまで、体調報知処理を継続することが可能となる。
また、他の変形例として、ステップS12及びステップS13を省略するようにしてもよい。つまり、基準体調情報と、第1の体調情報とを比較することなく、ステップS14以降の処理を行うようにしてもよい。
このように変形することにより、例えばユーザの体調が良好であってもユーザの体調情報を、より改善させるために、体調報知処理を行うことが可能となる。
また、他の変形例として、ユーザの操作等に応じて、メイクモードを行う旨を予め設定しておくことにより、ステップS18乃至ステップS22は、行なわないようにしてもよい。すなわち、ケアモードは、行なわないようにしてもよい。この場合に、更にステップS12乃至ステップS15を省略する一方で、ステップS16とステップS17を以下のように変更してもよい。
すなわち、ステップS16で体調情報が改善したか否かを判定し、ステップS17でその結果に基づく支援情報又は評価情報を報知して、その後、再度ステップS16に戻るように変形してもよい。
また、他の変形例として、ユーザの操作等に応じて、ケアモードを行う旨を予め設定しておくことにより、ステップS15乃至ステップS17は、行なわないようにしてもよい。すなわち、メイクモードは、行なわないようにしてもよい。この場合に、更にステップS18乃至ステップS19を省略する一方で、ステップS20とステップS21を以下のように変更してもよい。
すなわち、ステップS20で体調情報が改善したか否かを判定し、ステップS21やステップS22でその結果に基づく支援情報又は評価情報を報知して、その後、再度ステップS20に戻るように変形してもよい。
また、上述した体調報知処理では、ステップS12、ステップS16、及びステップS20の判定において、ユーザの体調情報(例えば、ユーザの顔の赤みを示すRの値)を用いた判定を行っていた。つまり、ユーザの体調が改善したか否かについて判定を行っていた。
これに限らず、ステップS12、ステップS16、及びステップS20の判定において、ユーザの化粧情報(例えば、様々な色合いの化粧品を用いた化粧の状態を示すRGBの各値)を用いた判定を行うようにしてもよい。つまり、ユーザの化粧が適切に行なわれているか否かについて判定を行うようにしてもよい。
この場合には、上述したように、ユーザの操作等に応じて、メイクモードを行う旨を予め設定しておくことにより、ステップS18乃至ステップS22は、行なわないようにしてもよい。すなわち、ケアモードは、行なわないようにしてもよい。
以上[体調報知処理の変形例]として、様々に例示したように、上述した実施形態の要旨を逸脱しない範囲で、上述した体調報知処理を一部変形(省略や置き換えを含む)したり、体調報知処理や化粧報知処理の一部を適宜組み合わせたりしてもよい。
[化粧報知処理の変形例]
図8のフローチャートを参照して上述した化粧報知処理は一例であり、これに限らない。
例えば、最初に行なわれるステップS35の次に、判定部112が、ステップS35にて算出された化粧情報実測値と、化粧情報目標値との差分(すなわち、第1の差分)と、所定の閾値とを比較する処理を追加するようにしてもよい。そして、第1の差分が、所定の閾値よりも小さく、各評価対象領域が既に目標に到達していると判定された場合は、ステップS36以降の処理を行うことなく、化粧報知処理を終了するようにしてもよい。あるいは、ステップS39の報知のみを行って、化粧報知処理を終了するようにしてもよい。なお、第1の差分が、所定の閾値よりも大きく、各評価対象領域が目標に到達していないと判定された場合は、ステップS36以降の処理を行うこととなるが、その後のフローとして再度、上述したような第1の差分と所定の閾値とを比較する処理は行なわないようにしてもよい。
このように変形することにより、そもそも化粧が適切に行なわれている場合には不要となる、第2の差分の算出や、第1の差分と第2の差分の比較といった処理を省略することが可能となる。なお、このようなステップS36以降の処理を行うか否かを判断するために利用される目標である化粧情報目標値は、過去に目標達成とされた自分の顔の化粧情報実測値に基づいて決定された目標値であってもよい。
また、他の変形例として、ステップS38、ステップS39、及びステップS40を省略するようにしてもよい。この場合、ステップS38に代えて、判定部112が、化粧報知処理の開始から所定時間が経過したか否かを判定する処理を追加する。そして、所定時間が経過するまでの間は、ステップS34からステップS37までを繰り返す。また、所定時間が経過した場合には、選択部113及び制御部114が協働することにより、報知を行う。この報知では、目標に達成した評価対象領域が存在すれば、その旨を報知する。一方で、目標に達成していない評価対象領域が存在すれば、その旨を報知する。この場合に、目標に達成していない評価対象領域については、化粧情報目標値と、第2の化粧情報実測値との差分(すなわち、第2の差分)の値を、化粧の達成値として更に報知するようにしてもよい。
このように変形することにより、化粧報知処理の時間を予め決定することができる。そして、その時間内に、適切な化粧ができたか否かを報知することができる。また、適切な化粧ができていない場合には、化粧の達成値を報知することができる。
また、上述した化粧報知処理では、ステップS36及びステップS38の判定において、ユーザの化粧情報(例えば、様々な色合いの化粧品を用いた化粧の状態を示すRGBの各値)を用いた判定を行っていた。つまり、ユーザの化粧が適切に行なわれているか否かについて判定を行っていた。
これに限らず、ステップS36及びステップS38の判定において、ユーザの体調情報(例えば、ユーザの顔の赤みを示すRの値)を用いた判定を行うようにしてもよい。つまり、ユーザの体調が改善したか否かについて判定を行うようにしてもよい。
以上[化粧報知処理の変形例]として、様々に例示したように、上述した実施形態の要旨を逸脱しない範囲で、上述した化粧報知処理を一部変形(省略や置き換えを含む)したり、体調報知処理や化粧報知処理の一部を適宜組み合わせたりしてもよい。
[他の変形例]
また、上述の実施形態では、本発明が適用される報知装置1は、携帯可能な自立式の鏡を例として説明したが、特にこれに限定されない。
例えば、本発明は、姿見等の大型の鏡に組み込まれた電子機器や、据え置き型の洗面化粧台に組み込まれた電子機器や、浴室に設置される鏡形状の電子機器に適用可能である。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図4や図7の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が報知装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図4や図7の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ASIC(Application Specific Integrated Circuit)やFPGA(Field‐Programmable Gate Array)等の処理回路とが組み合わせられたものを含む。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図2のリムーバブルメディア100により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア231は、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk),Blu-ray(登録商標) Disc(ブルーレイディスク)等により構成される。光磁気ディスクは、MD(Mini-Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図2のROM12や、図2、3の記憶部20に含まれるハードディスク等で構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
以上、本発明の実施形態について説明したが、この実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[付記1]
顔情報を取得する顔情報取得手段と、
前記顔情報に基づく報知を行う報知手段と、
報知前の前記顔情報と、報知後の前記顔情報との変化を判定する判定手段と、
前記判定手段による判定結果に基づいて前記報知手段による報知を制御する制御手段と、
を備えることを特徴とする報知装置。
[付記2]
前記報知手段を複数種備えると共に、
前記報知手段の種類を選択する選択手段を更に備え、
前記制御手段は、前記選択手段により選択された前記報知手段による報知を制御する、
ことを特徴とする付記1に記載の報知装置。
[付記3]
報知前の前記顔情報と報知後の前記顔情報との差分を算出する算出手段を更に備え、
前記制御手段は、前記算出手段が算出した差分を前記報知手段に報知させる、
ことを特徴とする付記1に記載の報知装置。
[付記4]
前記制御手段は、前記顔情報を強調するように前記報知手段に報知させる、
ことを特徴とする付記1から3の何れか1に記載の報知装置。
[付記5]
前記制御手段は、前記顔情報に応じた所定の行動を促す情報を前記報知手段に報知させる、
ことを特徴とする付記1から3の何れか1に記載の報知装置。
[付記6]
前記顔情報取得手段は、前記顔情報として、前記顔情報の取得対象である被写体の画像を取得し、
前記判定手段は、前記被写体の画像に基づいて、報知前の前記顔情報と、報知後の前記顔情報との変化を判定する、
ことを特徴とする付記1から5の何れか1に記載の報知装置。
[付記7]
前記報知手段は発光により報知を行うものであり、
前記制御手段は、前記判定手段による判定結果に基づいて前記報知手段の発光による報知を制御する、
ことを特徴とする付記1から6の何れか1に記載の報知装置。
[付記8]
前記報知手段は文字により報知を行うものであり、
前記制御手段は、前記判定手段による判定結果に基づいて前記報知手段により報知される文字を制御する、
ことを特徴とする付記1から7の何れか1に記載の報知装置。
[付記9]
前記報知手段は文字により報知を行うものであり、
前記制御手段は、前記判定手段による判定結果に基づいて前記報知手段により報知される文字の表示位置を制御する、
ことを特徴とする付記1から8の何れか1に記載の報知装置。
[付記10]
前記顔情報の取得対象である被写体を表示する表示部を有し、
前記表示部は、鏡もしくは画像表示部であることを特徴とする付記1から9の何れか1に記載の報知装置。
[付記11]
前記顔情報取得手段は、前記顔情報として体調に関する情報又は化粧に関する情報を取得することを特徴とする付記1から10の何れか1に記載の報知装置。
[付記12]
前記報知手段は、前記顔情報に基づいて、支援情報又は評価情報を報知することを特徴とする付記1から11の何れか1に記載の報知装置。
[付記13]
顔情報を取得する顔情報取得ステップと、
前記顔情報に基づいた報知を行う報知ステップと、
報知前の前記顔情報と、報知後の前記顔情報との変化を判定する判定ステップと、
前記判定ステップにおける判定結果に基づいて前記報知ステップによる報知を制御する制御ステップと、を含むことを特徴とする報知方法。
[付記14]
コンピュータに、
顔情報を取得する顔情報取得機能と、
前記顔情報に基づいて報知を行う報知機能と、
報知前の前記顔情報と、報知後の前記顔情報との変化を判定する判定機能と、
前記判定機能による判定結果に基づいて前記報知機能による報知を制御する制御機能と、を実現させることを特徴とするプログラム。
1・・・報知装置,11・・・CPU,12・・・ROM,13・・・RAM,14・・・バス,15・・・入出力インターフェース,16・・・撮像部,17・・・発光部,18・・・入力部,19・・・表示部,20・・・記憶部,21・・・ドライブ,100・・・リムーバブルメディア,111・・・体調情報取得部,112・・・判定部,113・・・選択部,114・・・制御部,115・・・化粧情報取得部,201・・・判定情報記憶部,202・・・報知情報記憶部

Claims (9)

  1. ユーザの顔情報を取得する顔情報取得手段と、
    前記顔情報取得手段が取得した前記顔情報に基づいて、前記ユーザの体調が良好か否かを判定する判定手段と、
    前記判定手段が前記ユーザの体調が優れないと判定した場合に、前記ユーザの体調情報が強調されるように前記ユーザの顔を照らすことが可能な発光部の発光状態を制御する第1報知と、前記ユーザの体調を改善させるための施術方法を、報知部を介して報知する第2報知と、の両方を行うか、又は、前記第1報知と前記第2報知を選択的に行うよう制御する制御手段と、
    を備えることを特徴とする報知装置。
  2. 前記制御手段は、前記第1報知による前記発光部の前記発光状態を制御した状態で前記第2報知による前記報知部を介した報知を行うよう制御する、
    ことを特徴とする請求項1に記載の報知装置。
  3. 前記制御手段は、前記第1報知と、前記第2報知と、の両方を行うか、又は、前記第1報知と前記第2報知を選択的に行う前に、前記ユーザの体調が良好でないことを、前記報知部を介して報知する第3報知を行うよう制御する、
    ことを特徴とする請求項1または2に記載の報知装置。
  4. 前記制御手段は、前記第1報知が実行されているときに前記発光部による発光状態が所定の色成分を抑制した所定の抑制発光状態に設定する、
    ことを特徴とする請求項 1から3の何れか1項に記載の報知装置。
  5. 前記判定手段は、前記制御手段が前記第1報知を行わせるよう制御しているときに、前記ユーザの体調が改善したか否かを判定し、
    前記制御手段は、
    前記判定手段によって前記制御手段が前記発光部に前記第1報知を行わせるよう制御しているときに、前記ユーザの体調が改善したと判定された場合に、
    前記発光部による発光状態が前記所定の色成分が抑制されていない所定の発光状態に制御された状態に前記発光部の発光状態を制御する第4報知を行うよう制御する、
    ことを特徴とする請求項 4に記載の報知装置。
  6. 前記判定手段は、前記制御手段が前記第2報知を行わせるよう制御しているときに、前記第2報知を行うよう制御してから所定の時間が経過したか否か、および、前記ユーザの体調が改善したか否か、を判定し、
    前記制御手段は、
    前記判定手段によって前記制御手段が前記第2報知を行わせるよう制御しているときに、前記所定の時間が経過し、かつ、前記ユーザの体調が改善したと判定された場合に、
    前記ユーザの体調が改善したことを、前記報知部を介して報知する第5報知を行うよう制御する、
    ことを特徴とする請求項 1から5の何れか1項に記載の報知装置。
  7. 前記判定手段は、前記制御手段が前記第2報知を行わせるよう制御しているときに、前記第2報知を行うよう制御してから所定の時間が経過したか否か、および、前記ユーザの体調が改善したか否か、を判定し、
    前記制御手段は、
    前記判定手段によって前記制御手段が前記第2報知を行わせるよう制御しているときに、前記所定の時間が経過し、かつ、前記ユーザの体調が改善していないと判定された場合に、
    前記ユーザの体調が改善していないことを、前記報知部を介して報知する第6報知を行うよう制御する、
    ことを特徴とする請求項 1から5の何れか1項に記載の報知装置。
  8. 報知装置が実行する報知方法であって、
    ユーザの顔情報を取得する顔情報取得ステップと、
    前記顔情報取得ステップにて取得した前記顔情報に基づいて、前記ユーザの体調が良好か否かを判定する判定ステップと、
    前記判定ステップにて前記ユーザの体調が優れないと判定した場合に、前記ユーザの体調情報が強調されるように前記ユーザの顔を照らすことが可能な発光部の発光状態を制御する第1報知と、前記ユーザの体調を改善させるための施術方法を報知する第2報知と、の両方を行うか、又は、前記第1報知と前記第2報知を選択的に行うよう制御する制御ステップと、
    を有することを特徴とする報知方法。
  9. 報知装置のコンピュータを、
    ユーザの顔情報を取得する顔情報取得手段、
    前記顔情報取得手段が取得した前記顔情報に基づいて、前記ユーザの体調が良好か否かを判定する判定手段、
    前記判定手段が前記ユーザの体調が優れないと判定した場合に、前記ユーザの体調情報が強調されるように前記ユーザの顔を照らすことが可能な発光部の発光状態を制御する第1報知と、前記ユーザの体調を改善させるための施術方法を報知する第2報知と、の両方を行うか、又は、前記第1報知と前記第2報知を選択的に行うよう制御する制御手段、
    として機能させることを特徴とするプログラム。
JP2023017214A 2018-01-11 2023-02-08 報知装置、報知方法及びプログラム Active JP7485114B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018002653 2018-01-11
JP2018002653 2018-01-11
JP2018231743A JP7225749B2 (ja) 2018-01-11 2018-12-11 報知装置、報知方法及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018231743A Division JP7225749B2 (ja) 2018-01-11 2018-12-11 報知装置、報知方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2023057107A JP2023057107A (ja) 2023-04-20
JP7485114B2 true JP7485114B2 (ja) 2024-05-16

Family

ID=67140239

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023017214A Active JP7485114B2 (ja) 2018-01-11 2023-02-08 報知装置、報知方法及びプログラム

Country Status (3)

Country Link
US (1) US11191341B2 (ja)
JP (1) JP7485114B2 (ja)
CN (1) CN110025116B (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007125151A (ja) 2005-11-02 2007-05-24 Konica Minolta Holdings Inc 診断システム及び診断装置
JP2008289189A (ja) 2008-08-15 2008-11-27 Sony Corp 撮像装置および表情評価装置
JP2008300986A (ja) 2007-05-29 2008-12-11 Canon Inc 画像処理装置、画像処理方法、及び画像処理プログラム
JP2010086036A (ja) 2008-09-29 2010-04-15 Fujifilm Corp 診断装置及び診断方法
JP2011118671A (ja) 2009-12-03 2011-06-16 Kao Corp 画像処理装置、画像処理方法、画像処理システム、肌評価方法
JP2014014516A (ja) 2012-07-09 2014-01-30 Hitachi Maxell Ltd スキンケア装置
JP2014180305A (ja) 2013-03-18 2014-09-29 Funai Electric Co Ltd 情報端末装置
JP2016065848A (ja) 2014-03-03 2016-04-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America センシング方法、センシングシステムおよびそれらを備える空調機器
JP2017219940A (ja) 2016-06-03 2017-12-14 シャープ株式会社 報知装置、電子機器、報知方法、および、プログラム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3582458B2 (ja) * 2000-06-07 2004-10-27 花王株式会社 化粧アドバイスシステム
JP2005044283A (ja) * 2003-07-25 2005-02-17 Seiko Epson Corp 化粧品ガイダンスシステム、サーバ装置、端末装置およびプログラム
JP4056443B2 (ja) 2003-08-21 2008-03-05 Necフィールディング株式会社 健康診断システムおよびプログラム
JP4809056B2 (ja) * 2005-12-28 2011-11-02 株式会社 資生堂 チークメーキャップのための顔分類装置、顔分類プログラム、及び該プログラムが記録された記録媒体
JP2013182062A (ja) 2012-02-29 2013-09-12 Nikon Corp 表示装置および投影装置
JP5754439B2 (ja) 2012-12-21 2015-07-29 カシオ計算機株式会社 情報報知装置、情報報知方法及びプログラム
JP5991536B2 (ja) * 2013-02-01 2016-09-14 パナソニックIpマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP6008323B2 (ja) * 2013-02-01 2016-10-19 パナソニックIpマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP6288404B2 (ja) 2013-02-28 2018-03-07 パナソニックIpマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP5372275B1 (ja) * 2013-03-22 2013-12-18 パナソニック株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP5372276B1 (ja) * 2013-03-22 2013-12-18 パナソニック株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
CN103690149B (zh) * 2013-12-30 2016-08-17 惠州Tcl移动通信有限公司 通过面部拍照识别身体健康状况的移动终端及其实现方法
US10430985B2 (en) * 2014-03-14 2019-10-01 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
CN107483834B (zh) * 2015-02-04 2020-01-14 Oppo广东移动通信有限公司 一种图像处理方法、连拍方法及装置和相关介质产品
JP6467966B2 (ja) 2015-02-13 2019-02-13 オムロン株式会社 健康管理補助装置及び健康管理補助方法
US20160357578A1 (en) * 2015-06-03 2016-12-08 Samsung Electronics Co., Ltd. Method and device for providing makeup mirror
US10628663B2 (en) * 2016-08-26 2020-04-21 International Business Machines Corporation Adapting physical activities and exercises based on physiological parameter analysis
CN106529445A (zh) * 2016-10-27 2017-03-22 珠海市魅族科技有限公司 一种妆容检测方法及设备
US9814297B1 (en) * 2017-04-06 2017-11-14 Newtonoid Technologies, L.L.C. Cosmetic applicator
CN107358025A (zh) * 2017-06-12 2017-11-17 美的集团股份有限公司 控制方法、控制装置、智能镜子和计算机可读存储介质
US10646022B2 (en) * 2017-12-21 2020-05-12 Samsung Electronics Co. Ltd. System and method for object modification using mixed reality
WO2019135202A2 (en) * 2018-01-06 2019-07-11 Kaertech Smart mirror system and methods of use thereof

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007125151A (ja) 2005-11-02 2007-05-24 Konica Minolta Holdings Inc 診断システム及び診断装置
JP2008300986A (ja) 2007-05-29 2008-12-11 Canon Inc 画像処理装置、画像処理方法、及び画像処理プログラム
JP2008289189A (ja) 2008-08-15 2008-11-27 Sony Corp 撮像装置および表情評価装置
JP2010086036A (ja) 2008-09-29 2010-04-15 Fujifilm Corp 診断装置及び診断方法
JP2011118671A (ja) 2009-12-03 2011-06-16 Kao Corp 画像処理装置、画像処理方法、画像処理システム、肌評価方法
JP2014014516A (ja) 2012-07-09 2014-01-30 Hitachi Maxell Ltd スキンケア装置
JP2014180305A (ja) 2013-03-18 2014-09-29 Funai Electric Co Ltd 情報端末装置
JP2016065848A (ja) 2014-03-03 2016-04-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America センシング方法、センシングシステムおよびそれらを備える空調機器
JP2017219940A (ja) 2016-06-03 2017-12-14 シャープ株式会社 報知装置、電子機器、報知方法、および、プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吉澤誠 外6名,血行状態ディスプレイ「魔法の鏡」を使ったゲームの可能性,情報処理学会 シンポジウム エンタテインメントコンピューティングシンポジウム 2017 [online],日本,情報処理学会,2017年09月09日,pp.287~291

Also Published As

Publication number Publication date
US11191341B2 (en) 2021-12-07
US20190208894A1 (en) 2019-07-11
JP2023057107A (ja) 2023-04-20
CN110025116B (zh) 2022-08-23
CN110025116A (zh) 2019-07-19

Similar Documents

Publication Publication Date Title
KR102322029B1 (ko) 생체 정보 획득 방법 및 이를 위한 장치
KR20170132644A (ko) 케어 정보를 획득하기 위한 방법, 케어 정보를 공유하기 위한 방법, 및 그것들을 위한 전자 장치
KR20210135580A (ko) 미용 피부 속성을 측정하기 위한 장치 및 방법
JP2021132869A (ja) 電子装置、電子装置の制御方法及び電子装置の制御プログラム
KR20210084102A (ko) 전자 장치, 두피 케어 시스템 및 그들의 제어 방법
CN112741609B (zh) 电子装置、电子装置的控制方法以及介质
US20210274912A1 (en) Apparatus and method for supporting at least one user in performing a personal care activity
JP6566240B2 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2018073266A1 (en) Accessory device, imaging device and method for determining a subject's skin parameter
US20220087547A1 (en) Electronic device, control method for electronic device, and recording medium
JP6740329B2 (ja) 顔特徴分析および個人向けアドバイスの送達のための方法およびシステム
JP7225749B2 (ja) 報知装置、報知方法及びプログラム
JP7485114B2 (ja) 報知装置、報知方法及びプログラム
CN110297720B (zh) 通知装置、通知方法及存储通知程序的介质
JP7135466B2 (ja) 表示装置、表示方法及び表示プログラム
JP7230409B2 (ja) 判定装置、判定方法及び判定プログラム
JP7415318B2 (ja) 画像処理装置、画像処理方法及びプログラム
TWI729338B (zh) 皮膚檢測方法及影像處理裝置
JP6730051B2 (ja) 肌状態評価方法
JP2020057153A (ja) 表示制御装置、表示制御方法及び表示制御プログラム
JP7238835B2 (ja) 電子装置、電子装置の制御方法及び電子装置の制御プログラム
JP2021151304A (ja) 電子装置、電子装置の制御プログラム及び電子装置の制御方法
CN105450869B (zh) 一种有害光提示方法及装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230303

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230303

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240415

R150 Certificate of patent or registration of utility model

Ref document number: 7485114

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150