WO2014125831A1

WO2014125831A1 - 電子ミラー装置

Info

Publication number: WO2014125831A1
Application number: PCT/JP2014/000758
Authority: WO
Inventors: 尚美安杖; 山形　道弘; 今村　典広; 善光野口
Original assignee: パナソニック株式会社
Priority date: 2013-02-14
Filing date: 2014-02-14
Publication date: 2014-08-21
Also published as: JPWO2014125831A1; US20150373264A1; EP3091737A3; CN104969543A; CN104969543B; EP2945372A1; EP3091737A2; US9992409B2; EP2945372A4; JP6090679B2

Abstract

　電子ミラー装置（１）は、ユーザを撮影するカメラ（２）と、カメラ（２）が撮影するユーザが視認できる位置に表示面を有するディスプレイ（３）と、カメラ（２）が撮影した前記ユーザの画像をディスプレイ（３）に出力するコントローラと、を備え、前記コントローラは、カメラ（２）で撮影している前記ユーザのライブ映像を左右反転して鏡像とし、前記ユーザのライブ映像の前記鏡像と対照される参照画像を読み込み、前記ライブ映像の前記鏡像と前記参照画像とをディスプレイ（３）の重複する領域に表示するための表示映像を合成してディスプレイ（３）に出力する。

Description

電子ミラー装置

　本発明は、電子ミラー装置に関する。

　化粧品カウンターやエステティックサロン、美容皮膚科などでは、顔情報を定期的に調べて経時的な変化を観察することにより、化粧品や施術の効果を確認することがある。顔情報とは、水分量、油分量、毛穴、キメ、シミ、シワ、ポルフィリンのような細部の情報、たるみ、肌色むら、フェースライン、さらにはメイクアップの仕上がりのような顔の全体的な情報を含む。

　顔情報の経時変化を評価するためには、過去に撮影した画像と新たに撮影した画像を比較する場合、過去の画像と新たに撮影された画像とができるだけ同じ条件で撮影されていることが好ましい。撮影する際の照明の色や明るさ、照明と顔との位置関係、カメラと顔の位置関係が異なると、正確に比較評価することができないおそれがある。

　顔画像をできるだけ同じ条件で撮影するために、特許文献１では、フェースホルダにより顔と撮像カメラの位置を常に一定に維持し、光拡散板で顔の周りを囲んで均一に顔を照らすとともに外乱光の影響をなくす方法が提案されている。顔の向きだけに限定すると、頭頂部を検出して基準位置にあるか否かを判定する方法（例えば、特許文献２参照）や、目、耳、鼻などの顔の特徴部分を検出して基準位置にあるか否かを判定する方法（例えば、特許文献３参照）や、顔画像における基準波形データと比較してずれ量を検出する方法（例えば、特許文献４参照）などが提案されている。

特開２００４－３０２４２４号公報特開２００３－１８９１６１号公報特開２００５－１１７３１６号公報特開２００９－１８８５２８号公報

　本発明は、過去に撮影した画像と新たに撮影した画像を比較する場合に適した、簡便かつ良好な撮影を行う電子ミラー装置を提供する。

　本発明の１つの態様に係る電子ミラー装置は、ユーザを撮影するカメラと、前記カメラが撮影するユーザが視認できる場所に表示面を有するディスプレイと、前記カメラが撮影した前記ユーザの画像を前記ディスプレイに出力するコントローラと、を備え、前記コントローラは、前記カメラで撮影している前記ユーザのライブ映像を左右反転して鏡像とし、前記ユーザのライブ映像の鏡像と対照される参照画像を読み込み、前記ライブ映像の鏡像と前記参照画像とを前記ディスプレイの重複する領域に表示するための表示映像を合成して前記ディスプレイに出力する。

　本発明の別の態様に係る電子ミラー装置は、ユーザを撮影するカメラと、前記カメラが撮影するユーザが視認できる位置に表示面を有するディスプレイと、前記カメラが撮影した前記ユーザの画像を前記ディスプレイに出力するコントローラと、を備え、前記コントローラは、前記カメラで撮影している前記ユーザのライブ映像を左右反転して鏡像とし、前記ユーザのライブ映像の前記鏡像と対照される参照画像を読み込み、前記ライブ映像と前記参照画像との一致度合いを抽出し、前記ライブ映像の前記鏡像と前記抽出した一致度合いを示す画像とを合成して前記ディスプレイに出力する。

　本発明の別の態様に係る電子ミラー装置は、ユーザを撮影するカメラと、前記カメラが撮影するユーザが視認できる位置に表示面を有するディスプレイと、前記カメラが撮影した前記ユーザの画像を前記ディスプレイに出力するコントローラと、を備え、前記コントローラは、前記カメラが撮影している前記ユーザのライブ映像を左右反転して鏡像とし、前記カメラが撮影している前記ユーザのライブ画像に基づいて前記ユーザの位置及び顔向きのうちの少なくとも何れか一方に関連する第１の情報を連続的に取得し、前記ユーザのライブ映像の前記鏡像と対照される参照画像中のユーザの位置及び顔向きのうちの少なくとも前記一方に関連する第２の情報を取得し、前記第１の情報と前記第２の情報とを比較して一致度合いを抽出し、前記ライブ映像の前記鏡像と前記抽出した一致度合いを示す画像とを合成して前記ディスプレイに出力する。

　本発明の別の態様に係る電子ミラー装置は、視差を抽出できる画像を撮影するカメラと、前記カメラが撮影するユーザが視認できる位置に表示面を有するディスプレイと、前記カメラが撮影した画像を前記ディスプレイに出力するコントローラと、メモリと、を備え、前記コントローラは、前記カメラが撮影している前記ユーザのライブ映像を左右反転した鏡像として前記ディスプレイに出力し、所定のタイミングで前記カメラが撮影しているユーザのライブ映像の１フレームを前記メモリに記録し、前記１フレームの前記ユーザの画像に基づいて視差を抽出し、前記視差に基づいて前記カメラと前記ユーザとの距離を算出し、前記算出した距離と前記１フレームの前記画像とを対応づけて前記メモリに記録する。

　なお、これらの全般的または具体的な態様は、システム、方法、集積回路、またはコンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、およびコンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

　本発明によれば、過去に撮影した画像と新たに撮影した画像を比較する場合に適した、簡便かつ良好な撮影を行う電子ミラー装置を提供することができる。

図１は、本発明の実施の形態１に係る電子ミラー装置の外観の一例を示す図である。図２は、本発明の実施の形態１に係る電子ミラー装置の機能的な構成の一例を示すブロック図である。図３は、本発明の実施の形態１に係る電子ミラー装置の使用例を説明する概念図である。図４は、本発明の実施の形態１に係る電子ミラー装置の基本的な動作の一例を示すフローチャートである。図５は、本発明の実施の形態１に係る電子ミラー装置の詳細な動作の一例を示すフローチャートである。図６は、本発明の実施の形態１に係る電子ミラー装置の表示例を示す図である。図７は、本発明の実施の形態１に係る電子ミラー装置の外観図である。図８は、本発明の実施の形態２に係る電子ミラー装置の表示例を示す図である。図９は、本発明の実施の形態３に係る電子ミラー装置の表示例を示す図である。図１０は、本発明の実施の形態４に係る電子ミラー装置の表示例を示す図である。図１１は、本発明の実施の形態５に係る電子ミラー装置の詳細な動作の一例を示すフローチャートである。図１２は、本発明の実施の形態５に係る電子ミラー装置の詳細な動作の一例を示す図である。図１３は、本発明の実施の形態６に係る電子ミラー装置の詳細な動作の一例を示すフローチャートである。図１４は、本発明の実施の形態７に係る電子ミラー装置の詳細な動作の一例を示すフローチャートである。

　また、さらに、メモリを備え、前記メモリは、前記カメラで過去に撮影されたライブ映像の１つのフレームを、前記参照画像として記録しており、前記コントローラは、前記メモリから前記参照画像を読み込み、前記メモリから読み込まれた前記参照画像の鏡像と前記ライブ映像の鏡像とから前記表示映像を合成して前記ディスプレイに出力してもよい。

　また、前記参照画像が、前記カメラで過去に撮影された前記ユーザのライブ映像の１つのフレームであってもよい。

　このような構成によれば、ユーザが、参照画像とカメラで現在撮影しているライブ映像とを同時に目視で確認できるため、参照画像とライブ映像とを対照する際の簡便かつ良好な位置合わせを支援することができる。

　また、前記コントローラは、外部媒体から前記参照画像を読み込み、前記外部媒体から読み込まれた前記参照画像の鏡像と前記ライブ映像の鏡像とから前記表示映像を合成して前記ディスプレイに出力してもよい。

　また、前記コントローラは、前記参照画像を半透明に加工し、半透明の前記参照画像と前記ライブ映像とから前記表示映像を合成して前記ディスプレイに出力してもよい。

　また、前記コントローラは、前記参照画像の輪郭を抽出し、前記輪郭を表す画像と前記ライブ映像とから前記表示映像を合成して前記ディスプレイに出力してもよい。

　また、前記コントローラは、前記参照画像の特徴点を検出し、前記特徴点の位置を表す画像と前記ライブ映像とから前記表示映像を合成して前記ディスプレイに出力してもよい。

　このような構成によれば、様々な表示の態様を用いて、位置合わせを支援するための画像情報を利用者に提供できる。

　また、本発明の別の態様に係る電子ミラー装置は、ユーザを撮影するカメラと、前記カメラが撮影するユーザが視認できる位置に表示面を有するディスプレイと、前記カメラが撮影した前記ユーザの画像を前記ディスプレイに出力するコントローラと、を備え、前記コントローラは、前記カメラで撮影している前記ユーザのライブ映像を左右反転して鏡像とし、前記ユーザのライブ映像の前記鏡像と対照される参照画像を読み込み、前記ライブ映像と前記参照画像との一致度合いを抽出し、前記ライブ映像の前記鏡像と前記抽出した一致度合いを示す画像とを合成して前記ディスプレイに出力する。

　この構成によれば、ユーザは、参照画像との一致度合いと併せてライブ映像を確認することができる。したがって、より参照画像に近い条件におけるタイミングでシャッターを切ることができる。

　また、前記コントローラは、前記ライブ映像及び前記参照画像が前記ユーザの顔をそれぞれ表す場合に、前記ライブ映像で表される前記顔の輪郭よりも内側にある画素と、前記参照画像で表される前記顔の輪郭よりも内側にある画素とについて、画素ごとの輝度の差分の総和に基づいて、前記一致度合いを抽出してもよい。

　また、本発明の別の態様に係る電子ミラー装置は、ユーザを撮影するカメラと、前記カメラが撮影するユーザが視認できる場所に表示面を有するディスプレイと、前記カメラが撮影した前記ユーザの画像を前記ディスプレイに出力するコントローラと、を備え、前記コントローラは、前記カメラが撮影している前記ユーザのライブ映像を左右反転して鏡像とし、前記カメラが撮影している前記ユーザのライブ画像に基づいて前記ユーザの位置及び顔向きのうちの少なくとも何れか一方に関連する第１の情報を連続的に取得し、前記ユーザのライブ映像の前記鏡像と対照される参照画像中のユーザの位置及び顔向きのうちの少なくとも前記一方に関連する第２の情報を取得し、前記第１の情報と前記第２の情報とを比較して一致度合いを抽出し、前記ライブ映像の前記鏡像と前記抽出した一致度合いを示す画像とを合成して前記ディスプレイに出力する。

　また、さらにメモリを備え、前記メモリは、前記カメラで過去に撮影されたライブ映像の１つのフレームを前記参照画像として、前記参照画像中のユーザの位置及び顔向きのうちの少なくとも前記一方に関連する前記第２の情報を記録しており、前記コントローラは、前記メモリから前記第２の情報を読み込み、前記第１の情報と前記メモリから読み込まれた前記第２の情報とを比較して一致度合いを抽出してもよい。

　また、本発明の別の態様に係る電子ミラー装置は、視差を抽出できる画像を撮影するカメラと、前記カメラが撮影するユーザが視認できる位置に表示面を有するディスプレイと、前記カメラが撮影した画像を前記ディスプレイに出力するコントローラと、メモリと、を備え、前記コントローラは、前記カメラが撮影している前記ユーザのライブ映像を左右反転した鏡像として前記ディスプレイに出力し、撮影のタイミングで前記カメラが撮影している前記ユーザのライブ映像の１フレームを前記メモリに記録し、前記１フレームのユーザの画像に基づいて視差を抽出し、前記視差に基づいて前記カメラと前記ユーザとの距離を算出し、前記算出した距離と前記１フレームの前記画像とを対応づけて前記メモリに記録する。

　この構成によれば、過去に撮影した画像と新たに撮影した画像について撮影条件が違っていても、距離情報に基づいて比較、評価することができる。

　また、前記メモリは、ジェスチャーを規定する定義情報を記録しており、前記コントローラは、前記ライブ映像中のユーザが、前記記憶部に記録されている前記定義情報によって規定されるジェスチャーを行ったか否かを判断し、前記ユーザが前記ジェスチャーを行ったと判断したときに、前記ライブ映像中の１フレームを前記メモリに記録してもよい。

　このような構成によれば、前記電子ミラー装置を直接触れることなく操作可能になるので、利用者の利便性が向上する。

　また、前記メモリは、色見本のデータを記録しており、前記コントローラは、前記記憶部に記録されている前記色見本のデータをもとに、前記ライブ画像の色バランスを調整してもよい。

　このような構成によれば、参照画像とライブ映像とを対照する際に、位置合わせだけでなく色合わせも支援でき電子ミラー装置を提供することができる。

　なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

　以下、本発明による電子ミラー装置の実施形態を、図面を参照しながら説明する。

　なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、より好ましい形態を構成する任意の構成要素として説明される。

　（実施の形態１）
　図１は、実施の形態１の電子ミラー装置１の外観の一例を示す図である。本実施形態１の電子ミラー装置１は、ユーザを撮影するカメラ２と、ディスプレイ３を備える。カメラ２で撮影されたユーザのライブ映像は、ディスプレイ３に表示することができる。ライブ映像は、静止画フレーム（単にフレーム、又はピクチャとも言う）の連なりで表される動画像である。以下では、ライブ映像の１つのフレームをライブ画像と称することがある。ディスプレイ３は、カメラ２が撮影するユーザが視認できる位置にその表示面を有する。電子ミラー装置１は、筐体内部に、メモリ４及びコントローラ５を有している。

　図２は、第１の実施の形態の電子ミラー装置１の機能的な構成の一例を示すブロック図である。

　メモリ４は、カメラ２で撮影されるユーザの画像と対照される参照画像を記録している。参照画像は、例えば、カメラ２で過去に撮影されたライブ映像の１つのフレームであってもよい。参照画像は、メモリ４から呼び出してディスプレイ３に表示することができる。

　コントローラ５は、カメラ２で取得されたライブ画像およびメモリ４に記録されている参照画像から、反転、回転、色補正などの画像処理を用いて表示映像を合成する。合成された表示映像は、ディスプレイ３に表示することができる。

　また、コントローラ５は、メモリ４から参照画像を読み込む。コントローラ５、外部媒体から参照画像を読み込んでもよい。コントローラ５は、メモリ４や外部媒体などから読み込まれた参照画像の鏡像とライブ映像の鏡像とから表示映像を合成する。合成された表示映像は、ディスプレイ３に出力し表示される。

　図３、図４を参照しながら、電子ミラー装置１の使用例を説明する。鏡像の説明をわかりやすくするために、ユーザとして、顔ではなく手を用いている。

　図３は、電子ミラー装置１とユーザの位置関係を示す模式図であり、紙面手前にユーザ、紙面奥に電子ミラー装置１が配置されている。

　図４は、電子ミラー装置１の基本的な動作の一例を示すフローチャートである。

　図４に示されるように、カメラ２でユーザの画像Ａを取得し（Ｓ０１、Ｓ０２）、コントローラ５が画像Ａを左右反転して画像Ｂを生成しディスプレイ３に出力し（Ｓ０３、Ｓ０４）、ディスプレイ３が画像Ｂを表示する（Ｓ０５）。このような処理を繰り返すとき、画像Ａおよび画像Ｂは、ユーザのライブ映像の１つのフレームを構成する。画像Ａおよび画像Ｂは、メモリ４に記録保存することができ、印刷、データ送信、外部メモリに移動することも可能である。

　ユーザは、ライブ映像を目視で確認しながら、自分で好ましいと思う状態の１つのフレームを参照画像として、メモリ４に記録保存することができる。過去に保存された参照画像は、現在撮影中のライブ映像中のユーザと対照するために、呼び出すことができる。

　次に、ユーザが参照画像と現在撮影中のライブ映像中のユーザとを対照しやすくするため、電子ミラー装置１が行う特徴的な支援動作について、図５のフローチャートを参照しながら、図６の表示例に基づいて説明する。

　コントローラ５は、メモリ４に記録されている参照画像を取得する（Ｓ１１）。参照画像は、例えば、カメラ２で過去に撮影され、メモリ４に記録されている画像であってもよい。コントローラ５は、取得された参照画像を加工する（Ｓ１２）。参照画像の加工には、縮小、左右反転などが含まれてもよい。

　コントローラ５は、カメラ２が現在撮像しているユーザのライブ映像を取得する（Ｓ１３）。ライブ映像のフレームレートは限定されないが、実用的な一例として、毎秒数フレーム～数十フレーム程度であってもよい。コントローラ５は、取得されたライブ映像を加工する（Ｓ１４）。ライブ映像の加工には、縮小、左右反転、色補正などが含まれてもよい。

　コントローラ５は、参照画像とライブ映像の鏡像とから表示映像を合成し（Ｓ１５）、合成された表示映像をディスプレイ３に表示する（Ｓ１６）。表示映像を合成する方法は限定されないが、一例として、コントローラ５は、参照画像とライブ映像とをディスプレイ３の重複しない領域に同時に表示するための表示映像を合成してもよい。

　図６に示される例のように、参照画像Ａ１は左右反転及び縮小加工されてディスプレイ３の左上の小領域に表示され、ライブ映像Ｂ１は左右反転されてディスプレイ３の前記小領域を除いた残りの領域に表示されてもよい。

　ユーザは、ディスプレイ３に表示されたこのような表示映像を見ながら、顔の向きを調整し、参照画像Ａ１とライブ映像Ｂ１とが同じ顔の向きになったと判断したところで、ライブ映像Ｂ１の１フレームを、メモリ４に記録保存することができる（Ｓ１７）。

　このようにして、電子ミラー装置１は、参照画像とライブ映像とを対照する際の、簡便かつ良好な位置合わせを支援することができる。

　ここで、電子ミラー装置１の操作盤（不図示）は、ボタンやタッチパネルのような接触式でもよいし、非接触式でもよい。非接触式の操作方法には、人感センサーなどを用いてもよいし、画像処理技術を用いてもよい。例えば、あらかじめ、ユーザのジェスチャーを規定する定義情報と電子ミラー装置１の動作（例えば、ライブ映像の１つのフレームの保存動作）とを関連付けてメモリ４に記録しておき、記録さている定義情報によって規定されるジェスチャーをユーザが行ったと判断されるときに電子ミラー装置１が関連付けられた動作をするようにしてもよい。

　ジェスチャーによる非接触式の操作方法には、例えば、次のような利点がある。

　例えば、電子ミラー装置１を見ながら化粧をする場合、化粧品が手についた状態で接触式の操作盤を操作すると、操作盤に汚れが付着してしまう。ジェスチャーによる非接触式の操作方法を用いることで、操作盤が汚れるのを防ぐことができる。

　また例えば、肌コンディション情報を取得するために、紫外線を照射してポルフィリンや隠れジミを観察することがあるが、紫外線は角膜や結膜にダメージを与える恐れがある。目へのダメージを防ぐために、ユーザが目を閉じるジェスチャーを行ってから数秒経過したら紫外線の光源が点灯して画像も記録保存するようにしてもよい。きっかけとなる目を閉じる時間は、瞬きよりも長い時間で設定すればよい。また、記録保存するまでのカウントダウンと、シャッター音のような撮影終了を知らせる合図を音声でユーザに知らせることもできる。ジェスチャーによる非接触式の操作方法は、このような場合にも役立つ。

　また、電子ミラー装置１で色バランスを調整することによって、照明の色や明るさによる影響を低減し、過去と現在の肌色の比較をしやすくしてもよい。色バランスの調整は、例えば、電子ミラー装置１に色見本データを記憶させておき、当該色見本データに対応する色見本の実体物をカメラ２によって撮影することで行ってもよい。

　図７に示すように、色見本７を取り付けた専用のタッチペン６を電子ミラー装置１に添付しておけば、手軽に色見本７を撮影して色バランスを調整することができる。このとき、色見本７に対応する色見本テータを、メモリ４に予め記録しておく。カラーチャートなどの色見本をわざわざ用意して撮影する場合などと比べて、特別面倒なことをしていると感じさせるような煩わしさを軽減できる。

　なお、参照画像は、必ずしも電子ミラー装置１が内部に備えるメモリ４から読み込まれる必要はない。例えば、コントローラ５が外部媒体から参照画像を読み込んでもよい。この場合、参照画像は、電子ミラー装置１のカメラ２以外のカメラで撮影された画像や、人の顔を模倣した顔の輪郭、目、鼻、口のうち少なくともひとつの特徴点の位置を示すイラスト、雑誌やインターネットサイトに掲載されたメイクアップの見本画像などが考えられる。また、外部媒体から参照画像を読み込むために電子ミラー装置１の端部に外部媒体と物理的に接続するための構造を備えていてもよい。また、外部媒体から無線で参照画像を読み込んでもよい。

　（実施の形態２）
　実施の形態２は、画像の加工方法と表示方法が実施の形態１と異なる。本実施の形態２について、図８を参照しながら説明する。

　前述のような方法で取得した過去の左右反転された参照画像Ａ２を呼び出し、半透明の参照画像Ｂ２に加工する。半透明の参照画像Ｂ２と、カメラ２で撮影されているライブ映像Ｃ２とを重ね合わせた表示映像Ｄ２が合成され、ディスプレイ３の重複する領域に表示される。

　ここで、合成される表示映像Ｄ２は、ライブ映像の鏡像と参照画像とをディスプレイの重複する領域に表示するための表示映像の一例であり、より詳細には、前記ライブ映像の鏡像に表されたユーザと前記参照画像とが前記ディスプレイの重複する領域に配置された表示映像の一例である。

　ユーザは、表示映像Ｄ２に含まれる半透明の参照画像Ｂ２を顔の向き合わせのガイドとして使用し、同じ顔の向きになるようにカメラ２と自分自身との距離および位置関係を調整し、顔の向きが一致したと判断した時点で、ライブ映像Ｃ２の１つのフレームを新たな参照画像Ｅ２として記録することができる。

　（実施の形態３）
　実施の形態３は、画像の加工方法が実施の形態１および実施の形態２と異なる。本実施の形態３について、図９を参照しながら説明する。

　過去の左右反転された参照画像Ａ３を呼び出し、輪郭を抽出することにより、輪郭のみの参照画像Ｂ３に加工する。輪郭のみの参照画像Ｂ３と、カメラ２で撮影されているライブ映像Ｃ３とを重ねあわせた表示映像Ｄ３が合成され、ディスプレイ３の重複する領域に表示される。

　ここで、合成される表示映像Ｄ３は、ライブ映像の鏡像と参照画像とをディスプレイの重複する領域に表示するための表示映像の一例であり、より詳細には、前記ライブ映像の鏡像に表されたユーザと前記参照画像とが前記ディスプレイの重複する領域に配置された表示映像の一例である。

　ユーザは、表示映像Ｄ３に含まれる輪郭のみの参照画像Ｂ３を顔の向き合わせのガイドとして使用し、同じ顔の向きになるようにカメラ２と自分自身との距離および位置関係を調整し、顔の向きが一致したと判断した時点で、ライブ映像Ｃ３の１つのフレームを新たな参照画像Ｅ３として記録することができる。

　ここで、輪郭とは、顔の外輪郭だけでなく、目、鼻、口などの構成部分の輪郭も意味する。輪郭の抽出は、エッジ検出の手法を用いてもよいし、単純に画像を２値化してコントラストや明るさを調整する方法でもよい。いずれの画像処理においても、閾値などはユーザが自由に設定することができる。さらには、輪郭の抽出はユーザが画像をなぞって決めてもよい。本発明で重要なのは、ユーザ本人の使いやすさであって、画像処理の精度は特別に必要としない。

　（実施の形態４）
　実施の形態４は、画像の加工方法が実施の形態１、実施の形態２および実施の形態３と異なる。本実施の形態４について、図１０を参照しながら説明する。

　過去の左右反転された参照画像Ａ４を呼び出し、特徴点を抽出することにより、特徴点のみの参照画像Ｂ４に加工する。特徴点のみの参照画像Ｂ４と、カメラ２で撮影されているライブ映像Ｃ４とを重ねあわせた表示映像Ｄ４が合成され、ディスプレイ３の重複する領域に表示される。

　ここで、合成される表示映像Ｄ４は、ライブ映像の鏡像と参照画像とをディスプレイの重複する領域に表示するための表示映像の一例であり、より詳細には、前記ライブ映像の鏡像に表されたユーザと前記参照画像とが前記ディスプレイの重複する領域に配置された表示映像の一例である。

　ユーザは、表示映像Ｄ４に含まれる特徴点のみの参照画像Ｂ４を顔の向き合わせのガイドとして使用し、同じ顔の向きになるようにカメラ２と自分自身との距離および位置関係を調整し、顔の向きが一致したと判断した時点で、ライブ映像Ｃ４の１つのフレームを新たな参照画像Ｅ４として記録することができる。

　ここで、特徴点とは、目、鼻、口、輪郭のみならず、シミやニキビのようなユーザ本人が経時的に観察したいと判断した部位も含む。図９には、特徴点を頭頂部、顎、目頭、目尻、小鼻、口角、右側目元の色素沈着部として黒丸でマーキングする例を示しているが、特徴点の定義はこの限りではない。特徴点の抽出は、アルゴリズムを決めて自動的に検出してもよいが、ユーザ本人が画像をなぞるなどして指定することもできる。

　（実施の形態５）
　実施の形態５に係る電子ミラー装置では、過去にカメラ２で撮影した参照画像と、現在撮影しているライブ映像とを比較して一致度合いを抽出する。抽出した一致度合いを示す画像を、ライブ映像とともにディスプレイ３に表示する。すなわち、ライブ映像とともにディスプレイ３に表示させる画像が、参照画像とライブ映像との一致度合いを示す画像である点で、実施の形態１～４と異なる。

　メモリ４は、カメラ２で撮影されるユーザのライブ映像と対照される参照画像を記録している。参照画像は、例えば、カメラ２で過去に撮影されたライブ映像の１つのフレームであってもよい。

　以下、図１１を参照しながら、実施の形態５に係るコントローラ５の動作について説明する。

　コントローラ５は、カメラ２が撮影しているユーザのライブ映像に基づいて、ユーザの顔の輪郭を抽出する（Ｓ５１、Ｓ５２）。また、ライブ映像と対照される参照画像をメモリ４から呼び出して、当該参照画像中のユーザの顔の輪郭を抽出する（Ｓ５３、Ｓ５４）。そして、ライブ映像、および参照画像中で抽出した顔の輪郭よりも内側にある画素について、画素ごとに輝度値の差分をとり、それらの総和を算出する（Ｓ５５）。算出した輝度値の差分の総和に基づいて、ユーザのライブ画像と参照画像との一致度合いを示す画像を生成する（Ｓ５６）。生成した一致度合いを示す画像とカメラ２で撮影しているライブ映像の鏡像とを合成して出力する（Ｓ５７）。

　この構成により、ユーザは、参照画像との一致度合いと併せてライブ映像を確認することができる。したがって、ユーザは、より参照画像に近い条件における（つまり、参照画像との比較により適した）ライブ画像が得られる撮影タイミングでシャッターを切ることができる（Ｓ５８）。

　なお、ライブ映像、および参照画像について、画素ごとに輝度値の差分を算出する場合、抽出する顔の輪郭の大きさや特徴点の配置が同等になるように参照画像、またはライブ画像を、拡大または縮小することにより、より正確な比較が可能になる。そのため、参照画像及びライブ画像においてそれぞれ特徴点を抽出し（図１２のＡ５、Ｂ５、Ｃ５）、両者で顔の輪郭の大きさが異なる場合は、当該輪郭の大きさが同等になるように少なくとも一方を拡大または縮小してもよい。また、両者で特徴点の配置が異なる場合は、特徴点が一致するように少なくとも一方をシフトさせてもよい（図１２のＤ５）。

　輝度値の差分に基づく一致度合いを示す画像は、例えばライブ映像、および参照画像中で抽出した顔の輪郭よりも内側にある画素について算出した、画素ごとの輝度値の差分の総和を数値化して表示したものでもよいし、グラフ化して表示したものでもよい。ユーザがライブ映像におけるフレームと参照画像との一致度合いを確認できる態様であればこれらに限定されない。

　なお、上記実施の形態においては、ライブ映像、および参照画像中で抽出した顔の輪郭よりも内側にある画素について、画素ごとに輝度値の差分を算出したが、これに限定されない。例えば、ライブ画像において顔の輪郭よりも内側にある画素の輝度値の総和を算出し、参照画像において顔の輪郭よりも内側にある画素の輝度値の総和を算出し、算出したこれらの輝度値の総和の差分をとってもよい。

　（実施の形態６）
　実施の形態６に係る電子ミラー装置では、過去にカメラ２で撮影した参照画像中のユーザの位置または顔向きと、現在撮影しているライブ映像中のユーザの位置または顔向きとを比較して一致度合いを抽出する。抽出した一致度合いを示す画像を、ライブ映像とともにディスプレイ３に表示する。すなわち、ライブ映像とともにディスプレイ３に表示させる画像が、参照画像とライブ映像との一致度合いを示す画像である点で、実施の形態１～４と異なる。

　メモリ４は、カメラ２で撮影されるユーザのライブ映像と対照される参照画像中のユーザの位置または顔向きに関連する第２の情報を記録している。参照画像は、例えば、カメラ２で過去に撮影されたライブ映像の１つのフレームであってもよい。

　また、メモリ４が、ユーザのライブ映像と対照される参照画像自体を記録していてもよい。このとき、コントローラ５がメモリ４から参照画像を読み込み、当該参照画像中のユーザの位置または顔向きに関連する第２の情報を算出してもよい。

　以下、図１３を参照しながら、実施の形態６に係るコントローラ５の動作について説明する。

　コントローラ５は、カメラ２が撮影しているユーザのライブ画像に基づいてユーザの位置または顔向きに関連する第１の情報を連続的に取得することができる（Ｓ６１、Ｓ６２）。

　また、コントローラ５は、第２の情報をメモリ４から呼び出して（または、算出して）第１の情報と比較することができる（Ｓ６３、Ｓ６４）。そして、第１の情報と第２の情報とを比較して両者の一致度合いを抽出する。抽出した一致度合いを示す画像とカメラ２で撮影しているライブ映像の鏡像とを合成して出力する（Ｓ６５、Ｓ６６）。

　この構成により、ユーザは、参照画像との一致度合いと併せてライブ映像を確認することができる。したがって、ユーザは、より参照画像に近い条件における（つまり、参照画像との比較により適した）ライブ画像が得られる撮影タイミングでシャッターを切ることができる（Ｓ６７）。

　上記では、前記第１の情報及び前記第２の情報を、ユーザの位置または顔向きに関連する情報として説明したが、前記第１の情報及び前記第２の情報は、ユーザの位置及び顔向きの双方を含む情報でもよい。

　ユーザの位置に関連する情報は、カメラ２からユーザまでの距離を測定することにより取得する。距離の測定は、例えば、複眼カメラなどの視差を用いた測距技術を利用することができる。

　ユーザの顔向きは、例えば、撮影画像中の顔の特徴点位置に基づいて、当該特徴点を結ぶ面の方向を推定することにより取得することができる。そのほか周知技術を用いて取得することができる。

　第１の情報と第２の情報の一致度合いを示す画像は、第１の情報及び第２の情報の差分を数値化して表示したものでもよいし、グラフ化して表示したものでもよい。ユーザが第１の情報と第２の情報の一致度合いを確認できる態様であればこれらに限定されない。

　（実施の形態７）
　実施の形態７に係る電子ミラー装置では、カメラ２が、複眼カメラなどの視差を抽出できる画像を撮影することができる。また、カメラ２で撮影した画像の視差に基づきカメラ２とユーザとの距離を算出し記録する。

　以下、図１４を参照しながら、実施の形態７に係るコントローラ５の動作について説明する。

　コントローラ５は、撮影タイミングでカメラが撮影しているユーザのライブ映像の１フレームをメモリ４に記録する（Ｓ７１、Ｓ７２）。そして、メモリ４に記録した１フレームの画像に基づいて視差を抽出する（Ｓ７３）。抽出した視差に基づいてカメラ２とユーザとの距離を算出し、撮影画像と対応づけてメモリ４に記録する（Ｓ７４、Ｓ７５）。以上の動作を撮影ごとに行う。これにより、例えば、撮影画像中のしみや毛穴に相当する画素の数と、記録した距離情報に基づいて、しみや毛穴の実際の面積を推定することができる。したがって、過去に撮影した画像と新たに撮影した画像について撮影条件が違っていても、距離情報に基づいて比較、評価することができる。

　なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）またはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

　以上、本発明の一つまたは複数の態様に係る電子ミラー装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない範囲で、当業者が思いつく各種変形を本実施の形態に施し、また、複数の実施の形態における各構成要素を任意に組み合わせて得られる形態も本発明の一つまたは複数の態様に係る範囲内に含まれてもよい。

　例えば、本発明の電子ミラー装置のユーザは人間の顔以外でもよく、身体の顔以外の部位、他の動植物、さらには非生物であっても経時変化を観察する際に有効である。

　本発明にかかる電子ミラー装置は、肌診断システムなどに応用することができる。

　１　電子ミラー装置
　２　カメラ
　３　ディスプレイ
　４　メモリ
　５　コントローラ
　６　タッチペン
　７　色見本

Claims

　ユーザを撮影するカメラと、
　前記カメラが撮影するユーザが視認できる位置に表示面を有するディスプレイと、
　前記カメラが撮影した前記ユーザの画像を前記ディスプレイに出力するコントローラと、を備え、
　前記コントローラは、
　前記カメラで撮影している前記ユーザのライブ映像を左右反転して鏡像とし、
　前記ユーザのライブ映像の鏡像と対照される参照画像を読み込み、
　前記ライブ映像の鏡像と前記参照画像とを前記ディスプレイの重複する領域に表示するための表示映像を合成して前記ディスプレイに出力する、
　電子ミラー装置。
　さらにメモリを備え、
　前記メモリは、前記カメラで過去に撮影されたライブ映像の１つのフレームを、前記参照画像として記録しており、
　前記コントローラは、前記メモリから前記参照画像を読み込み、
　前記メモリから読み込まれた前記参照画像の鏡像と前記ライブ映像の鏡像とから前記表示映像を合成して前記ディスプレイに出力する、
　請求項１に記載の電子ミラー装置。
　前記参照画像が、前記カメラで過去に撮影された前記ユーザのライブ映像の１つのフレームである、
　請求項２に記載の電子ミラー装置。
　前記コントローラは、外部媒体から前記参照画像を読み込み、前記外部媒体から読み込まれた前記参照画像の鏡像と前記ライブ映像の鏡像とから前記表示映像を合成して前記ディスプレイに出力する、
　請求項１に記載の電子ミラー装置。
　前記コントローラは、前記参照画像を半透明に加工し、半透明の前記参照画像と前記ライブ映像とから前記表示映像を合成して前記ディスプレイに出力する、
　請求項１から４のいずれか１項に記載の電子ミラー装置。
　前記コントローラは、前記参照画像の輪郭を抽出し、前記輪郭を表す画像と前記ライブ映像とから前記表示映像を合成して前記ディスプレイに出力する、
　請求項１から４のいずれか１項に記載の電子ミラー装置。
　前記コントローラは、前記参照画像の特徴点を検出し、前記特徴点の位置を表す画像と前記ライブ映像とから前記表示映像を合成して前記ディスプレイに出力する、
　請求項１から４のいずれか１項に記載の電子ミラー装置。
　ユーザを撮影するカメラと、
　前記カメラが撮影するユーザが視認できる位置に表示面を有するディスプレイと、
　前記カメラが撮影した前記ユーザの画像を前記ディスプレイに出力するコントローラと、を備え、
　前記コントローラは、前記カメラで撮影している前記ユーザのライブ映像を左右反転して鏡像とし、前記ユーザのライブ映像の前記鏡像と対照される参照画像を読み込み、前記ライブ映像と前記参照画像との一致度合いを抽出し、前記ライブ映像の前記鏡像と前記抽出した一致度合いを示す画像とを合成して前記ディスプレイに出力する、
　電子ミラー装置。
　前記コントローラは、
　前記ライブ映像及び前記参照画像が前記ユーザの顔をそれぞれ表す場合に、前記ライブ映像で表される前記顔の輪郭よりも内側にある画素と、前記参照画像で表される前記顔の輪郭よりも内側にある画素とについて、画素ごとの輝度の差分の総和に基づいて、前記一致度合いを抽出する、
　請求項８に記載の電子ミラー装置。
　ユーザを撮影するカメラと、
　前記カメラが撮影するユーザが視認できる位置に表示面を有するディスプレイと、
　前記カメラが撮影した前記ユーザの画像を前記ディスプレイに出力するコントローラと、を備え、
　前記コントローラは、
　前記カメラが撮影している前記ユーザのライブ映像を左右反転して鏡像とし、
　前記カメラが撮影している前記ユーザのライブ映像に基づいて前記ユーザの位置及び顔向きのうちの少なくとも何れか一方に関連する第１の情報を連続的に取得し、
　前記ユーザのライブ映像の前記鏡像と対照される参照画像中のユーザの位置及び顔向きのうちの少なくとも前記一方に関連する第２の情報を取得し、
　前記第１の情報と前記第２の情報とを比較して一致度合いを抽出し、
　前記ライブ映像の前記鏡像と前記抽出した一致度合いを示す画像とを合成して前記ディスプレイに出力する、
　電子ミラー装置。
　さらにメモリを備え、
　前記メモリは、前記カメラで過去に撮影されたライブ映像の１つのフレームを前記参照画像として、前記参照画像中のユーザの位置及び顔向きのうちの少なくとも前記一方に関連する前記第２の情報を記録しており、
　前記コントローラは、前記メモリから前記第２の情報を読み込み、
　前記第１の情報と前記メモリから読み込まれた前記第２の情報とを比較して一致度合いを抽出する、
　請求項１０に記載の電子ミラー装置。
　視差を抽出できる画像を撮影するカメラと、
　前記カメラが撮影するユーザが視認できる位置に表示面を有するディスプレイと、
　前記カメラが撮影した画像を前記ディスプレイに出力するコントローラと、
　メモリと、を備え、
　前記コントローラは、
　前記カメラが撮影している前記ユーザのライブ映像を左右反転した鏡像として前記ディスプレイに出力し、
　撮影のタイミングで前記カメラが撮影している前記ユーザのライブ映像の１フレームを前記メモリに記録し、
　前記１フレームの前記ユーザの画像に基づいて視差を抽出し、
　前記視差に基づいて前記カメラと前記ユーザとの距離を算出し、
　前記算出した距離と前記１フレームの前記画像とを対応づけて前記メモリに記録する、
　電子ミラー装置。