JP5702037B1 - 撮像装置、撮像方法およびプログラム - Google Patents

Abstract

被写体が意識することなく、自然な姿勢や表情の被写体を撮影することができる撮像装置、撮像方法およびプログラムを提供する。撮像装置１は、少なくとも被写体における顔の表情の一部が変更された表情ガイド画像を表示部３１に表示させる表示制御部１５６と、撮像部１０が生成した画像データに対応する画像内の被写体における顔の表情と表示部３１が表示する表情ガイド画像内の被写体における顔の表情との類似を判定する表情判定部１５４と、表情判定部１５４が画像内の被写体における顔の表情と表情ガイド画像内の被写体における顔の表情とが一致すると判定するまで、撮像部１０に被写体を連続的に撮像させる撮像制御部１５５と、を備える。

Description

本発明は、画像データに対応する画像または撮影に関する撮影アドバイスを表示する撮像装置、撮像方法およびプログラムに関する。

近年、デジタルカメラ等の撮像装置において、画像データを生成する本体に対して、画像を表示する表示モニタの表示画面を撮影者側から被写体側に回転可能な技術が知られている（特許文献１参照）。この技術では、表示モニタを撮影者側から被写体側に回転させることで、撮影者自分を被写体として撮影する自分撮り撮影を行うことができる。

特開２０１３−１７５８０２号公報

しかしながら、上述した特許文献１に記載の技術では、被写体を撮影する際に、被写体が撮像装置を意識して姿勢や表情を作ってしまい、単調なものが撮影されてしまいがちになる。

本発明は、上記に鑑みてなされたものであって、被写体が無意識のうちにとる自然な表情を撮影することができる撮像装置、撮像方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、被写体を撮像し、該被写体の画像データを生成する撮像部と、前記撮像部が生成した前記画像データに対応する画像を表示可能な表示部と、少なくとも前記被写体における顔の表情の一部が変更された表情ガイド画像を前記表示部に表示させる表示制御部と、前記撮像部が生成した前記画像データに対応する画像内の前記被写体における顔の表情と前記表示部が表示する前記表情ガイド画像内の前記被写体における顔の表情の類似を判定する表情判定部と、前記表情判定部が前記画像内の前記被写体における顔の表情と前記表情ガイド画像内の前記被写体における顔の表情とが一致すると判定するまで、前記撮像部に前記被写体を連続的に撮像させる撮像制御部と、を備え、前記表示制御部は、前記表情判定部が前記画像内の前記被写体における顔の表情と前記表情ガイド画像内の前記被写体における顔の表情とが一致すると判定した場合、異なる前記表情ガイド画像を前記表示部に表示させることを特徴とする。

また、本発明に係る撮像装置は、上記発明において、前記撮像制御部は、前記表情判定部が前記画像内の前記被写体における顔の表情と前記表情ガイド画像内の前記被写体における顔の表情とが一致しないと判定した場合、前記撮像部のフレームレートを変更する、または前記画像データのデータサイズを変更することを特徴とする。

また、本発明に係る撮像装置は、上記発明において、前記撮像部が生成する前記画像データを記録するとともに、予め所定の姿勢および／または表情のサンプルが撮像されたサンプル画像を記録する記録部をさらに備え、前記表情判定部は、前記画像内の前記被写体における顔の表情と前記サンプル画像の表情とが一致するか否かを判定し、前記撮像制御部は、前記表情判定部が前記画像内の前記被写体における顔の表情と前記サンプル画像内の前記サンプルの顔の表情とが一致すると判定した場合、前記撮像部が生成した前記画像データを前記記録部に記録することを特徴とする。

また、本発明に係る撮像装置は、上記発明において、前記表情ガイド画像は、前記被写体の顔の視線方向を変更したものであることを特徴とする。

また、本発明に係る撮像装置は、上記発明において、前記画像内における前記被写体の顔を検出する顔検出部と、前記顔検出部が検出した前記顔における目の強膜領域および目の瞳領域の各々を検出する瞳検出部と、前記瞳検出部が検出した検出結果に基づいて、前記強膜領域内における前記瞳領域の位置を変更した瞳変更画像データを生成する瞳変更画像生成部と、をさらに備え、前記表示制御部は、前記瞳変更画像生成部が生成した前記瞳変更画像データに対応する瞳変更画像を、前記表情ガイド画像として前記表示部に表示させることを特徴とする。

また、本発明に係る撮像装置は、上記発明において、前記顔検出部が検出した前記顔を構成する各パーツを、前記瞳変更画像生成部によって変更された前記強膜領域内における前記瞳領域の配置方向に向けて移動させたパーツ変更画像データを生成するパーツ位置変更画像生成部と、をさらに備え、前記表示制御部は、前記パーツ位置変更画像生成部が生成した前記パーツ変更画像データに対応するパーツ変更画像を前記表情ガイド画像として前記表示部に表示させることを特徴とする。

また、本発明に係る撮像装置は、上記発明において、前記顔検出部が検出した前記顔を構成する各パーツを、予め設定された当該撮像装置と前記被写体との距離に応じて縮小または拡大した前記被写体のパーツ変更画像データを生成するパーツ位置変更画像生成部と、をさらに備え、前記表示制御部は、前記パーツ位置変更画像生成部が生成した前記パーツ変更画像データに対応するパーツ変更画像を前記表情ガイド画像として前記表示部に表示させることを特徴とする。

また、本発明に係る撮像装置は、上記発明において、前記表示部は、当該撮像装置の本体部に対して、当該撮像装置の背面側から当該撮像装置の前面側に向けて回動可能に設けられ、前記画像データに対応する画像を表示する表示領域を有し、前記表示制御部は、前記表示部が前記前面側に回動して前記表示領域が前記前面側に向いている場合、前記表情ガイド画像を前記表示部に表示させることを特徴とする。

また、本発明に係る撮像方法は、被写体を撮像し、該被写体の画像データを生成する撮像部と、前記撮像部が生成した前記画像データに対応する画像を表示可能な表示部と、を備えた撮像装置が実行する撮像方法であって、少なくとも前記被写体における顔の表情の一部が変更された表情ガイド画像を前記表示部に表示させる表示ステップと、前記撮像部が生成した前記画像データに対応する画像内の前記被写体における顔の表情と前記表示部が表示する前記表情ガイド画像内の前記被写体における顔の表情の類似を判定する表情判定ステップと、前記表情判定ステップで前記画像内の前記被写体における顔の表情と前記表情ガイド画像内の前記被写体における顔の表情とが一致すると判定するまで、前記撮像部に前記被写体を連続的に撮像させる撮像制御ステップと、前記表情判定ステップで前記画像内の前記被写体における顔の表情と前記表情ガイド画像内の前記被写体における顔の表情とが一致すると判定した場合、異なる前記表情ガイド画像を前記表示部に表示させる第２表示ステップと、を含むことを特徴とする。

また、本発明に係るプログラムは、被写体を撮像し、該被写体の画像データを生成する撮像部と、前記撮像部が生成した前記画像データに対応する画像を表示可能な表示部と、を備えた撮像装置に、少なくとも前記被写体における顔の表情の一部が変更された表情ガイド画像を前記表示部に表示させる表示ステップと、前記撮像部が生成した前記画像データに対応する画像内の前記被写体における顔の表情と前記表示部が表示する前記表情ガイド画像内の前記被写体における顔の表情の類似を判定する表情判定ステップと、前記表情判定ステップで前記画像内の前記被写体における顔の表情と前記表情ガイド画像内の前記被写体における顔の表情とが一致すると判定するまで、前記撮像部に前記被写体を連続的に撮像させる撮像制御ステップと、前記表情判定ステップで前記画像内の前記被写体における顔の表情と前記表情ガイド画像内の前記被写体における顔の表情とが一致すると判定した場合、異なる前記表情ガイド画像を前記表示部に表示させる第２表示ステップと、を実行させることを特徴とする。

本発明によれば、被写体が無意識のうちにとる自然な表情を撮影することができるという効果を奏する。

図１は、本発明の実施の形態１に係る撮像装置の撮影者に面する側の構成を示す斜視図である。 図２は、本発明の実施の形態１に係る撮像装置の被写体に面する側の構成を示す斜視図である。 図３は、本発明の実施の形態１に係る撮像装置の機能構成を示すブロック図である。 図４は、本発明の実施の形態１に係る撮像装置が実行する処理の概要を示すフローチャートである。 図５は、本発明の実施の形態１に係る撮像装置が自分撮り撮影モードに設定されている際の状況を示す図である。 図６は、本発明の実施の形態１に係る撮像装置の瞳変更画像生成部が生成する被写体の表情ガイド画像の生成方法の概要を模式的に示す図である。 図７は、本発明の実施の形態１に係る撮像装置の表示部が表示する画像の一例を示す図である。 図８は、本発明の実施の形態２に係る撮像装置の機能構成を示すブロック図である。 図９は、本発明の実施の形態２に係る撮像装置が実行する処理の概要を示すフローチャートである。 図１０は、本発明の実施の形態２に係る撮像装置のパーツ位置変更画像生成部が生成する表情ガイド画像の生成方法の概要を模式的に説明する図である。 図１１は、図９の顔パーツ変更画像生成処理の概要を示すフローチャートである。 図１２は、本発明の実施の形態２に係る撮像装置のパーツ位置変更画像生成部が生成する表情ガイド画像の生成方法を説明する図である。 図１３は、本発明の実施の形態２に係る撮像装置のパーツ位置変更画像生成部が被写体の顔の各パーツを移動させる移動方法の概要を模式的に説明する図である。 図１４は、本発明の実施の形態２に係る撮像装置のパーツ位置変更画像生成部が被写体の鼻の移動方法の概要を模式的に説明する図である。 図１５は、本発明の実施の形態２に係る撮像装置の表示部が表示する画像の一例を示す図である。 図１６は、本発明の実施の形態２に係る撮像装置の表示部が表示する別の画像の遷移図である。 図１７は、本発明の実施の形態３に係る撮像装置の機能構成を示すブロック図である。 図１８は、本発明の実施の形態３に係る撮像装置が実行する処理の概要を示すフローチャートである。 図１９は、本発明の実施の形態３に係る撮像装置のパーツ位置変更画像生成部が生成する画像の生成方法を模式的に説明する図である。 図２０は、本発明の実施の形態３に係る撮像装置の表示部が表示する画像の一例を示す図である。 図２１は、図１８の基準判定処理の概要を示すフローチャートである。 図２２は、本発明の実施の形態３に係る撮像装置の表情判定部が判定する被写体の口の判定方法の概要を模式的に示す図である。 図２３は、表情ガイド画像としてのブロマイド画像の一例を示す図である。 図２４は、本発明の実施の形態４に係る表示システムの機能構成を示すブロック図である。 図２５は、本発明の実施の形態４に係る撮像装置が実行する処理の概要を示すフローチャートである。 図２６は、本発明の実施の形態４に係る撮像装置で画像生成装置にシミュレーションを依頼する際の状況を示す図である。 図２７は、本発明の実施の形態４に係る撮像装置の表示部が表示する画像の一例を示す図である。 図２８は、本発明の実施の形態４に係る画像生成装置が実行する処理の概要を示すフローチャートである。 図２９は、本発明の実施の形態４に係る撮像装置の自分撮り撮影モード時における撮像装置と被写体との関係を模式的に示す図である。 図３０は、図２９に示す状況下における撮像装置の画角と被写体との関係を模式的に示す図である。 図３１は、図２９に示す状況下で撮像装置が生成した画像データに対応する画像の一例を示す図である。

以下、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。また、以下においては、表示装置を搭載した撮像装置を例に説明する。なお、以下の実施の形態により本発明が限定されるものではない。また、図面の記載において、同一の部分には同一の符号を付して説明する。

（実施の形態１）
図１は、本発明に係る撮像装置の撮影者に面する側（背面側）の構成を示す斜視図である。図２は、本発明に係る撮像装置の被写体に面する側（前面側）の構成を示す斜視図である。図３は、本発明に係る撮像装置の機能構成を示すブロック図である。なお、図１および図２において、撮像装置１の幅方向をＸ軸、撮像装置１の高さ方向をＹ軸、撮像装置１の光軸Ｌ₁方向をＺ軸として説明する。

図１〜図３に示す撮像装置１は、被写体を撮像し、被写体の画像データを生成する本体部２と、本体部２に対して撮影者側（背面側）から被写体側（前面側）に向けて回動可能に設けられ、本体部２が生成した画像データに対応する画像を表示可能な表示機構３と、を備える。

まず、本体部２の構成について説明する。本体部２は、撮像部１０と、入力部１１と、記録部１２と、記録媒体１３と、回転判定部１４と、制御部１５と、を備える。

撮像部１０は、制御部１５の制御のもと、所定のフレームレート（たとえば３０ｆｐｓ）で所定の視野領域を連続的に撮像して、時間的に連続する複数の画像データを生成する。撮像部１０は、複数のレンズから構成され、被写体像を結像する光学系と、光学系の光量を調整する絞りと、光学系が結像した被写体像を受光して光電変換を行うことによって画像データを生成するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子と、撮像素子の状態を露光状態または遮光状態に設定するシャッタと、撮像素子が生成した画像データに対して所定のアナログ処理を行う信号処理部と、信号処理部から入力されるアナログの画像データに対してＡ／Ｄ変換を行うことによってデジタルの画像データを生成して制御部１５へ出力するＡ／Ｄ変換部と、撮像素子の撮像タイミングを発生するタイミングジェネレータと、を用いて構成される。

入力部１１は、撮像装置１に関する各種の動作を指示する指示信号の入力を受け付ける。入力部１１は、撮像装置１の電源状態をオン状態またはオフ状態に切り換える電源スイッチ、撮像装置１に撮影を指示するレリーズ信号の入力を受け付けるレリーズスイッチ等を用いて構成される。

記録部１２は、制御部１５を介して入力される画像データ、撮像装置１の処理中の情報、撮像装置１を動作させるための各種プログラムや本実施の形態１に係るプログラムおよびプログラムの実行中に使用される各種データ等を記録する。記録部１２は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）およびＦｌａｓｈメモリ等を用いて構成される。

記録媒体１３は、制御部１５を介して入力される画像データを記録する。記録媒体１３は、本体部２の外部から装着されるメモリカード等を用いて構成され、図示しないメモリＩ／Ｆを介して本体部２に着脱自在に装着される。記録媒体１３は、後述する制御部１５によって処理が施された画像データや動画データが書き込まれる。また、記録媒体１３は、制御部１５によって記録された画像データまたは動画データが読み出される。

回転判定部１４は、表示機構３の回転状態を判定し、この判定結果を制御部１５へ出力する。具体的には、回転判定部１４は、本体部２に対して表示機構３の表示部３１の表示領域が前面側に回動して、表示部３１の表示領域が前面側（被写体側）に向いているか否かを判定し、この判定結果を制御部１５へ出力する。

制御部１５は、撮像装置１を構成する各部に対応する指示やデータの転送等を行って撮像装置１の動作を統括的に制御する。制御部１５は、ＣＰＵ（Central Processing Unit）等を用いて構成される。

ここで、制御部１５の詳細な構成について説明する。制御部１５は、顔検出部１５１と、瞳検出部１５２と、瞳変更画像生成部１５３と、表情判定部１５４と、撮像制御部１５５と、表示制御部１５６と、を有する。

顔検出部１５１は、撮像部１０が生成した画像データに対応する画像内の被写体の顔を検出する。具体的には、顔検出部１５１は、撮像部１０が生成した画像データに対応する画像に含まれる人物の顔をパターンマッチングによって検出する。たとえば、顔検出部１５１は、パターンマッチングを用いて画像中の顔の位置を検出後、目、鼻および口等の顔の特徴点の位置を検出することによって、顔の位置、顔の大きさ（領域）、顔の向き、顔の角度（傾き）および顔の表情（笑顔等）を検出する。なお、顔検出部１５１は、人物の顔だけでなく、犬や猫等の動物の顔を検出してもよい。さらに、顔検出部１５１は、パターンマッチング以外の周知技術を用いて人物の顔を検出してもよい。

瞳検出部１５２は、顔検出部１５１が検出した被写体における顔の瞳を検出する。具体的には、瞳検出部１５２は、顔検出部１５１が検出した被写体における顔の目（目領域）に対して、所定の処理、たとえばグレースケール処理を行った後に、２値化処理を行うことによって、瞳（瞳領域）を検出する。

瞳変更画像生成部１５３は、瞳検出部１５２が検出した検出結果に基づいて、被写体の強膜領域（白目領域）における瞳領域の位置を変更した瞳変更画像データを生成する。具体的には、瞳変更画像生成部１５３は、瞳検出部１５２が検出した瞳領域に対してトリミング処理を行って瞳画像を生成し、この瞳画像を強膜領域の所定の領域、たとえば右端部に重畳するとともに、トリミング処理を行った瞳領域に対して白色や周辺の強膜領域の画素で補間する補間処理を行って被写体の視線を変更した瞳変更画像データを生成する。たとえば、瞳変更画像生成部１５３は、瞳検出部１５２が検出した被写体の瞳の位置が正面（中央）の場合、左右それぞれに瞳を移動させて互いに視線が異なる被写体が写る２つの瞳変更画像データを生成する。なお、瞳変更画像生成部１５３は、周知技術のモーフィング処理を用いて、顔検出部１５１が検出した顔の各パーツの輪郭および瞳検出部１５２が検出した瞳に基づいて、被写体の視線を変更した瞳変更画像データを生成してもよい。

表情判定部１５４は、撮像部１０が生成した画像データに対応する画像内における被写体の表情と、後述する表示部３１が表示する表情ガイド画像内の被写体における顔の表情との類似を判定する。具体的には、表情判定部１５４は、撮像部１０が生成した画像データに対応する画像内における被写体の表情と、後述する表示部３１が表示する表情ガイド画像内の被写体における顔の表情との一致度が所定の範囲内であるか否かを判定する。具体的には、表情判定部１５４は、表情ガイド画像内における被写体の各パーツの特徴点、たとえば目、鼻および口、顔の向き、顔の位置、顔の大きさ、顔の角度等と、撮像部１０が生成した画像データに対応する画像内における被写体の各パーツの特徴点とが略一致するか否かを判定する。なお、表情判定部１５４は、被写体の強膜領域における瞳の位置のみ一致するか否かを判定するだけでもよい。また、表情判定部１５４は、撮像部１０が生成した画像データに対応する画像内における被写体の表情と、後述する表示部３１が表示する表情ガイド画像内の被写体における顔の表情とが一致するか否かを判定してもよい。

撮像制御部１５５は、入力部１１からレリーズ信号が入力された場合、撮像装置１における撮影動作を開始する制御を行う。ここで、撮像装置１における撮影動作とは、撮像部１０が生成した画像データを記録媒体１３に記録する。また、撮像制御部１５５は、入力部１１から動画撮影を指示する指示信号が入力された場合、記録媒体１３に動画ファイルを作成し、この動画ファイルに、撮像部１０が順次生成した画像データを順次記録（格納）する。さらに、撮像制御部１５５は、表情判定部１５４の判定結果に基づいて、撮像部１０の撮像を制御する。具体的には、撮像制御部１５５は、表情判定部１５４が撮像部１０によって生成された画像データに対応する画像内の被写体の表情と後述する表情ガイド画像内の被写体の表情とが一致すると判定するまで、撮像部１０に被写体を連続的に撮像させる。

表示制御部１５６は、画像データに対応する画像を、後述する表示機構３の表示部３１に表示させる。表示制御部１５６は、被写体を撮影する際に、撮影アドバイスとして、少なくとも被写体における顔の表情の一部が変更された表情ガイド画像を表示部３１に表示させる。ここで、表情ガイド画像とは、正面を見た視線の被写体が写る被写体画像を、正面以外の視線に変更した被写体が写る被写体画像である。具体的には、表示制御部１５６は、瞳変更画像生成部１５３が生成した被写体の瞳位置を変更した画像データに対応する画像を、後述する表示機構３の表示部３１に表示させる。また、表示制御部１５６は、表情判定部１５４が撮像部１０によって生成された画像データに対応する画像内の被写体の表情と後述する表情ガイド画像内の被写体の表情とが略一致すると判定した場合、異なる表情ガイド画像を表示部３１に表示させる。自分の顔画像を加工して表示すれば、一致する確率が高くなるが、アバターを表示にしても良い。

次に、表示機構３の構成について説明する。表示機構３は、表示部３１と、可動部３２と、回転支持部３３と、を備える。

表示部３１は、制御部１５の制御のもと、制御部１５を介して入力される画像データに対応する画像を表示する。ここで、画像の表示には、撮影直後の画像データを所定時間（たとえば３秒間）だけ表示するレックビュー表示、記録媒体１３に記録された画像データを再生する再生表示、および撮像部１０が連続的に生成する画像データに対応するライブビュー画像を時系列に沿って順次表示するライブビュー表示等が含まれる。表示部３１は、液晶または有機ＥＬからなる表示パネルおよび駆動ドライバ等を用いて構成される。また、表示部３１は、撮像装置１の操作情報および撮影に関する情報を適宜表示する。さらに、表示部３１は、撮像装置１の本体部２に対して、撮像装置１の背面側から撮像装置１の前面側に向けて回動可能に設けられる（図１→図２を参照）。

可動部３２は、表示部３１が設けられ、ヒンジ等の回転支持部３３を介して本体部２の一端を中心にして回動可能に本体部２に設けられる。具体的には、可動部３２は、回転支持部３３の軸Ｒ₁を中心にして、本体部２の背面側から前面側に向けて回動可能に設けられる（図２を参照）。

以上の構成を有する撮像装置１が実行する処理について説明する。図４は、撮像装置１が実行する処理の概要を示すフローチャートである。

図４に示すように、まず、制御部１５は、撮像装置１が自分撮り撮影モードに設定されているか否かを判断する（ステップＳ１０１）。具体的には、制御部１５は、回転判定部１４から入力される判定結果に基づいて、本体部２に対して、表示部３１の表示領域が撮像装置１の前面側（撮像部１０の視野領域側）に向けられているか否かを判断する。たとえば、図５に示すように、被写体Ｏ₁（撮影者）によって表示部３１の表示領域が撮像装置１の前面側に向けられている場合、制御部１５は、撮像装置１が自分撮り撮影モードに設定されていると判断する。制御部１５によって撮像装置１が自分撮り撮影モードに設定されていると判断された場合（ステップＳ１０１：Ｙｅｓ）、撮像装置１は、ステップＳ１０２へ移行する。これに対して、制御部１５によって撮像装置１が撮影モードに設定されていないと判断された場合（ステップＳ１０１：Ｎｏ）、撮像装置１は、後述するステップＳ１１８へ移行する。

ステップＳ１０２において、撮像制御部１５５は、撮像部１０に撮像を実行させる。たとえば、図５に示すように、撮像制御部１５５は、被写体Ｏ₁を撮像部１０に撮像させる。

続いて、表示制御部１５６は、撮像部１０が生成した画像データに対応するライブビュー画像を表示部３１に表示させる（ステップＳ１０３）。この場合、表示制御部１５６は、撮像部１０が生成した画像データに対応するライブビュー画像を、本体部２に対して反転させて表示部３１に表示させる（ミラー反転表示）。なお、表示制御部１５６は、ライブビュー画像を本体部２に対して反転させた後、ライブビュー画像を左右反転させて表示部３１に表示させてもよい。もちろん、表示制御部１５６は、ライブビュー画像を反転させることなく、そのままの状態で表示部３１に表示させてもよい。

その後、被写体Ｏ₁に対して、自分撮り撮影を行う際に、表情或いは姿勢、または構図に関する撮影アドバイスを表示させながら、被写体自身の想像を超えた画像を得ることができる奇跡の一枚モードが撮像装置１に設定されている場合（ステップＳ１０４：Ｙｅｓ）、顔検出部１５１は、撮像部１０が生成した画像データに対応する画像内における被写体の顔を検出する（ステップＳ１０５）。

続いて、瞳検出部１５２が顔検出部１５１によって検出された顔に対して、１対の瞳を検出した（ステップＳ１０６：Ｙｅｓ）、瞳変更画像生成部１５３は、瞳検出部１５２が検出した被写体の顔の瞳領域（瞳孔、虹彩および角膜を含む領域）および強膜領域（白目領域）に対して、白色（または検出された白眼（強膜領域）に近い色でも良いが、以下白色と単純化して説明する）で重畳または塗り潰す白色加工処理を実行し（ステップＳ１０７）、強膜領域に対して、瞳画像を所定の領域毎に合成して被写体の視線を変化させた表情ガイド画像を生成する（ステップＳ１０８）。

図６は、瞳変更画像生成部１５３が生成する被写体の表情ガイド画像の生成方法の概要を模式的に示す図である。

図６に示すように、まず、瞳変更画像生成部１５３は、瞳検出部１５２が検出した被写体Ｏ₁の顔の一対の目領域Ａ_L，Ａ_R内における瞳領域（Ｅ_L，Ｅ_R）対して、白色で塗り潰す白色加工処理を実行する（図６（ａ）→図６（ｂ））。その後、瞳変更画像生成部１５３は、被写体Ｏ₁の強膜領域Ｗ_L，Ｗ_Rに対して、瞳画像Ｋ₁を所定の領域毎、たとえば被写体Ｏ₁の目の左右端部（目頭または目尻）それぞれに合成した被写体Ｏ₁の表情ガイド画像Ｏ₂および表情ガイド画像Ｏ₃を生成する（図６（ｂ）→図６（ｃ）および図６（ｂ）→図６（ｄ））。なお、図６において、瞳変更画像生成部１５３は、被写体の目の左右端部以外に、上下端部または斜方向端部に合成した被写体Ｏ₁の視線を変更した表情ガイド画像を生成してもよい。

ステップＳ１０９において、表示制御部１５６は、瞳変更画像生成部１５３が生成した表情ガイド画像とライブビュー画像とを表示部３１に一覧表示させる。具体的には、図７に示すように、表示制御部１５６は、撮像部１０が生成した画像データに対応するライブビュー画像ＬＶ₁および瞳変更画像生成部１５３が生成した表情ガイド画像Ｇ1を表示部３１に表示させる。ここで、鏡と同じように撮像結果を左右反転表示すれば、鏡で普段、見慣れた自分となる。手の動かし方や顔の曲げ方なども、この方が直感的にできる。もちろん、他の人の見た目を優先するなら、反転表示しなくとも良い。この場合、表示制御部１５６は、ライブビュー画像ＬＶ₁および表情ガイド画像Ｇ1を縮小して表示部３１に表示させる。さらに、表示制御部１５６は、表情ガイド画像Ｇ1を、ライブビュー画像ＬＶ₁に比して拡大させて表示部３１に表示させる。さらにまた、表示制御部１５６は、表情ガイド画像Ｇ1をサポートするための情報、たとえば、「左に目線を動かして下さい」のメッセージＩ₁を表示部３１に表示させる。これにより、被写体Ｏ₁は、自分撮り撮影時に、表示部３１で表示される画像を確認することで、表示部３１または撮像部１０に対して視線をずらした際に、撮影される自分自身の表情を仮想的に把握することができる。この結果、自分撮り撮影を行う場合であっても、自然な表情で撮影することができる。

また、表示制御部１５６は、表情ガイド画像Ｇ1を表示部３１に一覧で表示させることで、どのような目の向きが、その時のシーンにふさわしいかを一目でユーザ（撮影者）が判断できるし、比較して、どれが良いかを判定することも簡単にできる。もちろん、一覧でなく、順次表示してもよい。この場合は、表示制御部１５６は、画面を分割する必要がなく、大きな画面で確認ができる。相互比較できるように一覧表示で、かつ大きく表情の差異を見たい場合は、顔の部分だけを切り出して並べる方法があるが、このような応用は当然、本願のカバー範囲である。ただし、背景も見える方が、構図確認も同時に出来て良い。

従って、撮像装置１は、構図確認の後、表情シミュレーションを行ってもよい。もちろん、背景や表情の兼ね合いで、目線の方向のベスト画像が選択できる場合があり、この場合は、表示制御部１５６は、表示部３１に複数の画像を表示させず、これで撮影しなさい、と単一のお勧め画像（アドバイス画像）を表示させるような仕様でも良い。目線の方向を自動で変更するのみならず、例えば、タッチパネルをスライドすると、あるいは、特定のスイッチを操作すると、その方向を見るように黒目を動かして目線を変えてもよい。これまでのカメラ等の撮像装置は、表示部３１を凝視した画像しか確認できなかったので、このように、表示部３１を見つめていない表情が、撮影者の操作しだいで変更し、確認できることは、これまでにない「自分撮り撮影」を可能とし、撮影において格段の効果を奏する。つまり、表示部３１への凝視画像を、それ以外の目線に変換した目線画像に変換するので、今まで気づかなかった魅力的な表情などの発見にも繋がる。

ステップＳ１０９の後、表情判定部１５４は、瞳変更画像生成部１５３が生成した表情ガイド画像Ｇ1内における被写体Ｏ₁の顔パーツと撮像部１０が生成した画像データに対応する画像内における被写体Ｏ₁の顔パーツとが一致しているか否かを判定する顔パーツ判定を開始する（ステップＳ１１０）。

表情判定部１５４が表情ガイド画像Ｇ₁内の被写体Ｏ₁の顔パーツと撮像部１０によって生成された画像データに対応する画像内の被写体Ｏ₁の顔パーツ、たとえば目の視線とが一致していると判定した場合（ステップＳ１１１：Ｙｅｓ）、撮像装置１は、後述するステップＳ１１３へ移行する。これに対して、表情判定部１５４が表情ガイド画像Ｇ₁内における被写体Ｏ₁の顔パーツと撮像部１０によって生成された画像データに対応する画像内における被写体Ｏ₁の顔パーツとが一致していないと判定した場合（ステップＳ１１１：Ｎｏ）、撮像装置１は、後述するステップＳ１１２へ移行する。このとき、完全に一致するのを判定する必要はないので、類似となれば良いものとする。これは、各パーツの相対的な位置や角度、形状などを数値化して一致度を見て、一致度が高ければ類似判断すればよい。

ステップＳ１１２において、撮像制御部１５５は、撮像部１０に被写体Ｏ₁を連続的に撮影させる（連写撮影）。この際、撮像制御部１５５は、撮像部１０が連続的に生成する画像データに対応する画像の露出値を上げる補正を行ってもよい。さらに、撮像制御部１５５は、撮像部１０のピント位置を、被写体Ｏ₁の瞳または眉毛にピント位置を合わせながら被写体Ｏ₁の移動に追従して被写体Ｏ₁を連続的に撮影してもよい。この場合、撮像制御部１５５は、撮像部１０が連続的に生成した画像データを、時系列に沿って記録媒体１３に順次記録してもよいし、所定のフレームを間引きながら記録媒体１３に記録してもよい。これにより、被写体Ｏ₁が創造することができない自然な表情で撮影された画像を得ることができる。さらに、撮像制御部１５５は、撮像部１０のフレームレートを３０ｆｐｓから６０ｆｐｓへと高速なフレームレートに変更してもよい。さらにまた、撮像制御部１５５は、撮像部１０が生成する画像データのデータサイズを縮小させて被写体を連続的に撮影させてもよい。ステップＳ１１２の後、撮像装置１は、ステップＳ１１１へ戻る。

ステップＳ１１３において、別の表情ガイド画像がある場合（ステップＳ１１３：Ｙｅｓ）、撮像装置１は、ステップＳ１０９へ戻る。これに対して、別の表情ガイド画像がない場合（ステップＳ１１３：Ｎｏ）、撮像装置１は、ステップＳ１１４へ移行する。

ステップＳ１１４において、撮像装置１の電源がオフになった場合（ステップＳ１１４：Ｙｅｓ）、撮像装置１は、本処理を終了する。これに対して、撮像装置１の電源がオフになっていない場合（ステップＳ１１４：Ｎｏ）、撮像装置１は、ステップＳ１０１へ戻る。

ステップＳ１０６において、瞳検出部１５２が顔検出部１５１によって検出された顔に対して、１対の瞳を検出していない場合（ステップＳ１０６：Ｎｏ）、表示制御部１５６は、ライブビュー画像上に警告を重畳して表示部３１に表示させる（ステップＳ１１５）。

続いて、入力部１１から撮影を指示するレリーズ信号が入力された場合（ステップＳ１１６：Ｙｅｓ）、撮像装置１は、撮影を実行する（ステップＳ１１７）。ステップＳ１１７の後、撮像装置１は、ステップＳ１１４へ移行する。これに対して、入力部１１から撮影を指示するレリーズ信号が入力されていない場合（ステップＳ１１６：Ｎｏ）、撮像装置１は、ステップＳ１１４へ移行する。

ステップＳ１０４において、奇跡の一枚モードが撮像装置１に設定されていない場合（ステップＳ１０４：Ｎｏ）、撮像装置１は、ステップＳ１１６へ移行する。

ステップＳ１１８において、撮像装置１は、表示部３１が撮像部１０によって生成された画像データに対応するライブビュー画像を表示している場合において、入力部１１から撮影を指示するレリーズ信号が入力されたときに、被写体に対して撮影を行う通常撮影モード処理を実行する。ステップＳ１１８の後、撮像装置１は、ステップＳ１１４へ移行する。

以上説明した本発明の実施の形態１によれば、被写体が無意識のうちにとる自然な表情を撮影することができる。

また、本発明の実施の形態１によれば、撮像制御部１５５が表情判定部１５４によって撮像部１０が生成した画像データに対応する画像内の被写体の表情と表情ガイド画像内の被写体の表情とが一致しないと判定した場合、撮像部１０に被写体を連続的に撮像させるので、撮影者が思い描いた以上の表情を有する被写体を撮影することができる。

また、本発明の実施の形態１によれば、表示制御部１５６が表情判定部１５４によって撮像部１０が生成した画像データに対応する画像内の被写体の表情と表情ガイド画像内の被写体の表情とが一致していると判定した場合、別の表情ガイド画像を表示部３１に表示させるので、より連続的に撮影者が思い描いた以上の表情を有する被写体を撮影することができる。

なお、本発明の実施の形態１では、撮像装置１が自分撮り撮影モードに設定されている場合について説明したが、たとえば、通常の撮影モードであっても適用することができる。この場合、撮影者は、表示部３１で表示される複数の表情ガイド画像に沿って被写体にアドバイスを行うことで、撮影者が意図していない表情の被写体を撮影することができる。

また、本発明の実施の形態１では、一人の人物で説明したが、二人の人物にこの技術を適用すれば、二人の目線の交錯で、ドラマを演出した撮影を促す撮像装置１にすることができる。さらに、撮像装置１を離れて、二人の見つめ合いを促すようなガイド装置などを提供することが出来る。

また、本発明の実施の形態１では、表示制御部１５６が被写体の視線を変更したガイド画像を表示部３１に表示させていたが、たとえば、予め撮像装置１に記録させたアバターやアニメーション等を表示部３１に表示させてもよい。

（実施の形態２）
次に、本発明の実施の形態２について説明する。本実施の形態２に係る撮像装置は、上述した実施の形態１に係る撮像装置１と異なるうえ、実行する処理が異なる。具体的には、上述した実施の形態１に係る撮像装置１では、被写体の瞳の位置を変更していたが、本実施の形態２に係る撮像装置では、被写体の顔を構成する各パーツの位置も変更する。このため、以下においては、本実施の形態２に係る撮像装置の構成を説明後、本実施の形態２に係る撮像装置が実行する処理について説明する。なお、上述した実施の形態１に係る撮像装置１と同一の構成には同一の符号を付して説明を省略する。

図８は、本実施の形態２に係る撮像装置の機能構成を示すブロック図である。図８に示す撮像装置１ａは、被写体を撮像し、被写体の画像データを生成する本体部２ａと、本体部２ａに対して背面側から前面側に向けて回動可能に設けられ、本体部２ａが生成した画像データに対応する画像を表示可能な表示機構３ａと、を備える。

まず、本体部２ａの構成について説明する。本体部２ａは、入力部１１と、記録部１２と、記録媒体１３と、回転判定部１４と、レンズ部４１と、撮像素子４２と、姿勢検出部４３と、時計４４と、通信部４５と、制御部４６と、を備える。

レンズ部４１は、制御部４６の制御のもと、所定の視野領域から光を集光して被写体像を撮像素子４２の撮像面に結像する。レンズ部４１は、光軸Ｌ₁に沿って移動可能なズームレンズやフォーカスレンズ、絞りおよびシャッタ等を用いて構成される。

撮像素子４２は、制御部４６の制御のもと、レンズ部４１が結像した被写体像を受光して光電変換を行うことによって画像データを生成する。撮像素子４２は、ＣＣＤやＣＭＯＳ、信号処理部およびＡ／Ｄ変換部等を用いて構成される。撮像素子４２は、制御部４６の制御のもと、所定のフレームレートで被写体を撮像する。なお、本実施の形態２では、レンズ部４１および撮像素子４２が撮像部として機能する。

姿勢検出部４３は、加速度センサおよびジャイロセンサを用いて構成され、撮像装置１ａに生じる加速度および角速度をそれぞれ検出し、この検出結果を制御部４６へ出力する。

時計４４は、計時機能および撮影日時の判定機能を有する。時計４４は、撮像素子４２によって撮像された画像データに日時データを付加するため、日時データを制御部４６へ出力する。

通信部４５は、所定の無線通信規格に従って、外部の機器と無線通信を行って画像データを含む画像ファイルを送信または受信する。ここで、所定の無線通信規格は、ＩＥＥＥ８０２．１１ｂおよびＩＥＥＥ８０２．１１ｎ等である。なお、本実施の形態２では、いずれの無線通信規格であっても適用可能である。また、通信部４５は、ネットワークを介して外部の機器と画像ファイルやコンテンツデータ等の各種情報を双方向に通信を行うための通信デバイスを用いて構成される。通信デバイスは、他の機器との間で電波信号を送受信するアンテナと、アンテナが受信した信号を復調処理するとともに、送信する信号を変調処理する送受信回路等で構成される。また、通信部４５は、撮像装置１ａの起動時において、その存在を報知する識別情報（機器ＩＤ）を含む通信信号を定期的に送信する。なお、通信部４５は、撮像装置１ａの外部から装着されるメモリカード等の記録媒体に設けられていてもよい。さらに、通信部４５は、ホットシューを介して撮像装置１ａに装着されるアクセサリに設けられていてもよい。

制御部４６は、撮像装置１ａを構成する各部に対応する指示やデータの転送等を行って撮像装置１ａの動作を統括的に制御する。制御部４６は、ＣＰＵ等を用いて構成される。

ここで、制御部４６の詳細な構成について説明する。制御部４６は、顔検出部１５１と、瞳検出部１５２と、瞳変更画像生成部１５３と、表情判定部１５４と、撮像制御部１５５と、表示制御部１５６と、パーツ位置変更画像生成部４６１と、を有する。

パーツ位置変更画像生成部４６１は、顔検出部１５１が検出した顔を構成する各パーツを、瞳変更画像生成部１５３によって変更された強膜領域内における瞳領域の配置方向に向けて移動させた被写体のパーツ変更画像データを生成する。

次に、表示機構３ａの構成について説明する。表示機構３ａは、表示部３１と、可動部３２と、回転支持部３３と、タッチパネル３４と、を備える。

タッチパネル３４は、表示部３１の表示画面上に重畳して設けられる。タッチパネル３４は、外部からの物体のタッチを検出し、この検出したタッチ位置に応じた位置信号を制御部４６へ出力する。また、タッチパネル３４は、ユーザが表示部３１で表示される情報、たとえばアイコン画像やサムネイル画像に基づいてタッチした位置を検出し、この検出したタッチ位置に応じて撮像装置１ａが行う動作を指示する指示信号の入力を受け付ける。一般に、タッチパネル３４としては、抵抗膜方式、静電容量方式および光学方式等がある。本実施の形態２では、いずれの方式のタッチパネルであっても適用可能である。さらに、表示部３１、可動部３２およびタッチパネル３４は、一体的に形成してもよい。

以上の構成を有する撮像装置１ａが実行する処理について説明する。図９は、撮像装置１ａが実行する処理の概要を示すフローチャートである。

ステップＳ２０１〜ステップＳ２０８は、上述した図４のステップＳ１０１〜ステップＳ１０８にそれぞれ対応する。

ステップＳ２０９において、パーツ位置変更画像生成部４６１は、被写体の顔のパーツを（特徴点）変更した表情ガイド画像を複数生成する顔パーツ変更画像生成処理を実行する（ステップＳ２０９）。

図１０は、パーツ位置変更画像生成部４６１が生成する表情ガイド画像の生成方法の概要を模式的に説明する図である。図１０に示すように、パーツ位置変更画像生成部４６１は、瞳変更画像生成部１５３が瞳の位置を変更した被写体Ｏ₁の画像（図１０（ａ）→図１０（ｂ）→図１０（ｃ））に対して、瞳が向いている方向に基づいて、顔のパーツの位置を変更する（図１０（ｄ））。具体的には、図１０（ｄ）に示すように、パーツ位置変更画像生成部４６１は、被写体Ｏ₁の瞳が左方向（図１０（ｃ）を参照）に向いている場合、顔のパーツの口や顎の位置を左方向へ移動させた類似の表情ガイド画像Ｏ₂₁を生成する（図１０（ｄ））。

ここで、図９のステップＳ２０９の顔パーツ変更画像生成処理について詳細に説明する。図１１は、顔パーツ変更画像生成処理の概要を示すフローチャートである。図１２は、パーツ位置変更画像生成部４６１が生成する表情ガイド画像の生成方法を説明する図である。

図１１に示すように、まず、パーツ位置変更画像生成部４６１は、瞳変更画像生成部１５３によって変更された被写体の瞳の配置位置に基づいて、顔領域Ａを設定する（ステップＳ３０１）。

続いて、パーツ位置変更画像生成部４６１は、顔領域Ａに基づいて、被写体の鼻を含む顔領域Ｂを設定し（ステップＳ３０２）、顔領域Ａおよび顔領域Ｂに基づいて、顔領域Ｃを設定する（ステップＳ３０３）。具体的には、図１２（ａ）に示すように、パーツ位置変更画像生成部４６１は、被写体の顔の領域を顔領域Ａ、顔領域Ｂおよび顔領域Ｃそれぞれを設定する。

その後、パーツ位置変更画像生成部４６１は、瞳変更画像生成部１５３によって変更された被写体の瞳の配置位置の方向に向けて、顔領域Ａの顔画像および顔領域Ｃの顔画像を縮小する（ステップＳ３０４）。具体的には、図１２（ｂ）に示すように、パーツ位置変更画像生成部４６１は、瞳変更画像生成部１５３によって変更された被写体の瞳画像Ｋ₁の配置位置の方向、たとえば左方向に向けて、顔領域Ａの顔画像Ｆ₁および顔領域Ｃの顔画像Ｆ₃を縮小する。

続いて、パーツ位置変更画像生成部４６１は、瞳変更画像生成部１５３によって変更された被写体の瞳画像Ｋ₁の配置位置の方向に向けて、顔画像Ｆ₁、顔画像Ｆ₂および顔画像Ｆ₃それぞれを移動させて合成する（ステップＳ３０５）。具体的には、図１２（ｃ）に示すように、パーツ位置変更画像生成部４６１は、瞳変更画像生成部１５３によって変更された被写体の瞳画像Ｋ₁の配置位置の方向（左側）に向けて、顔画像Ｆ₁、顔画像Ｆ₂および顔画像Ｆ₃それぞれを移動させて合成する（図１２（ｂ）→図１２（ｃ））。

その後、パーツ位置変更画像生成部４６１は、瞳変更画像生成部１５３によって変更された被写体の瞳画像の配置位置の方向に向けて、被写体の顔の各パーツを移動させる（ステップＳ３０６）。

図１３は、パーツ位置変更画像生成部４６１が被写体の顔の各パーツを移動させる移動方法の概要を模式的に説明する図である。

図１３（ａ）に示すように、被写体Ｏ₁の頭部の半径をＲ（たとえばＲ＝１０ｃｍ）の球とした場合において、被写体Ｏ₁が正面を向いている状態から所定の角度θ₁だけ首を回したとき、鼻Ｍ₁の位置は、Ｒ・ｔａｎθ₁で表すことができる。さらに、顔の各パーツの横方向の長さも角度θ₁に基づいて、表すことができる。具体的には、被写体Ｏ₁の目領域Ａ_L，Ａ_Rの幅をＨとした場合、Ｈ・ｃｏｓθ₁で表すことができる。従って、パーツ位置変更画像生成部４６１は、顔の各主要パーツに対してｃｏｓθ₁倍した後に、各主要パーツをＲ・ｔａｎθ₁だけ被写体Ｏ₁の中心Ｐ₁から移動させることによって被写体Ｏ₁が横向きに向いた画像を生成することができる。

ところで、図１４（ａ）に示すように、被写体の鼻Ｍ₁の領域は、立体感が大きく、傾けた方向の鼻Ｍ₁の稜線（陰影）の領域ｍ₁が見えにくくなるので、ｃｏｓθ₁倍するよりも、傾けた方向と反対側の側面の領域ｍ₃が大きく表示されるようにする必要がある。そこで、パーツ位置変更画像生成部４６１は、図１４（ｂ）に示すように、鼻Ｍ₁の部分が***の頂点Ｐ₂で分割し、傾けた方のみの領域ｍ₁を縮小する。これにより、パーツ位置変更画像生成部４６１は、被写体が横向きに向いた自然な表情ガイド画像を生成することができる。ここでは、一例を示したが、パーツ位置情報付きの顔の向き別画像のデータベースなどを呼び出して、そこに各実写画像を貼り付けるような方法も考えられる。

ステップＳ３０７において、パーツ位置変更画像生成部４６１は、空白領域に対して周辺画素の情報に基づいて補間する補間処理を実行する。具体的には、図１２（ｄ）に示すように、パーツ位置変更画像生成部４６１は、空白領域Ｄに対して、他の画素で補間する補間処理を行う（図１２（ｃ））。なお、図１２においては、被写体Ｏ₁にアクセサリ、たとえば眼鏡等をしていない状態について説明していたが、被写体Ｏ₁がアクセサリをしている場合であっても、本発明を適用することができる。この場合、パーツ位置変更画像生成部４６１は、同様に、アクセサリ、たとえば眼鏡をｃｏｓθ₁倍した後に、アクセサリをＲ・ｔａｎθ₁だけ被写体Ｏ₁の中心Ｐ₁から移動させることによって被写体Ｏ₁が横向きに向いた際のアクセサリ画像を生成し、このアクセサリ画像を表情ガイド画像に重畳する。この際、アクセサリの領域で画素がたりない場合、パーツ位置変更画像生成部４６１は、他の領域またはアクセサリの領域で最も割合を示す画素の色で補間するようにすればよい。

続いて、パーツ位置変更画像生成部４６１は、瞳を上下にずらして顔を縮小するとともに、上下にずらした表情ガイド画像を生成する（ステップＳ３０８）。たとえば、図１２（ｅ）に示すように、パーツ位置変更画像生成部４６１は、瞳画像を強膜領域Ｗ_Lで上にずらすとともに、瞳画像の配置方向に顔を距離Ｅだけ縮小した表情ガイド画像を生成する。同様に、瞳画像を強膜領域Ｗ_Lで下にずらすとともに、瞳画像の配置方向に顔を縮小した表情ガイド画像を生成する。

その後、パーツ位置変更画像生成部４６１による各パターンの表情ガイド画像の生成が終了した場合（ステップＳ３０９：Ｙｅｓ）、撮像装置１ａは、図９のメインルーチンへ戻る。これに対して、パーツ位置変更画像生成部４６１による各パターンの表情ガイド画像の生成が終了していない場合（ステップＳ３０９：Ｎｏ）、撮像装置１ａは、ステップＳ３０１へ戻る。

図９に戻り、ステップＳ２１０以降の説明を続ける。ステップＳ２１０において、表示制御部１５６は、パーツ位置変更画像生成部４６１が生成した被写体の顔の位置や各パーツを変更した複数の表情ガイド画像を表示部３１に一覧表示させる。具体的には、図１５に示すように、表示制御部１５６は、パーツ位置変更画像生成部４６１が生成した被写体の顔の位置を変更した複数の表情ガイド画像Ｇ₁₁〜Ｇ₁₈およびライブビュー画像ＬＶ₁を表示部３１に一覧表示させる。これにより、被写体Ｏ₁（撮影者）は、自分撮り撮影時に、表示部３１で表示される画像を確認することで、予想を超えた自分自身の表情を仮想的に把握することができる。さらに、被写体Ｏ₁は、複数の表情ガイド画像Ｇ₁₁〜Ｇ₁₈が表示部３１で一覧表示されることで、どれだけ撮影のポーズがあるかを事前に確認することができるので、心の準備ができる。

ステップＳ２１１〜ステップＳ２２０は、上述した図４のステップＳ１１０〜ステップＳ１１８にそれぞれ対応する。

以上説明した本発明の実施の形態２によれば、被写体が意識することなく、自然な姿勢や表情の被写体を撮影することができる。

また、本発明の実施の形態２によれば、撮像制御部１５５が表情判定部１５４によって撮像素子４２が生成した画像データに対応する画像内の被写体の表情と表情ガイド画像内の被写体の表情とが一致しないと判定した場合、撮像素子４２に被写体を連続的に撮像させるので、撮影者が思い描いた以上の表情を有する被写体を撮影することができる。

また、本発明の実施の形態２によれば、表示制御部１５６が表情判定部１５４によって撮像素子４２が生成した画像データに対応する画像内の被写体の表情と表情ガイド画像内の被写体の表情とが一致していると判定した場合、別の表情ガイド画像を表示部３１に表示させるので、より連続的に撮影者が思い描いた以上の表情を有する被写体を撮影することができる。

なお、本発明の実施の形態２では、表示制御部１５６が複数の表情ガイド画像を表示部３１に一覧表示させていたが、たとえば、図１６に示すように、複数の表情ガイド画像を順次表示部３１に表示させてもよい（図１６（ａ）→図１６（ｂ）→図１６（ｃ）→図１６（ｄ）→図１６（ｅ）→図１６（ｆ）→図１６（ｇ）→図１６（ｈ））。これにより、撮影者は、表示部３１で表示される表情ガイド画像Ｇ₁₁〜Ｇ₁₈を確認しながら撮影時の姿勢を変更することができる。

（実施の形態３）
次に、本発明の実施の形態３について説明する。本実施の形態３に係る撮像装置は、上述した実施の形態２に係る撮像装置１ａと構成が異なるうえ、実行する処理が異なる。具体的には、上述した実施の形態２に係る撮像装置１ａでは、パーツ位置変更画像生成部４６１が生成した表情ガイド画像に応じて連続撮影を行っていたが、本実施の形態３に係る撮像装置では、予め記録された所定の姿勢および／または表情のモデルが被写体として撮影された表情ガイド画像に応じて連続撮影を行い、この表情ガイド画像の特徴に一致した画像を複数の画像の中から代表して記録または表示する。このため、以下においては、本実施の形態３に係る撮像装置の構成を説明後、本実施の形態３に係る撮像装置が実行する処理について説明する。なお、上述した実施の形態２に係る撮像装置１ａと同一の構成には同一の符号を付して説明を省略する。

図１７は、本実施の形態３に係る撮像装置の機能構成を示すブロック図である。図１７に示す撮像装置１ｂは、被写体を撮像し、被写体の画像データを生成する本体部２ｂと、表示機構３ａと、を備える。

本体部２ｂは、入力部１１と、記録媒体１３と、回転判定部１４と、レンズ部４１と、撮像素子４２と、姿勢検出部４３と、時計４４と、通信部４５と、制御部４６と、記録部１２ｂと、を備える。

記録部１２ｂは、制御部４６を介して入力される画像データ、撮像装置１ｂの処理中の情報、撮像装置１ｂを動作させるための各種プログラムや本実施の形態３に係るプログラムおよびプログラムの実行中に使用される各種データ等を記録する。記録部１２ｂは、ＳＤＲＡＭおよびＦｌａｓｈメモリ等を用いて構成される。また、記録部１２ｂは、モデル情報記録部１２１を有する。

モデル情報記録部１２１は、予め所定の姿勢および／または表情のモデルがサンプルとして撮影されたサンプル画像データを記録する。

以上の構成を有する撮像装置１ｂが実行する処理について説明する。図１８は、撮像装置１ｂが実行する処理の概要を示すフローチャートである。

図１８において、ステップＳ４０１〜ステップＳ４０５は、上述した図４のステップＳ１０１〜ステップＳ１０５にそれぞれ対応する。

ステップＳ４０６において、パーツ位置変更画像生成部４６１は、顔検出部１５１が検出した被写体の顔における口を検出する。

続いて、パーツ位置変更画像生成部４６１は、被写体の口を所定の形状に変更した表情ガイド画像を生成する（ステップＳ４０７）。具体的には、図１９に示すように、パーツ位置変更画像生成部４６１は、被写体Ｏ₁の口Ａ_mを、予め定まれた形状、たとえば母音の形状を有する口Ａ_m1や口Ａ_m2の表情ガイド画像を生成する（たとえば図１９（ａ）→図１９（ｂ）または図１９（ｃ））。

図１９に示す場合、パーツ位置変更画像生成部４６１は、被写体Ｏ₁の口Ａ_mを「ア」と「イ」の形状に変更した口Ａ_m1や口Ａ_m2を有する表情ガイド画像を生成する（図１９（ｂ）および図１９（ｃ）を参照）。ここで、母音とは、言語音を二分類した場合の一つであり、声帯の振動によって生じた有声の呼気が、唇、歯および舌等の閉じや狭めによる妨げを受けないで発せられる音である。日本語の共通語では、「ア」、「イ」、「ウ」、「エ」および「オ」の五つである。なお、図１９においては、パーツ位置変更画像生成部４６１は、二つの母音を発する口の形状を有する表情ガイド画像を生成していたが、その他の母音を発する口の形状を有する表情ガイド画像を生成してもよい。さらに、パーツ位置変更画像生成部４６１は、日本語以外の母音を発する口の形状を有する表情ガイド画像を生成してもよい。

ここで、母音にこだわるのは、自然な表情に関与することのない、舌の動きなどを利用せず発音できるからで、声を出した方が思い切った変化になるメリットがある。表示制御部１５６は、口のみならず、顔の他のパーツも動く可能性が高く、声を出すことを促しても良い。

また、表情判定部１５４は、声を判定して、その顔になったかを判定しても良いし、判定の補助にしても良い。もちろん、声を出すのが恥ずかしい場合もあって、声を出さずに、口の形を変更するだけでも良い。人間のコミュニケーションの多様性を追求した結果が母音の口形状と考えられ、この口形状を母音の様々なパターンで変化させれば、口が自然に取り得る形状の多くを網羅することが可能となる。

また、母音の口だけでは、他のパーツの変動を誘発できないので、その口形状に合わせて、ガイド表示は、その口に合わせて変化しやすい顔パーツの変形を促す表示にした方が良いことは言うまでもない。例えば、「あ」の声の時は、口が緊張して眉も上がるが、「い」になると、緊張が弛緩した拍子に眉が下がったりする。

また、母音から母音の変化の間が、緊張と緊張の間の弛緩があると考えられ、その弛緩時に自然な表情になる場合があるので、母音の変化は、異なる順番で変化させるようにすれば、さらに、表情の多様性を追求することが可能となる。

また、母音を利用して、誰にでも出来る表情を選ぶことができる。誰にでもできる表情なら表情判定部１５４による一致度の判定も容易になり、一致した後の表情ガイド変化もスムーズに行え、判定や切替、判断等の一連のシーケンスが迅速かつ滑らかに自然に行える。

その後、表示制御部１５６は、パーツ位置変更画像生成部４６１が生成した表情ガイド画像を表示部３１に表示させる（ステップＳ４０８）。具体的には、図２０に示すように、表示制御部１５６は、表情ガイド画像Ｇ₂₁を表示後、表情ガイド画像Ｇ₂₂を表示部３１に表示させる（図２０（ａ）→図２０（ｂ））。さらに、表示制御部１５６は、撮影時の撮影アドバイスに関するメッセージＩ₂を表示部３１に表示させる。なお、図２０においては、表示制御部１５６は、表情ガイド画像を２枚しか表示していなかったが、被写体Ｏ₁の口を徐々に変化させた複数の表情ガイド画像を順次表示部３１に表示させてもよい。

続いて、表情判定部１５４は、表情ガイド画像Ｇ₂₂の被写体Ｏ₁の顔における口部と撮像素子４２によって生成された画像データに対応する画像内の被写体Ｏ₁の顔における口との形状が一致しているか否かを判定する顔パーツ判定を開始する（ステップＳ４０９）。

表情判定部１５４が表情ガイド画像Ｇ₂₂の被写体Ｏ₁の顔における口と撮像素子４２によって生成された画像データに対応する画像内の被写体Ｏ₁の顔における口との形状が一致していると判定した場合（ステップＳ４１０：Ｙｅｓ）、撮像装置１ｂは、後述するステップＳ４１３へ移行する。これに対して、表情判定部１５４が表情ガイド画像Ｇ₂₂の被写体Ｏ₁の顔における口と撮像素子４２によって生成された画像データに対応する画像内の被写体Ｏ₁の顔における口との形状が一致していないと判定した場合（ステップＳ４１０：Ｎｏ）、撮像装置１ｂは、後述するステップＳ４１１へ移行する。

ステップＳ４１１において、撮像制御部１５５は、撮像素子４２に被写体を連続的して撮影させる。この際、撮像制御部１５５は、撮像素子４２の撮影フレームレートを変更してもよい。

続いて、表情判定部１５４は、記録部１２ｂのモデル情報記録部１２１に記録されたモデル情報の基準を満たすか否かを判定する基準判定処理を実行する（ステップＳ４１２）。なお、基準判定処理の詳細は後述する。ステップＳ４１２の後、撮像装置１ｂは、ステップＳ４１０へ戻る。

ステップＳ４１３において、別の表情ガイド画像がある場合（ステップＳ４１３：Ｙｅｓ）、表示制御部１５６は、別の表情ガイド画像を表示部３１に表示させる（ステップＳ４１４）。ステップＳ４１４の後、撮像装置１ｂは、ステップＳ４１０へ戻る。

ステップＳ４１３において、別の表情ガイド画像がない場合（ステップＳ４１３：Ｎｏ）、撮像装置１ｂは、ステップＳ４１５へ移行する。

ステップＳ４１５、ステップＳ４１６〜ステップＳ４１８は、上述した図４のステップＳ１１４、ステップＳ１１６〜ステップＳ１１８にそれぞれ対応する。

次に、図１８のステップＳ４１２の基準判定処理について説明する。図２１は、基準判定処理の概要を示すフローチャートである。

図２１に示すように、制御部４６は、記録部１２ｂのモデル情報記録部１２１から予め表示および／または姿勢のサンプルとしてのモデルが撮像されたサンプル画像としての人気ブロマイド画像を取得する（ステップＳ５０１）。

続いて、表情判定部１５４は、撮像素子４２が生成した画像データに対応する画像内の被写体の顔における目の間隔を基準に口の幅を判定し（ステップＳ５０２）、口の幅を基準に口の中央と口角の高さとの差を判定するが同じブロマイド画像にあると判定する（ステップＳ５０３）。

続いて、表情判定部１５４が撮像素子４２によって生成された画像データに対応する画像内の被写体に目瞑りがなく（ステップＳ５０４：Ｙｅｓ）、皺がないと判定した場合（ステップＳ５０５：Ｙｅｓ）において、同じ口の幅で口の中央と口角の高さとの差が同じブロマイド画像にあると判定したとき（ステップＳ５０６：Ｙｅｓ）、撮像制御部１５５は、記録媒体１３に、画像データを記録する（ステップＳ５０７）。ステップＳ５０７の後、撮像装置１ｂは、図１８のメインルーチンへ戻る。

図２２は、表情判定部１５４が判定する被写体の口の判定方法の概要を模式的に示す図である。図２３は、表情ガイド画像としてのブロマイド画像の一例を示す図である。

図２２に示すように、表情判定部１５４は、撮像素子４２が連続的に生成する画像データに対応する画像内の被写体における目の間隔を基準に口の幅ｍ_xを判定し、口の幅ｍ_xを基準に口の中央と口角の高さとの差ｍ_Yを判定する（図２２（ｂ）を参照）。その後、表情判定部１５４は、図２３に示すように、被写体Ｏ₁がブロマイド画像Ｑ₁の口の幅ｍ_xと同じ口の幅ｍ_xで口の中央と口角の高さとの差ｍ_Yが同じであるか否かを判定する。

ステップＳ５０４において、表情判定部１５４が撮像素子４２によって生成された画像データに対応する画像内の被写体に目瞑りがないと判定した場合（ステップＳ５０４：Ｎｏ）、撮像装置１ｂは、図１８のメインルーチンへ戻る。

ステップＳ５０５において、表情判定部１５４が撮像素子４２によって生成された画像データに対応する画像内の被写体に皺がないと判定した場合（ステップＳ５０５：Ｎｏ）、撮像装置１ｂは、図１８のメインルーチンへ戻る。

ステップＳ５０６において、表情判定部１５４が撮像素子４２によって生成された画像データに対応する画像内の被写体が同じ口の幅で口の中央と口角の高さとの差が同じブロマイド画像にないと判定したとき（ステップＳ５０６：Ｎｏ）、撮像装置１ｂは、図１８のメインルーチンへ戻る。

以上説明した本発明の実施の形態３によれば、表情判定部１５４が撮像素子４２によって生成された画像データに対応する画像内の被写体の表情とモデル情報記録部１２１が記録する予め所定の姿勢および／または表情のモデルが撮像された表情ガイド画像内の被写体の表情とが一致すると判定した際に、撮像制御部１５５が撮像素子４２によって生成された画像データを記録媒体１３に記録させるので、想像を超えた表情や姿勢の被写体を撮影することができる。

（実施の形態４）
次に、本発明の実施の形態４について説明する。本実施の形態４に係る撮像装置は、上述した実施の形態３に係る撮像装置１ｂと構成が異なるうえ、実行する処理が異なる。具体的には、上述した実施の形態３に係る撮像装置１ｂでは、撮像装置１ｂが被写体の表情を変更した表情ガイド画像を生成していたが、本実施の形態４に係る撮像装置では、ネットワークを介して外部機器（サーバ）によって生成された表情ガイド画像データを受信して表示する。このような、いわゆるクラウド上の処理は、モバイル機器の処理能力を超えた画像処理が可能なので、複雑な処理に応用させるのにふさわしい。ただし、同様の処理が装置内で完結できる場合は、もちろん、ネット利用はしなくても良い。さらに、どこからどこまでを装置内、どこからどこまでをクラウドで担当するかは、様々な応用、変形が可能である。このため、以下においては、本実施の形態４に係る表示システムの構成を説明後、本実施の形態４に係る表示システムが実行する処理について説明する。なお、上述した実施の形態３に係る撮像装置１ｂと同一の構成には同一の符号を付して説明を省略する。

図２４は、本実施の形態４に係る表示システムの機能構成を示すブロック図である。図２４に示す表示システム１００は、撮像装置１ｂと、ネットワーク２００を介して外部から画像データを受信し、受信した画像データに対応する画像を生成する外部機器としての画像生成装置５と、を備える。

画像生成装置５は、ネットワーク２００を介して外部と双方向に通信を行う通信部５１と、画像生成装置５が生成した画像データや各種プログラムを記録する記録部５２と、画像生成装置５を構成する各部に対応する指示やデータの転送等を行って画像生成装置５の動作を統括的に制御する画像生成制御部５３と、を備える。

通信部５１は、所定の通信規格に従って、外部の機器と通信を行って画像データを含む画像ファイルを受信または送信する。

記録部５２は、画像生成制御部５３を介して入力される画像データ、画像生成装置５の処理中の情報、画像生成装置５を動作させるための各種プログラムや本実施の形態４に係るプログラムおよびプログラムの実行中に使用される各種データ等を記録する。

画像生成制御部５３は、顔検出部５３１と、瞳検出部５３２と、瞳変更画像生成部５３３と、パーツ位置変更画像生成部５３４と、出力制御部５３５と、を備える。

顔検出部５３１は、ネットワーク２００および通信部５１を介して受信した画像データに対応する画像内の被写体の顔を検出する。具体的には、顔検出部５３１は、画像データに対応する画像に含まれる人物の顔をパターンマッチングによって検出する。たとえば、顔検出部５３１は、パターンマッチングを用いて画像中の顔の位置を検出後、目、鼻および口等の顔の特徴点の位置を検出することによって、顔の位置、顔の大きさ（領域）、顔の向き、顔の角度（傾き）および顔の表情（笑顔等）を検出する。なお、顔検出部５３１は、人物の顔だけでなく、犬や猫等の動物の顔を検出してもよい。さらに、顔検出部５３１は、パターンマッチング以外の周知技術を用いて人物の顔を検出してもよい。

瞳検出部５３２は、顔検出部５３１が検出した被写体の顔の瞳を検出する。具体的には、瞳検出部５３２は、顔検出部５３１が検出した被写体の顔の目（目領域）に対して、所定の処理、たとえばグレースケール処理を行った後に、２値化処理を行うことによって、瞳（瞳領域）を検出する。

瞳変更画像生成部５３３は、瞳検出部５３２が検出した検出結果に基づいて、被写体の目領域における瞳の位置を変更する。具体的には、瞳変更画像生成部５３３は、瞳検出部５３２が検出した瞳領域に対してトリミング処理を行って瞳画像を生成し、この瞳画像を目領域における白目領域に重畳するとともに、トリミング処理を行った瞳領域に対して白色や周辺の白目領域の画素で補間する補間処理を行った画像データを生成する。たとえば、瞳変更画像生成部５３３は、瞳検出部５３２が検出した被写体の瞳の位置が正面（中心）の場合、左右それぞれに瞳を移動させた被写体が写る２つの画像データを生成する。

パーツ位置変更画像生成部５３４は、顔検出部５３１が検出した顔を構成する各パーツを、瞳変更画像生成部５３３によって変更された強膜領域内における瞳領域の配置方向に向けて移動させた被写体のパーツ変更画像データを生成する。

出力制御部５３５は、瞳変更画像生成部５３３が生成した瞳変更画像データまたはパーツ位置変更画像生成部５３４が生成したパーツ変更画像データを、撮像装置１ｂの撮影時における撮影アドバイスの作例として通信部５１およびネットワーク２００を介して撮像装置１ｂに送信する。なお、本実施の形態４では、出力制御部５３５が出力部として機能する。

以上の構成を有する表示システム１００の撮像装置１ｂおよび画像生成装置５それぞれの処理について説明する。まず、撮像装置１ｂが実行する処理の説明後、画像生成装置５が実行する処理について説明する。図２５は、撮像装置１ｂが実行する処理の概要を示すフローチャートである。

図２５において、ステップＳ６０１〜ステップＳ６０３は、上述した図４のステップＳ１０１〜ステップＳ１０３にそれぞれ対応する。

ステップＳ６０４において、撮像装置１ｂが奇跡の一枚モードに設定されている場合（ステップＳ６０４：Ｙｅｓ）、撮像装置１ｂは、後述するステップＳ６０５へ移行する。これに対して、撮像装置１ｂが奇跡の一枚モードに設定されていない場合（ステップＳ６０４：Ｎｏ）、撮像装置１ｂは、後述するステップＳ６１６へ移行する。

ステップＳ６０５において、通信部４５およびネットワーク２００を介して外部の画像生成装置５と通信可能である場合（ステップＳ６０５：Ｙｅｓ）において、画像生成装置５に画像データを含む画像ファイルを送信済みのとき（ステップＳ６０６：Ｙｅｓ）、撮像装置１ｂは、後述するステップＳ６０８へ移行する。

ステップＳ６０５において、通信部４５およびネットワーク２００を介して外部の画像生成装置５と通信可能である場合（ステップＳ６０５：Ｙｅｓ）において、画像生成装置５に画像データを含む画像ファイルを送信済みでないとき（ステップＳ６０６：Ｎｏ）、制御部４６は、通信部４５およびネットワーク２００を介して撮像素子４２が生成した画像データを含む画像ファイルを画像生成装置５へ送信する（ステップＳ６０７）。たとえば、図２６に示すように、被写体Ｏ₁は、表示部３１が表示する複数の画像の中からシミュレーションを画像生成装置５に依頼する際の所望の画像を選択し、入力部１１またはタッチパネル３４を操作することによって、画像データを含む画像ファイルを画像生成装置５へ送信させる。この画像ファイルには、画像データの他に、シミュレーションの内容を指示する指示情報、撮像装置１ｂを識別する識別情報、撮像装置１ｂの焦点距離および自分撮り撮影モード時における撮像装置１ｂから被写体までの距離を想定した仮想距離が格納される。

続いて、通信部４５およびネットワーク２００を介して画像生成装置５から被写体の顔の構図を変更した画像データの作例を受信した場合（ステップＳ６０８：Ｙｅｓ）、表示制御部１５６は、作例の画像データに対応する画像を表示部３１に一覧表示させる（ステップＳ６０９）。具体的には、図２７に示すように、表示制御部１５６は、画像生成装置５から受信した作例の画像データに対応する複数の表情ガイド画像Ｇ₃₁〜Ｇ₃₉を撮影アドバイスとして表示部３１に表示させる。これにより、撮影者は、自分撮り撮影時に、表示部３１で表示される複数の構図（アングル）の画像を確認することで、予想を超えた自分自身の表示や角度を仮想的に把握することができる。

ステップＳ６０８において、通信部４５およびネットワーク２００を介して画像生成装置５から被写体の構図を変更した画像データの作例を受信していない場合（ステップＳ６０８：Ｎｏ）、撮像装置１ｂは、ステップＳ６０１へ戻る。

ステップＳ６０５において、通信部４５およびネットワーク２００を介して外部の画像生成装置５と通信可能でない場合（ステップＳ６０５：Ｎｏ）、撮像装置１ｂは、ステップＳ６１５へ移行する。

ステップＳ６１０〜ステップＳ６１８は、上述した図４のステップＳ１１０〜ステップＳ１１８にそれぞれ対応する。

次に、画像生成装置５が実行する処理について説明する。図２８は、画像生成装置５が実行する処理の概要を示すフローチャートである。

図２８に示すように、ネットワーク２００および通信部５１を介して撮像装置１ｂまたは他の携帯電話や携帯端末等の外部機器から画像ファイルを受信した場合（ステップＳ７０１：Ｙｅｓ）、画像生成装置５は、後述するステップＳ７０２へ移行する。これに対して、ネットワーク２００および通信部５１を介して撮像装置１ｂまたは他の携帯電話や携帯端末等の外部機器から画像ファイルを受信していない場合（ステップＳ７０１：Ｎｏ）、画像ファイルを受信するまで、この判断を続ける。

ステップＳ７０２において、受信した画像ファイルに格納されたシミュレーションを指示する指示情報が奇跡の一枚モードの場合（ステップＳ７０２：Ｙｅｓ）、画像生成装置５は、後述するステップＳ７０３へ移行する。これに対して、受信した画像ファイルに格納されたシミュレーションを指示する指示情報が奇跡の一枚モードでない場合（ステップＳ７０２：Ｎｏ）、画像生成装置５は、後述するステップＳ７０６へ移行する。

ステップＳ７０３において、画像生成装置５は、上述した図１１の顔パーツ変更画像生成処理を実行する。

続いて、パーツ位置変更画像生成部５３４は、顔パーツ変更画像処理によって生成された複数の画像データそれぞれに対応する複数の表情ガイド画像に対して、被写体の構図を変更する構図変更処理を実行する（ステップＳ７０４）。

図２９は、自分撮り撮影モード時における撮像装置１ｂと被写体Ｏ₁（撮影者）との関係を模式的に示す図である。図３０は、図２９に示す状況下における撮像装置１ｂの画角θ₂と被写体Ｏ₁との関係を模式的に示す図である。図３１は、図２９に示す状況下で撮像装置１ｂが生成した画像データに対応する画像の一例を示す図である。

図２９〜図３１に示すように、パーツ位置変更画像生成部５３４は、画像ファイルに格納された撮像装置１ｂの識別情報、画像データを撮影した際の焦点距離および想定距離ｄ₁に基づいて、画像データに対応する画像内で被写体Ｏ₁の顔領域を算出する。具体的には、パーツ位置変更画像生成部５３４は、想定距離をｄ₁、撮像装置１ｂの画角をθ₂とした場合、以下の式（１）によって、表示部３１の表示領域における横方向の長さをＸ_Pに換算する。
Ｘ_ｐ＝ｄ₁×ｔａｎ（θ₂／２）×２ ・・・（１）

その後、パーツ位置変更画像生成部５３４は、表示部３１の表示領域における横方向の長さＸ_Pと顔検出部５３１が検出した被写体Ｏ₁の顔の横方向の長さＨ₁（たとえば２０ｃｍ）との比率に基づいて、被写体Ｏ₁が手を伸ばしたり、縮めたりした際に、被写体Ｏ₁を撮影可能な構図で変更した表情ガイド画像を撮影アドバイスの作例として生成する。具体的には、図３０に示すように、パーツ位置変更画像生成部５３４は、画像内の被写体Ｏ₁をトリミングし、このトリミングした被写体画像に対して、撮像装置１ｂから被写体Ｏ₁までの距離をｄ₂とした場合における各被写体Ｏ₁の各パーツ、たとえば、顔、腕や胴体等を、長さＸ_Pと長さＨ₁との比率が小さくなるように、各パーツを縮小して被写体Ｏ₁が手を伸ばしたときに撮影可能な構図に変更した表情ガイド画像を撮影表情ガイド画像の作例として生成する。なお、図２９〜図３１では、パーツ位置変更画像生成部５３４は、被写体Ｏ₁の構図の変更を例に説明しているが、被写体Ｏ₁を構成する各パーツを分割し、この分割した各パーツを組み合わせて被写体Ｏ₁のポーズ等を変更させてもよい。

その後、出力制御部５３５は、通信部５１およびネットワーク２００を介して撮像装置１ｂに作例の画像データを送信する（ステップＳ７０５）。ステップＳ７０５の後、画像生成装置５は、ステップＳ７０１へ戻る。

ステップＳ７０６において、受信した画像ファイルに格納されたシミュレーションの指示情報が顔表示シミュレーションモードの場合（ステップＳ７０６：Ｙｅｓ）、上述した図１１の顔パーツ変更画像生成処理を実行する（ステップＳ７０７）。ステップＳ７０７の後、画像生成装置５は、ステップＳ７０５へ移行する。

ステップＳ７０６において、受信した画像ファイルに格納されたシミュレーションの指示情報が顔表示シミュレーションモードでない場合（ステップＳ７０６：Ｎｏ）、画像生成装置５は、ステップＳ７０１へ戻る。

以上説明した本発明の実施の形態４によれば、画像生成装置５で表情ガイド画像を生成させることによって、撮像装置１ｂに掛かる負荷を低減することができる。

なお、本発明の実施の形態４では、画像生成装置５が被写体の構図を変更する構図変更処理を行っていたが、撮像装置１ｂのパーツ位置変更画像生成部４６１が同様の構図変更処理を行ってもよい。

（その他の実施の形態）
また、本発明に係る撮像装置は、デジタル一眼レフカメラ以外にも、たとえデジタルカメラ、デジタルビデオカメラおよび撮像機能を有する携帯電話やタブレット型携帯機器等の電子機器にも適用することができる。

また、本発明に係る撮像装置は、レンズ一体型のデジタルカメラ以外にも、レンズを着脱自在なデジタル一眼レフカメラ、デジタルビデオカメラおよび撮像機能を有する携帯電話やタブレット型携帯機器等の電子機器にも適用することができる。特に、気づかなかった魅力などが発見できるので、鏡の代わりに利用してもよい。つまり、美容機器、確認撮像装置、ガイダンス用としては、リハビリ用などの医療機器などにも利用は可能である。ここでは、一人の人物で説明したが、二人の人物にこの技術を適用すれば、二人の目線や顔の向き、姿勢などで、ドラマを演出した撮影を促すカメラにしたりできる。さらに、撮像装置を離れて、二人の見つめ合いや表情による好ましいコミュニケーションを促すようなガイド装置などを提供することが出来る。

また、本発明に係る撮像装置は、本体部と表示部とが一体的に形成されていたが、本体部と、表示部とがそれぞれ個別に構成されてもよい。この場合、たとえば、本体部と、表示部とが双方向に画像データや指示データ等を送信できればよい。

また、本発明に係る撮像装置に実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、本発明に係る撮像装置に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。さらに、本発明に係る撮像装置に実行させるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。すなわち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。

このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、特許請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。

１，１ａ，１ｂ 撮像装置
２，２ａ，２ｂ 本体部
３，３ａ 表示機構
５ 画像生成装置
１０ 撮像部
１１ 入力部
１２，１２ｂ，５２ 記録部
１３ 記録媒体
１４ 回転判定部
１５，４６ 制御部
３１ 表示部
３２ 可動部
３３ 回転支持部
３４ タッチパネル
４１ レンズ部
４２ 撮像素子
４３ 姿勢検出部
４４ 時計
４５，５１ 通信部
５３ 画像生成制御部
１００ 表示システム
１２１ モデル情報記録部
１５１，５３１ 顔検出部
１５２，５３２ 瞳検出部
１５３，５３３ 瞳変更画像生成部
１５４ 表情判定部
１５５ 撮像制御部
１５６ 表示制御部
２００ ネットワーク
４６１，５３４ パーツ位置変更画像生成部
５３５ 出力制御部

Claims (10)

1. 被写体を撮像し、該被写体の画像データを生成する撮像部と、
   前記撮像部が生成した前記画像データに対応する画像を表示可能な表示部と、
   少なくとも前記被写体における顔の表情の一部が変更された表情ガイド画像を前記表示部に表示させる表示制御部と、
   前記撮像部が生成した前記画像データに対応する画像内の前記被写体における顔の表情と前記表示部が表示する前記表情ガイド画像内の前記被写体における顔の表情の類似を判定する表情判定部と、
   前記表情判定部が前記画像内の前記被写体における顔の表情と前記表情ガイド画像内の前記被写体における顔の表情とが一致すると判定するまで、前記撮像部に前記被写体を連続的に撮像させる撮像制御部と、
   を備え、
   前記表示制御部は、前記表情判定部が前記画像内の前記被写体における顔の表情と前記表情ガイド画像内の前記被写体における顔の表情とが一致すると判定した場合、異なる前記表情ガイド画像を前記表示部に表示させることを特徴とする撮像装置。
2. 前記撮像制御部は、前記表情判定部が前記画像内の前記被写体における顔の表情と前記表情ガイド画像内の前記被写体における顔の表情とが一致しないと判定した場合、前記撮像部のフレームレートを変更する、または前記画像データのデータサイズを変更することを特徴とする請求項１に記載の撮像装置。
3. 前記撮像部が生成する前記画像データを記録するとともに、予め所定の姿勢および／または表情のサンプルが撮像されたサンプル画像を記録する記録部をさらに備え、
   前記表情判定部は、前記画像内の前記被写体における顔の表情と前記サンプル画像の表情とが一致するか否かを判定し、
   前記撮像制御部は、前記表情判定部が前記画像内の前記被写体における顔の表情と前記サンプル画像内の前記サンプルの顔の表情とが一致すると判定した場合、前記撮像部が生成した前記画像データを前記記録部に記録することを特徴とする請求項１または２に記載の撮像装置。
4. 前記表情ガイド画像は、前記被写体の顔の視線方向を変更したものであることを特徴とする請求項１〜３のいずれか一つに記載の撮像装置。
5. 前記画像内における前記被写体の顔を検出する顔検出部と、
   前記顔検出部が検出した前記顔における目の強膜領域および目の瞳領域の各々を検出する瞳検出部と、
   前記瞳検出部が検出した検出結果に基づいて、前記強膜領域内における前記瞳領域の位置を変更した瞳変更画像データを生成する瞳変更画像生成部と、
   をさらに備え、
   前記表示制御部は、前記瞳変更画像生成部が生成した前記瞳変更画像データに対応する瞳変更画像を、前記表情ガイド画像として前記表示部に表示させることを特徴とする請求項１〜４のいずれか一つに記載の撮像装置。
6. 前記顔検出部が検出した前記顔を構成する各パーツを、前記瞳変更画像生成部によって変更された前記強膜領域内における前記瞳領域の配置方向に向けて移動させたパーツ変更画像データを生成するパーツ位置変更画像生成部と、
   をさらに備え、
   前記表示制御部は、前記パーツ位置変更画像生成部が生成した前記パーツ変更画像データに対応するパーツ変更画像を前記表情ガイド画像として前記表示部に表示させることを特徴とする請求項５に記載の撮像装置。
7. 前記顔検出部が検出した前記顔を構成する各パーツを、予め設定された当該撮像装置と前記被写体との距離に応じて縮小または拡大した前記被写体のパーツ変更画像データを生成するパーツ位置変更画像生成部と、
   をさらに備え、
   前記表示制御部は、前記パーツ位置変更画像生成部が生成した前記パーツ変更画像データに対応するパーツ変更画像を前記表情ガイド画像として前記表示部に表示させることを特徴とする請求項５に記載の撮像装置。
8. 前記表示部は、
   当該撮像装置の本体部に対して、当該撮像装置の背面側から当該撮像装置の前面側に向けて回動可能に設けられ、前記画像データに対応する画像を表示する表示領域を有し、
   前記表示制御部は、
   前記表示部が前記前面側に回動して前記表示領域が前記前面側に向いている場合、前記表情ガイド画像を前記表示部に表示させることを特徴とする請求項１〜７のいずれか一つに記載の撮像装置。
9. 被写体を撮像し、該被写体の画像データを生成する撮像部と、前記撮像部が生成した前記画像データに対応する画像を表示可能な表示部と、を備えた撮像装置が実行する撮像方法であって、
   少なくとも前記被写体における顔の表情の一部が変更された表情ガイド画像を前記表示部に表示させる表示ステップと、
   前記撮像部が生成した前記画像データに対応する画像内の前記被写体における顔の表情と前記表示部が表示する前記表情ガイド画像内の前記被写体における顔の表情の類似を判定する表情判定ステップと、
   前記表情判定ステップで前記画像内の前記被写体における顔の表情と前記表情ガイド画像内の前記被写体における顔の表情とが一致すると判定するまで、前記撮像部に前記被写体を連続的に撮像させる撮像制御ステップと、
   前記表情判定ステップで前記画像内の前記被写体における顔の表情と前記表情ガイド画像内の前記被写体における顔の表情とが一致すると判定した場合、異なる前記表情ガイド画像を前記表示部に表示させる第２表示ステップと、
   を含むことを特徴とする撮像方法。
10. 被写体を撮像し、該被写体の画像データを生成する撮像部と、前記撮像部が生成した前記画像データに対応する画像を表示可能な表示部と、を備えた撮像装置に、
    少なくとも前記被写体における顔の表情の一部が変更された表情ガイド画像を前記表示部に表示させる表示ステップと、
    前記撮像部が生成した前記画像データに対応する画像内の前記被写体における顔の表情と前記表示部が表示する前記表情ガイド画像内の前記被写体における顔の表情の類似を判定する表情判定ステップと、
    前記表情判定ステップで前記画像内の前記被写体における顔の表情と前記表情ガイド画像内の前記被写体における顔の表情とが一致すると判定するまで、前記撮像部に前記被写体を連続的に撮像させる撮像制御ステップと、
    前記表情判定ステップで前記画像内の前記被写体における顔の表情と前記表情ガイド画像内の前記被写体における顔の表情とが一致すると判定した場合、異なる前記表情ガイド画像を前記表示部に表示させる第２表示ステップと、
    を実行させることを特徴とするプログラム。

Images