JP2015111777A - 撮像装置及び撮像装置の制御方法 - Google Patents

Abstract

【課題】閲覧者に関係のある被写体に最適な画像処理を行って表示できるようにする。
【解決手段】画像を表示部に表示する表示手段と、前記表示部と同じ側に設けられた撮影手段と、顔画像情報から被写体を認証する個人認証手段と、被写体毎に関係性のある別の被写体の情報を記録する関係性記録手段と、撮像した画像を画像処理する画像処理手段と、を有し、前記表示部に画像を表示する際に、前記個人認証手段は、前記撮影手段で撮影した第１の顔画像情報から第１の被写体を、前記表示部に表示する画像の第２の顔画像情報から第２の被写体を認証し、前記第２の被写体が、前記第１の被写体、若しくは前記関係性記録手段より抽出した前記第１の被写体と関係性のある被写体であると判定された場合に、前記表示手段は前記処理手段により前記第２の被写体に適した画像処理を行った画像を表示する。
【選択図】図１

Description

本発明は撮像装置及び撮像装置の制御方法に関し、特に、認証技術を用いた撮像装置に用いて好適な技術に関する。

近年、デジタルカメラやカメラ付き携帯電話が普及してきており、撮影した画像はデジタル画像データとしてメモリ等に保存されるようになっている。そのため、従来のフィルム式カメラのようにフィルム残量を気にする必要がなく、大量の画像を手軽に撮影することができる。このように撮影したデジタル画像データは、プリントして鑑賞するだけでなく、撮影した静止画像を順番に再生するスライドショーで楽しむといった使い方がなされている（特許文献１参照）。

ここで、特許文献２では、スライドショーをメモリに保存されている大量の画像データの全てを見るのは時間がかかるため、その問題を解決する方法を提案している。すなわち、閲覧者対象となる人物の顔をカメラ等で撮影し、この顔情報と同じ顔情報を含む画像データをメモリに保存された画像データから抽出することで、閲覧者が鑑賞を希望する画像データのみを容易に抽出でき、スライドショーを再生できるとしている。

また、顔認証、個人認証等の認証の処理機能を備えた撮像装置に関しても提案されている（特許文献３参照）。顔認証、個人認証等の認証の処理機能を備えた撮像装置では、撮像装置で撮影して得られた画像データから、特定の被写体領域が含まれる被写体画像領域を検出する。検出された被写体画像領域の画像データから、その被写体領域を被認証対象として識別するための特徴情報を抽出し、抽出した特徴情報と予めデータベースに登録された登録対象の画像の特徴情報とを比較する。

最終的にその類似度を判定し、その判定結果の類似度に基づいて、被認証対象がどの登録対象であるか、または該当する登録対象がいないか否かの認証を行う。このような構成の例として、撮影して得られた画像データから、特定の被写体領域として人物の顔を検出し、この顔の特徴情報を抽出して、この顔が誰であるか個人認証を行うシステムが存在する。

特開２０００−２９３９７４号公報 特開２００６−３１８３５２号公報 特開２０１０−２７０３４号公報 特開２０００−０３００６５号公報 特開２００４−０３８５３１号公報

しかしながら、特許文献２に記載の方法では、閲覧者自身が写っている画像のみしか抽出されない。このため、例えば、複数の友人と一緒に旅行したときに撮影した画像を鑑賞する場合を考えると、閲覧者は自分の写っている画像だけを見たいわけではなく、友人が写っている画像も見たいと考えるのが自然である。

また例えば、撮影後にピントの合う位置を変更可能なライトフィールドカメラで撮影された画像では、抽出された画像中で閲覧者が見たい被写体に予めピントが合っていないことがあるという課題があった。
本発明は前述の問題点に鑑み、閲覧者や閲覧者に関係のある被写体に最適な画像処理を行って表示できるようにすることを目的とする。

本発明の撮像装置は、画像を表示部に表示する表示手段と、前記表示部と同じ側に設けられた撮影手段と、顔画像情報から被写体を認証する個人認証手段と、被写体毎に関係性のある別の被写体の情報を記録する関係性記録手段と、撮像した画像を画像処理する画像処理手段と、を有し、前記表示部に画像を表示する際に、前記個人認証手段は、前記撮影手段で撮影した第１の顔画像情報から第１の被写体を、前記表示部に表示する画像の第２の顔画像情報から第２の被写体を認証し、前記第２の被写体が、前記第１の被写体、若しくは前記関係性記録手段より抽出した前記第１の被写体と関係性のある被写体であると判定された場合に、前記表示手段は前記処理手段により前記第２の被写体に適した画像処理を行った画像を表示することを特徴とする。

本発明によれば、閲覧者や閲覧者に関係のある被写体が写っている画像をその被写体に適した状況で表示することができる。

本発明の実施形態における撮像装置の構成例を示すブロック図である。 実施形態の顔検出及び個人認証部の概略構成を示すブロック図である。 実施形態の撮影部と表示部の配置関係の一例を示した図である。 実施形態の表示部をタッチして関係性を構築する様子を説明する図である。 実施形態の撮影者と被写体との関係性を示した図である。 実施形態における関係性構築の処理手順を説明するフローチャートである。 実施形態の関係性構築部の概略構成を示すブロック図である。 実施形態における画像再生の処理手順を説明するフローチャートである。 実施形態の閲覧者と表示部に表示される画像との関係を説明する図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
（第１の実施形態）
第１の実施形態においては、画像を表示する表示部と同じ側に備えられた撮像部で表示部を閲覧している閲覧者を個人認証し、また表示部に表示された画像中の被写体を個人認証する撮像装置の例を説明する。記録された被写体間の関係性を用いて閲覧者と関係のある被写体を画像中より検出し、検出された人物に応じた画像処理を行う。

図１は、本発明の第１の実施形態における撮像装置１０１の全体構成を表すブロック図である。
撮像装置１０１は、第１の撮影部１０２と第２の撮影部１０３と制御部１１６と記録部１１７と表示部１１８と関係性構築部１１９と画像処理部１２０と撮像装置１０１を操作するための各種操作スイッチ（ＳＷ１２１）等の操作部とを有する。

制御部１１６は、撮像装置１０１の電気的及び電子的な動作制御や各種処理の制御など、装置全体を制御する。第１の撮影部１０２は、撮像レンズ１０４により被写体像を結像した光を撮像素子１０５により光電変換する。また、撮像素子１０５から出力されるアナログ信号に対して出力ノイズを除去するＣＤＳ回路や増幅回路を持つ前置処理回路などを持つアナログ信号処理部１０６から出力し、Ａ／Ｄ変換部１０７によりデジタル信号に変換する。その後、デジタル信号処理部１０８で欠陥画素補正、スミア補正などのセンサ補正、色収差補正、デモザイク処理などの信号処理を行い、画像データを生成する。

表示部１１８は、撮像レンズ１０４が設けられた面とは反対側に設けられている。撮影モードにおいては、表示部１１８は撮像素子１０５上に形成された画像がリアルタイムに表示される。従って、撮影者は、撮像レンズ１０４を被写体に向け撮像装置１０１の表示部１１８に表示される表示画像を観察することにより、撮影する画像の状態を確認することができる。表示部１１８は、撮像装置１０１のファインダとして用いることもできる。

撮像装置１０１の表示部１１８が設けられた面には、第２の撮影部１０３の撮像レンズ１１０が設けられている。撮像レンズ１１０の光軸方向は撮像レンズ１０４の光軸方向と大略反対方向である。従って、被写体を撮影しようとして撮像装置１０１を前述の如く構えると、第２の撮影部１０３の撮像レンズ１１０によって撮影者の像が撮像素子１１１上に形成される。そして、出力ノイズを除去するＣＤＳ回路や増幅回路を持つ前置処理回路などを持つアナログ信号処理部１１２からアナログ信号が出力され、Ａ／Ｄ変換部１１３によってデジタル信号化される。その後、デジタル信号処理部１１４で欠陥画素補正、スミア補正などのセンサ補正、色収差補正、デモザイク処理などの信号処理を行い、画像化される。

撮像レンズ１１０の光軸方向及び撮影視野は、第１の撮影部１０２によって撮影するために撮像装置１０１を構えたときに撮影者の顔部分が撮影されるように設定されている。
第２の撮影部１０３で撮影した画像は鑑賞用ではなく、そこに写っている人物が識別可能であればよいので、第２の撮影部１０３の解像度や光学性能は第１の撮影部１０２の解像度や光学性能ほどは必要がない。画像サイズも小さくてよい。

また、本実施形態の画像処理プログラムは、撮像装置１０１における各画像処理機能をソフトウェア的に実現したものである。この場合、そのソフトウェアは、各画像処理機能をコンピュータにより実行させるためのプログラム群で構成される。各プログラムは、例えば、専用のハードウェアに予め組み込まれて用いられてもよいし、汎用のパーソナルコンピュータなどにネットワークや記録媒体からインストールして用いられてもよい。

図３は、撮像装置１０１において第１の撮影部１０２と第２の撮影部１０３と表示部１１８の位置関係をイメージした図である。表示部１１８の逆側の面に第1の撮影部１０２を設けて、表示部１１８と同一面に第２の撮影部１０３を設けている。

また、顔検出及び個人認証部１０９は、前述のように生成された画像データに対して、後述する顔検出や個人認証を行い、個人認証部による認証結果を制御部１１６へと出力する。不図示ではあるが、制御部１１６は認証結果を用いて露出制御、ホワイトバランス処理、測距制御などを再度制御する。

例えば露出制御は、具体的には、ＳＷ１２１を半押しした時に制御が開始され、撮像素子１０５により得られた画像信号より被写体の明るさを検出し、所望の被写体をより高品位に撮像できるように明るさを調整する。また、ＳＷ１２１を全押しした時は、デジタル信号処理部１０８から出力される画像データは記録部１１７へ記録される。

図２は、図１の顔検出及び個人認証部１０９の概略構成を示すブロック図である。
図２において、顔検出及び個人認証部１０９は、顔検出部２０１、個人認証部２０２、登録顔画像データ記録部２０３を有する。なお、顔検出及び個人認証部１１５も同様な構成である。

顔検出部２０１では、例えば、顔検出用に用意されたテンプレートを入力画像データに対して走査し、入力画像データの各位置での相関値を算出する。そして、この相関値が高い値を示した場所を顔領域として判定する。その他の方法として、部分空間法などを利用した顔領域抽出法等を用いてもよい。

個人認証部２０２は、顔検出部２０１により入力画像データから検出された顔画像データと、登録顔画像データ記録部２０３に登録されている顔画像データとの類似度を算出する。この類似度を算出する方法としては、例えば、特許文献４に開示されたように、入力顔画像データの大きさ、角度、輝度などを正規化した後、フーリエスペクトルのKL展開法を用いる方法がある。

あるいは、特許文献５に開示されているように、検出した顔画像データを顔までの距離に応じて正規化し、マッチングを行う手法などがある。なお、本発明で定義する登録顔画像データとは、圧縮されて保存されている顔画像データそのもの、若しくは目、鼻、口、眉毛など、顔に関する特徴量を示す情報である。
個人認証部２０２は、前述のようにして算出された顔画像情報から被写体を認証する個人認証を行う。

登録顔画像データ記録部２０３には、複数の登録顔画像データが予め登録されているか撮影時、ＥＶＦ表示時、再生時等に登録を行う。それぞれの登録顔画像データには、その人物の個人名（登録名称）等が関連づけられている。前述した顔に関する特徴量を示す情報を制御部１１６に出力し、制御部１１６は所望のタイミングで関係性構築部１１９へ出力する。

図７は、図１の関係性構築部１１９の概略構成を示すブロック図である。
顔検出及び個人認証部１０９（１１５）から制御部１１６へ出力された顔に関する特徴量を示す情報は、関係性構築部１１９の第１の撮影部による個人認証結果一時記憶部７０１と第２の撮影部による個人認証結果一時記憶部７０２に各々一時的に格納される。

一時的に格納された顔に関する特徴量を示す情報は、表示部１１８からの指示を受けて個人認証結果関連付け部７０３へ出力され、それぞれの顔に関する特徴量を示す情報に基づいて第１の撮影部の被写体と第２の撮影部の被写体との関係性を構築する。関係性の構築に関しては、図４を参照しながら後述する。

構築された関係性は、関係性構築データベースである関係性構築データ記録部７０４に出力し、被写体毎に関係性のある別の被写体の情報を記録する関係性記録処理を行い、保存しておく。
また、一度構築した関係性に関しては、再度保存する必要は無いため、すでに構築されているものかどうかを判断し、一度構築した関係性かどうかを判断する既存関係性フラグを制御部１１６に出力する。前述した既存関係性フラグを見て、制御部１１６では、表示部１１８に後述する図４の登録ボタン４０１の表示／非表示を判別し、登録されてあるものならば非表示、登録されていないものならば表示するように制御部１１６では判断する。

図４は、撮像装置１０１において、第１の撮影部で撮影した画像を表示部１１８に表示し、顔検出・個人検出を行い、第２の撮影部では撮影者を顔検出・個人検出を行っているシーンを示した図である。
ここで表示部１１８には、顔検出の結果、被写体が２人いてそれぞれに登録ボタン４０１を表示している。

本実施形態では、登録ボタン４０１としているが、撮影者が所望の被写体を登録ボタン４０１とは別のアイコンや画像そのものをタッチしたりしてもよい。また、十字キーを操作することで撮影者が所望の被写体を指示できるようにしてもよい。
また、前述したとおり、表示部１１８はタッチパネル式の表示装置であり、第２の撮影部の被写体（撮影者）は登録ボタン４０１をタッチすることでお互いの関係性が構築されることを示している。

また、表示部１１８は撮影者によりタッチされたことを受け、タッチした対象が登録ボタン４０１であった時、関係性を構築するため、制御部１１６へ関係性構築を行う信号を送出する。

ここでは、個人検出の結果、表示部１１８に表示された被写体をそれぞれ“Ａさん”、“Ｂさん”、第２の撮影部１０３で撮影された撮影者を“Ｃさん”としている。ここで、撮影者“Ｃさん”が“Ａさん”、“Ｂさん”の登録ボタン４０１を押すことで、
“Ｃさん” ⇔“Ａさん”
“Ｃさん” ⇔“Ｂさん”
という関係性を記録する。

ここで“Ｃさん”が“Ａさん”の登録ボタン４０１を押したことで、
“Ａさん”と“Ｃさん”双方の関係性が構築されていることを示している。しかし、
“Ｃさん”⇒“Ａさん”
“Ｃさん”⇒“Ｂさん”
というように第２の撮影部１０３の被写体（撮影者）から見たら、第１の撮影部１０２の被写体とは関係があるというように、一方からのみの関係性を記録してもよい。

図５は、前述した関係性というものを説明する図である。５０１は第２の撮影部１０３に写っている被写体（撮影者・閲覧者）の情報であり、５０２は第１の撮影部１０２に写っている被写体の情報である。
“Ｃさん”⇔“Ａさん”
という関係性が構築された時、５０１の“Ｃ”と５０２の“Ａ”が交わるセルが"1"となり、フラグがたつ。このフラグを関係性構築データ記録部７０４に記録しておくことで第１の撮影部１０２の被写体と第２の撮影部１０３の被写体（撮影者・閲覧者）の関係性が構築される。

図６は、撮像装置１０１で第１の撮影部１０２の被写体と第２の撮影部１０３の被写体の関係性を構築する際の処理手順を説明するフローチャートである。この処理は、不揮発性メモリに記録されたプログラムをシステムメモリに展開し、制御部１１６が実行することにより実現する。
撮像装置１０１の電源が入れられると、Ｓ６０１のＥＶＦ表示状態に移行する。Ｓ６０１ではＥＶＦ表示状態としているが、これは一例であり、同様のフローで本発明の目的を実現するためには再生時でも撮影時でもよい。

次に、Ｓ６０２において、ユーザーが関係性構築モードというモードを選択したか否かを判断する。ユーザーが選択した際には、図４のように登録ボタン４０１が表示される。また、関係性構築モードではない場合は、Ｓ６０９に移行して従来の撮像装置と同様にＥＶＦ表示を行い、第２の撮影部１０３における顔検出や個人認証は不要となる。

関係性構築モードが選択された場合、Ｓ６０３に移行して第１の撮影部１０２で撮影された被写体の顔検出を行う。その後、Ｓ６０４において第１の撮影部１０２で撮影された被写体の個人認証を行う。
次に、Ｓ６０５において、第２の撮影部１０３で撮影された被写体の顔検出を行い、その後、Ｓ６０６において、第２の撮影部１０３で撮影された被写体の個人認証を行う。

次に、第２の撮影部１０３の被写体（ＥＶＦ表示時は、撮影者、再生時は閲覧者となる）がタッチパネル式の表示部１１８に表示された第１の撮影部１０２の被写体の登録ボタン４０１をタッチするかどうかを判断する（Ｓ６０７）。ここでタッチしない場合は、関係性は構築されず、Ｓ６０９に移行して従来のカメラと同様にシャッターが押されると撮影を開始する。

Ｓ６０７の判断においてタッチされた時は、Ｓ６０８に移行し、第２の撮影部１０３の被写体と第１の撮影部１０２の被写体との関係性を前述した個人認証に基づき、図５のようにフラグをたてて構築する。関係性が構築されると登録ボタン４０１は表示から削除されるため、関係性が構築されたことを第２の撮影部１０３の被写体は知ることができる。

以上のように、第１の撮影部１０２と、第２の撮影部１０３とを備え、第１の撮影部１０２で撮影された画像をタッチパネル式の表示部１１８に表示する。そして、第１の撮影部１０２、第２の撮影部１０３で撮影した画像をそれぞれ顔検出・個人認証し、第２の撮影部で撮影された被写体（撮影者、閲覧者）が第１の撮影部で撮影された被写体をタッチする。このようにすることで、第２の撮影部１０３の被写体（撮影者、閲覧者）と第１の撮影部１０２の被写体との関係性を構築することができる。

ここで、第１の撮影部１０２の撮像素子１０５が結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた画素を複数配列したライトフィールドデータを取得する構成であるとする。この構成において、再生時にピント位置を変更可能な画像図９（Ａ）を撮影していた場合に、デフォルトのピント位置ではＤさんにピントが合っており、閲覧者Ｃさんと関係性のある被写体Ｅさんはボケてしまっていることがある。

そこで、前述のように、被写体間の関係性が構築され関係性構築データ記録部７０４に図５のようにフラグが記録されている状態で、撮像装置１０１で撮像した画像を再生する際に行なわれる処理の一例を説明する。
この場合、個人認証部２０２で第２の撮影部１０３の被写体と表示部１１８に表示する画像中の被写体を個人認証し、画像処理部１２０で第２の撮影部１０３の被写体に関係のある被写体にピントを合わせて表示部１１８に表示する。

前述の処理手順を、図８のフローチャートを用いて説明する。この処理は、不揮発性メモリに記録されたプログラムをシステムメモリに展開し、制御部１１６が実行することにより実現する。
Ｓ８０１において、画像の再生表示モードを選択する。
Ｓ８０２において、表示部１１８に再生する画像に対して顔検出部２０１で被写体の顔検出を行う。その際、再生する画像が第１の撮影部１０２で撮影したような焦点位置が可変な画像の場合、ピント位置をずらしながら顔検出を行うと処理時間が長くなってしまうため、画像内の全ての部分にピントの合った全焦点画像にて顔検出を行う。

Ｓ８０３において、再生する画像内で顔が検出されたかどうかを判定する。顔検出されていればＳ８０４へ、顔検出されなければＳ８１０へ進む。
Ｓ８０４において、Ｓ８０２で顔検出した被写体に対して個人認証部２０２でその被写体が誰であるかを特定する。
Ｓ８０５において、第２の撮影部１０３の被写体を撮影した画像に対して顔検出部２０１で顔検出を行う。

Ｓ８０６において、第２の撮影部１０３の被写体の顔が検出されたかどうかを判定する。顔検出されていればＳ８０７へ、顔検出されなければＳ８１０へ進む。
Ｓ８０７において、Ｓ８０５で顔検出した閲覧者に対して個人認証部２０２でその閲覧者が誰であるかを特定する。

Ｓ８０８において、Ｓ８０４で個人認証した被写体とＳ８０７で個人認証した閲覧者に関係性があるかどうかを判定する。具体的には、関係性構築データ記録部７０４に記録されている被写体間の関係性から第２の撮影部１０３の被写体と関係がある被写体を参照し、Ｓ８０４で個人認証した被写体が含まれているか否かを判定する。

第２の撮影部１０３の被写体と関係性があると判定された場合はＳ８０９へ、関係性がないと判定された場合はＳ８１０へ進む。
なお、ここでは撮像装置１０１で被写体間の関係性を構築し、関係性構築データ記録部７０４を参照しているが、関係性構築部１１９を持たずに関係性構築データを外部から取得する撮像装置においても本フローチャートの処理を実現することは可能である。

Ｓ８０９において、Ｓ８０４で個人認証した被写体は第２の撮影部１０３の被写体と関係があり再生される画像中で特に見たい部分と思われるので、画像処理部１２０にてＳ８０４で個人認証した被写体にピントが合うように調節する。これにより、図９（Ｂ）のように、閲覧者Ｃさんと関係性のある被写体Ｅさんにピントが合った画像が再構成される。

Ｓ８１０において、再生する画像中から顔が検出されなかった場合、若しくは第２の撮影部の被写体と再生する画像中の被写体には関係性がないと判断された場合は、ピント位置は画像処理部１２０でデフォルトのポジションに設定する。
Ｓ８０９またはＳ８１０の処理の後は、Ｓ８１１において、ピント位置を調節した再生画像を表示部１１８に表示する。

なお、本実施形態ではＳ８０1で再生表示モードとしているが、これは一例であり、再生する画像だけでなく撮影時のＥＶＦ表示に対しても同様のフローで本発明の目的を実現することは可能である。
また、仮に関係性構築モードにおいて“Ｃさん”⇔“Ｄさん”という関係性が新たに構築された場合、Ｓ８０８ではＤさん、Ｅさんと複数の被写体が閲覧者Ｃさんと関係性のある被写体として判定されることになる。その時は、画像処理部１２０において、Ｄさん、Ｅさん両方にピントがあるように被写界深度をコントロールして、図９（Ｃ）のような画像を再構成することで、本実施形態の目的を実現することが可能である。

さらに、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。画像処理の一例としてピント位置、被写界深度を調整する場合の実施形態を述べたが、前述の方法に限定されず、被写体の色や明るさを調整するような他の画像効果に対しても同様である。

以上のように、被写体間の関係性を構築し、表示装置に表示する第１の撮影部で撮影した画像、第２の撮影部で撮影した画像をそれぞれ顔検出・個人認証し、第２の撮影部で撮影された被写体と関係性のある被写体を表示装置に表示する画像中から検出する。そして、その被写体に最適な画像処理を行って再生することで、記録された大量の画像データの中から、自分だけ写っている画像を再生するだけでなく、自分と関連性の高い被写体が写っている画像をその被写体を見るのに最適な状態で再生することが可能となる。

（その他の実施形態）
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

また、前述した実施形態においては、本発明を撮像装置に適用した場合を例にして説明したが、これはこの例に限定されず、記録部に記録された画像を表示部に表示する装置であれば適用可能である。

例えば、スマートフォンやタブレットＰＣなどにおいて、表示部に表示する画像に画像処理を行う場合に適用することができる。したがって、本発明はパーソナルコンピュータやＰＤＡ、携帯電話端末などに適用可能である。

また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１ 撮像装置
１０２ 第１の撮影部
１０３ 第２の撮影部
１０４、１１０ 撮像レンズ
１０５、１１１ 撮像素子
１０６、１１２ アナログ信号処理部
１０７、１１３ Ａ／Ｄ変換部
１０８、１１４ デジタル信号処理部
１０９、１１５ 顔検出及び個人認証部
１１６ 制御部
１１７ 記録部
１１８ 表示部
１１９ 関係性構築部
１２０ 画像処理部
１２１ ＳＷ
２０１ 顔検出部
２０２ 個人認証部
２０３ 登録顔画像データ記録部

Claims (8)

1. 画像を表示部に表示する表示手段と、
   前記表示部と同じ側に設けられた撮影手段と、
   顔画像情報から被写体を認証する個人認証手段と、
   被写体毎に関係性のある別の被写体の情報を記録する関係性記録手段と、
   撮像した画像を画像処理する画像処理手段と、を有し、前記表示部に画像を表示する際に、
   前記個人認証手段は、前記撮影手段で撮影した第１の顔画像情報から第１の被写体を、前記表示部に表示する画像の第２の顔画像情報から第２の被写体を認証し、
   前記第２の被写体が、前記第１の被写体、若しくは前記関係性記録手段より抽出した前記第１の被写体と関係性のある被写体であると判定された場合に、前記表示手段は前記処理手段により前記第２の被写体に適した画像処理を行った画像を表示することを特徴とする撮像装置。
2. 前記表示部に表示する画像を撮影する前記表示部と逆側に設けられた第２の撮像部と、
   前記第１の被写体が前記第２の被写体を指示する指示手段と、
   前記指示手段で指示された前記第２の被写体と指示した前記第１の被写体との関係性を構築する関係性構築手段と、
   をさらに備えることを特徴とする請求項１に記載の撮像装置。
3. 前記画像処理手段は、
   前記表示部に被写界深度を変更可能な画像を表示する際に、前記第２の被写体が、前記第１の被写体、若しくは前記関係性記録手段より抽出した前記第１の被写体と関係性のある被写体であると判定された場合に、前記第２の被写体に焦点を合わせることを特徴とする請求項１または２に記載の撮像装置。
4. 前記画像処理手段は、
   前記表示部に被写界深度を変更可能な画像を表示する際に、前記第２の被写体が、前記第１の被写体、若しくは前記関係性記録手段より抽出した前記第１の被写体と関係性のある被写体であると判定された場合に、複数の被写体に焦点が合うように被写界深度を変更することを特徴とする請求項１または２に記載の撮像装置。
5. 前記画像処理手段は、
   前記表示部に画像を表示する際に、前記第２の被写体が、前記第１の被写体、若しくは前記関係性記録手段より抽出した前記第１の被写体と関係性のある被写体であると判定された場合に、前記第２の被写体に適した明るさ、若しくは色に調整することを特徴とする請求項１または２に記載の撮像装置。
6. 画像を表示部に表示する表示工程と、
   前記表示部と同じ側に設けられた撮影工程と、
   顔画像情報から被写体を認証する個人認証工程と、
   被写体毎に関係性のある別の被写体の情報を記録する関係性記録工程と、
   撮像した画像を画像処理する画像処理工程と、を有し、前記表示部に画像を表示する際に、
   前記個人認証工程は、前記撮影工程において撮影した第１の顔画像情報から第１の被写体を、前記表示部に表示する画像の第２の顔画像情報から第２の被写体を認証し、
   前記第２の被写体が、前記第１の被写体、若しくは前記関係性記録工程において抽出した前記第１の被写体と関係性のある被写体であると判定された場合に、前記表示工程は前記処理工程において前記第２の被写体に適した画像処理を行った画像を表示することを特徴とする撮像装置の制御方法。
7. 画像を表示部に表示する表示工程と、
   前記表示部と同じ側に設けられた撮影工程と、
   顔画像情報から被写体を認証する個人認証工程と、
   被写体毎に関係性のある別の被写体の情報を記録する関係性記録工程と、
   撮像した画像を画像処理する画像処理工程とをコンピュータに実行させ、
   前記表示部に画像を表示する際に、
   前記個人認証工程は、前記撮影工程において撮影した第１の顔画像情報から第１の被写体を、前記表示部に表示する画像の第２の顔画像情報から第２の被写体を認証し、
   前記第２の被写体が、前記第１の被写体、若しくは前記関係性記録工程において抽出した前記第１の被写体と関係性のある被写体であると判定された場合に、前記表示工程は前記処理工程において前記第２の被写体に適した画像処理を行った画像を表示するようにコンピュータを制御することを特徴とするプログラム。
8. 請求項７に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。

Images