JP2010021795A - 撮像装置、補正制御装置、補正制御方法およびプログラム - Google Patents

Abstract

【課題】顔を含む被写体の特定の顔器官の領域に対する加工の効果を事前に確認しながら撮影することが可能な撮像装置、補正制御装置、補正制御方法およびプログラムを提供すること。
【解決手段】表示部２８は、撮像素子１１から出力される被写体像をライブビュー画像として所定の表示フレームレートで更新表示する。器官検出部２２は、ライブビュー画像のうちの顔を含むライブビュー画像から顔に含まれる特定の顔器官の領域を検出する。画像補正部２０１は、器官検出部２２によって検出された顔器官の領域を加工してライブビュー画像を補正処理する。補正制御部２６１は、補正モードが選択されている場合に、画像補正部２０１が補正処理を行うよう制御するとともに、ライブビュー画像の表示フレームレートを、補正モードが選択されていない場合の表示フレームレートよりも補正処理に要する時間に応じて遅くする制御を行う。
【選択図】図２

Description

本発明は、撮像装置、撮像装置に設けられる補正制御装置、撮像装置における補正制御方法および撮像装置のコンピュータに実行させるプログラムに関するものである。

従来から、人物撮影を行う際の技法の一つとして、被写体の瞳にキャッチライトと呼ばれる光を映し込み、人物の表情を生き生きとさせる撮影技法が知られている。一般に、キャッチライト撮影はレフ板を用いて行われ、大掛かりな機材が必要となる上、撮影者の熟練を要するため、手軽に実施できるものではなかった。この種の問題を解決するための技術として、画像中の目の領域を検出して画像処理を施すことによって被写体の瞳にキャッチライトを発生させるものが知られている。例えば、特許文献１には、自然なキャッチライトを実現するため、被写体の顔の大きさや向き、照明の方向といった被写体の状況を検出してキャッチライトの合成位置を決定する技術が開示されている。

特開２００５−２２２１５２号公報

ところで、デジタルカメラ等の撮像装置では、撮像素子からの出力をライブビュー画像としてリアルタイムに表示部に表示させて電子ファインダーとして用いている。このライブビュー画像に映る目領域等の特定の顔器官の領域にキャッチライトを合成する等の加工を施せば、顔器官に対する加工の効果を撮影前に確認することができる。しかしながら、ライブビュー画像から特定の顔器官を検出して加工を施す場合、ライブビュー画像を表示する際の処理負荷が増大してしまう。例えば、特許文献１では、キャッチライトの合成位置を決定するためにキャッチライトを発生させる画像を解析して被写体の状況を検出しなければならない。このため、処理が間に合わずにライブビュー画像を適切に表示できない事態が生じるという問題があった。

本発明は、上記に鑑みてなされたものであって、顔を含む被写体の特定の顔器官の領域に対する加工の効果を事前に確認しながら撮影することが可能な撮像装置、補正制御装置、補正制御方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明にかかる撮像装置は、被写体を撮影する撮像部と、前記撮像部によって撮影されている被写体像をライブビュー画像として所定の表示フレームレートで更新表示する表示部と、前記ライブビュー画像のうちの顔を含むライブビュー画像から、前記顔に含まれる特定の顔器官の領域を検出する器官検出部と、前記器官検出部によって検出された顔器官の領域を加工して前記ライブビュー画像を補正処理する画像補正部と、前記画像補正部が前記ライブビュー画像の補正を行うか否かを設定する補正設定部と、前記補正を行う設定がされた場合には、前記画像補正部が前記補正処理を行うよう制御するとともに、前記補正を行う設定の場合の前記ライブビュー画像の表示フレームレートを、前記補正を行わない設定の場合の表示フレームレートよりも前記補正処理に要する時間に応じて遅くする制御を行う補正制御部と、を備えることを特徴とする。

また、本発明にかかる撮像装置は、上記の発明において、前記画像補正部は、前記特定の顔器官の領域に所定の合成用画像を合成することによって、前記顔器官の領域の加工を行うことを特徴とする。

また、本発明にかかる撮像装置は、上記の発明において、前記器官検出部は、前記特定の顔器官を目として前記ライブビュー画像の顔に含まれる目領域を検出し、前記画像補正部は、前記器官検出部によって検出された目領域にキャッチライト画像を合成することを特徴とする。

また、本発明にかかる撮像装置は、上記の発明において、装置本体の振動を検出し、検出の結果をもとに前記撮像部の駆動を制御する手振れ補正部を備え、前記補正制御部は、前記補正を行う設定の場合に、前記手振れ補正部を動作させる制御を行うことを特徴とする。

また、本発明にかかる撮像装置は、上記の発明において、前記ライブビュー画像から顔領域を検出する顔検出部を備え、前記補正制御部は、前記補正を行う設定の場合であって、前記顔検出部によって前記ライブビュー画像から顔領域が検出された場合に、前記表示フレームレートを遅くする制御を行うことを特徴とする。

また、本発明にかかる撮像装置は、上記の発明において、前記画像補正部は、前記ライブビュー画像中の前記加工された顔器官の領域を含む部分画像を拡大処理する拡大処理部を備え、前記補正制御部は、前記補正を行う設定の場合に、前記拡大処理部が前記拡大処理を行うよう制御することを特徴とする。

また、本発明にかかる撮像装置は、上記の発明において、複数の顔データを記憶した顔データ記憶部と、前記ライブビュー画像から顔領域を検出する顔検出部と、前記顔検出部によって検出された顔領域を前記顔データ記憶部に記憶された顔データと照合し、前記ライブビュー画像に含まれる特定人物の顔を認識する人物認識部と、を備え、前記補正制御部は、前記補正を行う設定の場合であって、前記人物認識部によって前記ライブビュー画像に含まれる特定人物の顔が認識された場合に、前記画像補正部が前記補正処理を行うよう制御するとともに、前記表示フレームレートを遅くする制御を行うことを特徴とする。

また、本発明にかかる撮像装置は、上記の発明において、前記ライブビュー画像中の前記被写体の動きを検出する動き検出部を備え、前記補正制御部は、前記補正を行う設定の場合であって、前記動き検出部による検出の結果前記被写体の動きがない場合に、前記表示フレームレートを遅くする制御を行うことを特徴とする。

また、本発明にかかる補正制御装置は、被写体を撮影する撮像部と、前記撮像部によって撮影されている被写体像をライブビュー画像として所定の表示フレームレートで更新表示する表示部と、前記ライブビュー画像のうちの顔を含むライブビュー画像から、前記顔に含まれる特定の顔器官の領域を検出する器官検出部と、前記器官検出部によって検出された顔器官の領域を加工して前記ライブビュー画像を補正処理する画像補正部と、前記画像補正部が前記ライブビュー画像の補正を行うか否かを設定する補正設定部とを備えた撮像装置に設けられる補正制御装置であって、前記補正を行う設定がされた場合には、前記画像補正部が前記補正処理を行うよう制御するとともに、前記補正を行う設定の場合の前記ライブビュー画像の表示フレームレートを、前記補正を行わない設定の場合の表示フレームレートよりも前記補正処理に要する時間に応じて遅くする制御を行うことを特徴とする。

また、本発明にかかる補正制御方法は、被写体を撮影する撮像部と、前記撮像部によって撮影されている被写体像をライブビュー画像として所定の表示フレームレートで更新表示する表示部と、前記ライブビュー画像のうちの顔を含むライブビュー画像から、前記顔に含まれる特定の顔器官の領域を検出する器官検出部と、前記器官検出部によって検出された顔器官の領域を加工して前記ライブビュー画像を補正処理する画像補正部と、前記画像補正部が前記ライブビュー画像の補正を行うか否かを設定する補正設定部とを備えた撮像装置における補正制御方法であって、前記補正を行う設定がされた場合には、前記画像補正部が前記補正処理を行うよう制御するとともに、前記補正を行う設定の場合の前記ライブビュー画像の表示フレームレートを、前記補正を行わない設定の場合の表示フレームレートよりも前記補正処理に要する時間に応じて遅くする制御を行うことを特徴とする。

また、本発明にかかるプログラムは、被写体を撮影する撮像部と、前記撮像部によって撮影されている被写体像をライブビュー画像として所定の表示フレームレートで更新表示する表示部とを備えた撮像装置のコンピュータに、前記ライブビュー画像のうちの顔を含むライブビュー画像から、前記顔に含まれる特定の顔器官の領域を検出する検出ステップと、前記器官検出ステップで検出された顔器官の領域を加工して前記ライブビュー画像を補正処理する補正ステップと、前記ライブビュー画像の補正を行うか否かを設定する設定ステップと、前記設定ステップで補正を行う設定がされた場合には、前記補正ステップで前記補正処理を行うよう制御するとともに、前記補正を行う設定の場合の前記ライブビュー画像の表示フレームレートを、前記補正を行わない設定の場合の表示フレームレートよりも前記補正処理に要する時間に応じて遅くするよう制御する補正制御ステップと、を実行させることを特徴とする。

また、本発明にかかるプログラムは、上記の発明において、前記検出ステップは、前記特定の顔器官を目として前記ライブビュー画像の顔に含まれる目領域を検出し、前記補正ステップは、前記検出ステップで検出された目領域にキャッチライト画像を合成することを特徴とする。

本発明によれば、顔を含む被写体の特定の顔器官の領域に対する加工の効果を事前に確認しながら撮影することが可能な撮像装置、補正制御装置、補正制御方法およびプログラムを提供することができる。

以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。本実施の形態では、本発明の撮像装置をデジタルカメラに適用した場合を例にとって説明する。なお、この実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。

（実施の形態１）
図１は、デジタルカメラ１の背面図である。図１に示すように、デジタルカメラ１は、カメラ本体２の上面に配設された撮影タイミングを指示するためのレリーズボタン（シャッターボタン）３、カメラ本体２の背面に配設された電源ボタン４やメニューボタン５、上下左右の各方向ボタン（上ボタン、下ボタン、左ボタンおよび右ボタン）を有する十字ボタン６、操作内容を確定する等のためのＯＫボタン７、各種画面を表示する表示部２８等を備えている。また、図示しないが、カメラ本体２の前面には、撮像レンズ等が配設されている。ユーザが電源ボタン４を押下し、電源をＯＮすると、デジタルカメラ１は撮影可能な状態（撮影モード）となる。この撮影モードでは、撮像レンズを通して撮像素子１１（図２参照）に結像されている被写体像が１フレーム（例えば１／３０秒）毎に出力され、ライブビュー画像として表示部２８にリアルタイムに表示されるようになっている。そして、例えばレリーズボタン３の押下タイミングで電子的な撮影が行われる。

図２は、このデジタルカメラ１のシステム構成を示すブロック図である。図２に示すように、デジタルカメラ１は、撮像素子１１と、レンズ系ユニット１２と、レンズ駆動回路１３と、撮像回路１４と、振動センサ１５と、防振制御部１６と、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１７と、ＡＥ部１８と、ＡＦ部１９と、画像処理部２０と、顔検出部２１と、器官検出部２２と、顔データ記憶部としての顔辞書２３と、人物認識部２４と、動き検出部２５と、ＣＰＵ２６と、内蔵メモリ２７と、表示部２８と、表示駆動回路２９と、通信Ｉ／Ｆ３０と、操作部３１と、着脱メモリ３２と、電源回路３３と、電池３４とを備える。そして、撮像回路１４、レンズ駆動回路１３、防振制御部１６、ＳＤＲＡＭ１７、ＡＥ部１８、ＡＦ部１９、画像処理部２０、器官検出部２２、顔検出部２１、顔辞書２３、人物認識部２４、動き検出部２５、ＣＰＵ２６、表示駆動回路２９および着脱メモリ３２がバス３５を介して接続されて構成されている。また、撮像素子１１やレンズ系ユニット１２、撮像回路１４は、被写体を撮影する撮像部を構成する。

撮像素子１１は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサであって、レンズ系ユニット１２を通して入射する被写体像をフレーム単位で光電変換し、アナログ電気信号を出力する。レンズ系ユニット１２は、ＡＦ（Auto-Focus）用レンズやズーム用レンズ等を含む撮像レンズ、絞り、シャッター等を含み、レンズ駆動回路１３は、レンズ系ユニット１２を駆動する。

撮像回路１４は、撮像素子１１から出力されたアナログ電気信号に対してＣＤＳ（Correlated Double Sampling）やＡＧＣ（Automatic Gain Control）等のアナログ信号処理を行った後、デジタル電気信号に変換するとともに、このデジタル電気信号に対して画素補間処理や色補正処理等のデジタル信号処理を行い、画像データとして出力する。この画像データは、ＳＤＲＡＭ１７に一時的に記憶される。

振動センサ１５は、カメラ本体２の振動を検出するためのものであり、防振制御部１６とともに手振れ補正部を構成する。この振動センサ１５は、例えばジャイロ等の角速度センサで実現され、デジタルカメラ１の光学系の光軸方向をＺ軸方向とし、Ｚ軸方向に垂直な平面（撮像素子１１の撮像面）をＸＹ平面とした場合のＸ軸、Ｙ軸およびＺ軸の各軸回りの角速度を個別のジャイロ等によって検出する。そして、防振制御部１６は、振動センサ１５の検出結果をもとに撮像素子１１の駆動を制御し、手振れ等による画像振れを抑制するための防振制御処理（手振れ補正処理）を行う。この防振制御処理は、公知の技術を適宜適用して行う。また、手振れ補正の方式としては、撮像素子を駆動する代わりにレンズ系ユニットの一部のレンズを駆動する方式でも良い。

ＳＤＲＡＭ１７は、撮像回路１４から出力される画像データや、画像処理部２０による処理中の画像データ等の一時記憶用に使用される。例えば、１フレーム毎に撮像回路１４から出力される画像（ライブビュー画像）の画像データや、撮影タイミングで撮像回路１４から出力される画像（以下、「撮影画像」という。）の画像データ等が一時的に記憶される。デジタルカメラ１のモードの一つである撮影モード等では、撮像素子１１に結像されている被写体像が動画的にリアルタイムに表示部２８に表示されるようになっており、ライブビュー画像とは、この画像のことをいう。

ＡＥ部１８は、撮像回路１４から出力された画像データをもとに、自動露出を行う。ＡＦ部１９は、撮像回路１４から出力された画像データをもとに、自動焦点調節を行う。

画像処理部２０は、撮像回路１４から出力された画像データに対して各種の画像処理を施すとともに、記録用、表示用、キャッチライト合成用等に適した画像データに変換する処理を行う。例えば、撮影画像の画像データを記録する際、あるいは記録されている画像データを表示する際等に、ＪＰＥＧ（Joint Photographic Experts Group）方式等に基づく画像データの圧縮処理や伸張処理を行う。また、画素数を増減させて画像データを拡縮させる処理、画像データから一部分を切り出す処理、各画素の輝度成分や色成分を調整する明るさ調整処理や色調整処理等、画像データに対する各種の画像処理を必要に応じて行う。この画像処理部２０は、顔を含むライブビュー画像から検出された目領域を加工してライブビュー画像を補正処理する画像補正部２０１と、ライブビュー画像中の画像補正部２０１によって加工された目領域を含む部分画像を拡大処理する拡大処理部２０３とを含む。

顔検出部２１は、ライブビュー画像の画像データをもとに、周知技術であるパターンマッチングを適用してこの画像データ中の顔の領域（顔領域）を検出する。器官検出部２２は、顔検出部２１によって検出された顔領域中の左右の目や鼻、唇等の各顔パーツ（顔器官）の領域を検出する。本実施の形態では、器官検出部２２は、特定の顔器官として目を検出する。そして、器官検出部２２は、顔検出部２１による顔領域の検出結果をもとに左右の目の領域（目領域）を検出し、この目領域の検出結果をもとに、目の大きさや形状、目領域中の瞳孔部分および瞳孔周辺の虹彩部分である黒目の領域等を特定する。この顔検出部２１および器官検出部２２によって検出されたライブビュー画像中の顔領域の位置座標、目領域の位置座標や目の大きさ、形状、黒目の領域の位置座標を含む顔パーツのデータは、ＳＤＲＡＭ１７に記憶される。

顔辞書２３は、例えば人物に対して固有に割り当てられる人物ＩＤと対応付けて、その人物を実際に撮影した顔画像（顔データ）を登録（記憶）したデータテーブルであり、ユーザによる登録操作に従って顔画像が随時登録される。例えば、ユーザは、登録したい人物を撮影することによって、その人物の顔画像を顔辞書２３に登録する。

人物認識部２４は、ライブビュー画像中の顔領域を顔辞書２３と照合し、ライブビュー画像に含まれる特定人物の顔を認識（識別）するものである。例えば、人物認識部２４は、顔検出部２１によってライブビュー画像から検出された顔領域を顔辞書２３に登録されている各顔画像と比較し、類似度を算出する。そして、人物認識部２４は、最も類似度の高い顔画像の人物ＩＤを認識結果として出力する。

動き検出部２５は、撮像回路１４から出力されたライブビュー画像の画像データをもとにフレーム毎の動きベクトルを検出し、被写体の動き量として出力する。ライブビュー画像は、１フレーム毎（例えば１／３０秒毎）に随時取り込まれてＳＤＲＡＭ１７に一時的に記憶され、所定の表示フレームレートで表示部２８に表示されるが、動き検出部２５は、近接するライブビュー画像間の差分を求めることによって動きベクトルを検出する。具体的には、動き検出部２５は、前に取り込まれて動きベクトルの検出用に保持されているライブビュー画像の画像データを、新たに取り込まれたライブビュー画像の画像データと比較して差分を求める。これにより、各ライブビュー画像に映る同一の被写***置の変化量を表す動きベクトルを検出することができる。ここで、隣接するライブビュー画像間の差分を求めることによって動きベクトルを検出することとしてもよいし、所定のフレーム間隔で動き検出を行うこととしてもよい。また、この動きベクトルの検出は、適宜公知の技術を用いて行う。

ＣＰＵ２６は、操作部３１からの操作信号等に応じて内蔵メモリ２７からカメラプログラムを読み出して実行し、デジタルカメラ１を構成する各部に対する指示やデータの転送等を行ってデジタルカメラ１の動作を統括的に制御する。このＣＰＵ２６は、補正制御部２６１を含む。補正制御部２６１は、ライブビュー画像の補正を行う場合に、画像補正部２０１が補正処理を行うよう制御するとともに、ライブビュー画像の表示フレームレートを、補正処理に要する時間に応じて補正を行わない場合よりも遅くする制御を行う。例えば、ユーザが撮影モードに関する設定の１つである補正モードを選択した場合にライブビュー画像の補正を行うこととする。そして、通常の撮影モード等の補正モードが選択されていない撮影モードでは、ライブビュー画像の補正を行わない。また、実施の形態１では、補正制御部２６１は、ライブビュー画像の補正を行う場合において、防振制御部１６が防振制御処理を行うよう制御する。

内蔵メモリ２７は、例えばフラッシュメモリ等の電気的に書き換えが可能な不揮発性メモリであり、この内蔵メモリ２７には、デジタルカメラ１を動作させ、このデジタルカメラ１が備える種々の機能を実現するための各種のカメラプログラムや、このカメラプログラムの実行中に使用されるデータ等が予め記録されている。データには後述するキャッチライト画像のデータが含まれる。この内蔵メモリ２７には、ＣＰＵ２６を補正制御部２６１として機能させるための補正制御プログラム２７１が格納される。すなわち、補正制御部２６１が行う処理は、補正制御部２６１が内蔵メモリ２７から補正制御プログラム２７１を読み出して実行することによって実現され、このプログラム自体が補正制御部２６１の機能を実現することになる。なお、プログラムの記録媒体はフラッシュメモリに限定されるものではなく、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の光学記録媒体、ＭＤ等の磁気記録媒体、テープ媒体、ＩＣカードなどの半導体メモリを用いることができる。

表示部２８は、撮影画像やライブビュー画像の他、デジタルカメラ１の各種設定情報等を表示するためのものであり、ＬＣＤ（Liquid Crystal Display）やＥＬディスプレイ（Electroluminescence Display）等の表示装置で実現される。表示駆動回路２９は、表示部２８を駆動する。この表示部２８には、撮影モード中は所定の表示フレームレートでライブビュー画像が再描画されて動画的に連続表示され、再生モード中は撮影画像が表示される。

操作部３１は、撮影タイミングの指示、補正モードを含む各種の撮影モードや再生モードといったモードの設定操作、撮影条件の設定操作等、ユーザによる各種操作を受け付けて操作信号をＣＰＵ２６に通知するためのものであり、各種機能が割り当てられたボタンスイッチ等で実現される。実施の形態１では、操作部３１は、補正設定部として、ユーザ操作に従って撮影モードに関する設定の１つとして補正モードの設定を行う。この操作部３１は、図１のレリーズボタン３、電源ボタン４、メニューボタン５、十字ボタン６、およびＯＫボタン７を含む。

通信Ｉ／Ｆ３０は、例えばＵＳＢ（Universal Serial Bus）等の通信規格によってデジタルカメラ１を例えばパソコン等の外部機器と接続するためのインターフェースである。

着脱メモリ３２は、例えばｘＤ−ピクチャーカード（登録商標）やコンパクトフラッシュ（登録商標）カード等のデジタルカメラ１に着脱自在なメモリカードである。この着脱メモリ３２には、その種類に応じた図示しない読み書き装置によって撮影画像の画像データが書き込まれ、または読み書き装置によって着脱メモリ３２に記録された画像データが読み出される。

電源回路３３は、装填されている電池３４によって供給される電力を、所定の電力に変換してデジタルカメラ１の各部へと供給する。

ここで、以上のように構成されるデジタルカメラ１の機能の一つである補正モードの概要について説明する。実施の形態１のデジタルカメラ１は、撮影モードに関する設定として補正モードが選択されているか否かによってライブビュー画像の表示フレームレートを変更する。具体的には、補正モードが選択されている場合の表示フレームレートを、通常の撮影モード等の補正モードが選択されていない場合の表示フレームレートと比較して低くする。図３は、ライブビュー画像の表示・更新タイミングを説明する図である。１番上の段の列が、撮像素子１１でのライブビュー画像の画像取り込みタイミングを示す。そして、上記取り込まれた画像１ａを表示するタイミングを、補正モードの有無に応じて２番、３番目の列でそれぞれ示す。２番目が補正モードが選択されていない撮影モードでのライブビュー画像の表示・更新タイミングで、第１フレームレートとする。３番目が補正モードが選択されている撮影モードでのライブビュー画像の表示・更新タイミングで、第２フレームレートとする。

先ず、撮像素子１１でのライブビュー画像の画像取り込みタイミングを標準的な３０（フレーム／秒）とする。そして、取り込んだ画像Ｉａを表示するために表示用の画像処理がすることが必要になるので、表示されるタイミングは、画像取り込み後に所定の画像処理の時間の後になる。補正モードが選択されていない場合の表示用の画像処理の時間が、１／３０秒以下とすれば、第１フレームレートの列で示すように、取り込んだ画像が毎回表示部２８にライブビュー画像Ｉｂとして更新表示できる。つまり、第１フレームレートは、取り込みレートと同じ３０（フレーム／秒）になる。

次に、補正モードが選択された場合には、通常の表示用処理に補正にともなう余分な処理が加わる。この実施形態の例では、補正分を加えた画像処理にかかる時間が１／３０秒以上になるとする。とすれば、第１フレームレートと同様なタイミングでの表示は破綻してしまう。そこで、第２フレームレートの列で示すように、取り込まれたライブビュー画像Ｉａを１フレーム間引いて２フレーム毎に画像処理し、処理したライブビュー画像Ｉｃを表示部２８に更新表示するようにする。つまり、第２フレームレートは、取り込みレートの半分である１５（フレーム／秒）になる。

ここで、補正モードが選択されている場合に行う画像処理では、表示用の画像処理に加え、ライブビュー画像から顔領域を検出してその目領域を加工する処理（補正処理）を行う。すなわち先ず、顔領域中の目領域を検出する。複数の顔領域が検出されている場合には、それぞれの顔領域から目領域を検出する。そして、検出した目領域を加工する。左右の二つの目領域が検出されている場合には、それぞれの目領域を加工する。目領域の加工は、例えば予め合成用画像としてキャッチライト用に用意されたキャッチライト画像を目領域に合成することで行う。なお、ここでは、補正モードが選択されている場合の表示フレームレートを１５（フレーム／秒）としたが、この表示フレームレートは一例であって、補正処理に要する時間に応じて適宜設定することができる。

次に、デジタルカメラ１の動作について説明する。図４は、デジタルカメラ１の基本動作を示すフローチャートである。図４に示すように、デジタルカメラ１は、電源ボタン４が押下されて電源投入（パワーＯＮ）されると（ステップａ１：Ｙｅｓ）、パワーＯＮ状態へ遷移する（ステップａ３）。

そして、メニュー操作ありの場合（メニューボタン５が押下された場合）には（ステップａ５：Ｙｅｓ）、メニュー動作に移る（ステップａ７）。このメニュー動作では、ＣＰＵ２６がメニュー処理を開始し、メニュー画面を表示部２８に表示させてモードの設定メニューや各種撮影条件の設定メニュー等のメニュー項目を提示する。そして、ＣＰＵ２６は、ユーザ操作によって選択されたメニュー項目に応じた処理を行い、操作部３１からの操作信号に従ってモードの設定や撮影条件の設定・変更等を行うための処理を実行する。ここでのメニュー処理によって、例えば撮影モードや再生モード等のモードを設定することができ、撮影モードとして補正モードを選択しない通常の撮影モードや補正モードを選択した撮影モードを設定することができる。

メニュー操作がなければ（ステップａ５：Ｎｏ）、現在設定されているモードに応じた動作に移る。すなわち、現在のモードが撮影モードの場合には（ステップａ９：Ｙｅｓ）、撮影モード動作に移る（ステップａ１１）。ここで、撮影モード動作に移ると、表示部２８に対してライブビュー画像の表示が継続的に行われるライブビュー画像表示状態となる。すなわち、撮像素子１１に結像されている被写体像の画像データをＳＤＲＡＭ１７に一時的に記憶するとともに、この画像データを所定のフレームレートで表示部２８に表示する一連の処理を繰り返し行い、ライブビュー画像を動画的に連続表示する。そして、例えばレリーズボタン３が押下されたタイミングで撮影処理を行い、このときの撮影範囲の画像を撮影画像として生成する。一方、現在のモードが撮影モードではなく（ステップａ９：Ｎｏ）、再生モードの場合には（ステップａ１３：Ｙｅｓ）、再生モード動作に移る（ステップａ１５）。このときＣＰＵ２６は、例えば、着脱メモリ３２に記録されている撮影画像の画像データを読み出して表示部２８に再生表示するための制御を行う。また、現在のモードが再生モードではなく（ステップａ１３：Ｎｏ）、その他のモードの場合には（ステップａ１７：Ｙｅｓ）、そのモードに応じた動作に移る（ステップａ１９）。

そして、電源ボタン４が押下されて電源が遮断（パワーＯＦＦ）されると（ステップａ２１：Ｙｅｓ）、デジタルカメラ１はパワーＯＦＦ状態へと遷移し（ステップａ２３）、基本動作を終える。パワーＯＦＦされなければ（ステップａ２１：Ｎｏ）、ステップａ５に戻る。

次に、撮影モードの場合のデジタルカメラ１の撮影モード動作について説明する。図５は、実施の形態１におけるデジタルカメラ１の撮影モード動作を示すフローチャートである。

図５に示すように、撮影モード動作では先ず、ＣＰＵ２６の制御のもと、撮像回路１４が撮像素子１１を起動する（ステップｂ１）。そして、ライブビュー画像の画像取り込みタイミングの場合には（ステップｂ３：Ｙｅｓ）、ステップｂ７に移行する。ライブビュー画像の表示・更新タイミングの場合には（ステップｂ５：Ｙｅｓ）、ステップｂ３５に移行する。このとき、ＣＰＵ２６は、設定されている表示フレームレートに従ってライブビュー画像の表示・更新タイミングを判定する。ライブビュー画像の画像取り込みタイミングでなく（ステップｂ３：Ｎｏ）、表示・更新タイミングでもなければ（ステップｂ５：Ｎｏ）、ステップｂ３７に移行する。

ステップｂ７では、測光処理を行い、次いでライブビュー画像を取り込む（ステップｂ９）。続いて、ＣＰＵ２６が、撮影モードの種類を判定する。そして、撮影モードの設定として補正モードが選択されている場合には（ステップｂ１１：Ｙｅｓ）、補正制御部２６１が、防振制御部１６が防振制御処理を行うよう制御し、この制御によって、防振制御部１６が、振動センサ１５を駆動して防振制御処理を行う（ステップｂ１７）。そして、補正制御部２６１は、表示フレームレートを第２表示フレームレートとし（ステップｂ１９）、補正フラグをセット（“ＯＮ”に設定）する（ステップｂ２１）。

続いて、顔検出部２１が顔検出処理を行い、ステップｂ９で取り込んだライブビュー画像から顔領域を検出する（ステップｂ２３）。そして、器官検出部２２が顔器官検出処理を行い、顔検出部２１による顔領域の検出結果をもとに、目領域等の顔パーツを検出する（ステップｂ２５）。ここで、ライブビュー画像に複数の顔が映っており、複数の顔領域を検出している場合には、各顔領域についてそれぞれ目領域の検出を行う。このとき、器官検出部２２は、目領域の検出結果をもとに、目の大きさや形状、黒目の領域等を特定する。なお、ライブビュー画像に顔の正面が映っており、顔領域から目領域を２つ検出した場合には、この２つの目領域について、それぞれ目の大きさや形状、黒目の領域等の特定を行う。

続いて、画像補正部２０１が、検出されたライブビュー画像中の目領域を加工し（左右の目領域が検出された場合には各目領域をそれぞれ加工し）、ライブビュー画像を補正処理する（ステップｂ２７）。すなわち先ず、画像補正部２０１は、キャッチライト画像が目領域からはみ出さないようにするため、特定した目の大きさや形状をもとにキャッチライト画像に拡縮処理やトリミング処理等を施す。そして、画像補正部２０１は、目領域にキャッチライト画像を合成する。キャッチライト画像のデータは、内蔵メモリ２７から読み出されて使用される。

ここで、キャッチライト画像の合成手法は特に限定されるものではなく、キャッチライト画像の色成分および輝度成分を上書きして合成することとしてもよいし、キャッチライト画像の輝度成分のみを上書きするようにしてもよい。例えば、黒目の領域に対しては色成分および輝度成分を上書きして合成し、白目の領域に対しては輝度成分のみを上書きするようにしてもよい。また、キャッチライト画像として用いる画像についても、特に限定されるものではない。例えば、事前に複数種類のキャッチライト画像を用意しておき、ユーザが指定したキャッチライト画像等、適宜選択して用いることとしてもよい。また、瞳（黒目）の領域からはみ出さないようにキャッチライト画像を合成するようにしてもよい。すなわち、黒目の大きさや形状をもとに、瞳からはみ出さないようにキャッチライト画像を拡縮処理し、拡縮処理後のキャッチライト画像を黒目の外形に沿うようにトリミング処理する。なお、円形状や楕円形状等の所定の形状をトリミング形状として予め設定しておくこととしてもよい。あるいは、キャッチライト画像として円形状や楕円形状の画像を用意しておくこととしてもよい。これによれば、目領域の瞳の部分に、加工したテンプレート画像をキャッチライトとして合成することができる。

一方、補正モードが選択されていない撮影モードの場合には（ステップｂ１１：Ｎｏ）、ＣＰＵ２６は、表示フレームレートを第１表示フレームレートとし（ステップｂ３１）、補正フラグをクリア（“ＯＦＦ”に設定）する（ステップｂ３３）。

また、ステップｂ３５では、ライブビュー画像を表示部２８に表示する制御を行う。すなわち、補正モードが選択されておりステップｂ１９で表示フレームレートが第２フレームレートに設定された場合には、例えば、ステップｂ２７で補正処理されたライブビュー画像の表示を取り込み画像の２フレーム毎に更新する。したがって、ライブビュー画像を補正処理するための時間を十分に確保することができる。一方、補正モードが選択されておらずステップｂ３１で表示フレームレートが第１フレームレートに設定された場合には、１フレーム毎にライブビュー画像の表示を更新する。

図６は、顔を含むライブビュー画像の一例を示す図である。また、図７は、補正処理したライブビュー画像の一例を示す図であり、図６のライブビュー画像に映る顔の黒目の部分にキャッチライト画像を合成した様子を示している。このライブビュー画像は、図６のライブビュー画像から目領域を検出し、検出した目領域にキャッチライト画像を合成することによって得られた画像であり、撮影モードに関する設定として補正モードを選択すると、図７に示すように、補正処理されたライブビュー画像が表示部２８に表示される。

そして、図５に示すように、ステップｂ３７では、ＣＰＵ２６は、撮影操作やモード切替操作、メニュー操作等の各種操作入力があった場合に（ステップｂ３７：Ｙｅｓ）、入力された操作が撮影操作か否かを判定する。すなわち、入力された操作がレリーズボタン３の押下操作の場合には（ステップｂ３９：Ｙｅｓ）、撮影処理を行ってこのときの撮影範囲の静止画像を撮影し（ステップｂ４１）、図４のステップａ１１にリターンする。一方、入力された操作が撮影操作以外の操作の場合には（ステップｂ３９：Ｎｏ）、図４のステップａ１１にリターンし、その後ステップａ２１に移る。

図８は、撮影処理の詳細な処理手順を示すフローチャートである。図８に示すように、撮影処理では、先ず撮影準備動作として、ＡＦ部１９がＡＦ（自動焦点）動作を行い、ＡＥ部１８がＡＥ（自動露出）動作を行う（ステップｃ１）。そして、撮影動作に移る（ステップｃ３）。

そして、撮影動作を終えると、ＣＰＵ２６は、補正フラグを判定する（ステップｃ５）。そして、補正フラグが “ＯＮ”の場合には、図５のステップｂ２３〜ｂ２７と同様に、顔検出部２１が顔検出処理を行って顔領域を検出し（ステップｃ７）、器官検出部２２が顔器官検出処理を行って顔領域中の目領域を検出し（ステップｃ９）、画像補正部２０１がキャッチライト画像を合成することで目領域を加工して撮影用の画像を補正処理する（ステップｃ１１）。そして、ステップｃ５の判定結果が“ＯＦＦ”の場合、またはステップｃ１１の補正処理を終えた場合にはステップｃ１３に移り、撮影画像を圧縮して着脱メモリ３２に記録する。すなわち、補正フラグが“ＯＦＦ”の場合には、ステップｃ３の撮像動作の結果得られた撮影画像を着脱メモリ３２に記録する。一方、補正フラグが“ＯＮ”の場合には、ステップｃ１１で補正処理した撮影画像を着脱メモリ３２に記録する。なお、補正処理した撮影画像と併せて補正処理前の撮影画像を着脱メモリ３２に記録するようにしてもよい。そして、図５のステップｂ４１にリターンする。

以上説明したように、実施の形態１によれば、補正モードが選択されている撮影モードでのライブビュー画像の表示フレームレートを補正処理に要する時間に応じて設定し、補正モードが選択されていない撮影モードでのライブビュー画像の表示フレームレートよりも遅くすることができる。これによれば、ライブビュー画像中の目領域を加工してキャッチライト画像を合成する補正処理のための時間を確保することができる。したがって、構成を複雑にすることなくライブビュー画像に対する補正処理をリアルタイムで適切に行うことが可能となるため、顔を含む被写体の目領域に対するキャッチライト画像の合成効果を事前に確認しながら撮影することができるという効果を奏する。また、ライブビュー画像の表示フレームレートを補正処理に要する時間に応じて通常よりも遅くするだけでよいので、撮影に与える影響も少ない。さらに、振動センサ１５および防振制御部１６によって実現される手振れ補正機能によって手振れ等のカメラ本体２の振動によるライブビュー画像の画像振れを抑制できる。したがって、目の位置の振れに起因するキャッチライトの位置ずれを防止できるので、補正処理の精度を向上させることができ、より適切に補正処理が行える。

（実施の形態２）
次に、実施の形態２について説明する。なお、実施の形態２は、図２に示したシステム構成のデジタルカメラ１で実現でき、以下では、各構成要素に同一の符号を付する。

実施の形態２では、ＣＰＵ２６の補正制御部２６１は、実施の形態１と同様にして画像補正部２０１がライブビュー画像の補正を行うか否かの設定を行う。そして、補正モードが選択されておりライブビュー画像の補正を行う場合であって、顔検出部２１によってライブビュー画像から顔領域が検出された場合に、補正制御部２６１は、画像補正部２０１が補正処理を行うよう制御するとともに、ライブビュー画像の表示フレームレートを、補正処理に要する時間に応じて補正を行わない場合よりも遅くする制御を行う。

図９は、実施の形態２におけるデジタルカメラ１の撮影モード動作を示すフローチャートである。なお、図９において、図５と同様の処理工程には同一の符号を付している。図９に示すように、実施の形態２の撮影モード動作では、ステップｂ１１で撮影モードの種類を判定した結果補正モードが選択されている場合に（ステップｂ１１：Ｙｅｓ）、顔検出部２１が顔検出処理を行い、ステップｂ９で取り込んだライブビュー画像から顔領域を検出する（ステップｄ１３）。そして、顔領域が検出された場合には（ステップｄ１４：Ｙｅｓ）、ステップｂ１９に移り、補正制御部２６１は、実施の形態１と同様の要領で表示フレームレートを第２表示フレームレートとする。そして、補正制御部２６１が補正フラグをセットした後（ステップｂ２１）、器官検出部２２が顔器官検出処理を行い、ステップｄ１３で顔検出部２１が行った顔領域の検出結果をもとに、目領域等の顔パーツを検出する（ステップｂ２５）。一方、補正モードが選択されていない場合には（ステップｂ１１：Ｎｏ）、ステップｂ３１に移る。また、補正モードが選択されている場合であっても、顔領域が検出されない場合には（ステップｄ１４：Ｎｏ）、ステップｂ３１に移って表示フレームレートを第１表示フレームレートとする。

以上説明したように、実施の形態２によれば、補正モードが選択されている場合であって、ライブビュー画像から顔領域が検出された場合のライブビュー画像の表示フレームレートを、補正処理に要する時間に応じて補正モードが選択されていない撮影モードでのライブビュー画像の表示フレームレートよりも遅くすることができる。ここで、補正モードが選択されている場合であっても、ライブビュー画像から顔領域が検出されない場合には、ライブビュー画像の補正処理は行われず、ライブビュー画像は、補正モードが選択されていない場合の通常の表示フレームレート（第１フレームレート）で表示される。これによれば、実施の形態１と同様の効果を奏するとともに、ライブビュー画像中に顔が含まれる場合のみ表示フレームレートを遅くしてライブビュー画像を補正処理するので、補正モードが設定されていても、画面に顔が存在しない場合は滑らかなライブビュー画像が表示され、補正処理を適切に行える。

（実施の形態３）
次に、実施の形態３について説明する。なお、実施の形態３は、図２に示したシステム構成のデジタルカメラ１で実現でき、以下では、各構成要素に同一の符号を付する。

実施の形態３では、ユーザが補正モードに関する設定として拡大プレビュー表示モードを選択した場合にライブビュー画像を補正処理し、加工した目領域を含む部分画像を拡大処理したライブビュー画像の表示を行う。すなわち、ＣＰＵ２６の補正制御部２６１は、実施の形態１と同様にして画像補正部２０１がライブビュー画像の補正を行うか否かの設定を行う。このとき、補正制御部２６１は、部分画像を拡大表示するか否かの設定を行う。そして、拡大プレビュー表示モードが選択されている場合に部分画像の拡大表示を行うこととし、顔検出部２１によってライブビュー画像から顔領域が検出された場合に、補正制御部２６１は、画像補正部２０１が補正処理を行い、拡大処理部２０３が拡大処理を行うよう制御する。また、補正制御部２６１は、ライブビュー画像の表示フレームレートを、補正処理に要する時間に応じて補正を行わない場合よりも遅くする制御を行う。

図１０は、実施の形態３におけるデジタルカメラ１の撮影モード動作を示すフローチャートである。なお、図１０において、図５と同様の処理工程には同一の符号を付している。図１０に示すように、実施の形態３の撮影モード動作では、ステップｂ１１で撮影モードの種類を判定した結果補正モードが選択されている場合に（ステップｂ１１：Ｙｅｓ）、顔検出部２１が顔検出処理を行い、ステップｂ９で取り込んだライブビュー画像から顔領域を検出する（ステップｅ１２）。そして、顔領域が検出された場合には（ステップｅ１３：Ｙｅｓ）、補正制御部２６１が、補正フラグをセットする（ステップｅ１４）。

続いて補正制御部２６１は、補正モードの設定を判定し、拡大プレビュー表示モードが選択されている場合には（ステップｅ１５：Ｙｅｓ）、ステップｂ１９に移り、補正制御部２６１は、実施の形態１と同様の要領で表示フレームレートを第２表示フレームレートとする。続いて、器官検出部２２が顔器官検出処理を行い、ステップｅ１２で顔検出部２１が行った顔領域の検出結果をもとに、目領域等の顔パーツを検出する（ステップｂ２５）。そして、画像補正部２０１が目領域を加工してライブビュー画像を補正処理した後（ステップｂ２７）、拡大処理部２０３が、加工された目領域を含む部分画像を拡大処理する（ステップｅ２９）。

図１１および図１２は、拡大処理の原理を説明する図である。先ず、図１１に示すように、ライブビュー画像中の加工された目領域を含む部分画像Ｉ１を抽出する。例えば、目領域の位置をもとに（ｘ₁，ｙ₁）、（ｘ₂，ｙ₂）の各座標値を求めることによって部分画像Ｉ１を抽出する。続いて、部分画像Ｉ１を、予め設定された所定の倍率で拡大処理する。そして、図１２に示すように、拡大処理した部分画像Ｉ３を、例えば拡大処理前の部分画像Ｉ１（図１１）と中心位置を一致させて配置し、ライブビュー画像として表示部２８に表示する。なお、図１１，図１２では、加工された左右の目領域のうち、左目の目領域を含む部分画像を拡大処理する場合を例示したが、右目の目領域を含む部分画像を抽出して拡大処理することとしてもよいし、左右両方の目領域を含む部分画像を抽出して拡大処理することとしてもよい。

一方、図１０に示すように、補正モードが選択されていない場合には（ステップｂ１１：Ｎｏ）、補正フラグをクリアし（ステップｅ３１）、ステップｅ３３に移る。また、補正モードが選択されている場合であっても、顔領域が検出されない場合も（ステップｅ１３：Ｎｏ）、補正フラグをクリアし（ステップｅ３１）、ステップｅ３３に移る。拡大プレビュー表示モードが選択されていない場合は（ステップｅ１５：Ｎｏ）、ステップｅ３３に移る。そして、ステップｅ３３では、ＣＰＵ２６が、表示フレームレートを第１表示フレームレートとする。

以上説明したように、実施の形態３によれば、補正モードが選択されており且つ拡大プレビュー表示モードが選択されている場合に、ライブビュー画像から顔領域が検出された場合のライブビュー画像の表示フレームレートを、補正処理に要する時間に応じて補正モードが選択されていない撮影モードでのライブビュー画像の表示フレームレートよりも遅くすることができる。ここで、補正モードが選択されている場合であっても、拡大プレビュー表示モードが選択された場合、つまり補正の効果の確認を積極的に希望する指示があった場合にのみ、ライブビュー画像の補正処理を行うようにする。補正モードが選択されている場合であっても、拡大プレビュー表示モードが選択されていない場合には、ライブビュー画像は、補正モードが選択されていない場合の通常の表示フレームレート（第１フレームレート）で表示される。これによれば、実施の形態１と同様の効果を奏するとともに、加工された目領域を含む部分画像を拡大処理することができる。従って、ライブビュー画像中の加工箇所である目領域がライブビュー画像のサイズに対して小さい場合であっても、この加工効果を容易に確認することができるという効果を奏する。また、ユーザが拡大プレビューモードを選択した場合にライブビュー画像の補正処理を行い、加工箇所を拡大表示することができ、必要に応じて補正処理および拡大処理を行うことができる。例えば、補正は希望するがライブビュー時には通常のフレームレートで画像表示をさせることも、簡単な操作で可能になる。

（実施の形態４）
次に、実施の形態４について説明する。なお、実施の形態４は、図２に示したシステム構成のデジタルカメラ１で実現でき、以下では、各構成要素に同一の符号を付する。

実施の形態４では、ＣＰＵ２６の補正制御部２６１は、実施の形態１と同様にして画像補正部２０１がライブビュー画像の補正を行うか否かの設定を行う。そして、補正モードが選択されておりライブビュー画像の補正を行う場合であって、顔検出部２１によってライブビュー画像から顔領域が検出された場合に、補正制御部２６１は、画像補正部２０１が補正処理を行うよう制御するとともに、ライブビュー画像の表示フレームレートを、補正処理に要する時間に応じて補正を行わない場合よりも遅くする制御を行う。

図１３は、実施の形態４におけるデジタルカメラ１の撮影モード動作を示すフローチャートである。なお、図１３において、図５と同様の処理工程には同一の符号を付している。図１３に示すように、実施の形態４の撮影モード動作では、ステップｂ１１で撮影モードの種類を判定した結果補正モードが選択されている場合に（ステップｂ１１：Ｙｅｓ）、実施の形態２と同様にして顔検出部２１が顔検出処理を行う（ステップｆ１３）。そして、顔領域が検出された場合に（ステップｆ１４：Ｙｅｓ）、人物認識部２４が人物認識処理を行う（ステップｆ１５）。すなわち、人物認識部２４は、顔検出部２１によって検出された顔領域を顔辞書２３と照合し、ライブビュー画像に含まれる特定人物の顔を認識する。ここで、認識する特定人物については、例えば事前に顔辞書２３に登録されている顔画像の中から特定人物を指定するユーザ操作を受け付けて設定しておく。そして、認識の結果ライブビュー画像に含まれる特定人物の顔が認識された場合に（ステップｆ１６：Ｙｅｓ）、ステップｂ１９に移り、実施の形態１と同様の要領で表示フレームレートを第２表示フレームレートとし、ライブビュー画像の補正処理を行う。ここで行う補正処理は、特定人物の目領域に対してのみ行う。一方、補正モードが選択されていない場合には（ステップｂ１１：Ｎｏ）、ステップｂ３１に移る。また、補正モードが選択されている場合であっても、顔領域が検出されない場合や（ステップｆ１４：Ｎｏ）、ライブビュー画像から特定人物の顔が認識されない場合には（ステップｆ１６：Ｎｏ）、ステップｂ３１に移って表示フレームレートを第１表示フレームレートとする。

以上説明したように、実施の形態４によれば、補正モードが選択されている場合であって、ライブビュー画像から検出された顔領域が予めユーザ操作等によって指定される特定人物の顔と認識された場合に、ライブビュー画像の表示フレームレートを、補正処理に要する時間に応じて補正モードが選択されていない撮影モードでのライブビュー画像の表示フレームレートよりも遅くすることができる。ここで、補正モードが選択されている場合であっても、ライブビュー画像から顔領域が検出されない場合、あるいは検出された場合であってもその顔領域が特定人物の顔と認識されない場合には、ライブビュー画像の補正処理は行われず、ライブビュー画像は、補正モードが選択されていない場合の通常の表示フレームレート（第１フレームレート）で表示される。これによれば、実施の形態１と同様の効果を奏するとともに、特定人物の目領域に対してのみ加工をして補正処理でき、この加工効果を事前に確認することができる。

（実施の形態５）
次に、実施の形態５について説明する。なお、実施の形態５は、図２に示したシステム構成のデジタルカメラ１で実現でき、以下では、各構成要素に同一の符号を付する。

実施の形態５では、ＣＰＵ２６の補正制御部２６１は、実施の形態１と同様にして画像補正部２０１がライブビュー画像の補正を行うか否かの設定を行う。そして、補正モードが選択されておりライブビュー画像の補正を行う場合であって、顔検出部２１によってライブビュー画像から顔領域が検出され且つ動き検出部２５によって検出された被写体の動き量が所定の閾値Ｋ以下の場合に、補正制御部２６１は、画像補正部２０１が補正処理を行うよう制御するとともに、ライブビュー画像の表示フレームレートを、補正処理に要する時間に応じて補正を行わない場合よりも遅くする制御を行う。ここで、閾値Ｋの値としては、被写体の動き量が十分小さく被写体の動きがないと推定できる値を予め設定しておく。

図１４は、人物Ｐを含むライブビュー画像の一例を示す図であり、図１４中において、前（直前）に取り込まれたライブビュー画像中での人物Ｐの位置を二点鎖線で示し、さらに前（２つ前）に取り込まれたライブビュー画像中での人物Ｐの位置を一点鎖線で示している。すなわち、前々回取り込まれたライブビュー画像と前回取り込まれたライブビュー画像との間の人物Ｐの動きは、一点鎖線で示す位置から二点鎖線で示す位置へと大きく動いている。一方、前回取り込まれたライブビュー画像と今回取り込まれたライブビュー画像との間では、二点鎖線で示す位置から実線で示す位置へと人物Ｐが移動しており、その動き量は小さく、人物Ｐの動きはほぼ停止している。実施の形態５では、ライブビュー画像から顔領域が検出された場合にライブビュー画像間の被写体の動き量を検出し、その大小を所定の閾値Ｋと比較することによって被写体の動きの有無を推定する。

なお、ここでは、動き検出部２５の検出結果をもとに被写体の動き量を判定し、動き量が十分小さい場合に表示フレームレートを遅くしてライブビュー画像の補正処理を行うこととするが、被写体の動き量の判定方法はこれに限定されるものではない。すなわち、顔検出部２１が検出した顔領域の位置をもとに、隣接するライブビュー画像間での顔領域の位置の変化量を算出することとしてもよい。図１５は、顔領域の位置の変化量の算出原理を示す図であり、図１４のように位置が変化した被写体について、図１５中に実線、一点鎖線および二点鎖線でそれぞれ示した人物Ｐの顔領域の位置の変化を示している。図１５に示すように、ライブビュー画像から検出された顔領域の例えば中心位置Ｃ_ｎー２，Ｃ_ｎー１，Ｃ_ｎの変化量を算出するようにしてもよい。そして、変化量の大小を所定の閾値と比較することによって被写体の動きの有無を推定することとしてもよい。

図１６は、実施の形態５におけるデジタルカメラ１の撮影モード動作を示すフローチャートである。なお、図１６において、図５と同様の処理工程には同一の符号を付している。図１６に示すように、実施の形態５の撮影モード動作では、ステップｂ１１で撮影モードの種類を判定した結果補正モードが選択されている場合に（ステップｂ１１：Ｙｅｓ）、実施の形態２と同様にして顔検出部２１が顔検出処理を行う（ステップｇ１３）。そして、顔領域が検出された場合に（ステップｇ１４：Ｙｅｓ）、補正フラグをセットする（ステップｇ１５）。

次に、動き検出部２５が動き検出処理を行う（ステップｇ１６）。すなわち、動き検出部２５は、隣接するライブビュー画像に映る同一の被写***置の変化量を表す動きベクトルを被写体の動き量として検出する。そして、動き検出の結果動き量が予め設定される所定の閾値Ｋ以下であり、被写体の動きがないと推定される場合に（ステップｇ１７：Ｙｅｓ）、ステップｂ１９に移り、実施の形態１と同様の要領で表示フレームレートを第２表示フレームレートとし、ライブビュー画像の補正処理を行う。一方、補正モードが選択されていない場合には（ステップｂ１１：Ｎｏ）、あるいは顔領域が検出されない場合に（ステップｇ１４：Ｎｏ）、補正フラグをクリアし（ステップｇ３１）、ステップｇ３３に移る。また、補正モードが選択されている場合であっても、動き量が閾値Ｋより大きく被写体の動きがあると推定される場合には（ステップｇ１７：Ｎｏ）、ステップｇ３３に移り、表示フレームレートを第１表示フレームレートとする。

以上説明したように、実施の形態５によれば、補正モードが選択されている場合であって、ライブビュー画像から顔領域が検出され且つ被写体の動きがないと推定される場合に、ライブビュー画像の表示フレームレートを、補正処理に要する時間に応じて補正モードが選択されていない撮影モードでのライブビュー画像の表示フレームレートよりも遅くすることができる。ここで、補正モードが選択されている場合であっても、ライブビュー画像から顔領域が検出されない場合、あるいは検出された場合であっても被写体の動き量が大きい場合には、ライブビュー画像の補正処理は行われず、ライブビュー画像は、補正モードが選択されていない場合の通常の表示フレームレート（第１フレームレート）で表示される。これによれば、実施の形態１と同様の効果を奏するとともに、被写体の動きが大きい場合には補正処理を行わないようにすることができるので、補正処理の精度を向上させ、より適切に補正処理が行える。

以上、この発明の好適な実施の形態について説明したが、この発明は、上記したものに限定されず、発明の趣旨を逸脱しない範囲で適宜変更が可能である。

例えば、上記した実施の形態では、ライブビュー画像から検出した目領域にキャッチライト画像を合成する場合について説明したが、明るさ調整処理や色調整処理、透明処理等の画像処理を適宜施して目領域を加工し、ライブビュー画像を補正処理することとしてもよい。

また、特定の顔器官の領域の加工の一例として、目領域にキャッチライト画像を合成する場合について説明したが、これに限定されるものではない。

例えば、目領域に含まれる黒目のサイズを変更して加工し、ライブビュー画像を補正処理することとしてもよい。図１７は、本変形例における補正処理の概要を説明する図である。この場合には、目領域Ａ１１を検出し、黒目の領域Ａ１３を特定する（ａ）。続いて、検出した黒目の領域Ａ１３からその直径Ｄ１１を算出する（ｂ）。そして、例えば予め設定される所定の倍率を乗じて補正処理後の黒目の直径Ｄ１３を算出する（ｃ）。そして、算出した補正処理後の黒目の直径Ｄ１３をもとに黒目のサイズを拡大して加工した黒目の領域Ａ１５を得る（ｄ）。

あるいは、目領域に含まれる黒目の領域の色を変更して加工し、ライブビュー画像を補正処理することとしてもよい。図１８は、本変形例における補正処理の概要を説明する図である。この場合には、目領域Ａ２１を検出し、黒目の領域Ａ２３を特定する（ａ）。そして、検出した黒目の領域Ａ２３の中心部分を除く周囲の領域Ａ２５の色を変更して黒目の領域Ａ２３を加工する（ｂ）。

また、上記した実施の形態では、特定の顔器官の領域として目領域を検出する場合について説明したが、これに限定されるものではなく、例えば特定の顔器官として口の領域（口領域）を検出することとしてもよい。

例えば、口領域に含まれる唇の領域（唇領域）を検出し、この唇領域に明るさ調整処理や色調整処理等の画像処理を適宜施して加工し、補正処理することとしてもよい。図１９は、顔を含むライブビュー画像の一例を示す図である。また、図２０は、補正処理したライブビュー画像の一例を示す図であり、図１９のライブビュー画像に映る顔の唇の部分を加工した様子を示している。図２０に示すライブビュー画像は、図１９のライブビュー画像から唇領域を検出し、検出した唇領域内の輝度値が最大の位置を検出して補正処理することによって得られた画像である。すなわち、本変形例では、例えば、検出した輝度値が最大の位置を基準位置とした唇領域内の所定範囲（Ａ３１）の色を変更したり、輝度値を変更する等の補正処理を施す。あるいは、輝度値が所定値以上の領域について明るさを強調するような補正処理を施すこととしてもよい。また、輝度値が最大の位置に予め用意した合成用画像を合成することとしてもよい。これによれば、唇の領域を加工して艶感や立体感を発生させることができる。

あるいは、口領域に含まれる歯の領域を検出し、検出した歯の領域を白く加工してライブビュー画像を補正処理することとしてもよい。図２１は、本変形例における補正処理の概要を説明する図である。この場合には先ず、口領域Ａ４１を検出し、検出した口領域Ａ４１から歯の領域Ａ４３を検出する（ａ）。そして、検出した歯の領域Ａ４３の色を白く加工したり、あるいは輝度を上げる処理をして光沢感が出るようにする（ｂ）。

また、本発明は、上記した各実施の形態そのままに限定されるものではなく、各実施の形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を除外して形成してもよい。あるいは、異なる実施の形態に示した構成要素を適宜組み合わせて形成してもよい。

また、補正制御部２６１が行う処理は、プログラム（補正制御プログラム２７１）を実行することによってソフトウェアとして実現する場合に限定されるものではなく、一部または全部をハードウェアで構成してもよい。一方、画像処理部２０や画像補正部２０１、拡大処理部２０３、器官検出部２２、顔検出部２１、人物認識部２４、動き検出部２５等をハードウェアで実現する構成について説明したが、所定のプログラムを実行することによってソフトウェアとして実現することとしてもよい。

また、上記実施の形態では、撮像装置の具体例としてデジタルカメラを例にとって説明したが、これに限定されるものではなく、携帯電話のカメラ部やＰＣ付属のカメラ部に適用してもよい。そして、静止画像データを加工して補正処理する場合について説明したが、補正処理の対象は静止画像データに限定されるものではなく、動画像データに対しても同様に適用できる。

デジタルカメラ１の背面図である。 このデジタルカメラ１のシステム構成を示すブロック図である。 ライブビュー画像の表示・更新タイミングを説明する図である。 デジタルカメラ１の基本動作を示すフローチャートである。 実施の形態１におけるデジタルカメラ１の撮影モード動作を示すフローチャートである。 顔を含むライブビュー画像の一例を示す図である。 補正処理したライブビュー画像の一例を示す図である。 撮影処理の詳細な処理手順を示すフローチャートである。 実施の形態２におけるデジタルカメラ１の撮影モード動作を示すフローチャートである。 実施の形態３におけるデジタルカメラ１の撮影モード動作を示すフローチャートである。 拡大処理の原理を説明する図である。 拡大処理の原理を説明する他の図である。 実施の形態４におけるデジタルカメラ１の撮影モード動作を示すフローチャートである。 人物を含むライブビュー画像の一例を示す図である。 顔領域の位置の変化量の算出原理を示す図である。 実施の形態５におけるデジタルカメラ１の撮影モード動作を示すフローチャートである。 変形例における補正処理の概要を説明する図である。 他の変形例における補正処理の概要を説明する図である。 顔を含むライブビュー画像の一例を示す図である。 補正処理したライブビュー画像の一例を示す図である。 他の変形例における補正処理の概要を説明する図である。

符号の説明

１ デジタルカメラ
２ カメラ本体
３ レリーズボタン
５ メニューボタン
６ 十字ボタン
７ ＯＫボタン
１１ 撮像素子
１２ レンズ系ユニット
１３ レンズ駆動回路
１４ 撮像回路
１５ 振動センサ
１６ 防振制御部
１７ ＳＤＲＡＭ
１８ ＡＥ部
１９ ＡＦ部
２０ 画像処理部
２０１ 画像補正部
２０３ 拡大処理部
２１ 顔検出部
２２ 器官検出部
２３ 顔辞書
２４ 人物認識部
２５ 動き検出部
２６ ＣＰＵ
２６１ 補正制御部
２７ 内蔵メモリ
２７１ 補正制御プログラム
２８ 表示部
２９ 表示駆動回路
３０ 通信Ｉ／Ｆ
３１ 操作部
３２ 着脱メモリ
３３ 電源回路
３４ 電池
３５ バス

Claims (12)

1. 被写体を撮影する撮像部と、
   前記撮像部によって撮影されている被写体像をライブビュー画像として所定の表示フレームレートで更新表示する表示部と、
   前記ライブビュー画像のうちの顔を含むライブビュー画像から、前記顔に含まれる特定の顔器官の領域を検出する器官検出部と、
   前記器官検出部によって検出された顔器官の領域を加工して前記ライブビュー画像を補正処理する画像補正部と、
   前記画像補正部が前記ライブビュー画像の補正を行うか否かを設定する補正設定部と、
   前記補正を行う設定がされた場合には、前記画像補正部が前記補正処理を行うよう制御するとともに、前記補正を行う設定の場合の前記ライブビュー画像の表示フレームレートを、前記補正を行わない設定の場合の表示フレームレートよりも前記補正処理に要する時間に応じて遅くする制御を行う補正制御部と、
   を備えることを特徴とする撮像装置。
2. 前記画像補正部は、前記特定の顔器官の領域に所定の合成用画像を合成することによって、前記顔器官の領域の加工を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記器官検出部は、前記特定の顔器官を目として前記ライブビュー画像の顔に含まれる目領域を検出し、
   前記画像補正部は、前記器官検出部によって検出された目領域にキャッチライト画像を合成することを特徴とする請求項２に記載の撮像装置。
4. 装置本体の振動を検出し、検出の結果をもとに前記撮像部の駆動を制御する手振れ補正部を備え、
   前記補正制御部は、前記補正を行う設定の場合に、前記手振れ補正部を動作させる制御を行うことを特徴とする請求項１に記載の撮像装置。
5. 前記ライブビュー画像から顔領域を検出する顔検出部を備え、
   前記補正制御部は、前記補正を行う設定の場合であって、前記顔検出部によって前記ライブビュー画像から顔領域が検出された場合に、前記表示フレームレートを遅くする制御を行うことを特徴とする請求項１に記載の撮像装置。
6. 前記画像補正部は、前記ライブビュー画像中の前記加工された顔器官の領域を含む部分画像を拡大処理する拡大処理部を備え、
   前記補正制御部は、前記補正を行う設定の場合に、前記拡大処理部が前記拡大処理を行うよう制御することを特徴とする請求項１に記載の撮像装置。
7. 複数の顔データを記憶した顔データ記憶部と、
   前記ライブビュー画像から顔領域を検出する顔検出部と、
   前記顔検出部によって検出された顔領域を前記顔データ記憶部に記憶された顔データと照合し、前記ライブビュー画像に含まれる特定人物の顔を認識する人物認識部と、
   を備え、
   前記補正制御部は、前記補正を行う設定の場合であって、前記人物認識部によって前記ライブビュー画像に含まれる特定人物の顔が認識された場合に、前記画像補正部が前記補正処理を行うよう制御するとともに、前記表示フレームレートを遅くする制御を行うことを特徴とする請求項１に記載の撮像装置。
8. 前記ライブビュー画像中の前記被写体の動きを検出する動き検出部を備え、
   前記補正制御部は、前記補正を行う設定の場合であって、前記動き検出部による検出の結果前記被写体の動きがない場合に、前記表示フレームレートを遅くする制御を行うことを特徴とする請求項１に記載の撮像装置。
9. 被写体を撮影する撮像部と、前記撮像部によって撮影されている被写体像をライブビュー画像として所定の表示フレームレートで更新表示する表示部と、前記ライブビュー画像のうちの顔を含むライブビュー画像から、前記顔に含まれる特定の顔器官の領域を検出する器官検出部と、前記器官検出部によって検出された顔器官の領域を加工して前記ライブビュー画像を補正処理する画像補正部と、前記画像補正部が前記ライブビュー画像の補正を行うか否かを設定する補正設定部とを備えた撮像装置に設けられる補正制御装置であって、
   前記補正を行う設定がされた場合には、前記画像補正部が前記補正処理を行うよう制御するとともに、前記補正を行う設定の場合の前記ライブビュー画像の表示フレームレートを、前記補正を行わない設定の場合の表示フレームレートよりも前記補正処理に要する時間に応じて遅くする制御を行うことを特徴とする補正制御装置。
10. 被写体を撮影する撮像部と、前記撮像部によって撮影されている被写体像をライブビュー画像として所定の表示フレームレートで更新表示する表示部と、前記ライブビュー画像のうちの顔を含むライブビュー画像から、前記顔に含まれる特定の顔器官の領域を検出する器官検出部と、前記器官検出部によって検出された顔器官の領域を加工して前記ライブビュー画像を補正処理する画像補正部と、前記画像補正部が前記ライブビュー画像の補正を行うか否かを設定する補正設定部とを備えた撮像装置における補正制御方法であって、
    前記補正を行う設定がされた場合には、前記画像補正部が前記補正処理を行うよう制御するとともに、前記補正を行う設定の場合の前記ライブビュー画像の表示フレームレートを、前記補正を行わない設定の場合の表示フレームレートよりも前記補正処理に要する時間に応じて遅くする制御を行うことを特徴とする補正制御方法。
11. 被写体を撮影する撮像部と、前記撮像部によって撮影されている被写体像をライブビュー画像として所定の表示フレームレートで更新表示する表示部とを備えた撮像装置のコンピュータに、
    前記ライブビュー画像のうちの顔を含むライブビュー画像から、前記顔に含まれる特定の顔器官の領域を検出する検出ステップと、
    前記器官検出ステップで検出された顔器官の領域を加工して前記ライブビュー画像を補正処理する補正ステップと、
    前記ライブビュー画像の補正を行うか否かを設定する設定ステップと、
    前記設定ステップで補正を行う設定がされた場合には、前記補正ステップで前記補正処理を行うよう制御するとともに、前記補正を行う設定の場合の前記ライブビュー画像の表示フレームレートを、前記補正を行わない設定の場合の表示フレームレートよりも前記補正処理に要する時間に応じて遅くするよう制御する補正制御ステップと、
    を実行させることを特徴とするプログラム。
12. 前記検出ステップは、前記特定の顔器官を目として前記ライブビュー画像の顔に含まれる目領域を検出し、
    前記補正ステップは、前記検出ステップで検出された目領域にキャッチライト画像を合成することを特徴とする請求項１１に記載のプログラム。