JP6003133B2 - 撮像装置、撮像制御方法及びプログラム - Google Patents

Description

本発明は、被写体を検出する撮像装置、撮像制御方法及びプログラムに関する。

従来の技術として、撮像装置における顔検出の際に、逆光等の露光状態が適正でない条件下にあっても、被写体領域（顔領域）の検出精度を上げる技術がある（例えば、特許文献１参照）。
具体的には、逆光時に撮像された画像データに対して、ゲイン調整処理を行った後に顔検出を行うといったものである。

特開２００８−１０８０２４号公報

しかしながら、上記特許文献１に開示された技術を逆光状態で適用した場合、逆光用のゲイン調整処理を行ったライブビュー画像（撮像素子からのリアルタイムな出力画像）に対して自動露出制御（ＡＥ）が作用する。その結果、逆光状態でのゲイン調整量が過剰になり、以降の被写体領域の検出を適切にできなくなる虞がある。

本発明は、このような状況に鑑みてなされたものであり、逆光状態等における環境下でも被写体領域の検出をより適正に行うことを目的とする。

上記目的を達成するため、本発明の一態様の撮像装置は、画像を順次取得する画像取得手段と、前記画像取得手段により取得される画像を補正処理する補正手段と、前記画像取得手段により順次取得される画像中の被写体領域を検出するための識別器を記憶する識別器記憶手段と、前記補正手段により補正処理された前記画像内の領域と前記識別器との第１の類似度を算出する第１の類似度算出手段と、前記補正手段により補正処理されなかった前記画像内の領域と前記識別器との第２の類似度を算出する第２の類似度算出手段と、前記第１の類似度算出手段により算出された第１の類似度と、前記第２の類似度算出手段により算出された第２の類似度とを比較する類似度比較手段と、前記類似度比較手段による比較結果に基づいて、前記画像取得手段により取得される画像から前記被写体領域を検出する検出手段と、を備えることを特徴とする。

本発明によれば、逆光状態等における環境下でも被写体領域の検出をより適正に行うことが可能となる。

本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。 ガンマ補正切替処理を実行するための機能的構成を示す機能ブロック図である。 撮像装置が実行するガンマ補正切替処理の流れを示すフローチャートである。 撮像装置における制御の状態遷移を示す図である。 撮像装置における制御の比較例の状態遷移を示す図である。 図４及び図５の状態遷移図に従って制御が行われた場合の動作の比較を示す図である。

以下、本発明の実施形態について、図面を用いて説明する。

図１は、本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
撮像装置１は、例えばデジタルカメラして構成される。

撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。

ＣＰＵ１１は、ガンマ補正切替処理プログラム（後述）等、ＲＯＭ１２に記録されているプログラム、または、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。

ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号によって表されるデータを、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１やＲＡＭ１３等に適宜供給される。

入力部１７は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスクあるいはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、顔を表すモデルデータ（以下、適宜「識別器」と呼ぶ。）等の各種データを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。

図２は、このような撮像装置１の機能的構成のうち、ガンマ補正切替処理を実行するための機能的構成を示す機能ブロック図である。
ガンマ補正切替処理とは、顔検出のための画像のデータにガンマ補正を行うか否かを制御するための一連の処理をいう。

撮像部１６は、被写体の撮像画像のデータを取得する画像取得部４１を備えている。
画像取得部４１は、被写体の撮像画像のデータを取得し、取得した撮像画像のデータを画像生成部４２に出力する。

このとき、画像取得部４１は、撮像装置１のシャッタボタンの押下状態に応じて、ライブビュー画像のデータ、フォーカスロックされた画像のデータ、撮影された画像のデータを出力する。具体的には、シャッタボタンが押下されていない場合、画像取得部４１は、撮像動作を継続し、撮像動作が継続されている間、順次取得される撮像画像のデータをライブビュー画像のデータとして出力する。また、シャッタボタンが半押し（下限に至らない所定の位置まで押下された状態）の場合、画像取得部４１は、シャッタボタンが半押しされた際の焦点距離を維持したまま、撮像動作を継続し、シャッタボタンが半押しの状態で撮像動作が継続されている間、順次取得される撮像画像のデータをフォーカスロックされた画像のデータとして出力する。さらに、シャッタボタンが全押し（下限まで押下された状態）の場合、画像取得部４１は、現在の画角において焦点距離を所定位置（フォーカスロックされた際の焦点距離あるいはオートフォーカス制御によって決定された焦点距離）に設定し、１フレーム（またはシャッタ速度が異なる複数フレーム）の撮像画像のデータを撮影された画像のデータとして出力する。

ＣＰＵ１１は、画像生成部４２と、顔検出部４３と、顔枠設定部４４と、ガンマ補正指示部４５と、反応値判定部４６とを備えている。
画像生成部４２は、画像取得部４１を制御し、上記ライブビュー画像のデータを顔検出のための画像のデータとして受け取る。

また、画像生成部４２は、ガンマ補正処理部４２ａを備えており、ガンマ補正指示部４５から入力されるガンマ補正を行うか否かを示す指示信号（以下、「ガンマ補正指示信号」と呼ぶ。）に従って、画像取得部４１から入力されたライブビュー画像のデータにガンマ補正を行う。具体的には、ガンマ補正指示信号がガンマ補正を行わないことを示している場合、画像取得部４１から入力されたライブビュー画像のデータを顔検出部４３に出力する。また、ガンマ補正指示信号がガンマ補正を行うことを示している場合、画像取得部４１から入力されたライブビュー画像のデータにガンマ補正を行って、ガンマ補正後のライブビュー画像のデータを顔検出部４３及び反応値判定部４６に出力する。

顔検出部４３は、画像生成部４２から入力されたライブビュー画像のデータに対し、識別器４７を用いて、顔検出処理を実行する。
具体的には、顔検出部４３は、画像生成部４２から入力されたライブビュー画像のデータに対して、異なる角度（顔に対する視点の位置）で顔をモデル化したデータである複数種の識別器（以下、「サブ識別器」と呼ぶ。）を識別器４７から読み出す。そして、顔検出部４３は、各サブ識別器の顔のモデルデータとライブビュー画像における検出対象の領域との類似度を表す評価値（スコア）を、例えばａｄａｂｏｏｓｔ（アダブースト）アルゴリズムを用いて算出する。さらに、顔検出部４３は、評価値が閾値以上の領域を顔領域の候補として検出し、各サブ識別器について、検出した顔領域の候補の数を反応値として算出する。なお、顔領域の候補が検出されたサブ識別器を、ライブビュー画像の検出対象の領域に反応したサブ識別器と呼ぶ。

顔検出部４３は、複数種のサブ識別器を用いてライブビュー画像における顔領域の検出を行うことにより、最も高い反応値を有するサブ識別器を特定する。このとき、顔検出部４３は、特定されたサブ識別器の反応値が、設定された閾値以下である場合には、顔領域を検出できないものと判定し、ライブビュー画像のガンマ補正を行わせるための指示信号（ガンマ補正起動信号）をガンマ補正指示部４５に出力する。
なお、サブ識別器の反応値として、選択されたサブ識別器において顔領域の候補として検出された領域の評価値（アダブーストアルゴリズムによって算出したスコア）を用いることもできる。

そして、顔検出部４３は、顔領域を検出した場合、検出した顔領域を特定するデータを顔枠設定部４４に出力する。
顔枠設定部４４は、顔検出部４３から入力された顔領域を特定するデータを基に、検出された顔領域を識別するフレーム（以下、「顔枠」と呼ぶ。）の大きさ及び位置を決定する。そして、顔枠設定部４４は、決定した顔枠の大きさ及び位置を表すデータを顔枠表示部４８に出力する。

ガンマ補正指示部４５は、顔検出部４３からガンマ補正起動信号が入力されると、ガンマ補正を行うことを示すガンマ補正指示信号を画像生成部４２に出力する。また、ガンマ補正指示部４５は、反応値判定部４６からガンマ補正解除信号が入力されると、ガンマ補正を行わないことを示すガンマ補正指示信号を画像生成部４２に出力する。

反応値判定部４６は、ガンマ補正後のライブビュー画像に顔検出部４３が識別器４７を適用した結果である反応値（以下、適宜「補正反応値」と呼ぶ。）を取得する。そして、反応値判定部４６は、そのライブビュー画像についてガンマ補正を行っていない撮像画像のデータに対し、識別器４７を適用した結果である反応値（以下、適宜「無補正反応値」と呼ぶ。）を取得する。そして、反応値判定部４６は、補正反応値と無補正反応値とを比較し、無補正反応値の方が補正反応値より大きい場合に、ガンマ補正を行わせないための指示信号（ガンマ補正解除信号）をガンマ補正指示部４５に出力する。

記憶部１９の一領域には、顔を表すモデルデータである識別器４７が記憶されている。この識別器４７は、例えば、異なる角度（顔に対する視点の位置）で顔をモデル化したデータである複数種のサブ識別器を有している。各サブ識別器は、例えば、正面から見た顔のモデルデータ、左側から見た顔のモデルデータ、右斜め上から見た顔のモデルデータ等、顔らしさを表す異なる種類のモデルデータによって構成される。そして、ライブビュー画像内の顔検出の対象領域と各サブ識別器のモデルデータとがマッチングされる（即ち、類似度を表すスコアが算出される）ことにより、各サブ識別器の反応値が算出される。顔検出部４３においては、この反応値を用いて顔検出が行われる。

出力部１８は、ライブビュー画像に顔枠を表示するための顔枠表示部４８を備えている。顔枠表示部４８は、顔枠設定部４４から入力された顔枠の大きさ及び位置を表すデータを基に、ライブビュー画像に重畳して顔枠を表示する。
本実施形態では、顔検出のためのライブビュー画像を対象として、逆光等によって顔検出が行えない場合に、当該ライブビュー画像のデータに対してガンマ補正を行うよう制御する。そして、ガンマ補正を行った状態で特定の識別器による顔検出に成功すると、ガンマ補正を行わない状態でも当該特定の識別器で顔検出を行い、ガンマ補正を行った状態と行っていない状態との特定の識別器による反応値を比較する。そして、ガンマ補正を行っていない状態での反応値がガンマ補正を行った状態よりも大きい値である場合に、ガンマ補正をオフとする制御を行う。
ここで、本実施形態では、特定の識別器とは、ガンマ補正を行った状態で最も高い反応値を有するサブ識別器を指す。

これにより、顔領域が暗く、自動露出制御によって撮像画像の明るさを高める制御が行われる状況においても、顔検出のためのライブビュー画像のデータでガンマ補正の効果によって顔検出ができなくなることを防止できる。また、ライブビュー画像の明るさの変化に応じてガンマ補正のオン/オフを切り換えるため、その後に逆光状態から順光状態に変化したときに顔検出が行えなくなる事態を抑制することもできる。即ち、自動露出制御の影響を受けることなく逆光状態や順光状態での顔検出処理をより適正に行うことが可能となる。

［動作］
次に、撮像装置１の動作を説明する。
［ガンマ補正切替処理］
図３は、撮像装置１が実行するガンマ補正切替処理の流れを示すフローチャートである。

ガンマ補正切替処理は、撮像装置１においてライブビュー画像の撮像が開始されることに対応して実行される。なお、ガンマ補正切替処理では、ライブビュー画像の１フレーム単位で処理が行われる。
ガンマ補正切替処理が開始されると、ステップＳ１において、ガンマ補正指示部４５は、画像生成部４２に対してガンマ補正を行わないことを示すガンマ補正指示信号を出力する。これにより、画像生成部４２では、ガンマ補正を行うことなくライブビュー画像を出力する状態となる。

ステップＳ２において、顔検出部４３は、画像生成部４２から入力されたライブビュー画像のデータに対し、顔検出処理を行う。
ステップＳ３において、顔検出部４３は、顔領域が検出されたか否かの判定を行う。
画像生成部４２から入力されたライブビュー画像において、顔領域が検出された場合、ステップＳ３においてＹＥＳと判定されて、処理はステップＳ４に進む。
これに対し、画像生成部４２から入力された顔検出のためのライブビュー画像のデータにおいて、顔領域が検出されない場合、ステップＳ３においてＮＯと判定されて、処理はステップＳ５に進む。

ステップＳ４において、顔枠設定部４４は、顔検出部４３が検出した顔領域に顔枠を設定し、顔枠表示部４８によって顔枠を表示する。
このようなステップＳ４の処理の後、ガンマ補正切替処理が繰り返される。
ステップＳ５において、顔検出部４３は、顔領域が検出されない処理ループがＭ（Ｍは予め設定された所定数）回繰り返されたか否かの判定を行う。即ち、顔領域が連続してＭ回検出されなかったか否かが判定される。これにより、顔領域の安定した検出をすべく、ガンマ補正を行うか否かを切り替えることができる。なお、本実施形態では、１フレームのライブビュー画像に対し、サブ識別器を全て適用し、１フレームで全てのモデルデータがマッチングされる。

顔領域が検出されない処理ループがＭ回繰り返されていない場合、ステップＳ５においてＮＯと判定されて、処理はステップＳ２に進む。
これに対し、顔領域が検出されない処理ループがＭ回繰り返されている場合、ステップＳ５においてＹＥＳと判定されて、処理はステップＳ６に進む。
ステップＳ６において、顔検出部４３は、ガンマ補正指示部４５にガンマ補正起動信号を出力する。これにより、画像生成部４２では、ガンマ補正を行うことで、顔検出のためのライブビュー画像のデータを顔検出部４３に出力する状態になる。

ステップＳ７において、顔検出部４３は、画像生成部４２から入力された顔検出のためのライブビュー画像のデータに対し、顔検出処理を行う。
ステップＳ８において、顔検出部４３は、顔領域が検出されたか否かの判定を行う。
画像生成部４２から入力されたライブビュー画像のデータにおいて、顔領域が検出されない場合、ステップＳ８においてＮＯと判定されて、処理はステップＳ９に進む。

これに対し、画像生成部４２から入力されたライブビュー画像のデータにおいて、顔領域が検出された場合、ステップＳ８においてＹＥＳと判定されて、処理はステップＳ１０に進む。
ステップＳ９において、顔検出部４３は、顔領域が検出されない処理ループがＮ（Ｎは予め設定された所定数）回繰り返されたか否かの判定を行う。即ち、顔領域が連続してＮ回検出されなかったか否かが判定される。これにより、顔領域の安定した検出をすべく、ガンマ補正を行うか否かを切り替えることができる。なお、ステップＳ５と同様に、１フレームのライブビュー画像に対し、サブ識別器を全て適用し、１フレームで全てのモデルデータがマッチングされる。

顔領域が検出されない処理ループがＮ回繰り返されていない場合、ステップＳ９においてＮＯと判定されて、処理はステップＳ７に進む。
これに対し、顔領域が検出されない処理ループがＮ回繰り返されている場合、ステップＳ９においてＹＥＳと判定されて、処理はステップＳ１に進む。
ステップＳ１０において、顔枠設定部４４は、顔検出部４３が検出した顔領域に顔枠を設定し、顔枠表示部４８によって顔枠を表示する。

ステップＳ１１において、反応値判定部４６は、ガンマ補正が行われた画像のデータ及びガンマ補正が行われていないライブビュー画像のデータについて、識別器４７を適用した結果である補正反応値と無補正反応値とを取得する。
ステップＳ１２において、反応値判定部４６は、補正反応値よりも無補正反応値の方が大きいか否かの判定を行う。即ち、ステップＳ１２では、ガンマ補正が行われていないライブビュー画像のデータ及びガンマ補正が行われたライブビュー画像のデータにおける検出の対象領域のいずれがサブ識別器のモデルデータとより類似しているかが判定される。

補正反応値よりも無補正反応値の方が大きい場合、ステップＳ１２においてＹＥＳと判定されて、処理はステップＳ１に進む。
これに対し、補正反応値が無補正反応値以下である場合、ステップＳ１２においてＮＯと判定されて、処理はステップＳ７に進む。
このように、顔検出のためのライブビュー画像のデータにガンマ補正が行われている状態で顔領域が検出されている際に、補正反応値よりも無補正反応値の方が大きい場合（即ち、顔のモデルデータとの類似度がより高い場合）にガンマ補正を行わない状態とすることで、ガンマ補正を行う必要がない状況において、速やかにガンマ補正を解除することができる。
これにより、逆光状態から順光状態に撮影環境が切り換わっても、当該撮影環境に速やかに対応した顔検出処理をすることができる。

［状態遷移図］
次に、上記ガンマ補正切替処理に基づく制御の結果、撮像装置１において実現される制御の状態遷移について説明する。
図４は、撮像装置１における制御の状態遷移を示す図である。また、図５は、撮像装置１における制御の比較例の状態遷移を示す図である。図５に示す状態遷移図は、顔検出が行えない場合にのみガンマ補正を行うか否かを切り替える制御に基づくものであり、本願発明におけるステップＳ１０〜Ｓ１２の処理を行わない点で異なっている。

図４に示すように、撮像装置１は、ライブビュー画像のデータにガンマ補正を行わない状態Ａ１と、ライブビュー画像のデータにガンマ補正を行う状態Ａ２とを、以下の遷移条件Ｃ１〜Ｃ７に従って遷移する。

（状態Ａ１から状態Ａ１への遷移条件）
遷移条件Ｃ１：状態Ａ１において顔領域が検出された場合（ステップＳ３でＹＥＳと判定された場合）
遷移条件Ｃ２：顔領域が検出されない処理ループがＭ回繰り返されていない場合（ステップＳ５でＮＯと判定された場合）

（状態Ａ１から状態Ａ２への遷移条件）
遷移条件Ｃ３：状態Ａ１において顔領域が検出されない処理ループがＭ回繰り返された場合（ステップＳ５でＹＥＳと判定された場合）
（状態Ａ２から状態Ａ２への遷移条件）
遷移条件Ｃ４：状態Ａ２において顔領域が検出された場合（ステップＳ８でＹＥＳと判定された場合）
遷移条件Ｃ５：顔領域が検出されない処理ループがＮ回繰り返されていない場合（ステップＳ９でＮＯと判定された場合）

（状態Ａ２から状態Ａ１への遷移条件）
遷移条件Ｃ６：状態Ａ２において顔領域が検出されない処理ループがＮ回繰り返された場合（ステップＳ９でＹＥＳと判定された場合）
遷移条件Ｃ７：状態Ａ２において最も補正反応値が高いサブ識別器に、ガンマ補正を行わないライブビュー画像のデータを適用して取得された無補正反応値が、その補正反応値よりも大きい場合（ステップＳ１２でＹＥＳと判定された場合）
これに対し、図５に示す比較例では、状態Ａ１及び状態Ａ２を遷移する点及び遷移条件Ｃ１〜Ｃ６に従って状態を遷移する点で共通するものの、遷移条件Ｃ７に従って状態Ａ２から状態Ａ１に遷移することがない点で、撮像装置１における制御の状態遷移と異なっている。

［具体的動作］
図６は、図４及び図５の状態遷移図に従って制御が行われた場合の動作の比較を示す図である。なお、図６においては、人の顔部分を含む上半身が被写体となっており、被写体における斜線の密度は画像の明るさ（密度が高いほど暗い状態）を示している。
図６（ａ）では、撮像条件が逆光であり、この場合にガンマ補正が行われていないものとすると、顔領域の明るさが不十分となり、顔領域は検出されない。
図６（ｂ）では、ライブビュー画像のデータにガンマ補正が行われており、この結果、ライブビュー画像において顔領域が検出される。

図６（ｃ）では、ライブビュー画像のデータにガンマ補正が行われており、当該ライブビュー画像において顔領域が検出されている一方、撮像部１６における自動露出制御によって、画像取得部４１から画像生成部４２に入力されるライブビュー画像が徐々に明るくなっている。
ここで、図５に示す比較例の状態遷移図に従って制御が行われると、図６（ｄ）に示すように、顔領域が検出できなくなるまで、顔検出のためのライブビュー画像のデータにガンマ補正が行われ続ける状態となる。

これに対し、図４に示す本実施形態の状態遷移図に従って制御が行われると、図６（ｅ）に示すように、自動露出制御の効果によってガンマ補正を行わなくても顔領域が検出できるようになった時点で、ガンマ補正を行わない状態となる。
そのため、撮像条件が逆光から順光に変化する場合等、撮像部１６から出力されるライブビュー画像がより明るく変化する場合であっても、顔領域の検出をより確実に行うことができる。

以上のように、本実施形態に係る撮像装置１は、ガンマ補正指示部４５及び反応値判定部４６を備え、ライブビュー画像に対してガンマ補正を行っている状態で顔領域が検出されている場合、反応値判定部４６がガンマ補正を行わないライブビュー画像における無補正反応値を取得する。そして、反応値判定部４６は、ガンマ補正を行っているライブビュー画像における補正反応値と無補正反応値とを比較し、無補正反応値が補正反応値よりも大きい場合、ガンマ補正指示部４５にガンマ補正解除信号を出力する。

すると、ガンマ補正指示部４５がガンマ補正を行わないことを示すガンマ補正指示信号を画像生成部４２に出力し、画像生成部４２において、ライブビュー画像に対するガンマ補正を停止する。
そのため、顔領域が暗く、自動露出制御によって撮像画像の明るさを高める制御が行われる状況においても、顔検出のためのライブビュー画像のデータにおいてガンマ補正の効果が過剰になることを防止できる。また、撮影環境が逆光状態から順光状態に変化したことにより、その後のライブビュー画像中において顔検出が行えなくなる事態を抑制することもできる。
したがって、本実施形態に係る撮像装置１によれば、逆光状態や順光状態での顔検出処理をより適正に行うことが可能となる。

［変形例１］
上記実施形態におけるガンマ補正切替処理のステップＳ３及びステップＳ８では、１フレームのライブビュー画像に対し、サブ識別器を全て適用し、１フレームで全てのモデルデータをマッチングすることとして説明した。
これに対し、ライブビュー画像の１フレームでは、サブ識別器の一部（例えば全９個のうちの３つ等）を適用して反応値を取得し、処理ループを複数回繰り返すことで、全てのサブ識別器を顔検出のためのライブビュー画像のデータに適用することができる。

例えば、ステップＳ３の処理であれば、ステップＳ５において判定されるＭ回の処理ループまでに全てのサブ識別器を適用したり、ステップＳ８の処理であれば、ステップＳ９において判定されるＮ回の処理ループまでに全てのサブ識別器を適用したりすることができる。
この場合、ライブビュー画像にサブ識別器を適用するために要する処理能力を低減できるため、ＣＰＵ１１の動作クロック数を低下させることができる。
即ち、より低消費電力で、顔検出処理を実行することが可能となる。

［変形例２］
上記実施形態におけるガンマ補正切替処理のステップＳ１２では、補正反応値よりも無補正反応値の方が大きい場合に、顔検出のためのライブビュー画像のデータに対するガンマ補正を行わないように制御するものとして説明した。
これに対し、ステップＳ１２において、補正反応値よりも無補正反応値の方が設定した閾値Ｔｈ以上大きい場合に、顔検出のためのライブビュー画像のデータに対するガンマ補正を行わないものと判定することができる。

これにより、ガンマ補正を行わない状態へと切り替える条件を、ガンマ補正を行わない方が確実に反応値が大きい（補正反応値よりも無補正反応値の方が確実に大きい）場合に設定することができる。また、閾値Ｔｈを適宜変化させることにより、ガンマ補正を行わない状態へと切り替える状態変化のし易さを制御することができるため、より適切に顔領域の検出を行うことが可能となる。

なお、上記閾値Ｔｈは、撮像部１６における自動露出制御の状態に応じて決定することができる。例えば、露出目標値に対する実測値の差が設定された範囲を超えている場合には、上記閾値Ｔｈをより大きく設定し、露出目標値に対する実測値の差が設定された範囲以内である場合には、上記閾値Ｔｈをより小さく設定することが可能である。
これにより、周囲の明るさに変動が大きい場合には、ガンマ補正を行う状態から行わない状態へと切り替わり難くなり、ガンマ補正の切り替えが頻繁に発生する事態を抑制できる。

以上説明した通り、本発明の一態様である撮像装置１では、画像取得部４１は、ライブビュー画像を順次取得し、識別器４７は、画像取得部４１により順次取得されるライブビュー画像中の被写体領域（顔領域）を検出するための複数種の識別器を構成している。顔検出部４３は、複数種の識別器に基づいて、画像取得部４１により順次取得されるライブビュー画像の被写体領域を検出できるか否かを判定し、ガンマ補正処理部４２ａは、顔検出部４３により被写体領域が検出できないと判定されると、順次取得されるライブビュー画像のデータをガンマ補正する。また、顔検出部４３は、ガンマ補正処理部４２ａによりデータがガンマ補正されたライブビュー画像の領域と識別器４７との第１の類似度を算出し、反応値判定部４６は、ガンマ補正処理部４２ａによりデータがガンマ補正されていないライブビュー画像の領域と識別器４７との第２の類似度を算出する。反応値判定部４６は、第１の類似度と第２の類似度とを比較し、比較結果に基づいて、ガンマ補正処理部４２ａによるガンマ補正を解除するか否かを判定する。
したがって、逆光状態や順光状態での顔検出処理をより適正に行うことが可能となる。

また、ガンマ補正指示部４５は、反応値判定部４６によりガンマ補正を解除すると判定されると、ガンマ補正が解除されたライブビュー画像に対して、顔検出部４３に被写体領域を検出させる。
これにより、ガンマ補正が不要な状況となった後、ガンマ補正されていないライブビュー画像に対して被写体領域の検出を行うことができる。

反応値判定部４６は、第１の類似度よりも第２の類似度の方が大きい場合に、ガンマ補正処理部４２ａによるガンマ補正を解除する。
これにより、自動露出制御によって撮像画像の明るさを高める制御が行われる状況においても、被写体領域の検出のためのライブビュー画像のデータにおいてガンマ補正の効果が過剰になることを防止できる。

反応値判定部４６は、第１の類似度よりも第２の類似度の方が閾値Ｔｈ以上大きい場合に、ガンマ補正処理部４２ａによるガンマ補正を解除する。
これにより、ガンマ補正を行わない状態へと切り替える条件を、ガンマ補正を行わない方が確実に類似度が大きい場合に設定することができる。また、閾値Ｔｈを適宜変化させることにより、ガンマ補正を行わない状態へと切り替える状態変化のし易さを制御することができるため、より適切に被写体領域の検出を行うことが可能となる。
識別器４７は、顔のモデルデータであり、顔検出部４３は、顔のモデルデータとライブビュー画像の領域との類似度に基づいて、顔領域を被写体領域として検出できるか否かを判定する。
これにより、逆光状態等における環境下でも被写体における顔領域の検出をより適正に行うことが可能となる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

例えば、上述の実施形態では、顔検出のためのライブビュー画像のデータにガンマ補正を施すか否かを切り替える場合を例に挙げて説明したが、顔領域の明るさが変化する補正であれば他の補正方法を用いることができる。例えば、ライブビュー画像全体の明るさを変化させるゲイン処理（明るさの増幅処理）を施すか否かを切り替えることとしても良い。

また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、撮像機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、ビデオカメラ、携帯電話機、Ｗｅｂカメラ、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成しても良いし、ソフトウェア単体で構成しても良いし、それらの組み合わせで構成しても良い。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであっても良い。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであっても良い。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等により構成される全体的な装置を意味するものとする。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
画像を順次取得する画像取得手段と、
前記画像取得手段により順次取得される画像中の被写体領域を検出するための複数種の識別器を記憶する識別器記憶手段と、
前記識別器記憶手段により記憶された複数種の識別器に基づいて、前記画像取得手段により順次取得される画像の被写体領域を検出できるか否かを判定する検出判定手段と、
前記検出判定手段により前記被写体領域が検出できないと判定されると、前記順次取得される画像のデータを補正処理する補正手段と、
前記補正手段によりデータが補正処理された画像の領域と前記識別器との第１の類似度を算出する第１の類似度算出手段と、
前記補正手段によりデータが補正処理されていない画像の領域と前記識別器との類似度を算出する第２の類似度算出手段と、
前記第１の類似度算出手段により算出された第１の類似度と、前記第２の類似度算出手段により算出された第２の類似度とを比較する類似度比較手段と、
前記類似度比較手段による比較結果に基づいて、前記補正手段により補正処理を解除するか否かを判定する解除判定手段と、
を備えることを特徴とする撮像装置。
［付記２］
前記解除判定手段により前記補正処理を解除すると判定されると、当該補正処理が解除された画像に対して、前記検出判定手段に前記被写体領域を検出させる検出制御手段をさらに備えたことを特徴とする付記１に記載の撮像装置。
［付記３］
前記解除判定手段は、前記第１の類似度よりも前記第２の類似度の方が大きい場合に、前記補正手段による補正処理を解除することを特徴とする付記１または２に記載の撮像装置。
［付記４］
前記解除判定手段は、前記第１の類似度よりも前記第２の類似度の方が設定値以上大きい場合に、前記補正手段による補正処理を解除することを特徴とする付記１または２に記載の撮像装置。
［付記５］
前記識別器は、顔のモデルデータであり、
前記検出判定手段は、顔のモデルデータと前記画像の領域との類似度に基づいて、顔領域を前記被写体領域として検出できるか否かを判定することを特徴とする付記１から４のいずれか１つに記載の撮像装置。
［付記６］
画像を順次取得する画像取得ステップと、
所定の記憶手段により記憶された複数種の識別器に基づいて、前記画像取得ステップにより順次取得される画像の被写体領域を検出できるか否かを判定する検出判定ステップと、
前記検出判定ステップにより被写体領域が検出できないと判定されると、前記順次取得される画像のデータを補正処理する補正ステップと、
前記補正ステップにおいてデータが補正処理された画像の領域と前記識別器との第１の類似度を算出する第１の類似度算出ステップと、
前記補正ステップにおけるデータが補正処理されていない画像の領域と前記識別器との類似度を算出する第２の類似度算出ステップと、
前記第１の類似度算出ステップにおいて算出された第１の類似度と、前記第２の類似度算出ステップにおいて算出された第２の類似度とを比較する類似度比較ステップと、
前記類似度比較ステップにおける比較結果に基づいて、前記補正ステップによる補正処理を解除するか否かを判定する解除判定ステップと、
を含むことを特徴とする撮像制御方法。
［付記７］
コンピュータを、
画像を順次取得する画像取得手段、
所定の記憶手段により記憶された複数種の識別器に基づいて、前記画像取得手段により順次取得される画像の被写体領域を検出できるか否かを判定する検出判定手段、
前記検出判定手段により被写体領域が検出できないと判定されると、前記順次取得される画像のデータを補正処理する補正手段、
前記補正手段によりデータが補正処理された画像の領域と前記識別器との第１の類似度を算出する第１の類似度算出手段、
前記補正手段によりデータが補正処理されていない画像の領域と前記識別器との類似度を算出する第２の類似度算出手段、
前記第１の類似度算出手段により算出された第１の類似度と、前記第２の類似度算出手段により算出された第２の類似度とを比較する類似度比較手段、
前記類似度比較手段による比較結果に基づいて、前記補正手段による補正処理を解除するか否かを判定する解除判定手段、
として機能させることを特徴とするプログラム。

１・・・撮像装置、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・バス、１５・・・入出力インターフェース、１６・・・撮像部、１７・・・入力部、１８・・・出力部、１９・・・記憶部、２０・・・通信部、２１・・・ドライブ、３１・・・リムーバブルメディア、４１・・・画像取得部、４２・・・画像生成部、４２ａ・・・ガンマ補正処理部、４３・・・顔検出部、４４・・・顔枠設定部、４５・・・ガンマ補正指示部、４６・・・反応値判定部、４７・・・識別器、４８・・・顔枠表示部

Claims (11)

1. 画像を順次取得する画像取得手段と、
   前記画像取得手段により取得される画像を補正処理する補正手段と、
   前記画像取得手段により順次取得される画像中の被写体領域を検出するための識別器を記憶する識別器記憶手段と、
   前記補正手段により補正処理された前記画像内の領域と前記識別器との第１の類似度を算出する第１の類似度算出手段と、
   前記補正手段により補正処理されなかった前記画像内の領域と前記識別器との第２の類似度を算出する第２の類似度算出手段と、
   前記第１の類似度算出手段により算出された第１の類似度と、前記第２の類似度算出手段により算出された第２の類似度とを比較する類似度比較手段と、
   前記類似度比較手段による比較結果に基づいて、前記画像取得手段により取得される画像から前記被写体領域を検出する検出手段と、
   を備えることを特徴とする撮像装置。
2. 前記検出手段は、前記第１の類似度よりも前記第２の類似度の方が大きい場合に、前記第２の類似度に基づいて、前記画像から前記被写体領域を検出する、
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記検出手段は、前記第１の類似度よりも前記第２の類似度の方が小さい場合に、前記第１の類似度に基づいて、前記画像から前記被写体領域を検出する、
   ことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記検出手段は、前記類似度比較手段による比較結果に基づいて、前記補正手段による補正処理を解除するか否かを判定する解除判定手段を更に備え、
   前記検出手段は、前記解除判定手段により前記補正処理を解除すると判定された場合、当該補正処理が解除された画像から、前記被写体領域を検出する、
   ことを特徴とする請求項１から３の何れか１項に記載の撮像装置。
5. 前記解除判定手段は、前記第１の類似度よりも前記第２の類似度の方が大きい場合に、前記補正手段による前記補正処理を解除する、
   ことを特徴とする請求項４に記載の撮像装置。
6. 前記第１の類似度よりも前記第２の類似度の方が設定値以上大きい場合に、前記第２の類似度の方が前記第１の類似度よりも大きいものとする、
   ことを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
7. 前記画像取得手段により順次取得される前記画像中の前記被写体領域を検出できるか否かを判定する検出判定手段、
   を更に備え、
   前記補正手段は、前記検出判定手段により前記被写体領域が検出できないと判定された場合に、前記順次取得される画像を補正処理する、
   ことを特徴とする請求項１から６の何れか１項に記載の撮像装置。
8. 前記識別器は、顔のモデルデータであり、
   前記検出判定手段は、顔のモデルデータと画像内の領域との類似度に基づいて、顔領域を前記被写体領域として検出できるか否かを判定する、
   ことを特徴とする請求項７に記載の撮像装置。
9. 前記補正手段は、前記画像取得手段により取得される画像の明るさを補正処理する、
   ことを特徴とする請求項１から８の何れか１項に記載の撮像装置。
10. 画像を順次取得する画像取得ステップと、
    前記画像取得ステップにより取得される画像を補正処理する補正ステップと、
    前記画像取得ステップにより順次取得される画像中の被写体領域を検出するための識別器を記憶する識別器記憶ステップと、
    前記補正ステップにより補正された前記画像内の領域と前記識別器との第１の類似度を算出する第１の類似度算出ステップと、
    前記補正ステップにより補正されなかった前記画像内の領域と前記識別器との第２の類似度を算出する第２の類似度算出ステップと、
    前記第１の類似度算出ステップにより算出された第１の類似度と、前記第２の類似度算出ステップにより算出された第２の類似度とを比較する類似度比較ステップと、
    前記類似度比較ステップによる比較結果に基づいて、前記画像取得ステップにより取得される画像から前記被写体領域を検出する検出ステップと、
    を含むことを特徴とする撮像制御方法。
11. コンピュータを、
    画像を順次取得する画像取得手段、
    前記画像取得手段により取得される画像を補正処理する補正手段、
    前記画像取得手段により順次取得される画像中の被写体領域を検出するための識別器を記憶する識別器記憶手段、
    前記補正手段により補正された前記画像内の領域と前記識別器との第１の類似度を算出する第１の類似度算出手段、
    前記補正手段により補正されなかった前記画像内の領域と前記識別器との第２の類似度を算出する第２の類似度算出手段、
    前記第１の類似度算出手段により算出された第１の類似度と、前記第２の類似度算出手段により算出された第２の類似度とを比較する類似度比較手段、
    前記類似度比較手段による比較結果に基づいて、前記画像取得手段により取得される画像から前記被写体領域を検出する検出手段、
    として機能させることを特徴とするプログラム。

Images