JP7377078B2 - 画像処理装置および画像処理方法、ならびに撮像装置 - Google Patents

Description

本発明は、画像処理装置および画像処理方法、ならびに撮像装置に関し、特には画像から特徴領域を検出する技術に関する。

画像データから、特徴を有する画像の領域（特徴領域）を検出する技術は、さまざまな分野で用いられている。例えばデジタルカメラなどの撮像装置では、特徴領域に合焦するように焦点調節を行ったり、特徴領域が適正な明るさになるように露出を制御したりすることが行われている。特許文献１には、特徴領域として目の領域を検出する画像処理装置が開示されている。

特開2008-129664号公報

特許文献１は、まず顔の領域を検出し、検出された顔の領域から目の領域を検出している。このように、最終的に検出する特徴領域を含むことが想定される部分領域をまず検出してから、部分領域に対して特徴領域を検出することで、特徴領域を検出する範囲を限定できるため、処理速度や検出精度を高めたりすることができる。その一方で、部分領域を正しく検出できないと、特徴領域の検出にも失敗してしまうという問題があった。

このような従来技術の課題に鑑みて、本発明は、処理を軽減しつつ精度良く特徴領域を検出可能な画像処理装置および画像処理方法、ならびに撮像装置を提供する。

上述の目的は、画像データから予め定められた部分領域を、第１の手法および第２の手法によって検出する部分領域の検出手段と、部分領域のデータから、予め定められた特徴領域を検出する特徴領域の検出手段と、同一被写体に関する、第１の手法によって検出された部分領域についての特徴領域の検出結果と、第２の手法によって検出された部分領域についての特徴領域の検出結果との一方を、特徴領域の最終的な検出結果として選択する選択手段と、を有することを特徴とする画像処理装置によって達成される。

本発明によれば、処理を軽減しつつ精度良く特徴領域を検出可能な画像処理装置および画像処理方法、ならびに撮像装置を提供することができる。

実施形態に係る画像処理装置の一例であるカメラの機能ブロック図 第１実施形態における特徴領域検出部の機能ブロック図 第１実施形態における特徴領域検出部の動作に関するフローチャート 第１実施形態における特徴領域検出部の動作に関するフローチャート 第１実施形態におけるカメラ制御部の動作に関するフローチャート 第２実施形態における特徴領域検出部の機能ブロック図 第２実施形態における特徴領域検出部の動作に関するフローチャート

以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

なお、以下の実施形態では、本発明をレンズ交換式のデジタルカメラシステムで実施する場合に関して説明する。しかし、本発明は画像データを取り扱うことのできる任意の電子機器に対して適用可能である。このような電子機器には、ビデオカメラ、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡなど）、携帯電話機、スマートフォン、ゲーム機、ロボット、ドローン、ドライブレコーダが含まれる。これらは例示であり、本発明は他の電子機器にも適用可能である。

●（第１実施形態）
図１は、本発明の第１実施形態に係る画像処理装置の一例である、レンズ交換式デジタルカメラシステム（以下、単にカメラという）の機能構成を示すブロック図である。カメラは、本体１２０と、交換レンズ１００とを有する。なお、レンズは交換できなくてもよい。

被写体の光学像を形成する交換レンズ１００は、レンズユニット１０１を有する。レンズユニット１０１は、主撮影光学系１０２、絞り１０３、およびフォーカスレンズ１０４を有する。なお、主撮影光学系１０２およびフォーカスレンズ１０４は実際には複数のレンズで構成される。また、レンズユニット１０１は、絞り１０３やフォーカスレンズ１０４などの可動部材を駆動するモータやアクチュエータなども有している。レンズユニット１０１はブレ補正レンズや変倍レンズなど、他の可動部材を有してもよい。

レンズ制御部１１１は、マイクロプロセッサ、ＲＯＭ、およびＲＡＭを有し、ＲＯＭに記憶されたプログラムをＲＡＭに読み出してマイクロプロセッサが実行することにより、各種の機能を実現する。図１においてレンズ制御部１１１内に示される機能ブロック１１２～１１３は、レンズ制御部１１１が有するマイクロプロセッサがプログラムを実行することによって実現する代表的な機能を模式的に示したものである。

レンズ制御部１１１はカメラ制御部１３１と通信を行い、カメラ制御部１３１の指示に基づいてフォーカスレンズ１０４や絞り１０３の駆動を制御する。また、レンズ制御部１１１は、フォーカスレンズ１０４の位置や絞り値など、レンズユニット１０１に関する情報をカメラ制御部１３１に提供する。

本体１２０において、ＣＭＯＳ（相補型金属酸化膜半導体）イメージセンサなどの撮像素子１２２は、２次元配列された複数の画素を有する。撮像素子１２２はレンズユニット１０１が形成する被写体の光学像を複数の画素によって光電変換し、電気信号群（アナログ画像信号）を出力する。交換レンズ１０１と撮像素子１２２との間にはシャッター１２１が設けられる。なお、絞り１０３がシャッターを兼ねる場合などには、シャッター１２１は不要である。

撮像素子１２２の出力するアナログ画像信号は、アナログ信号処理回路（ＡＦＥ）１２３に入力される。ＡＦＥ１２３はアナログ画像信号にノイズ低減処理やＡＤ変換処理などを適用したのち、デジタル画像信号（画像データ）として出力する。

信号処理回路１２４は、ＡＦＥ１２３が出力する画像データに対して予め定められた画像処理を適用し、信号や画像データを生成したり、各種の情報を取得および／または生成したりする。信号処理回路１２４は例えば特定の機能を実現するように設計されたＡＳＩＣのような専用のハードウェア回路であってもよいし、ＤＳＰのようなプログラマブルプロセッサがソフトウェアを実行することで特定の機能を実現する構成であってもよい。

信号処理回路１２４が画像データに対して適用可能な画像処理には、色補間処理、補正処理、検出処理、データ加工処理、評価値算出処理などが含まれる。色補間処理は、画像データを構成する画素データに不足している色成分の値を補間する処理であり、デモザイク処理とも呼ばれる。補正処理には、ホワイトバランス調整、レンズユニット１０１の光学収差の影響を補正する処理、階調を補正する処理などが含まれる。検出処理には、特徴領域の検出処理や、特徴領域の追尾処理、人物の認識処理などが含まれる。データ加工処理には、スケーリング処理、表示用画像データ生成処理、符号化および復号処理、ヘッダ情報生成処理などが含まれる。評価値算出処理は自動焦点検出（ＡＦ）に用いる信号や評価値の生成や、自動露出制御（ＡＥ）に用いる評価値の生成処理などである。なお、これらは信号処理回路１２４が画像データに適用可能な画像処理の単なる例示であり、信号処理回路１２４が画像データに適用する画像処理を限定するものではない。また、ここに例示した画像処理の１つ以上はカメラ制御部１３１で実施してもよい。

信号処理回路１２４による画像処理を適用された画像データは、用途に応じてカメラ制御部１３１、表示部１７１、およびメモリカード１２５の１つ以上に出力される。

図１における特徴領域検出部１４１は、信号処理回路１２４の機能のうち、特徴領域の検出処理を実行する機能を模式的に機能ブロックとして記載したものである。本実施形態において特徴領域検出部１４１は、特徴領域として最終的に目領域もしくは瞳領域を検出するものとするが、鼻や口など、顔を構成する他の部位を検出してもよい。特徴領域検出部１４１は画像データに対して、特徴領域を含むことが想定される部分領域（ここでは顔または頭部の領域）をまず検出し、その後、個々の部分領域から特徴領域を検出する。特徴領域検出部１４１は、部分領域と特徴領域とのそれぞれについての検出結果（例えば検出した領域の位置および大きさを表す情報）をカメラ制御部１３１に出力する。

カメラ制御部１３１は例えばマイクロプロセッサであり、例えばＲＯＭ１３３に記憶されたプログラムをＲＡＭ１３２に読み込んでマイクロプロセッサが実行することにより、各種の機能を実現する。図１においてカメラ制御部１３１内に示されている機能ブロック１５０～１５４は、カメラ制御部１３１が有するマイクロプロセッサがプログラムを実行することによって実現する代表的な機能を模式的に機能ブロックとして記載したものである。

ＲＯＭ１３３は例えば書き換え可能な不揮発性メモリであり、カメラ制御部１３１のマイクロプロセッサが実行可能なプログラム、設定値、ＧＵＩデータなどを記憶する。ＲＡＭ１３２は、カメラ制御部１３１のマイクロプロセッサが実行するプログラムや、プログラムの実行中に必要な値を一時的に保持するために用いられる。

本体１２０と交換レンズ１００には、互いに係合するマウントが設けられる。本体側のマウントと、レンズ側のマウントとには、係合時に接するように構成されたマウント接点部１１４、１６１がそれぞれ設けられている。マウント接点部１１４、１６１が接する事により、本体１２０から交換レンズ１００への電源供給や、カメラ制御部１３１とレンズ制御部１１１との通信が可能になる。

レンズ制御部１１１とカメラ制御部１３１は、マウント接点部１１４および１６１を介して所定のタイミングでシリアル通信を行う。この通信により、カメラ制御部１３１からレンズ制御部１１１にはフォーカスレンズ駆動情報、絞り駆動情報などが送信され、レンズ制御部１１１からカメラ制御部１３１へはフォーカスレンズ位置、絞り値、焦点距離などが送信される。

カメラ制御部１３１の被写体判定部１５０は、部分領域の検出結果から同一被写体を判定する。また、位置決定部１５１は、特徴領域の検出結果と被写体判定部１５０の判定結果とに基づいて特徴領域を決定する。表示枠設定部１５２は、後述する表示部１７１に表示する検出枠を設定する。さらに、被写体設定部１５３は、レンズユニット１０１を合焦させる被写体（対象被写体）の画像領域を特定する情報を焦点検出部１５４に通知する。これらの機能ブロック１５０～１５３は特徴領域検出部１４１の検出結果に基づいて動作する。

焦点検出部１５４は、被写体設定部１５３によって通知された情報に基づく画像領域に合焦するようにレンズユニット１０１のフォーカスレンズ１０４の位置を調整する。焦点検出部１５４は、公知の方法によりフォーカスレンズ１０４の位置を調整することができる。例えば、焦点検出部１５４は、コントラスト方式で焦点検出を行うことができる。この場合焦点検出部１５４は、フォーカスレンズ１０４の位置を段階的に移動させて撮影を行い、個々の撮影で得られた画像データのうち、合焦させる画像領域についてのコントラスト評価値を信号処理回路１２４から取得する。そして、焦点検出部１５４は、コントラスト評価値が最大になるフォーカスレンズ１０４の位置を求め、その位置にフォーカスレンズ１０４を駆動するよう、レンズ制御部１１１に指示する。

なお、本体１２０が位相差ＡＦ用の像信号を生成できる場合、焦点検出部１５４は位相差方式による焦点検出を行うことができる。例えば、本体１２０が位相差ＡＦ用のセンサを有する場合や、撮像素子１２２が像面位相差ＡＦに対応した構成を有する場合である。

なお、焦点検出部１５４からレンズ制御部１１１にフォーカスレンズ１０４の駆動を指示する場合、フォーカスレンズ１０４の目標位置を指示してもよいし、デフォーカス量のような現在の位置と目標位置との差を指示してもよい。レンズ制御部１１１（フォーカスレンズ制御部１１３）は、カメラ制御部１３１から指示される情報に基づいて、フォーカスレンズ１０４の駆動を制御する。このように、カメラ制御部１３１は、フォーカスレンズ制御部１１３を介してフォーカスレンズ１０４の駆動を制御する。

表示部１７１は、ビデオメモリ、ディスプレイコントローラ、表示デバイス、タッチパネル１７２を有するタッチディスプレイである。本実施形態では撮影スタンバイ状態において動画撮影を継続的に行い、得られた動画をリアルタイムで表示部１７１に表示させることにより、表示部１７１を電子ビューファインダ（ＥＶＦ）として機能させる。また、表示部１７１にはメニュー画面のようなＧＵＩや、設定値などの情報を表示したりする。さらに、メモリカード１２５にから読み出され、信号処理回路１２４で復号された画像データも表示部１７１に表示する。

本実施形態の表示部１７１はタッチディスプレイであるため、タッチパネル１７２へのタッチ操作を受け付けることができる。タッチパネル１７２に対する操作はカメラ制御部１３１が検知し、タッチ位置の時間変化などに基づいてタッチ操作を認識し、認識したタッチ操作に応じた処理を実行する。

レリーズスイッチ（ＳＷ）１８１は静止画撮影に関する指示を入力する入力デバイスである。例えばレリーズＳＷ１８１は半押し状態でオンするスイッチ（ＳＷ１）と全押し状態でオンするスイッチ（ＳＷ２）とを有する。カメラ制御部１３１は、ＳＷ１のオンを静止画撮影の準備指示と認識し、ＡＦ、ＡＥといった処理を実行する。さらに、カメラ制御部１３１は、ＳＷ２のオンを静止画撮影の開始指示と認識し、静止画撮影処理および記録用の画像データ生成処理、画像データの記録処理などを制御する。記録用の画像データはメモリカード１２５に記録される。

次に、本実施形態における特徴領域検出部１４１の構成および動作について説明する。図２は、特徴領域検出部１４１の機能をさらに細分化し、機能ブロックとして記載した図である。上述の通り、特徴領域検出部１４１は信号処理回路１２４の機能であり、したがって特徴領域検出部１４１が有する各機能ブロックもまた信号処理回路１２４の機能である。

特徴領域検出部１４１は、部分領域を検出する手段としての顔検出部２０１および頭部検出部２０２と、部分領域から特徴領域を検出する手段としての第１瞳検出部２０３および第２瞳検出部２０４を有する。

顔検出部２０１は、画像データに対して公知の顔検出処理（第１の手法）を適用して顔の特徴を有する部分領域（顔領域）を検出する。顔検出の具体的な検出方法に特に制限はなく、例えば、顔領域に特徴的なエッジやパターンの検出に基づく方法であってもよいし、顔領域を機械学習したニューラルネットワークを用いる方法であってもよい。基本的に顔領域の検出精度は、目、鼻、口など、顔を構成する特徴的な部位または器官の検出精度に依存し、これら部位や器官の一部が検出できない場合には、顔領域が検出できなかったり、誤検出の可能性が上昇したりする傾向がある。

頭部検出部２０２は、画像データに対して公知の頭部検出処理（第２の手法）を適用して頭部の特徴を有する部分領域（頭部領域）を検出する。頭部領域の検出方法についても特に制限はなく、Ω形状など、予め定められた形状の領域を検出したり、頭部領域を機械学習したニューラルネットワークを用いたりする方法であってもよい。また、手足や胴体といった人体のパーツの検出を併用して頭部領域を検出してもよい。頭部領域の検出は主に輪郭の形状に基づくもので、顔を構成する特徴的な部位や器官の検出に依存しない。そのため、顔検出部２０１で顔領域の検出に失敗する場合であっても、頭部検出部２０２では頭部を正しく検出できる場合がある。

第１瞳検出部２０３は、顔検出部２０１が検出した顔領域から、目領域または瞳領域を検出する。第２瞳検出部２０４は、頭部検出部２０２が検出した頭部領域から、目領域または瞳領域を検出する。第１瞳検出部２０３および第２瞳検出部２０４は異なる検出方法を用いてもよいし、同じ検出手法を用いてもよい。同じ検出手法を用いる場合、顔領域および頭部領域に対して１つの瞳検出部を用いて目領域または瞳領域を検出してもよい。検出方法に特に制限はなく、パターンマッチングを用いたり、目または瞳領域を機械学習したニューラルネットワークを用いたりする方法であってよい。

図３のフローチャートを用いて顔検出部２０１および第１瞳検出部２０３の動作を、図４のフローチャートを用いて頭部検出部２０２および第２瞳検出部２０４の動作を説明する。なお、特徴領域検出部１４１は、図３および図４の動作を順番に実行してもよいし、少なくとも一部を並行して実行してもよい。また、ここでは例えば表示部１７１の表示デバイスをＥＶＦとして機能させるために撮影され、ＡＦＥ１２３から供給される動画の１フレームを構成する画像データから特徴領域を検出するものとする。しかし、例えばメモリカード１２５から読み出された動画もしくは静止画データなど、任意の画像データについて特徴領域を検出することができる。また、信号処理回路１２４は、特徴領域検出部１４１で処理する前に、画像データに対し、処理負荷を軽減したり、検出精度を高めたりするための前処理を適用してもよい。前処理には例えば解像度の変更（スケーリング）や、色変換などがあるが、これらに限定されない。

図３において、Ｓ３０１で顔検出部２０１は、供給される画像データに対して顔検出処理を適用する。なお、顔検出部２０１は、顔検出処理を適用した結果、検出信頼度が一定以上である領域を、検出結果に含めるものとする。顔検出部２０１は、検出結果を第１瞳検出部２０３に出力するとともに、保持する。

Ｓ３０２で第１瞳検出部２０３は、顔検出部２０１で１つ以上の顔領域が検出されたか否かを判定する。第１瞳検出部２０３は、１つ以上の顔領域が検出されていればＳ３０３を、顔領域が検出されていなければＳ３０６を実行する。

Ｓ３０３で第１瞳検出部２０３は、瞳検出を行っていない顔領域の１つを瞳検出領域に設定し、Ｓ３０４を実行する。
Ｓ３０４で第１瞳検出部２０３は、Ｓ３０３で設定した瞳検出領域に対して瞳検出処理を適用する。なお、瞳検出処理の代わりに目検出処理を適用してもよい。なお、第１瞳検出部２０３は、瞳検出処理を適用した結果、検出信頼度が一定以上である領域を、検出結果に含めるものとする。第１瞳検出部２０３は、検出結果を保持して、Ｓ３０５を実行する。

Ｓ３０５で第１瞳検出部２０３は、Ｓ３０１で検出された全ての顔領域について瞳検出処理を適用したか否かを判定する。瞳検出処理を適用していない顔領域があると判定された場合、第１瞳検出部２０３はＳ３０３からの処理を繰り返し実行する。一方、全ての顔領域について瞳検出処理を適用したと第１瞳検出部２０３が判定した場合、特徴領域検出部１４１はＳ３０６を実行する。

Ｓ３０６で特徴領域検出部１４１は、顔検出部２０１が保持する顔検出結果と、第１瞳検出部２０３が保持する瞳検出結果とをカメラ制御部１３１に出力する。それぞれの検出結果は、少なくとも、検出された領域の中心座標（画像座標）、サイズ、検出信頼度のそれぞれを示す情報を含むものとする。なお、Ｓ３０２で顔領域が１つも検出されなかった場合、特徴領域検出部１４１は空の結果を出力する。

図４において、Ｓ４０１で頭部検出部２０２は、供給される画像データに対して頭部検出処理を適用する。なお、頭部検出部２０２は、頭部検出処理を適用した結果、検出信頼度が一定以上である領域を、検出結果に含めるものとする。頭部検出部２０２は、検出結果を第２瞳検出部２０４に出力するとともに、保持する。

Ｓ４０２で第２瞳検出部２０４は、頭部検出部２０２で１つ以上の頭部領域が検出されたか否かを判定する。第２瞳検出部２０４は、１つ以上の頭部領域が検出されていればＳ４０３を、頭部領域が検出されていなければＳ４０６を実行する。

Ｓ４０３で第２瞳検出部２０４は、瞳検出を行っていない頭部領域の１つを瞳検出領域に設定し、Ｓ４０４を実行する。
Ｓ４０４で第２瞳検出部２０４は、Ｓ４０３で設定した瞳検出領域に対して瞳検出処理を適用する。なお、瞳検出処理の代わりに目検出処理を適用してもよい。なお、第２瞳検出部２０４は、瞳検出処理を適用した結果、検出信頼度が一定以上である領域を、検出結果に含めるものとする。第２瞳検出部２０４は、検出結果を保持して、Ｓ４０５を実行する。

Ｓ４０５で第２瞳検出部２０４は、Ｓ４０１で検出された全ての頭部領域について瞳検出処理を適用したか否かを判定する。瞳検出処理を適用していない頭部領域があると判定された場合、第２瞳検出部２０４はＳ４０３からの処理を繰り返し実行する。一方、全ての頭部領域について瞳検出処理を適用したと第２瞳検出部２０４が判定した場合、特徴領域検出部１４１はＳ４０６を実行する。

Ｓ４０６で特徴領域検出部１４１は、頭部検出部２０２が保持する頭部検出結果と、第２瞳検出部２０４が保持する瞳検出結果とをカメラ制御部１３１に出力する。それぞれの検出結果は、少なくとも、検出された領域の中心座標（画像座標）、サイズ、検出信頼度のそれぞれを示す情報を含むものとする。なお、Ｓ４０２で頭部領域が１つも検出されなかった場合、特徴領域検出部１４１は空の結果を出力する。

なお、特徴領域検出部１４１は、Ｓ３０６とＳ４０６で得られる検出結果をまとめて出力してもよいし、別個に出力してもよい。

次に、特徴領域検出部１４１による検出結果に対するカメラ制御部１３１の動作について、図５のフローチャートを用いて説明する。

Ｓ５０１で被写体判定部１５０は、瞳位置が未決定（以下、未チェックという）の顔領域があるか否かを判定する。未チェックの顔領域があると被写体判定部１５０が判定した場合にはＳ５０２を、未チェックの顔領域がないと被写体判定部１５０が判定した場合にはＳ５１１を実行する。顔領域が１つも検出されていない場合、被写体判定部１５０は未チェックの顔領域がないと判定する。

Ｓ５０２で被写体判定部１５０は、未チェックの顔領域と、その顔領域に対する瞳検出結果を選択する。未チェックの顔領域は任意の順序で選択することができる。

Ｓ５０３で被写体判定部１５０は、未チェックの頭部領域があるか否かを判定する。未チェックの頭部領域があると被写体判定部１５０が判定した場合にはＳ５０４を、未チェックの頭部領域がないと被写体判定部１５０が判定した場合にはＳ５０９を実行する。頭部領域が１つも検出されていない場合、被写体判定部１５０は未チェックの頭部領域がないと判定する。

Ｓ５０４で被写体判定部１５０は、未チェックの頭部領域のうち、Ｓ５０２で選択した１つの顔領域と同一被写体のものと思われる頭部領域を検出する被写体判定処理を実行する。被写体判定処理は任意の方法で実現することができるが、例えば、判定処理の対象となる２つの領域の距離や重複率に基づくものであってよい。距離は領域の代表座標、例えば中心もしくは重心座標間の距離であってよい。また、重複率には例えばＩｏＵ（Intersection over Union。Jaccard係数とも呼ばれる）を用いることができる。ＩｏＵは２つの領域の和集合に対する共通（重複）部分の割合であり、
ＩｏＵ＝２領域の共通部分の大きさ／２領域の和集合の大きさ
である。

本実施形態において被写体判定部１５０は、重複率が閾値以上で、かつ、２つの領域それぞれについて、一方の領域の中心または重心座標が他方の領域内に存在する場合に、２つの領域が同一被写体に関する領域であると判定する。なお、１つの顔領域に対して、同一被写体に関する領域と判定される頭部領域が複数存在する場合、被写体判定部１５０は顔領域との重複率が最も高い頭部領域を、最終的な判定結果とする。さらに、重複率が最も高い頭部領域が複数存在する場合には、顔領域との中心座標間の距離が最小である頭部領域を、最終的な判定結果とする。顔領域との中心座標間の距離が最小である頭部領域が複数存在する場合には、任意の方法で１つを選択して最終的な判定結果とする。被写体判定部１５０は、顔領域と、最終的な判定結果として得られた頭部領域との組み合わせに関する情報を、位置決定部１５１に出力する。顔領域と同一被写体に関すると判定される頭部領域が１つもなかった場合、被写体判定部１５０は空の情報を出力するか、何も出力しない。

Ｓ５０５で位置決定部１５１は、被写体判定部１５０から、同一被写体に関すると判定された顔領域と頭部領域との組み合わせが出力されたか否かを判定する。位置決定部１５１は、出力されたと判定される場合にはＳ５０６を実行し、出力されていないと判定される場合にはＳ５０９を実行する。

Ｓ５０６で位置決定部１５１は、被写体判定部１５０が同一被写体に関すると判定した顔領域と頭部領域のうち、一方の領域を選択する。位置決定部１５１は、例えば検出信頼度の高いものを選択してもよいし、それぞれについての瞳検出結果がより優れていると判定されるものを選択してもよい。ここで、瞳検出結果が優れているとは、第１の条件として、検出信頼度が一定以上である瞳領域が１つあるいは２つ検出されていることである。また、瞳領域が３つ以上検出されている場合は、第１の条件に加え、上位２つの検出信頼度に対し、３番目以下の検出信頼度の差が一定以上であることである。なお、ここで述べた選択方法は例示であり、他の基準に基づいて選択してもよい。

Ｓ５０７で位置決定部１５１は、Ｓ５０６で選択した顔領域もしくは頭部領域に対する瞳検出結果を、画像データに対する特徴領域の検出結果に追加する。

Ｓ５０８で位置決定部１５１は、Ｓ５０６で用いた、被写体判定部１５０が同一被写体に関すると判定した顔領域と頭部領域について、瞳位置決定ずみ（チェック済み）の状態にする。その後、Ｓ５０１からの処理が繰り返される。

Ｓ５０３で未チェックの頭部領域がない場合や、Ｓ５０４で顔領域と同一被写体に関すると判定された頭部領域が存在しない場合、位置決定部１５１はＳ５０９を実行する。
Ｓ５０９で位置決定部１５１は、Ｓ５０２で選択した顔領域についての瞳検出結果を、画像データに対する特徴領域の検出結果に追加する。

Ｓ５１０で位置決定部１５１は、Ｓ５０２で選択した顔領域をチェック済みの状態にする。その後、Ｓ５０１からの処理が繰り返し行われる。

上述の処理を繰り返し、未チェックの顔領域がなくなった場合や、顔検出部２０１が顔領域を検出していない場合、Ｓ５０１からＳ５１１に移行する。
Ｓ５１１で位置決定部１５１は、未チェックの頭部領域、すなわち、同一の被写体に関すると判定される顔領域が存在しなかった頭部領域についての瞳検出結果を、画像データに対する特徴領域の検出結果に追加する。頭部検出部２０２が頭部領域を検出していない場合は、頭部領域に対する瞳検出結果も存在しないため、画像データに対する特徴領域の検出結果には何も追加されない。

Ｓ５１２で位置決定部１５１は、上述した処理によって追加された、画像データに対する特徴領域の検出結果をカメラ制御部１３１に出力する。

Ｓ５１３でカメラ制御部１３１は、Ｓ５１２で位置決定部１５１が出力した特徴領域の検出結果を用いた処理を実行する。ここでは一例として、検出された特徴領域を示す指標をＥＶＦに重畳表示するとともに、特徴領域を焦点検出領域（ＡＦ枠）とした焦点検出を行うものとする。

具体的には、表示枠設定部１５２は特徴領域の検出結果に含まれる瞳領域の中心座標と瞳領域のサイズに従って枠状の指標の画像を生成し、表示部１７１のビデオメモリに書き込むことにより、表示中の動画に重畳表示させる。

また、被写体設定部１５３は、例えばタッチパネル１７２へのタッチ操作によって選択された瞳領域の情報を、焦点検出領域の設定情報として焦点検出部１５４に通知する。焦点検出部１５４は、被写体設定部１５３から通知された瞳領域を焦点検出領域とした焦点検出動作を実行する。これにより、レンズユニット１０１が瞳領域に合焦するようにフォーカスレンズ１０４の位置が決定される。なお、選択された瞳領域の情報を自動露出制御など、他の処理に用いてもよい。

本実施形態によれば、画像データから予め定められた特徴領域を検出する際、特徴領域を含んだ部分領域を異なる手法に基づいて検出し、部分領域ごとに特徴領域を検出するようにした。そのため、ある手法では部分領域が検出しづらい条件でも、他の手法によって部分領域が検出できる可能性を高めることができ、最終的に特徴領域を検出できる可能性を高めることができる。また、同一被写体に対して両方の手法で部分領域が検出できた場合には、それぞれの部分領域における特徴領域の検出結果のうち、より良好であると判定される一方を選択するようにしたので、検出結果の信頼性を向上させることができる。

●（第２実施形態）
次に、本発明の第２実施形態について説明する。本実施形態では、特徴領域検出部の構成および動作を除き、第１の実施形態と同様であるため、特徴領域検出部に関して重点的に説明する。

図６は、本実施形態における特徴領域検出部１４１’を模式的に示した図である。図２との対比から分かるように、本実施形態の特徴領域検出部１４１’は、顔検出部と頭部検出部を兼ねる部分領域検出部６０１と、第１および第２瞳検出部を兼ねる瞳検出部６０２とを有する。

部分領域検出部６０１は、例えば顔領域と頭部領域を検出するように学習したニューラルネットワークを用いた検出器であってよい。１つの検出器に顔領域と頭部領域をそれぞれ学習させることにより、回路規模を小さくとどめながら、異なるアルゴリズムによって、部分領域を検出することができる。

瞳検出部６０２は、部分領域検出部６０１が検出した部分領域ごとに、瞳領域または目領域を検出する。検出方法は第１実施形態と同様であってよい。

次に、図７に示すフローチャートを用いて、特徴領域検出部１４１’の動作について説明する。図７のフローチャートは、第１実施形態における図３および図４のフローチャートに対応する。

Ｓ７０１で部分領域検出部６０１は、供給される画像データから、部分領域（顔領域および頭部領域）を検出する。部分領域検出部６０１は、検出結果を瞳検出部６０２に出力するとともに、保持する。

Ｓ７０２で瞳検出部６０２は、部分領域検出部６０１で１つ以上の部分領域が検出されたか否かを判定する。瞳検出部６０２は、１つ以上の部分領域が検出されていればＳ７０３を、部分領域が１つも検出されていなければＳ７０６を実行する。

Ｓ７０３で瞳検出部６０２は、瞳検出を行っていない部分領域の１つを瞳検出領域に設定し、Ｓ７０４を実行する。
Ｓ７０４で瞳検出部６０２は、Ｓ７０３で設定した瞳検出領域に対して瞳検出処理を適用する。なお、瞳検出処理の代わりに目検出処理を適用してもよい。瞳検出部６０２は、検出結果を保持して、Ｓ７０５を実行する。

Ｓ７０５で瞳検出部６０２は、Ｓ７０１で検出された全ての部分領域について瞳検出処理を適用したか否かを判定する。瞳検出処理を適用していない部分領域があると判定された場合、瞳検出部６０２はＳ７０３からの処理を繰り返し実行する。一方、全ての部分領域について瞳検出処理を適用したと瞳検出部６０２が判定した場合、特徴領域検出部１４１’はＳ７０６を実行する。

Ｓ７０６で特徴領域検出部１４１’は、部分領域検出部６０１が保持する検出結果と、瞳検出部６０２が保持する瞳検出結果とをカメラ制御部１３１に出力する。それぞれの検出結果は、少なくとも、検出された領域の中心座標（画像座標）、サイズ、検出信頼度のそれぞれを示す情報を含むものとする。なお、Ｓ７０２で部分領域が１つも検出されなかった場合、特徴領域検出部１４１’は空の結果を出力する。

カメラ制御部１３１による、特徴領域の検出結果を利用した処理については第１実施形態で説明したものと同様であってよい。

第１実施形態では顔領域と頭部領域とを別個の検出部で検出し、瞳検出についても顔領域と頭部領域とで別個の検出部で検出した。これに対し、本実施形態では顔領域および頭部領域を１つの検出部で検出し、瞳領域についても１つの検出部で検出するようにした。本実施形態では第１実施形態よりも特徴領域検出部１４１’の回路規模を小さくすることができる。一方、第１実施形態の構成では、顔領域の検出と顔領域に対する瞳検出という一連の処理と、頭部領域の検出と頭部領域に対する瞳検出という一連の処理とを並列して実行することで処理の高速化が可能である。

なお、第１実施形態では部分領域の検出部と特徴領域の検出部とをそれぞれ複数設け、第２実施形態では部分領域の検出部と特徴領域の検出部とをそれぞれ１つ設けた。しかし、部分領域の検出部と特徴領域の検出部とを同数にする必要はない。

２つの実施形態に基づいて本発明を説明してきたが、本発明はこれら特定の実施形態に限定されない。特許請求の範囲の記載に含まれる様々な変形物もまた本発明に含まれる。例えば、部分領域の検出部は３つ以上あってもよい。また、１つの顔領域について、同一被写体に関するものと判定される頭部領域が複数存在した場合、１つの頭部領域を選択したが、複数の頭部領域の情報を用いてもよい。例えば、これら複数の頭部領域について検出されている瞳領域の情報を統合（例えば距離が閾値以下の瞳領域の位置を平均するなど）して、新たな瞳領域の検出位置やサイズを算出してもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本発明は上述した実施形態の内容に制限されず、発明の精神および範囲から離脱することなく様々な変更及び変形が可能である。したがって、発明の範囲を公にするために請求項を添付する。

１２２…撮像素子、１２４…信号処理回路、１３１…カメラ制御部、１４１、１４１’…特徴領域検出部、１５０…被写体判定部、１５１…位置決定部、２０１…顔検出部、２０２…頭部検出部、２０３…第１瞳検出部、２０４…第２瞳検出部

Claims (11)

1. 画像データから予め定められた部分領域を、第１の手法および第２の手法によって検出する部分領域の検出手段と、
   前記部分領域のデータから、予め定められた特徴領域を検出する特徴領域の検出手段と、
   同一被写体に関する、前記第１の手法によって検出された部分領域についての前記特徴領域の検出結果と、前記第２の手法によって検出された部分領域についての前記特徴領域の検出結果との一方を、前記特徴領域の最終的な検出結果として選択する選択手段と、
   を有することを特徴とする画像処理装置。
2. 前記部分領域の検出手段は、前記特徴領域を含むことが想定される部分領域を検出することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の手法によって検出する部分領域が顔領域であり、前記第２の手法によって検出する部分領域が頭部領域であることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記特徴領域が目領域または瞳領域であることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記選択手段は、前記第２の手法によって検出された部分領域のうち、前記第１の手法によって検出された部分領域と同一被写体に関する部分領域を、前記第１の手法によって検出された部分領域との重複率を用いて判定することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記選択手段は、同一被写体に関する、前記第１の手法によって検出された部分領域についての前記特徴領域の検出結果と、前記第２の手法によって検出された部分領域についての前記特徴領域の検出結果とのうち、より優れていると判定される一方を選択することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 同一被写体に関する、前記第１の手法によって検出された部分領域についての前記特徴領域の検出結果と、前記第２の手法によって検出された部分領域についての前記特徴領域の検出結果とのうち、特徴領域の検出信頼度に基づいてより優れていると判定される一方を選択することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
8. 前記部分領域の検出手段が、前記第１の手法によって部分領域を検出する第１検出部と、前記第２の手法によって部分領域を検出する第２検出部とを有し、前記第１検出部と前記第２検出部とが並列に動作することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 画像データを生成する撮像手段と、
   前記画像データを用いる請求項１から８のいずれか１項に記載の画像処理装置と、
   前記画像処理装置の前記選択手段が選択した前記特徴領域の検出結果を、焦点検出および／または露出制御に用いる制御手段と、
   を有することを特徴とする撮像装置。
10. 画像処理装置が実行する画像処理方法であって、
    画像データから予め定められた部分領域を、第１の手法および第２の手法によって検出する部分領域の検出工程と、
    前記部分領域のデータから、予め定められた特徴領域を検出する特徴領域の検出工程と、
    同一被写体に関する、前記第１の手法によって検出された部分領域についての前記特徴領域の検出結果と、前記第２の手法によって検出された部分領域についての前記特徴領域の検出結果との一方を、前記特徴領域の最終的な検出結果として選択する選択工程と、
    を有することを特徴とする画像処理方法。
11. コンピュータを、請求項１から８のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。

Images