JP2009017194A - 物体検出装置及び方法並びに撮像装置 - Google Patents

Abstract

【課題】顔検出の途切れやふらつきを抑制する。
【解決手段】顔検出装置は、各フレーム画像内から顔位置を暫定的に検出する第１検出部と、最終的な顔位置を検出する第２検出部と、を備える。現フレーム画像の顔位置を検出する際、前フレーム画像の顔位置を基準として顔を含む中心視エリア（２２０）とその周辺の周辺視エリア（２３０）を設定する。前フレーム画像と現フレーム画像に対して前記中心視エリア及び前記周辺視エリアを定義し、両フレーム画像間における前記中心視エリア及び前記周辺視エリアの画像変化を動きベクトル等の算出を介して検出する。第２検出部は、現フレーム及び前フレーム画像に対する第１検出部の検出結果と前記画像変化に基づいて現フレームの顔位置を最終的に検出する。
【選択図】図５

Description

本発明は、画像内から人物の顔等の物体を検出する物体検出装置及び物体検出方法に関する。また本発明は、それらを利用した撮像装置に関する。

撮像装置において、画像内から顔を検出する顔検出機能が実用化されており、顔検出結果を利用した様々なカメラ制御も提案されている。例えば、顔検出結果を画像圧縮処理に利用することもできる。この種の画像圧縮処理では、顔の部分に割り当てる符号量を他の部分よりも多くすることで、顔の部分の解像度を比較的高く保つ（例えば、特許第３７４８７１７号公報参照）。

顔検出結果を利用したカメラ制御を行う場合、安定的な顔検出が必要となってくる。安定的な顔検出とは、顔検出の途切れやふらつきがない（或いは少ない）ことを意味する。顔検出結果を利用して上述の画像圧縮処理を行った場合において、仮に、顔検出が途切れると（実際には画像内に顔が存在するのに対して顔検出を失敗すると）、顔の部分の解像度が急激に高くなったり低くなったりする。これは、顔の部分の解像度が低いまま撮影される事よりも問題が大きい。また、顔検出結果を利用して、オートフォーカス制御、自動露出制御又はオートホワイトバランス制御を実行する場合においても類似の問題が生じる。これらの事情からも分かるように、安定的な顔検出は重要である。

ところが、顔検出はあらゆる条件下で成功する訳ではなく、実際には安定的に顔検出が行われないこともある。例えば、人物の顔はあらゆる方向を向くが顔を検出できる顔の向きにも限界があり、限界付近で顔の検出を失敗することもある。また例えば、ノイズ、顔の動きによる画像ボケ、急激な光源変化又はオクルージョンの発生によって、顔検出を失敗することもある。また例えば、顔検出の演算量削減のために顔を探査する領域を間引いたりすることもあり、その場合には、検出顔位置がふらつくこともある。このような不安定な顔検出結果に基づいてカメラ制御を行うと、上述のような問題が生じる。

尚、下記特許文献１には、連写中に顔検出が不能になった場合、所定の時間内に得られた顔検出結果に基づいて撮影動作制御を行う手法が開示されている。しかし、この手法では、顔が所定の時間以上に静止していた場合、撮影動作制御に必要な顔検出結果を失ってしまうことになる。

特開２００６−１５７６１７号公報 藤吉弘亘、"動画像理解技術とその応用"、［online］、中部大学工学部情報工学科、［平成１９年５月２５日検索］、インターネット＜URL:http://www.vision.cs.chubu.ac.jp/VU/pdf/VU.pdf＞

検出すべき対象物が顔である場合に着目して従来の問題を説明したが、顔以外の物体を検出する場合にも同様の問題が生じる。

そこで本発明は、安定した物体検出に寄与する物体検出装置及び物体検出方法並びに撮像装置を提供することを目的とする。

本発明に係る第１の物体検出装置は、動画像内における特定種類の物体の位置を前記動画像に基づいて検出する物体検出装置において、前記動画像内における前記物体の周辺の画像変化をも考慮して、前記物体の位置を検出することを特徴とする。

物体の周辺の画像変化に基づけば、物体そのもの或いは物体の周辺の動きを推測可能であり、その推測結果に基づいて良好な物体の位置検出が可能である。故に、上述のように構成すれば、安定した物体検出が期待される。

本発明に係る第２の物体検出装置は、動画像内における特定種類の物体の位置を前記動画像に基づいて検出する物体検出装置において、前記動画像内における前記物体の位置を暫定的に検出する第１検出手段と、前記第１検出手段の検出結果と、前記物体を含む基準エリア内及び前記基準エリアの周辺に位置する周辺エリア内の画像変化と、に基づいて前記動画像内における前記物体の位置を最終的に検出する第２検出手段と、を備えたことを特徴とする。

一旦、検出した物体の位置を上記画像変化に基づいてより適切な位置に修正することができる場合がある。そこで上記の如く構成する。これによっても、安定した物体検出が期待される。

具体的には例えば、前記動画像は、時系列で並ぶ複数の入力画像から形成され、前記第１検出手段は、各入力画像内における前記物体の位置を暫定的に検出し、前記第２検出手段は、前記第１検出手段によって検出された過去の入力画像についての前記物体の位置に基づいて現在の入力画像に対する前記基準エリア及び前記周辺エリアを設定するエリア設定手段と、現在の入力画像に対して設定された前記基準エリア及び前記周辺エリアを現在と過去の入力画像に対して定義し、現在と過去の入力画像間における前記基準エリア及び前記周辺エリア内の画像変化を、現在の入力画像についての画像変化として検出する画像変化検出手段と、を備え、過去及び現在の入力画像に対する前記第１検出手段の検出結果と、前記画像変化検出手段によって検出された、現在の入力画像についての前記画像変化と、に基づいて現在の入力画像内における前記物体の位置を最終的に検出する。

また例えば、前記周辺エリアは、前記基準エリアの全周を囲むように設定され、前記画像変化検出手段は、前記周辺エリアの一部エリアを除外した上で、前記周辺エリアについての前記画像変化を検出する。

例えば、検出すべき物体が人物の顔である場合において、身体に対応するエリアを除外するようにすれば、物体検出の更なる安定化が期待される。

これに代えて例えば、前記周辺エリアを、前記基準エリアの全周の一部を囲むように設定してもよい。

また例えば、前記周辺エリアは、前記基準エリアからの距離が比較的近い第１周辺エリアと前記基準エリアからの距離が比較的遠い第２周辺エリアとを含むように階層化され、
前記第２検出手段は、前記第１検出手段の検出結果と、前記基準エリア並びに第１及び第２周辺エリア内の画像変化と、に基づいて前記物体の位置を最終的に検出するようにしてもよい。

また具体的には例えば、前記特定種類の物体は、人物の顔である。

そして、本発明に係る撮像装置は、被写体に応じた動画像を取得する撮像手段と、前記撮像手段によって得られた前記動画像を受ける、上記の何れかの物体検出装置と、を備えたことを特徴とする。

また、本発明に係る物体検出方法は、動画像内における特定種類の物体の位置を前記動画像に基づいて検出する物体検出方法において、前記動画像内における前記物体の周辺の画像変化をも考慮して、前記物体の位置を検出することを特徴とする。

本発明によれば、安定した物体検出に寄与する物体検出装置及び物体検出方法並びに撮像装置を提供することが可能である。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第４実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。

図１は、本発明の実施形態に係る撮像装置１の全体ブロック図である。図１の撮像装置１は、静止画像を撮影及び記録可能なデジタルスチルカメラ、又は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。

撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、主制御部１３と、内部メモリ１４と、表示部１５と、記録媒体１６と、操作部１７と、顔検出部１８と、を備えている。

撮像部１１は、光学系と、絞りと、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子と、光学系や絞りを制御するためのドライバ（全て不図示）と、を有している。ドライバは、主制御部１３からの制御信号に基づいて、光学系のズーム倍率や焦点距離、及び、絞りの開度を制御する。撮像素子は、光学系及び絞りを介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。

ＡＦＥ１２は、撮像部１１（撮像素子）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号を、順次、主制御部１３に出力する。

主制御部１３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を備え、映像信号処理部としても機能する。主制御部１３は、ＡＦＥ１２の出力信号に基づいて、撮像部１１によって撮影された画像（以下、「撮影画像」又は「フレーム画像」ともいう）を表す映像信号を生成する。また、主制御部１３は、表示部１５の表示内容を制御する表示制御手段としての機能をも備え、表示に必要な制御を表示部１５に対して行う。

内部メモリ１４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、撮像装置１内で生成された各種データを一時的に記憶する。表示部１５は、液晶ディスプレイパネル等から成る表示装置であり、主制御部１３の制御の下、直前のフレームにて撮影された画像や記録媒体１６に記録されている画像などを表示する。記録媒体１６は、ＳＤ（Secure Digital）メモリカード等の不揮発性メモリであり、主制御部１３による制御の下、撮影画像などを記憶する。勿論、記録媒体１６を、ＳＤメモリカード以外の記録媒体（例えば、ＨＤＤ（Hard Disk Drive）やＤＶＤ（Digital Versatile Disc））を用いて形成しても良い。操作部１７は、外部からの操作を受け付ける。操作部１７に対する操作内容は、主制御部１３に伝達される。

顔検出部１８は、各撮影画像内から人物の顔を検出し、その顔検出結果を表す情報を主制御部１３に伝達する。主制御部１３は、顔検出部１８の顔検出結果を利用して様々な処理を実施する。例えば、顔検出部１８によって検出された顔にピントが合うようにオートフォーカス制御を行う。或いは例えば、顔検出部１８によって検出された顔に対する露出量が最適となるように露出制御（絞りの開度に対する制御や撮像素子の露光時間に対する制御）を行う。或いは例えば、顔検出部１８によって検出された顔の画像に対してオートホワイトバランス制御を行う。また、動画像の撮影及び記録時において、動画像を形成する各フレーム画像は所定の圧縮方式にて圧縮されてから記録媒体１６に記録されるが、この画像圧縮処理において顔検出部１８の顔検出結果を利用することもできる。例えば、画像圧縮処理において、顔の部分に割り当てる符号量を他の部分よりも多くするといったことが可能である。

撮像装置１の動作モードには、静止画像または動画像の撮影及び記録が可能な撮影モードと、記録媒体１６に記録された静止画像または動画像を表示部１５に再生表示する再生モードと、が含まれる。操作部１７に対する操作に応じて、各モード間の遷移は実施される。撮影モードにおいて、撮像部１１は、所定のフレーム周期（例えば、１／６０秒）にて順次撮影を行う。以下の説明は、特に記述なき限り、撮影モードにおける動作の説明である。

今、フレーム周期が経過するごとに、第１、第２、第３、・・・、第（ｎ−２）、第（ｎ−１）及び第ｎフレームがこの順番で訪れるものとし（ｎは３以上の整数）、第１、第２、第３、・・・、第（ｎ−２）、第（ｎ−１）及び第ｎフレームにて得られた撮影画像を、夫々、第１、第２、第３、・・・、第（ｎ−２）、第（ｎ−１）及び第ｎフレーム画像と呼ぶこととする。時系列で並ぶ第１〜第ｎフレーム画像は、動画像を形成する。各フレーム画像は、顔検出部１８に対する入力画像として顔検出部１８に与えられる。尚、動画像を形成する第１〜第ｎフレーム画像には、操作部１７に対する静止画像撮影指示に応じて得られ且つ記録媒体１６に記録される静止画像が含まれうるし、スルー表示画像も含まれうる。スルー表示画像とは、静止画像撮影指示がなされていなくても、表示部１５の表示内容を更新するために撮像部１１から取得される画像である。

図２に、顔検出部１８の内部ブロック図を示す。図２に示す如く、顔検出部１８は、顔検出処理部２１と、顔検出安定化処理部２２と、を備える。顔検出部１８に対する入力画像（各フレーム画像）は、顔検出処理部２１及び顔検出安定化処理部２２に与えられる。以下の記述において、単に入力画像といった場合、それは、顔検出部１８に対する入力画像を指すものとする。また、以下の説明において、特に記述なき限り、各入力画像内には顔が含まれているものとする。

顔検出処理部２１は、入力画像ごとに、入力画像の画像データに基づいて入力画像中から人物の顔を検出し、検出された顔を含む顔領域を抽出する。画像中に含まれる顔を検出する手法として様々な手法が知られており、顔検出処理部２１は何れの手法をも採用可能である。例えば、特開２０００−１０５８１９号公報に記載の手法のように入力画像から肌色領域を抽出することによって顔（顔領域）を検出しても良いし、特開２００６−２１１１３９号公報又は特開２００６−７２７７０号公報に記載の手法を用いて顔（顔領域）を検出しても良い。

典型的には例えば、入力画像内に設定された着目領域の画像と所定の画像サイズを有する基準顔画像とを対比して両画像の類似度を判定し、その類似度に基づいて着目領域に顔が含まれているか否か（着目領域が顔領域であるか否か）を検出する。類似判定は、顔であるか否かを識別するのに有効な特徴量を抽出することによって行う。特徴量は、水平エッジ、垂直エッジ、右斜めエッジ、左斜めエッジ等である。

入力画像において着目領域は一画素ずつ左右方向又は上下方向にずらされる。そして、ずらされた後の着目領域の画像と基準顔画像とが対比されて、再度、両画像の類似度が判定され、同様の検出が行われる。このように、着目領域は、例えば入力画像の左上から右下方向に向けて１画素ずつずらされながら、更新設定される。また、入力画像を一定割合で縮小し、縮小後の画像に対して、同様の顔検出処理を行う。このような処理を繰り返すことにより、入力画像中から任意の大きさの顔を検出することができる。

また、顔検出処理部２１は、各入力画像内における顔の傾きをも検出可能に構成されている。例えば、入力画像を回転させ、回転後の画像に対して上述と同様の顔検出処理を行うことにより、傾いた顔を検出可能であると共に顔の傾き（傾き角度）を検出することができる。ここにおける顔の傾きとは、入力画像の垂直方向に対する顔の傾きを意味し、例えば、入力画像の垂直方向に平行な直線に対する顔の口中央と眉間を結ぶ直線の傾きである。

顔検出処理部２１は、更に、各入力画像における顔の向きも併せて検出する。即ち例えば、顔検出処理部２１は、各入力画像において検出された顔が、正面顔（正面から見た顔）であるのか、或いは、横顔（横から見た顔）であるのかを区別して検出可能である。顔の向きを検出する手法として様々な手法が提案されており、顔検出処理部２１は何れの手法をも採用可能である。

例えば、特開平１０−３０７９２３号公報に記載の手法のように、入力画像の中から、目、鼻、口等の顔部品を順番に見つけていって画像中の顔の位置を検出し、顔部品の投影データに基づいて顔の向きを検出する。

或いは例えば、特開２００６−７２７７０号公報に記載の手法を用いてもよい。この手法では、１つの正面顔を左側半分（以下、左顔という）と右側半分（以下、右顔という）とに分けて考え、学習処理を介して左顔に関するパラメータと右顔に関するパラメータを事前に生成しておく。顔検出時には、入力画像内の着目領域を左右に分割し、各分割領域と、上記２つのパラメータの内の対応するパラメータとの類似度を算出する。そして、一方又は双方の類似度が閾値以上の時に、着目領域が顔領域であると判別する。更に、各分割領域に対する類似度の大小関係から顔の向きを検出する。

顔検出処理部２１は、自身による顔検出結果を表す顔検出情報を出力する。顔検出処理部２１により或る入力画像から顔が検出された場合、該入力画像に対する顔検出情報は、該入力画像上における「顔の位置、顔の大きさ、顔の傾き及び顔の向き」を特定する。実際には例えば、顔検出処理部２１は、顔を含む矩形領域を顔領域として抽出し、入力画像上における該顔領域の位置及び画像サイズによって顔の位置及び大きさを表現する。また、顔の位置とは、例えば、その顔についての顔領域の中心位置を示す。各入力画像に対する顔検出情報は、顔検出安定化処理部２２に与えられる。尚、顔検出処理部２１において顔が検出されなかった場合は、顔検出情報は生成及び出力されず、代わりに、その旨を表す情報が顔検出安定化処理部２２に伝達される。

ところで、顔検出処理部２１による顔検出は、あらゆる条件下で成功する訳ではなく、安定的に顔検出が行われないこともある。例えば、顔を検出できる顔の向きにも限界があり、限界付近で顔の検出を失敗することもある。また例えば、ノイズ、顔検出処理部２１が想定していない顔の表情変化、顔の動きによる画像ボケ、急激な光源変化又はオクルージョンの発生によって、顔検出を失敗することもある。また例えば、顔検出の演算量削減のために顔を探査する領域を間引いたりすることもあり、その場合には、検出顔位置がふらつくこともある。

上述の如く、顔検出処理部２１だけでは顔検出が安定的に行われないことがあるが、顔検出部１８では、顔検出安定化処理部２２が顔検出の安定性を担保する。顔検出安定化処理部２２は、複数フレーム分の入力画像と顔検出処理部２１からの顔検出情報とに基づいて顔検出の安定化を図り、これによって安定化顔情報を生成及び出力する。顔検出の安定化とは、顔検出の途切れやふらつきを抑制することを意味する。安定化顔情報は、顔検出の安定化が行われた後の顔の検出結果を表している。安定化顔情報は、着目した入力画像上における顔の位置及び顔の大きさを特定する情報を少なくとも含み、更に、着目した入力画像上における顔の傾き及び顔の向きを特定する情報をも含みうる。

着目した入力画像に対する安定化顔情報は、その入力画像に対する顔検出部１８の顔検出結果を表す情報として、図１の主制御部１３に伝達される。つまり、主制御部１３は、安定化顔情報にて特定される顔の位置及び大きさ等に基づいて、上述のような様々な処理（画像圧縮処理やオートフォーカス制御等）を実施する。

図３は、顔検出安定化処理部２２の内部ブロック図である。図３に示す如く、顔検出安定化処理部２２は、エリア設定部３１、画像変化判定部３２及び安定化顔情報生成部３３を備える。

今、説明の具体化のため、顔検出の安定化を施したい入力画像が第ｎフレーム画像であるとし、第ｎフレーム画像についての安定化顔情報を生成することを想定する（この想定は、特に記述無き限り、以下の説明文の全てに適用される）。顔検出の安定化を施したい入力画像（今の例の場合、第ｎフレーム画像）を、「安定化対象画像」とも呼ぶ。

概略的には、顔検出安定化処理部２２は、顔領域及び顔領域周辺の画像変化を監視し、その画像変化をも考慮して最終的に検出すべき顔の位置等を決定する。

例えば、或る区間において、顔領域及び顔領域周辺に画像変化が殆どなければ顔自体及び顔の位置は変わっていないと判断することができる。また例えば、顔領域周辺に画像変化がなければ、顔自体は動いているかもしれないが顔の位置は変わっていないと判断できる。顔領域及び顔領域周辺の双方に画像変化がある場合は、顔の位置の移動等が発生したと判断できる。

そして例えば、顔の位置が変わっていないと判断できたならば、図４に示す如く、安定化対象画像の前のフレーム画像に対する顔検出結果を安定化対象画像に対する顔検出結果として流用することができる。これにより、安定化対象画像に対する顔検出処理部２１の顔検出が失敗したとしても、顔検出の途切れ等の発生を抑制可能である。

図３の顔検出安定化処理部２２内の各部の機能を概略的に説明する（詳細説明は、後述の各実施例内に設ける）。

エリア設定部３１は、エリア設定用画像についての顔検出情報に基づいて画像変化を監視するべき中心視エリア及び周辺視エリア（例えば、後述の図５（ａ）の中心視エリア２２０及び周辺視エリア２３０）を設定する。安定化対象画像が第ｎフレーム画像である場合、エリア設定用画像を第（ｎ−１）フレーム画像とする。

画像変化判定部３２は、安定化対象画像についての中心視エリア及び周辺視エリア内の各画像変化を検出する。安定化対象画像についての中心視エリア及び周辺視エリア内の各画像変化とは、安定化対象画像を含む２つの画像変化検出用画像間における中心視エリア及び周辺視エリア内の各画像変化である。安定化対象画像が第ｎフレーム画像である場合、上記２つの画像変化検出用画像は、第（ｎ−１）及び第ｎフレーム画像である。尚、画像変化判定部３２にて実施される処理を、総称して「画像変化検出処理」と呼ぶ。

安定化顔情報生成部３３は、画像変化判定部３２による画像変化検出処理の結果と、参照過去画像及び安定化対象画像についての顔検出情報とに基づいて、安定化対象画像についての安定化顔情報を生成して出力する。安定化対象画像が第ｎフレーム画像である場合、参照過去画像とは、第（ｎ−１）フレーム画像である。

以下に、図１の撮像装置１の顔検出機能に関与する詳細な実施例として、第１〜第４実施例を説明する。

＜＜第１実施例＞＞
まず、第１実施例について説明する。第１実施例では、エリア設定部３１によるエリア設定法について説明する。エリア設定部３１が利用可能なエリア設定法として、第１〜第４エリア設定法を個別に例示する。尚、本明細書では、画像内の或る部分を表す言葉としてエリアと領域という２つの文言を用いているが、両者は同義である。

［第１エリア設定法］
第１エリア設定法について説明する。図５（ａ）を参照する。図５（ａ）において、符号２００は、エリア設定用画像としての第（ｎ−１）フレーム画像である。符号２１０が付された破線矩形領域は、図２の顔検出処理部２１によって第（ｎ−１）フレーム画像から抽出された顔領域である。顔領域２１０の位置及び大きさは、第（ｎ−１）フレーム画像の顔検出情報によって特定される。

図５（ａ）において、符号２２０が付された実線矩形領域は、顔領域２１０を含む中心視エリア（基準エリア）である。中心視エリア２２０は、顔領域２１０についての顔の位置、大きさ及び向きに基づいて設定される。典型的には例えば、中心視エリア２２０の中心と顔領域２１０の中心を一致させる。また、図５（ｂ）に示す如く、顔の向きに応じて両中心をずらすようにしてもよい。中心視エリア２２０の大きさ（画像サイズ）は、顔領域２１０の大きさ（画像サイズ）に比例した大きさとする、或いは、顔領域２１０の大きさに応じた一定の大きさとする。

図５（ａ）において、符号２３０が付されたロの字状の斜線領域は、中心視エリア２２０の周辺に配置された周辺視エリア（周辺エリア）である。周辺視エリア２３０は、中心視エリア２２０に隣接しつつ中心視エリア２２０の全周を取り囲むように配置されたエリアであり、中心視エリア２２０と周辺視エリア２３０は互いに重なり合わない。故に、周辺視エリア２３０内には、顔領域２１０は存在しない。周辺視エリア２３０は、典型的には例えば、中心視エリア２２０の中心と中心が合致する、中心視エリア２２０よりもサイズの大きな矩形領域から、中心視エリア２２０を省いた部分とされる。

第１エリア設定法を採用する場合、図３のエリア設定部３１は、エリア設定用画像の顔検出情報に基づいて中心視エリア２２０及び周辺視エリア２３０を設定し、入力画像上における中心視エリア２２０及び周辺視エリア２３０の位置及び大きさを画像変化判定部３２に伝達する。画像変化判定部３２は、２つの画像変化検出用画像（今の例の場合、第（ｎ−１）及び第ｎフレーム画像）に対して中心視エリア２２０及び周辺視エリア２３０を設定し、２つの画像変化検出用画像間において中心視エリア２２０及び周辺視エリア２３０内の各画像変化を検出する。これにより、中心視エリア２２０及び周辺視エリア２３０内の動き（顔が動いたか等）を把握することができる。

尚、図５（ａ）は、顔が傾いていない時の例を示しているが、顔が傾いているときは、その顔の傾きに応じて中心視エリア２２０及び周辺視エリア２３０も傾く（第２〜第４エリア設定法についても同様）。

［第２エリア設定法］
次に、第２エリア設定法について説明する。図６（ａ）及び（ｂ）を参照する。図６（ａ）において、符号２００はエリア設定用画像としての第（ｎ−１）フレーム画像であり、顔領域２１０及び中心視エリア２２０は、図５（ａ）のそれらと同じものである。

第２エリア設定法では、周辺視エリアが４つに分割されており、上エリア２３１、下エリア２３２、左エリア２３３及び右エリア２３４によって、図５（ａ）に示すそれと同じ周辺視エリア２３０が形成される。尚、図６（ｂ）は、周辺視エリア２３０の部分のみを抽出した図である。また、記述の簡略化上、以下、上エリア、下エリア、左エリア及び右エリアを、夫々単にエリアとも記述する。

図６（ａ）の紙面上側と合致する顔の額側を上とし、図６（ａ）の紙面下側と合致する顔の顎側を下と定義する。上エリア２３１は周辺視エリア２３０内の上側の一部矩形領域であり、下エリア２３２は周辺視エリア２３０内の下側の一部矩形領域であり、左エリア２３３は周辺視エリア２３０内の左側の一部矩形領域であり、右エリア２３４は周辺視エリア２３０内の右側の一部矩形領域である。各エリア２３１〜２３４を合成したエリアが周辺視エリア２３０であり、各エリア２３１〜２３４は互いに重なり合わない。

第２エリア設定法を採用する場合、図３のエリア設定部３１は、エリア設定用画像の顔検出情報に基づいて中心視エリア２２０及びエリア２３１〜２３４を設定し、入力画像上における中心視エリア２２０及びエリア２３１〜２３４の位置及び大きさを画像変化判定部３２に伝達する。画像変化判定部３２は、２つの画像変化検出用画像（今の例の場合、第（ｎ−１）及び第ｎフレーム画像）に対して中心視エリア２２０及びエリア２３１〜２３４を設定し、２つの画像変化検出用画像間において中心視エリア２２０及びエリア２３１〜２３４内の各画像変化を検出する。

また、顔領域の下側には人物の身体が存在しているため、下エリア２３２には人物の身体が描画されることとなる。そして、顔の位置が変わっていなくても身体は動きうる。本実施形態では、顔領域周辺の変化を監視して顔の位置が変化したのか否か等を判断し、これによって顔検出の安定化を図ろうとしているため、顔の位置に変化を及ぼさないような身体の動きは、顔検出の安定化にとって、いわばノイズ成分となる。身体の動きを考慮して、顔領域周辺に変化が生じたか否かを判別する判定閾値を大きめに設定しておくという手法をとることもできるが、周辺視エリアの分割によって、これに対応することが可能である。

つまり、画像変化判定部３２の画像変化検出処理において、エリア２３１〜２３４の一部を無視するようにしてもよい。エリア２３１〜２３４の内、何れのエリアを無視するかは、エリア設定用画像の顔検出情報に応じて決定することができる。例えば、図６（ａ）の例の場合、顔の顎側のエリア（即ち、身体の一部を含むエリア）である下エリア２３２を、画像変化検出処理において無視するようにする。尚、顔検出可能な顔検出処理部２１（図２）は、当然、顔の額側や顎側を認識可能であり、その認識内容も顔検出情報に含まれている。

また、重力の向きを検出可能な傾きセンサ（不図示）を撮像装置１に設けることも可能であり、この場合は、傾きセンサの検出結果に基づいて、エリア２３１〜２３４の内の何れのエリアを無視するかを決定しても良い。つまり、傾きセンサによって検出された重力の向きから、エリア２３１〜２３４の内、何れのエリアが顔の顎側のエリア（即ち、身体の一部を含むエリア）であるかを特定し、特定されたエリアを画像変化検出処理において無視するようにする。

尚、画像変化検出処理において、エリア２３１〜２３４の内の何れかのエリアを完全に無視するのではなく、エリア２３１〜２３４の夫々に重みを付けた上で画像変化検出処理を実施するようにしても良い。例えば、顔の顎側のエリアである下エリア２３２の重みを他のエリア（２３１、２３３又は２３４）の重みよりも小さくすることによって、前者の画像変化が画像変化検出処理の結果に与える寄与度を後者のそれよりも小さくする。或るエリアに関し、重みをゼロにするということは、画像変化検出処理において、そのエリアを無視することと等価である。

［第３エリア設定法］
また、第２エリア設定法の如く周辺視エリアを分割するのではなく、図７に示す如く、周辺視エリアの形状をコの字状にすることによっても、身体の動きに対応可能である。これを第３エリア設定法とする。

図７において、符号２００はエリア設定用画像としての第（ｎ−１）フレーム画像であり、顔領域２１０及び中心視エリア２２０は、図５（ａ）のそれと同じものである。符号２３０ａが付されたコの字状の斜線領域は、第３エリア設定法に係る周辺視エリアであり、周辺視エリア２３０ａは、図６（ａ）のエリア２３１、２３３及び２３４を合成したエリアに相当する。

第３エリア設定法を採用する場合、図３のエリア設定部３１は、エリア設定用画像の顔検出情報に基づいて中心視エリア２２０及び周辺視エリア２３０ａを設定し、入力画像上における中心視エリア２２０及び周辺視エリア２３０ａの位置及び大きさを画像変化判定部３２に伝達する。画像変化判定部３２は、２つの画像変化検出用画像（今の例の場合、第（ｎ−１）及び第ｎフレーム画像）に対して中心視エリア２２０及び周辺視エリア２３０ａを設定し、２つの画像変化検出用画像間において中心視エリア２２０及び周辺視エリア２３０ａ内の各画像変化を検出する。

［第４エリア設定法］
次に、第４エリア設定法について説明する。図８を参照する。図８において、符号２００はエリア設定用画像としての第（ｎ−１）フレーム画像であり、顔領域２１０、中心視エリア２２０は、図５（ａ）のそれらと同じものである。

図８において、符号２４０は、中心視エリア２２０の周辺に配置された第１周辺視エリアである。第１周辺視エリア２４０は、ロの字状の領域であり、図５（ａ）の周辺視エリア２３０と同様のものである（但し、サイズは異なりうる）。つまり、第１周辺視エリア２４０は、中心視エリア２２０に隣接しつつ中心視エリア２２０の全周を取り囲むように配置されたエリアであり、中心視エリア２２０と第１周辺視エリア２４０は互いに重なり合わない。第１周辺視エリア２４０は、典型的には例えば、中心視エリア２２０の中心と中心が合致する、中心視エリア２２０よりもサイズの大きな矩形領域から、中心視エリア２２０を省いた部分とされる。

図８において、符号２５０が付されたロの字状の斜線領域は、第１周辺視エリア２４０の周辺に配置された第２周辺視エリアである。第２周辺視エリア２５０は、第１周辺視エリア２４０に隣接しつつ第１周辺視エリア２４０の全周を取り囲むように配置されたエリアであり、第１周辺視エリア２４０と第２周辺視エリア２５０は互いに重なり合わない。

第４エリア設定法を採用する場合、図３のエリア設定部３１は、エリア設定用画像の顔検出情報に基づいて中心視エリア２２０、第１周辺視エリア２４０及び第２周辺視エリア２５０を設定し、入力画像上における中心視エリア２２０、第１周辺視エリア２４０及び第２周辺視エリア２５０の位置及び大きさを画像変化判定部３２に伝達する。画像変化判定部３２は、２つの画像変化検出用画像（今の例の場合、第（ｎ−１）及び第ｎフレーム画像）に対して中心視エリア２２０、第１周辺視エリア２４０及び第２周辺視エリア２５０を設定し、２つの画像変化検出用画像間において中心視エリア２２０、第１周辺視エリア２４０及び第２周辺視エリア２５０内の各画像変化を検出する。

第４エリア設定法における周辺視エリアは、第１周辺視エリア２４０及び第２周辺視エリア２５０を合成したエリアであり、周辺視エリアが階層化されている。周辺視エリアを階層化ことにより、より高度な画像変化状態を検出可能となる。例えば、顔の位置が移動した場合と、顔が他の物体によって隠れた場合とを、正確に区別することも可能となる。なぜなら、顔の位置が移動した場合は、中心視エリア２２０、第１周辺視エリア２４０、第２周辺視エリア２５０の順番で動きが伝播するのに対して、顔が他の物体によって隠れた場合は、第２周辺視エリア２５０、第１周辺視エリア２４０、中心視エリア２２０の順番で動きが伝播するからであり、各エリアの画像変化を監視することで両者の区別が可能となるからである。

尚、第１エリア設定法を第２エリア設定法に変形したように、第１周辺視エリア２４０及び第２周辺視エリア２５０の夫々を、複数のエリアに分割するようにしてもよい。そして、顔の顎側のエリア（即ち、身体の一部を含むエリア）を画像変化検出処理において無視するようにしてもよい。また、第３エリア設定法のように、第１周辺視エリア２４０及び第２周辺視エリア２５０の夫々を、顔の顎側のエリアを含まない、コの字状の領域としてもよい。

また、説明の明確化及び具体化のため、中心視エリア２２０と周辺視エリア２３０又は２３０ａとが互いに重なり合わない場合を想定したが、両者の一部が重なり合っていても構わない（図５（ａ）及び図７参照）。これは、「互いに重なり合わない」と述べた他のエリア間についても当てはまる。つまり例えば、図６（ａ）のエリア２３１の一部と中心視エリア２２０の一部、図６（ａ）のエリア２３１の一部とエリア２３３の一部、図８の中心視エリア２２０の一部と第１周辺視エリア２４０の一部、又は、図８の第１周辺視エリア２４０の一部と第２周辺視エリア２５０の一部が重なり合っていても構わない。

＜＜第２実施例＞＞
次に、第２実施例について説明する。第２実施例では、図３の画像変化判定部３２で実施される画像変化の検出手法を説明する。

画像変化判定部３２は、エリア設定部３１で設定されたエリアの夫々を検出対象エリアとして取り扱い、検出対象エリアごとに検出対象エリア内の画像変化を検出する。

例えば、エリア設定部３１が上述の第１エリア設定法を採用する場合は、図５（ａ）の中心視エリア２２０及び周辺視エリア２３０の夫々が検出対象エリアとして取り扱われる。エリア設定部３１が上述の第２エリア設定法を採用する場合は、図６（ａ）の中心視エリア２２０並びにエリア２３１〜２３４の夫々が検出対象エリアとして取り扱われる。エリア設定部３１が上述の第３エリア設定法を採用する場合は、図７の中心視エリア２２０及び周辺視エリア２３０ａの夫々が検出対象エリアとして取り扱われる。エリア設定部３１が上述の第４エリア設定法を採用する場合は、図８の中心視エリア２２０並びに第１周辺視エリア２４０及び第２周辺視エリア２５０の夫々が検出対象エリアとして取り扱われる。

但し、画像変化検出処理において無視されるエリアは、検出対象エリアとならない。例えば、上述の第２エリア設定法の例において、図６（ａ）の下エリア２３２を画像変化検出処理において無視することができると述べたが、その場合、下エリア２３２は検出対象エリアとならない。

画像変化判定部３２は、２つの画像変化検出用画像（今の例の場合、第（ｎ−１）及び第ｎフレーム画像）間における各検出対象エリア内の画像変化を検出する。或る１つの検出対象エリアに着目して、画像変化の検出手法を説明する。

［動きベクトルによる画像変化検出］
例えば、画像変化判定部３２は、各画像変化検出用画像における検出対象エリア内の映像信号（画像データ）に基づいて動きベクトルを算出し、この動きベクトルの算出によって検出対象エリア内の画像変化を検出する。着目した検出対象エリアについて算出された動きベクトルは、その検出対象エリア内の画像の動きの向き及び大きさを特定する。

動きベクトルの算出手法自体は公知であるため、その詳細な算出手法の説明を割愛する。例えば、特開昭６１−２０１５８１号公報等に示されている代表点マッチング法を用いて動きベクトルを算出することができる。また、検出対象エリアのオプティカルフローを検出することによって動きベクトルを算出しても良い。オプティカルフローは、上記非特許文献１（特にページ３６〜４０）等に示されている、ブロックマッチング法、勾配法又はＬＫ（Lucas-Kanade）法に基づいて検出することができる。

１つの検出対象エリアに対して１つの動きベクトルを算出するようにしても構わないが、より高度な画像変化検出を行うために、検出対象エリアを複数のブロックに分割し、ブロックごとに動きベクトルを算出するとよい。この場合、１つの検出対象エリアに対して複数の動きベクトルが算出される。

動きベクトルを算出する場合、検出対象エリア内の画像変化を以下のように判断することができる。即ち、着目した検出対象エリアの動きベクトルの大きさが所定の判定閾値未満である場合、その検出対象エリア内の画像変化はないと判断し、その動きベクトルの大きさが該判定閾値以上である場合、その検出対象エリア内の画像変化があると判断する。尚、「画像変化がない」とは、画像変化が完全にないことを意味するだけでなく、画像変化が殆どないことをも意味する概念である。また、検出対象エリア内の画像変化を、検出対象エリア内の状態変化とも言い換えることができる。

また、１つの検出対象エリアに対して複数の動きベクトルを算出する場合は、複数の動きベクトルの大きさの平均値を算出し、その平均値と所定の判定閾値とを比較すれば良い。そして、その平均値が該判定閾値未満である場合に、着目した検出対象エリア内の画像変化はないと判断し、その平均値が該判定閾値以上である場合に、検出対象エリア内の画像変化はあると判断する。尚、複数の動きベクトルの大きさの平均値の代わりに、複数の動きベクトルの大きさの最大値を用いて画像変化の有無を検出するようにしてもよい。最大値の方が画像変化の有無検出に適している場合があるからである。同様に、複数の動きベクトルの大きさの平均値の代わりに、複数の動きベクトルの大きさの、最頻値、最小値又は中央値などを用いることも可能である。

［カメラ制御情報による画像変化検出］
動きベクトルではなく、カメラ制御情報に基づいて画像変化を検出することも可能である。これについて説明する。

カメラ制御情報とは、例えば、自動露出制御に利用可能なＡＥ評価値である。ＡＥ評価値は、着目したエリア内の画像の明るさに応じた値を持ち、例えば、着目したエリア内の輝度信号値の平均値とされる。ＡＥ評価値によって表される画像の明るさの変化によって、画像変化（顔の位置の移動等）を検出可能である。ＡＥ評価値を利用する場合、２つの画像変化検出用画像における検出対象エリア内のＡＥ評価値を算出し、一方の画像変化検出用画像におけるＡＥ評価値と他方の画像変化検出用画像におけるＡＥ評価値とを比較する。そして、両者の差分値が所定の差分閾値未満である場合、着目した検出対象エリア内の画像変化はないと判断し、そうでない場合、着目した検出対象エリア内の画像変化はあると判断する。

また、カメラ制御情報とは、例えば、オートフォーカス制御に利用可能なＡＦ評価値である。ＡＦ評価値は、着目したエリア内の画像のコントラスト量（エッジ量）に応じた値を持ち、例えば、該エリア内の画像に含まれる所定の高域周波数成分の積算値から算出される。ＡＥ評価値によって表される画像のコントラスト量の変化によって、画像変化（顔の位置の移動等）を検出可能である。ＡＦ評価値を利用する場合も、ＡＥ評価値を利用する場合と同様にして、検出対象エリア内の画像変化の有無検出が可能である。即ち、ＡＦ評価値を利用する場合、２つの画像変化検出用画像における検出対象エリア内のＡＦ評価値を算出し、一方の画像変化検出用画像におけるＡＦ評価値と他方の画像変化検出用画像におけるＡＦ評価値とを比較する。そして、両者の差分値が所定の差分閾値未満である場合、着目した検出対象エリア内の画像変化はないと判断し、そうでない場合、着目した検出対象エリア内の画像変化はあると判断する。

また、カメラ制御情報とは、例えば、オートホワイトバランス制御に利用可能なＡＷＢ評価値である。オートホワイトバランス制御では、着目したエリア内の画像のＲＧＢ信号の比率が所望の比率となるように自動制御され、その自動制御の元となる評価値がＡＷＢ評価値である。ＡＷＢ評価値は、例えば、着目したエリア内の画像のＲＧＢ信号の比率に応じた値を持つ。検出対象エリア内の画像に動きが生じた場合（顔の位置の移動等が生じた場合）、検出対象エリアについてのＡＷＢ評価値に変化が生じる。故に、ＡＷＢ評価値に基づいても、ＡＥ評価値又はＡＦ評価値を利用する場合と同様にして、検出対象エリア内の画像変化の有無検出が可能である。

尚、エリア設定部３１で設定される中心視エリアや周辺視エリア等の各エリアを、カメラ制御情報の算出用のエリアに合わせ込むようにしてもよい。例えば、カメラ制御情報の算出用のエリアは、フレーム画像を縦方向に１６分割し且つ横方向に１６分割して得られる合計２５６個の分割エリアの夫々とされ、その合計２５６個の分割エリアの夫々に対してカメラ制御情報が算出されるが、エリア設定部３１で設定される各エリア（中心視エリアや周辺視エリア）を１又は複数の分割エリアから形成するようにしてもよい。つまり例えば、図２の顔検出処理部２１によって抽出された顔領域の位置及び大きさに基づきつつ、その顔領域を含む、１つの分割エリア又は互いに隣接する複数の分割エリアの合成エリアを中心視エリヤとして設定する。このようにすれば、カメラ制御情報を中心視エリアや周辺視エリア用に再計算する必要がなくなる。

自動露出制御を実行するために顔検出部１８外で算出されたＡＥ評価値、オートフォーカス制御を実行するために顔検出部１８外で算出されたＡＦ評価値、又は、オートホワイトバランス制御を実行するために顔検出部１８外で算出されたＡＷＢ評価値を流用することによって検出対象エリア内の画像変化を検出することもできるが、画像変化の検出を行うために、それに適したＡＥ評価値、ＡＦ評価値又はＡＷＢ評価値を算出する部位を図３の画像変化判定部３２内に設けるようにしてもよい。

動きベクトルを用いる場合もカメラ制御情報を用いる場合も、結局、画像変化判定部３２は、各画像変化検出用画像における検出対象エリア内の映像信号（画像データ）に基づいて検出対象エリア内の画像変化を検出していることになる。

＜＜第３実施例＞＞
次に、第３実施例について説明する。第３実施例では、図３の画像変化判定部３２の画像変化検出処理に基づく安定化顔情報の生成手法を説明する。第３実施例は、上述の第１及び第２実施例と組み合わせて実施される。第１実施例の如く中心視エリア及び周辺視エリアが設定され、第２実施例の如く、検出対象エリアとしての中心視エリア及び周辺視エリアの各画像変化が検出される。

第３実施例において、周辺視エリアとは、第１又は第２エリア設定法を採用した場合は図５（ａ）又は図６（ｂ）の周辺視エリア２３０を指し、第３エリア設定法を採用した場合は図７の周辺視エリア２３０ａを指し、第４エリア設定法を採用した場合は図８の第１周辺視エリア２４０及び第２周辺視エリア２５０の合成エリアを指す。中心視エリアとは、何れのエリア設定法を用いた場合も、中心視エリア２２０を指す（図５（ａ）等参照）。

画像変化判定部３２は、検出した中心視エリア及び周辺視エリアの各画像変化の有無に基づいて、安定化対象画像についての画像変化状態を４つの状態の何れかに分類する。この分類処理を「概略分類処理」という。また、上記４つの状態を、第１、第２、第３及び第４分類状態と呼ぶ。第４分類状態に分類された場合、画像変化判定部３２は、更に「詳細分類処理」を実施する。図９に、概略分類処理及び詳細分類処理の内容を大まかに示す。

概略分類処理において、中心視エリア及び周辺視エリアの双方に画像変化がないと判断される場合は、第１分類状態に分類する。この場合は、前フレームからの変化がなく、顔の位置に変化はないと考えられる。例えば、図５（ａ）に対応する第１エリア設定法を採用する場合は、第（ｎ−１）及び第ｎフレーム画像間において中心視エリア２２０及び周辺視エリア２３０内の各画像変化が第２実施例の如く検出され、中心視エリア２２０及び周辺視エリア２３０の双方の画像変化がないと判断される場合は、第１分類状態に分類する。

概略分類処理において、中心視エリア内の画像変化はあるものの、周辺視エリア内の画像変化がないと判断される場合は、第２分類状態に分類する。この場合は、首振り動作等によって顔領域（及び顔領域近傍）に変化があるものの、顔の位置自体には変化はないと考えられる。

概略分類処理において、中心視エリア内の画像変化はないが、周辺視エリア内の画像変化があると判断される場合は、第３分類状態に分類する。ノイズの影響、顔領域周辺の木の葉の揺れ、身体の揺れ等によって第３分類状態に分類されうる。但し、この場合も、顔の位置自体には変化はないと考えられる。

尚、上述の第２エリア設定法を採用して周辺視エリアが細分化されている場合は、図６（ａ）のエリア２３１〜２３４の全てにおいて画像変化がない場合に、周辺視エリア内の画像変化がないと判断し、エリア２３１〜２３４の何れかに画像変化がある場合は、周辺視エリア内の画像変化はあると判断する。

また、第２実施例で述べたように、画像変化検出処理において無視されるエリアは画像変化の検出対象エリアとなっていないため、その無視されるエリアの画像変化は、概略分類処理及び詳細分類処理に影響を与えない（概略分類処理及び詳細分類処理において無視される）。例えば、上述の第２エリア設定法の例において、図６（ａ）の下エリア２３２を画像変化検出処理において無視することができると述べたが、第２エリア設定法を採用して且つ下エリア２３２を無視する場合、上エリア２３１、左エリア２３３及び右エリア２３４のみを含む周辺視エリアを想定する。そして、上エリア２３１、左エリア２３３及び右エリア２３４の全てに画像変化がない場合、周辺視エリア内の画像変化はないと判断し、上エリア２３１、左エリア２３３及び右エリア２３４の何れかに画像変化がある場合、周辺視エリア内の画像変化はあると判断する。

第１〜第３分類状態に分類された場合は、何れも顔の位置自体に変化はないものと考えられる。このため、前のフレーム画像に対する顔検出情報を安定化対象画像に対する安定化顔情報として流用することができ、これによって顔検出の途切れ及びふらつき等を抑制可能である。但し、安定化対象画像である第ｎフレーム画像の顔検出情報がある場合とない場合とで取り扱いを異なせることも可能である。即ち例えば、第１〜第３分類状態に分類された場合において、第ｎフレーム画像の顔検出情報がないときは、参照過去画像としての第（ｎ−１）フレーム画像の顔検出情報を第ｎフレーム画像に対する安定化顔情報としてそのまま用いる。一方において、第ｎフレーム画像の顔検出情報があるときは、第ｎフレーム画像の顔検出情報そのものを第ｎフレーム画像に対する安定化顔情報とする、或いは、第（ｎ−１）及び第ｎフレーム画像の顔検出情報の双方を考慮して第ｎフレーム画像に対する安定化顔情報を生成する。

概略分類処理において、中心視エリア及び周辺視エリアの双方に画像変化があると判断される場合、安定化対象画像は第４分類状態に分類され、更に「詳細分類処理」が実施される。

第４分類状態は、詳細分類処理によって、第１〜第３細分化状態の何れかに細分化される。第１細分化状態は、着目した人物が歩くこと等によって、実空間において実際に顔が移動した状態に相当する。第２細分化状態は、所謂手ぶれやパン又はチルト操作によって撮像装置１自体が動いた状態に相当する。第３細分化状態は、顔の前に他の物体が進入し顔が他の物体によって隠れた状態に相当する（オクルージョンの発生）。

動きベクトルに基づいて画像変化の検出を行った場合を想定して、詳細分類処理の手順を説明する。この場合、まず、中心視エリアの動きベクトルの向き及び大きさが周辺視エリアの動きベクトルの向き及び大きさと同じであるか否かを判断し、同じである場合は、ぶれやパン又はチルト操作によって撮像装置１自体が動いたと判断して、安定化対象画像を第２細分化状態に分類する。尚、動きベクトルの向き及び大きさに関する「同じ」とは、完全に「同じ」だけでなく実質的に「同じ」であることをも意味する幅のある概念である。また、撮像装置１の角速度を検出するためのジャイロセンサ（不図示）が撮像装置１に設けられている場合は、そのジャイロセンサの検出結果から得られた、撮像装置１の全体の動きを表す全体動きベクトルを利用することで安定化対象画像が第２細分化状態に分類されるか否かを判断することもできる。

中心視エリアの動きベクトルの向き及び大きさが周辺視エリアの動きベクトルの向き及び大きさと同じでない場合、安定化対象画像は、第１及び第３細分化状態の何れかに分類される。第１と第３細分化状態間の区別も、中心視エリア及び周辺視エリアの動きベクトルに基づいて行うことができる。

例えば、第２実施例で述べたように、１つの検出対象エリアを複数のブロックに分割し、中心視エリア及び周辺視エリアの夫々について複数の動きベクトルを検出するようにする。この場合において、第（ｎ−１）及び第ｎフレーム間で、顔の位置が右方向に移動した場合、図１０（ａ）に示す如く、中心視エリア及び周辺視エリアの各動きベクトルの向きは右向き（中心視エリアから出て行く向き）となり且つ周辺視エリアにおいて右側にのみ有意な大きさを有する右向きの動きベクトルが検出される。このような動きベクトルが検出されたならば安定化対象画像を第１細分化状態に分類する。また、第（ｎ−１）及び第ｎフレーム間で、顔の右側から他の物体が顔の前に侵入してきた場合、図１０（ｂ）に示す如く、中心視エリア及び周辺視エリアの各動きベクトルの向きは左向き（中心視エリアに入っていく向き）となり且つ周辺視エリアにおいて右側にのみ有意な大きさを有する左向きの動きベクトルが検出される。このような動きベクトルが検出されたならば安定化対象画像を第３細分化状態に分類する。

第４分類状態に分類された場合、図３の安定化顔情報生成部３３は、第（ｎ−１）フレーム画像の顔検出情報と第ｎ及び第（ｎ−１）フレーム画像間における中心視エリア及び周辺視エリアの動きベクトルに基づいて第ｎフレーム画像における顔の位置等を推定する。

例えば、第（ｎ−１）及び第ｎフレーム間で顔の位置が右方向に移動して図１０（ａ）に示すような動きベクトルが検出された時は、第ｎフレーム画像を第１細分化状態に分類すると共に、第ｎフレーム画像における顔の位置が、第（ｎ−１）フレーム画像の顔検出情報によって特定される顔の位置よりも右方向にずれていると推定する（ずれの向き及びずれ量は動きベクトルの向き及び大きさから決定できる）。
また例えば、第（ｎ−１）及び第ｎフレーム間で顔の右側から他の物体が顔の前に侵入してきて図１０（ｂ）に示すような動きベクトルが検出された時は、第ｎフレーム画像を第３細分化状態に分類すると共に、第ｎフレーム画像における顔の位置は、第（ｎ−１）フレーム画像の顔検出情報によって特定される顔の位置と同じであると推定する。
また例えば、第ｎフレーム画像が第２細分化状態に分類された場合は、第ｎ及び第（ｎ−１）フレーム画像間における中心視エリア及び周辺視エリアの動きベクトルに相当する分だけ、第ｎフレーム画像における顔の位置が、第（ｎ−１）フレーム画像の顔検出情報によって特定される顔の位置からずれていると推定する（ずれの向き及びずれ量は動きベクトルの向き及び大きさから決定できる）。上述の如く推定された顔の位置を推定顔位置という。

第４分類状態に分類された場合は、安定化対象画像である第ｎフレーム画像の顔検出情報がある場合とない場合とで安定化顔情報の生成手法が異なる。

第ｎフレーム画像が第４分類状態に分類され且つ第ｎフレーム画像の顔検出情報がない場合は、上記の推定顔位置より、第ｎフレーム画像の安定化顔情報を生成する。つまり、上記の推定顔位置を、第ｎフレーム画像の安定化顔情報によって特定される顔の位置とする。また、第ｎフレーム画像の安定化顔情報によって特定される顔の大きさ等は、第（ｎ−１）フレーム画像のそれと同じとされる。

第ｎフレーム画像が第４分類状態に分類され且つ第ｎフレーム画像の顔検出情報がある場合は、上記の推定顔位置と第ｎフレーム画像の顔検出情報によって特定される顔の位置の何れかを、第ｎフレーム画像の安定化顔情報における顔の位置とする。基本的には、第（ｎ−１）フレーム画像の安定化顔情報における顔の位置に近い方を、第ｎフレーム画像の安定化顔情報における顔の位置とする。これにより、検出顔位置のふらつきが抑制される。尚、第ｎフレーム画像の安定化顔情報によって特定される顔の大きさ等は、第ｎフレーム画像の顔検出情報に従えばよい。

＜＜第４実施例＞＞
次に、第４実施例について説明する。第４実施例でも、第３実施例と同様、図３の画像変化判定部３２の画像変化検出処理に基づく安定化顔情報の生成手法を説明する。第４実施例も、上述の第１及び第２実施例と組み合わせて実施される。但し、第４実施例では、図３のエリア設定部３１において上述の第４エリア設定法が採用された場合のみを想定する。

第４エリア設定法を採用する場合も、概略分類処理は第３実施例におけるそれと同じである。概略分類処理において安定化対象画像が第４分類状態に分類された場合、詳細分類処理を実行する。第４エリア設定法の採用は、特に、第１と第３細分化状態の区別に関与する、オクルージョンの発生検知に有益である。オクルージョンの発生検知の原理を、図１１（ａ）〜（ｃ）を参照して説明する。

第（ｎ−２）フレーム〜第ｎフレーム間において、入力画像内の顔の位置が静止している状態を想定する。この場合、第（ｎ−２）〜第ｎフレーム画像の夫々に対して、同じ位置に中心視エリア２２０、第１周辺視エリア２４０及び第２周辺視エリア２５０が設定される。そして、第（ｎ−２）フレーム〜第ｎフレーム間において、顔の右側から物体３００が顔に向かって進入してきた場合を想定する。図１１（ａ）、（ｂ）及び（ｃ）は、夫々、第（ｎ−２）フレーム画像、第（ｎ−１）フレーム画像及び第ｎフレーム画像内に設定された中心視エリア２２０、第１周辺視エリア２４０及び第２周辺視エリア２５０を、上記の物体３００と共に示している。

第（ｎ−２）フレーム画像において物体３００は第２周辺視エリア２５０内に位置しているが、第（ｎ−２）及び第（ｎ−１）フレーム間において物体３００が左方向に移動することにより、 第（ｎ−１）フレーム画像において物体３００が第１周辺視エリア２４０内に位置したものとする。そして、第（ｎ−１）及び第ｎフレーム間において物体３００が更に左方向に移動することにより、 第ｎフレーム画像において物体３００が中心視エリア２２０内に位置したものとする。

この場合、第（ｎ−２）及び第（ｎ−１）フレーム画像間において、第１周辺視エリア２４０と第２周辺視エリア２５０の双方に画像変化が表れ、また、第（ｎ−１）及び第ｎフレーム画像間において、第１周辺視エリア２４０と中心視エリア２２０の双方に画像変化が表れる。このような画像変化を検出することで、物体３００による顔のオクルージョンの発生を検知することが可能である。

具体的には以下のようにして、詳細分類処理を実行する。図１１（ｂ）及び（ｃ）に示すような物体３００の移動があった場合は、中心視エリア及び周辺視エリアの双方に画像変化があると判断されて、安定化対象画像は第４分類状態に分類され、詳細分類処理が実行される。詳細分類処理では、まず、安定化対象画像が第２細分化状態に分類されるか否かを判断する。この判断は、第３実施例と同様にできる。

安定化対象画像が第２細分化状態に分類されない場合、第１と第３細分化状態を区別する。この区別に当たり、図３の画像変化判定部３２は、第（ｎ−１）及び第ｎフレーム画像間の画像変化だけでなく、第（ｎ−２）及び第（ｎ−１）フレーム画像間の画像変化をも参照する。故に、第４実施例では、図３の画像変化判定部３２に対する画像変化検出用画像は、３つのフレーム画像（第（ｎ−２）〜第ｎフレーム画像）を含むこととなる。

画像変化判定部３２は、第（ｎ−２）及び第（ｎ−１）フレーム画像間における中心視エリア２２０、第１周辺視エリア２４０及び第２周辺視エリア２５０内の各画像変化の有無を検出する。この検出結果は、第（ｎ−１）フレーム画像を安定化対象画像とした時における画像変化検出処理において既に得られているため、それを利用することができる。そして、第（ｎ−２）及び第（ｎ−１）フレーム画像間において、第１周辺視エリア２４０と第２周辺視エリア２５０内にのみ画像変化があると判断される場合は、第ｎフレーム画像において顔のオクルージョンが発生していると判断して第ｎフレーム画像（安定化対象画像）を第３細分化状態に分類する一方、そうでない場合は、第ｎフレーム画像（安定化対象画像）を第１細分化状態に分類する。

第１と第３細分化状態の区別は、動きベクトルに基づく画像変化の有無検出によっても、カメラ制御情報に基づく画像変化の有無検出によっても実行可能である。

第１〜第３細分化状態の何れかへの分類が終了した後の処理は、第３実施例とほぼ同様である。即ち、図３の安定化顔情報生成部３３は、第（ｎ−１）フレーム画像の顔検出情報と第ｎ及び第（ｎ−１）フレーム画像間における中心視エリア及び周辺視エリアの動きベクトルに基づいて第ｎフレーム画像における顔の位置等を推定し、上述の推定顔位置を決定する。特に、安定化対象画像としての第ｎフレーム画像が第３細分化状態に分類された場合、推定顔位置を、第（ｎ−１）フレーム画像の顔検出情報によって特定される顔の位置と同じとすればよい。第１又は第２細分化状態に分類された場合の推定処理は、第３実施例と同様である。

そして、第ｎフレーム画像が第４分類状態に分類され且つ第ｎフレーム画像の顔検出情報がない場合は、上記の推定顔位置より、第ｎフレーム画像の安定化顔情報を生成する。つまり、上記の推定顔位置を、第ｎフレーム画像の安定化顔情報によって特定される顔の位置とする。また、第ｎフレーム画像の安定化顔情報によって特定される顔の大きさ等は、第（ｎ−１）フレーム画像のそれと同じとされる。

第ｎフレーム画像が第４分類状態に分類され且つ第ｎフレーム画像の顔検出情報がある場合は、上記の推定顔位置と第ｎフレーム画像の顔検出情報によって特定される顔の位置の何れかを、第ｎフレーム画像の安定化顔情報における顔の位置とする。基本的には、第（ｎ−１）フレーム画像の安定化顔情報における顔の位置に近い方を、第ｎフレーム画像の安定化顔情報における顔の位置とする。これにより、検出顔位置のふらつきが抑制される。尚、第ｎフレーム画像の安定化顔情報によって特定される顔の大きさ等は、第ｎフレーム画像の顔検出情報に従えばよい。

＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈６を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
図８に対応する第４エリア設定法では周辺視エリアを２段階に階層化しているが、周辺視エリアを３以上の段階で階層化してもよい。例えば、周辺視エリアを３段階に階層化すれば、４つのフレーム画像に基づくことによって、より高精度にオクルージョンの発生検知を行うことができる。

［注釈２］
図３のエリア設定部３１は、エリア設定用画像についての顔検出情報に基づいて画像変化を監視するべき中心視エリア及び周辺視エリアを設定する。この際、上述の例では、安定化対象画像が第ｎフレーム画像である場合、エリア設定用画像を第（ｎ−１）フレーム画像とした。

第ｎフレーム画像を基準として顔領域及び顔領域周辺の画像変化を監視したいのであるから、なるだけ近い過去のフレーム画像の顔検出情報を用いて上記エリアを設定した方が望ましい（遠い過去のフレーム画像における顔位置等は、第ｎフレーム画像におけるそれとかけ離れている可能性が高いため）。故に、第（ｎ−１）フレーム画像をエリア設定用画像として取り扱うのが望ましいのであるが、それよりも過去のフレーム画像（例えば、第（ｎ−２）フレーム画像）をエリア設定用画像とすることも可能ではある。

仮に、エリア設定用画像を第（ｎ−２）フレーム画像とした場合、第（ｎ−２）フレーム画像の顔検出情報に基づいて、第ｎフレーム画像に対する中心視エリア及び周辺視エリアが設定される。

［注釈３］
図３の安定化顔情報生成部３３は、画像変化判定部３２による画像変化検出処理の結果と、参照過去画像及び安定化対象画像についての顔検出情報とに基づいて、安定化対象画像についての安定化顔情報を生成する。この際、上述の例では、安定化対象画像が第ｎフレーム画像である場合、参照過去画像を第（ｎ−１）フレーム画像とした。

参照過去画像は、安定化対象画像における顔の位置の推定等に用いられるため、なるだけ近い過去のフレーム画像とすべきである。故に、第（ｎ−１）フレーム画像を参照過去画像として取り扱うのが望ましいのであるが、それよりも過去のフレーム画像（例えば、第（ｎ−２）フレーム画像）を参照過去画像とすることも可能ではある。

例えば、参照過去画像を第（ｎ−２）フレーム画像とした場合でも、安定化対象画像としての第ｎフレーム画像が第１〜第３分類状態に分類され且つ第ｎフレーム画像の顔検出情報がない時は、第（ｎ−２）フレーム画像の顔検出情報そのものを第ｎフレーム画像の安定化顔情報とするといった処理を行うことができ、これによって顔検出の途切れ等を有効に抑制できる。

尚、注釈２と本注釈（注釈３）から分かるように、同一の安定化対象画像に対するエリア設定用画像と参照過去画像は、互いに異なりうる。

［注釈４］
上述の実施形態では、中心視エリアと周辺視エリアの双方における画像変化を考慮して顔位置を最終的に検出するようにしているが、周辺視エリアの画像変化のみを考慮するだけでも顔検出の安定化に寄与する。例えば、第（ｎ−１）フレーム画像の顔検出情報があり且つ安定化対象画像としての第ｎフレーム画像の顔検出情報がない場合において、第（ｎ−１）及び第ｎフレーム画像間における周辺視エリア（図５（ａ）の周辺視エリア２３０等）の画像変化がないと判断される時は顔の位置に変化がないと推定されるため、第（ｎ−１）フレーム画像の顔検出情報そのものを第ｎフレーム画像の安定化顔情報とするといった処理を行うことができる。これによって顔検出の途切れ等を有効に抑制できる。

［注釈５］
上述の実施形態では、撮像装置１内に物体検出装置としての顔検出部１８を設け、入力画像内から検出する対象物（特定種類の物体）を人間の顔としているが、本発明はこれに限定されない。即ち、顔以外を入力画像内から検出すべき対象物として取り扱うことも可能である。例えば、入力画像内から検出すべき対象物を車両とすれば、本発明を駐車場管理システム等に適用することも可能である。顔以外の対象物の検出も公知の手法（パターンマッチング等）を用いることによって実現可能である。

［注釈６］
図１の撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図２及び図３に示される各部位の機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。

また、顔検出部１８にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしてもよい。

本発明の実施形態に係る撮像装置の全体ブロック図である。 図１の顔検出部の内部ブロック図である。 図２の顔検出安定化処理部の内部ブロック図である。 図２の顔検出安定化処理部の概略的機能を説明するための図である。 本発明の第１実施例に係り、図３のエリア設定部で設定される中心視エリア及び周辺視エリアの例（第１エリア設定法）を示す図（ａ）（ｂ）である。 本発明の第１実施例に係り、図３のエリア設定部で設定される中心視エリア及び周辺視エリアの例（第２エリア設定法）を示す図（ａ）と、周辺視エリアのみを抽出して示した図（ｂ）である。 本発明の第１実施例に係り、図３のエリア設定部で設定される中心視エリア及び周辺視エリアの例（第３エリア設定法）を示す図である。 本発明の第１実施例に係り、図３のエリア設定部で設定される中心視エリア及び周辺視エリアの例（第４エリア設定法）を示す図である。 本発明の第３実施例に係り、図３の画像変化判定部にて実施される概略分類処理及び詳細分類処理の内容を示す図である。 本発明の第３実施例に係り、顔が右方向に移動した時に現れる動きベクトルを示す図（ａ）と、右側から顔に向かって他の物体が進入してきた時に現れる動きベクトルを示す図（ｂ）である。 本発明の第４実施例に係り、周辺視エリアが階層化されている時に実施可能なオクルージョン検知の原理を説明するための図（ａ）（ｂ）（ｃ）である。

符号の説明

１ 撮像装置
１８ 顔検出部
２１ 顔検出処理部
２２ 顔検出安定化処理部
３１ エリア設定部
３２ 画像変化判定部
３３ 安定化顔情報生成部

Claims (9)

1. 動画像内における特定種類の物体の位置を前記動画像に基づいて検出する物体検出装置において、
   前記動画像内における前記物体の周辺の画像変化をも考慮して、前記物体の位置を検出する
   ことを特徴とする物体検出装置。
2. 動画像内における特定種類の物体の位置を前記動画像に基づいて検出する物体検出装置において、
   前記動画像内における前記物体の位置を暫定的に検出する第１検出手段と、
   前記第１検出手段の検出結果と、前記物体を含む基準エリア内及び前記基準エリアの周辺に位置する周辺エリア内の画像変化と、に基づいて前記動画像内における前記物体の位置を最終的に検出する第２検出手段と、を備えた
   ことを特徴とする物体検出装置。
3. 前記動画像は、時系列で並ぶ複数の入力画像から形成され、
   前記第１検出手段は、各入力画像内における前記物体の位置を暫定的に検出し、
   前記第２検出手段は、
   前記第１検出手段によって検出された過去の入力画像についての前記物体の位置に基づいて現在の入力画像に対する前記基準エリア及び前記周辺エリアを設定するエリア設定手段と、
   現在の入力画像に対して設定された前記基準エリア及び前記周辺エリアを現在と過去の入力画像に対して定義し、現在と過去の入力画像間における前記基準エリア及び前記周辺エリア内の画像変化を、現在の入力画像についての画像変化として検出する画像変化検出手段と、を備え、
   過去及び現在の入力画像に対する前記第１検出手段の検出結果と、前記画像変化検出手段によって検出された、現在の入力画像についての前記画像変化と、に基づいて現在の入力画像内における前記物体の位置を最終的に検出する
   ことを特徴とする請求項２に記載の物体検出装置。
4. 前記周辺エリアは、前記基準エリアの全周を囲むように設定され、
   前記画像変化検出手段は、前記周辺エリアの一部エリアを除外した上で、前記周辺エリアについての前記画像変化を検出する
   ことを特徴とする請求項２に記載の物体検出装置。
5. 前記周辺エリアは、前記基準エリアの全周の一部を囲むように設定される
   ことを特徴とする請求項２に記載の物体検出装置。
6. 前記周辺エリアは、前記基準エリアからの距離が比較的近い第１周辺エリアと前記基準エリアからの距離が比較的遠い第２周辺エリアとを含むように階層化され、
   前記第２検出手段は、前記第１検出手段の検出結果と、前記基準エリア並びに第１及び第２周辺エリア内の画像変化と、に基づいて前記物体の位置を最終的に検出する
   ことを特徴とする請求項２に記載の物体検出装置。
7. 前記特定種類の物体は、人物の顔である
   ことを特徴とする請求項１〜請求項６の何れかに記載の物体検出装置。
8. 被写体に応じた動画像を取得する撮像手段と、
   前記撮像手段によって得られた前記動画像を受ける、請求項１〜請求項７の何れかに記載の物体検出装置と、を備えた
   ことを特徴とする撮像装置。
9. 動画像内における特定種類の物体の位置を前記動画像に基づいて検出する物体検出方法において、
   前記動画像内における前記物体の周辺の画像変化をも考慮して、前記物体の位置を検出する
   ことを特徴とする物体検出方法。

Images