JP4777143B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、画像中の被写体検出技術に関する。

従来より、画像認識や音声認識の分野においては、特定の認識対象に特化した認識処理アルゴリズムを、コンピュータソフト、或いは専用並列画像処理プロセッサを用いたハードウェアにより実現することで認識対象を検出するものが知られている。

特に顔を含む画像から、この顔を特定の認識対象として検出するものとしては、従来から幾つか知られている。

例えば、顔の各部品の形状データと入力画像とのマッチング結果から被写体を検出する技術が開示されている（特許文献１参照）。この技術では、目、口、鼻等の形状データを用意しておき、まず２つの目を求める。続いて口、鼻等を求める際にその目の位置に基づいて、口、鼻等の顔部品の検索領域を限定する。つまり、このアルゴリズムでは、目、口、鼻といった顔を構成する顔部品を並列的に検出するのではなく、目を最初に見つけ、その結果を使用して順に口、鼻という顔部品を検出している。

また、モニター用に得られた画像中から人物の顔に相当する領域を画像処理によって検出する機能を有するカメラが提案されている。このカメラによれば、人物の顔が撮影画像のいずれの位置に存在する場合でも、人物の顔に焦点を合わせ、人物の顔に最適な露出で撮影を行うことが可能となる。
特開２００５−５６３８７号公報（第３２頁、図９）

しかしながら、上述した従来の方法では、撮影時の状況によっては、画像から顔を検出できない場合もある。例えば、撮影時にストロボ発光した時の画像では、発光時の閃光により人物の目は通常時よりも細くなっている場合があり、目として認識できないことがある。

また、動画撮影や連続撮影時の画像は、顔がカメラを向いていないシーンがあり、その場合は、顔がカメラを向いている時と比べて、目と口などの位置関係が変わってくるので顔として認識できなことがある。

また、検出した顔情報の位置情報により焦点や露出制御を行うカメラでは、主被写体だけでなく周辺人物も含めて検出した場合、主被写体でなく間違った人物について焦点や露出を合わせてしまうことがある。

上記課題を解決するために、本発明は、撮像手段にて得られた画像から、人物の目を含む顔における特徴を抽出して複数の項目のパラメータを求め、前記複数の項目のパラメータが予め設定した判定レベルに達していれば、前記特徴を含む領域を顔として検出する検出手段と、前記画像を生成した際の、前記撮像手段に設定されていた撮影モードおよびストロボ発光の有無を含む撮影情報を取得する取得手段と、を有し、前記複数の項目のパラメータには、目の横幅と縦幅の比を示す目の縦横比を示すパラメータ、目の色を示すパラメータ、および、それ以外のパラメータが含まれ、前記検出手段は、前記取得手段にて取得された撮影情報に応じて前記判定レベルを変更するものであって、前記ストロボ発光が行われていた場合には、前記複数の項目のうち、前記目の縦横比および目の色を示すパラメータについては前記ストロボ発光に対応する判定レベルを優先し、それ以外のパラメータについては前記撮像手段に設定されていた撮影モードに対応する判定レベルを優先する。

また、本発明の画像処理方法は、撮像手段にて得られた画像から人物の顔を検出する画像処理方法であって、前記撮像手段にて得られた画像から、人物の目を含む顔における特徴を抽出して複数の項目のパラメータを求め、前記複数の項目のパラメータが予め設定した判定レベルに達していれば、前記特徴を含む領域を顔として検出する検出ステップと、前記画像を生成した際の、前記撮像手段に設定されていた撮影モードおよびストロボ発光の有無を含む撮影情報を取得する取得ステップと、を有し、前記複数の項目のパラメータには、目の横幅と縦幅の比を示す目の縦横比を示すパラメータ、目の色を示すパラメータ、および、それ以外のパラメータが含まれ、前記検出ステップでは、前記取得ステップにて取得された撮影情報に応じて前記判定レベルを変更するものであって、前記ストロボ発光が行われていた場合には、前記複数の項目のうち、前記目の縦横比および目の色を示すパラメータについては前記ストロボ発光に対応する判定レベルを優先し、それ以外のパラメータについては前記撮像手段に設定されていた撮影モードに対応する判定レベルを優先する。

本発明によれば、撮影情報から予測した被写体の状況に応じた検出条件を選択して被写体を検出することで、検出率を向上させると共に、誤検出を低減することができる。

以下に、添付図面を参照して本発明を実施するための最良の形態について詳細に説明する。

尚、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

［第１の実施形態］
図１は、本発明に係る画像処理装置を実装した第１の実施形態の撮像装置の主要な構成要素を示すブロック図である。

図１において、マイクロコンピュータ（以下、ＣＰＵという。）１００には、カメラの各種操作スイッチ群１１４を検知するための信号入力回路１０４、撮像センサ１０６、測光用センサ１０７、焦点検出用センサ１０８、ストロボ１０９、表示部１１０、外部メモリ１０２、映像信号処理回路１０３、画像処理回路１０１が接続されている。

また、ＣＰＵ１００は、不図示の撮影レンズとの間でレンズ通信回路１０５を介してレンズ制御信号１１５の授受を行い、焦点位置や絞りの制御を行う。

また、ＣＰＵ１００内には装置全体の動作を制御するプログラムを格納したＲＯＭ１１１、一時的に変数を記憶するためのＲＡＭ１１２、各種パラメータを記憶するためのＥＥＰＲＯＭ１１３が内蔵されている。

カメラの各種モードの設定はスイッチ群１１４の設定で決定される。本実施形態の撮像装置は、様々な被写体に対して一般的な撮影を行うオートモードや、人物の撮影に適するようにプログラムされたポートレートモード、動きのある被写体に対して連続して撮影を行う連写モード、露出を通常よりもオーバー又はアンダーで撮影できる露出補正撮影モード、動画撮影モードなどの撮影モードを有する。

ＣＰＵ１００は測光用センサ１０７、焦点検出用センサ１０８を制御することで、被写体の合焦具合や輝度を検出し、不図示の撮影レンズのフォーカスレンズ位置、絞り値や露光時間を決定する。また、ストロボ１０９による発光が必要か否かも判断する。

そして、レンズ通信回路１０５を介して絞り値を制御し、ストロボ１０９、撮像センサ１０６を制御することで撮影動作を行う。

撮像センサ１０６により撮影された画像信号は映像信号処理回路１０３において信号処理が行われ、外部メモリ１０２に記憶される。ここでの信号処理とはノイズ除去処理、ホワイトバランス処理、圧縮符号化処理、復号処理などが含まれる。

表示部１１０は、映像信号処理回路１０３により信号処理が行われた画像や、各種メニューおよびユーザに対して警告や指示などの表示を行う。

画像処理回路１０１は、被写体検出ブロック１１６、検出パラメータ選択ブロック１１７、検出パラメータ群１１８、判定ブロック１１９、判定レベル決定ブロック１２０、撮影情報入力ブロック１２１を備える。そして、画像処理回路１０１は、映像信号処理回路１０３から出力された画像信号の中から人物の顔に相当する位置情報や顔の特徴情報などの検出を行う。

撮影情報入力ブロック１２１は、スイッチ群１１４の設定により設定されたカメラの各種モードや、ストロボ発光の有無などの撮影情報を、検出パラメータ選択ブロック１１７や判定レベル決定ブロック１２０へ出力する。

検出パラメータ選択ブロック１１７は、撮影情報入力ブロック１２１から入力された撮影情報に応じて、予め複数用意している検出パラメータ群１１８の中から、少なくとも１つ以上の検出パラメータを選択する。検出パラメータ群１１８は、目の形状や、目と口の位置関係、肌色などの人物を判定するための情報である。

判定レベル決定ブロック１２０は、撮影情報入力ブロック１２１から入力された撮影情報に応じて、人物の顔の判定基準となる判定レベルを決定する。

被写体検出ブロック１１６では、画像から局所特徴（ここでは目や口）を抽出し、さらに検出パラメータ選択ブロック１１７で選択された検出パラメータについて画像を評価し、人物の顔に相当する位置情報や顔の特徴情報などをＣＰＵ１００へ出力する。

判定ブロック１１９は、被写体検出ブロック１１６で画像を評価した評価結果と判定レベル決定ブロック１２０で決定した判定レベルとを比較することで、人物の顔が存在するか否かの判定を行う。

ここで、検出パラメータ群１１８と判定レベルについて図４から図８を用いてより詳細に説明する。

図８は、検出パラメータの項目と、一般的な撮影における各パラメータに対応した判定レベルを示した図であり、本実施形態では６項目のパラメータを例示的に挙げている。

先ず、図８の検出パラメータの「目の縦横比」について図４を用いて説明する。

図４は、被写体検出ブロック１１６で検出した人物の目の拡大図であり、目頭から目尻までの間隔を横幅Ｗ、Ｗ方向とは直交する方向の間隔を縦幅Ｈとし、ＷとＨの比Ｗ／Ｈを「目の縦横比」とする。

次に、図８の検出パラメータの「目と口の位置関係」について図５を用いて説明する。

図５は、被写体検出ブロック１１６で検出した人物の目と口の拡大図であり、一方の目から他方の目までの間隔をＤ１、両方の目から口まで間隔をそれぞれＤ２、Ｄ３とし、Ｄ１、Ｄ２、Ｄ３の比Ｄ１：Ｄ２、Ｄ１：Ｄ３を「目と口の位置関係」とする。

次に、図８の検出パラメータの「画面における目の水平度」について図６を用いて説明する。

図６は、被写体検出ブロック１１６で検出した人物の目と口の拡大図であり、画面下部に対して、一方の目から他方の目までを結んだ線分の傾きΘを「目の水平度」とする。

次に、図８の検出パラメータの「画面における顔の大きさ」について図７を用いて説明する。

図７は、被写体検出ブロック１１６で検出した画面における顔の大きさの拡大図であり、目と口で囲まれた面積ΔＳ、画面全体の面積をＳとし、ΔＳ／Ｓを「画面における顔の大きさ」とする。

なお、「目の色情報」は瞳のＲｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅの各色情報であり、顔の色情報とは目と口で囲まれた部分のＲｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅの各肌色情報とする。

図８の判定レベルは、一般的な撮影における判定レベルであり、撮影条件によって値が変化する。

また、ここでの検出パラメータや判定レベルは、一例でありこれらに限られるものではない。

＜動作説明＞
次に、第１の実施形態の撮像装置の動作について、図２のフローチャートを用いて詳細に説明する。

図２において、Ｓ２０１では、ＣＰＵ１００は、測光用センサ１０７、焦点検出用センサ１０８を制御して被写体の合焦度合や輝度を検出する。また、ＣＰＵ１００は、スイッチ群１１４の状態により設定された撮影モードに応じて、不図示の撮影レンズのフォーカスレンズ位置、絞り値や露光時間を決定する。そして、レンズ通信回路１０５を介して絞り値を制御し、ストロボ１０９、撮像センサ１０６を制御して撮影動作を行う。撮影された画像信号は映像信号処理回路１０３で所定の信号処理が施された後、表示部１１０に表示されると共に、外部メモリ１０２へ保存され、被写体検出ブロック１１６へ入力される。

Ｓ２０２では、撮影情報取得ブロック１２１が画像を撮影した時の撮影情報の取得を行う。撮影情報とは、スイッチ群１１４で設定されたカメラの各種モードや、ストロボ発光の有無などの情報である。これらの情報を検出パラメータ選択ブロック１１７と判定レベル決定ブロック１２０へ出力する。

Ｓ２０３では、検出パラメータ選択ブロック１１７が撮影情報入力ブロック１２１で取得した撮影情報に応じて、検出パラメータ群１１８の中から、少なくとも１つ以上の検出パラメータを選択する。

Ｓ２０４では、判定レベル決定ブロック１２０が撮影情報入力ブロック１２１で取得した撮影情報に応じて、各検出パラメータについての判定レベルを決定する。

ここで、Ｓ２０３の検出パラメータ選択動作およびＳ２０４の判定レベル決定動作について、より詳細に説明する。

図９は、撮影情報と検出パラメータおよび評価値の判定レベルを示した図である。

図９において、ポートレート撮影モード時は、被写体と撮像装置が正対し、かつ主被写体を画面に対して大きく撮影することが多い。この場合、主被写体の周辺に存在する人物ではなく、主被写体に対して確実に検出を行う必要がある。従って、検出パラメータ選択ブロック１１７は検出パラメータ群１１８の全てを選択する。また、判定レベル決定ブロック１２０は、正対度を表す「目と口の位置関係」の判定レベルをより厳密に、「画面における顔の大きさ」の判定レベルをより大きな被写体を検出するように設定する。

ストロボ発光時は、ストロボ光より被写体の目が通常よりも細くなり、またストロボ光が瞳孔部で反射することにより赤目になることが多い。従って、検出パラメータ選択ブロック１１７は検出パラメータ群１１８のうち、「目の色情報」以外を選択する。また、判定レベル決定ブロック１２０は、「目の縦横比」の判定レベルを細目でも被写体を検出できるように設定する。なお、ポートレート撮影モードとストロボ発光が同時に設定された場合は「目の色情報」と「目の縦横比」はストロボ発光時の判定レベルが優先され、それ以外の検出パラメータはポートレート撮影モードの判定レベルが優先される。このように、それぞれの検出パラメータに対して、どの撮影モードの判定レベルが優先されるかが予め定められている。

露出補正撮影時は、ユーザが意図して被写体輝度を低くしたり、高くしたりする場合があり、色情報による被写体検出ができないことが多い。従って、検出パラメータ選択ブロック１１７は検出パラメータ群１１８のうち「目の色情報」と「顔の色情報」以外を選択する。

連続撮影や動画撮影モード時は、被写体が動いているので、被写体と撮像装置が正対していないことが多い。従って、判定レベル決定ブロック１２０は、正対度を表す「目と口の位置関係」と、「画面における目の水平度」の判定レベルをより緩和する。

その他の撮影情報では、検出パラメータ選択ブロック１１７は検出パラメータ群１１８の全てを選択する。また、判定レベル決定ブロック１２０は、図８に示したように標準的な判定レベルを設定する。

Ｓ２０５では、被写体検出ブロック１１６は入力された画像を用いて、この画像中の顔の局所特徴である目と口に相当する形状部分の抽出を行う。図３（ａ）のような背景と人物を含んだ画像から、図３（ｂ）に示すように人物の目と口の画像のみを抽出する。そして、Ｓ２０３で検出パラメータ選択ブロック１１７により選択した各検出パラメータについて演算を行う。

ここでの局所特徴の抽出方法は、例えば、特開２００５−０５６３８７公報に記載されている。

Ｓ２０６では、Ｓ２０５で被写体検出ブロック１１６により演算した検出パラメータについて演算した評価結果について、判定ブロック１１９により判定を行う。ここでは、演算した全ての評価結果が、判定レベル決定ブロックで決定した判定レベル範囲内である場合は、被写体の顔が検出できたと判断してＳ２０７へ移行する。一方、演算した評価結果の１つでも判定レベル範囲外である場合は、被写体の顔が存在していないと判断して一連の動作を終了する。

Ｓ２０７では、Ｓ２０５で検出した目と口の位置から被写体の顔の位置や表情などの被写体情報をＲＡＭ１１２に記憶し、次回の撮影時の被写***置を中心とした測光および焦点位置制御などに利用する。また、被写体情報を画像と関連付けて外部メモリ１０２へ記憶することで、画像を検索する際の条件として利用することもできる。

また、これまでの説明では、１人の被写体について説明しているが、複数の被写体についても検出可能である。

また、図９の検出パラメータと判定レベルは一例であり、これらに限られるのもではない。

以上のように、撮影情報に応じて、最適な検出パラメータと判定レベルを選択することで、被写体の検出率を上げると共に誤検出を低減することができる。

次に、図２のフローチャートとは別の動作について、図１０のフローチャートを用いて詳細に説明する。

図１０において、Ｓ１００１では、ＣＰＵ１００は、測光用センサ１０７、焦点検出用センサ１０８を制御して被写体の合焦具合や輝度を検出する。また、ＣＰＵ１００は、スイッチ群１１４の状態により設定された撮影モードに応じて、不図示の撮影レンズのフォーカスレンズ位置、絞り値や露光時間を決定する。そして、レンズ通信回路１０５を介して絞り値を制御し、ストロボ１０９、撮像センサ１０６を制御して撮影動作を行う。撮影された画像信号は映像信号処理回路１０３で所定の信号処理が施された後、表示部１１０に表示されると共に、外部メモリ１０２へ保存され、被写体検出ブロック１１６へ出力する。

Ｓ１００２では、撮影情報入力ブロック１２１が画像を撮影した時の撮影情報の取得を行う。撮影情報とは、スイッチ群１１４で設定されたカメラの各種モードや、ストロボ発光の有無など情報、またＲＡＭ１１２に記憶されている前回の撮影した画像についての被写体情報である。これらの撮影情報を検出パラメータ選択ブロック１１７と判定レベル決定ブロック１２０へ出力する。

Ｓ１００３では、判定ブロック１１９は、Ｓ１００２で撮影情報入力ブロック１２１が取得した撮影情報が、連続撮影モードあるいは動画撮影モードであるか否かの判定を行う。連続撮影モードあるいは動画撮影モードである場合は、Ｓ１００４へ移行し、それ以外の撮影情報である場合は、Ｓ１００５へ移行する。

Ｓ１００４では、判定ブロック１１９は、前回の撮影した画像について被写体が検出できているか否かを判定する。被写体が検出できている場合は、Ｓ１００７へ移行し、検出できていない場合は、Ｓ１００５へ移行する。

Ｓ１００５では、検出パラメータ選択ブロック１１７は、撮影情報入力ブロック１２１で取得した撮影情報に応じて、検出パラメータ群１１８の中から、第１パラメータを選択する。選択する第１パラメータについては、図９の検出パラメータと同一である。

Ｓ１００６では、判定レベル決定ブロック１２０は、撮影情報入力ブロック１２１から入力された撮影情報に応じて、各検出パラメータについての第１判定レベルを決定する。第１判定レベルについては、図９の判定レベルと同一である。

Ｓ１００７では、検出パラメータ選択ブロック１１７は、検出パラメータ群１１８の中から、第２パラメータを選択する。

Ｓ１００８では、判定レベル決定ブロック１２０は、各検出パラメータについての第２判定レベルを決定する。

ここで、Ｓ１００７での検出パラメータ選択処理及びＳ１００８での判定レベル決定処理について、図１１を用いて詳細に説明する。

図１１は、連続撮影や動画撮影モードで、かつ前回撮影した画像から被写体が検出できている場合の、検出パラメータと評価値の判定レベルを示す図である。

連続撮影や動画撮影モード時は、一旦画像から被写体を検出できた場合、次の画像でも同じ被写体が存在することが多い。従って、図９に示した連続撮影や動画撮影モード時における検出パラメータ数よりも少ない検出パラメータで被写体検出を行うことで、被写体が動いて顔の向きなどが大きく変わっても、被写体を検出し易くなる。また、検出パラメータの数を減らすことで、被写体検出に関わる時間を短縮することができる。

図１０の説明に戻り、Ｓ１００９では、被写体検出ブロック１１６は入力された画像を用いて、この画像中に顔の局所特徴である目と口に相当する形状部分の抽出を行う。そして、Ｓ１００５あるいはＳ１００７の動作で、検出パラメータ選択ブロック１１７により選択した各検出パラメータについて演算を行う。

Ｓ１０１０では、Ｓ１００９で被写体検出ブロック１１６により演算した各検出パラメータについて演算した評価結果について、判定ブロック１１９により判定を行う。ここでは、演算した全ての評価結果が、判定レベル決定ブロックで決定した判定レベル範囲内である場合は、被写体の顔が検出できたと判断してＳ１０１１へ移行する。一方、演算した評価結果の１つでも判定レベル範囲外である場合は、被写体の顔が存在していないと判断して一連の動作を終了する。

Ｓ１０１１では、Ｓ１００９で検出した目と口の位置から被写体の顔の位置や、表情などの被写体情報をＲＡＭ１１２に記憶し、この後の撮影時の被写***置を中心とした測光および焦点位置制御などに利用する。また、被写体情報を画像と関連付けて外部メモリ１０２へ記憶する。

以上のように、撮影情報に応じて、最適な検出パラメータおよび評価値の判定レベルを選択することで、検出率を上げると共に誤検出を低減することができる。更に、連続撮影や動画撮影モード時は、一旦画像から被写体を検出できた場合、検出パラメータや判定レベルを変更することで、被写体が動いて顔の向きなどが大きく変わっても、被写体に追従して検出することができる。

また、検出パラメータの数を減らすことで、被写体検出に関わる時間を短縮することができ、連続撮影や動画撮影などで、撮影と撮影の時間間隔が短くても画像１枚（１フレーム）毎に被写体検出動作を行うことができる。
［第２の実施形態］
次に、第２の実施形態の顔検出処理について説明する。

図１２は、本発明に係る画像処理装置を実装した第２の実施形態の撮像装置の主要な構成要素を示すブロック図である。

図１２において、画像処理回路１２２は、被写体検出ブロック１２３、検出パラメータ群１２４、信頼性判定ブロック１２５、重み付けブロック１２６、撮影情報入力ブロック１２７を備える。そして、画像処理回路１２２は、映像信号処理回路１０３から入力された画像信号の中から被写体の顔に相当する位置情報や顔の特徴情報などの検出を行う。

撮影情報入力ブロック１２７は、スイッチ群１１４の設定により設定されたカメラの各種モードや、ストロボ発光の有無などの撮影情報を、重み付けブロック１２０へ出力する。

重み付けブロック１２６は、撮影情報入力ブロック１２１から出力された撮影情報に応じて、重み付け係数を決定して、その係数を判定ブロック１２５へ出力する。重み付け係数とは、後述する信頼性レベルの重要度を示す係数である。

被写体検出ブロック１２３では、画像から局所特徴（ここでは目や口）を抽出し、さらに検出パラメータ群１２４の検出パラメータについて画像を評価し、人物の顔に相当する位置情報や顔の特徴情報などをＣＰＵ１００へ出力する。

判定ブロック１２５は、被写体検出ブロック１２３で画像を評価した評価結果から被写体の顔であるか否かの判断基準である信頼性レベルと、重み付けブロック１２６から入力される重み付け係数から被写体の有無の判定を行う。

その他、図１と同一の構成については、同一の符号を付して説明を省略する。

ここで検出パラメータ群１２４と信頼性レベルについて、図１３を用いて詳細に説明する。

図１３は、検出パラメータと評価値、および信頼性レベルを示した図である。

検出パラメータの項目については、図８と同じであるので説明を省略する。

各パラメータについて演算した結果を評価結果とし、評価結果に応じた信頼性レベルを予め決定しておく。ここでは、信頼性レベルを２、１、０の３種類で表し、「２」が最も信頼性が高く、「０」が最も信頼性が低いものとする。

また、ここで説明した検出パラメータ、評価値、信頼性レベルは、一例でありこれに限るものではない。

＜動作説明＞
次に、第２の実施形態の撮像装置の動作について、図１４のフローチャートを用いて詳細に説明する。

図１４において、Ｓ１４０１では、ＣＰＵ１００は、測光用センサ１０７、焦点検出用センサ１０８を制御することで、被写体の合焦具合や輝度を検出する。また、ＣＰＵ１００は、スイッチ群１１４の状態により設定された撮影モードに応じて、不図示の撮影レンズのフォーカスレンズ位置、絞り値や露光時間を決定する。そして、レンズ通信回路１０５を介して絞り値を制御し、ストロボ１０９、撮像センサ１０６を制御することで撮影動作を行う。撮影された画像信号は映像信号処理回路１０３で所定の信号処理が施された後、表示部１１０に表示されると共に、外部メモリ１０２へ保存され、被写体検出ブロック１２３へ出力される。

Ｓ１４０２では、撮影情報入力ブロック１２７により、画像を撮影した時の撮影情報の取得を行う。撮影情報とは、スイッチ群１１４で設定されたカメラの各種モードや、ストロボ発光の有無など情報である。これらの情報を重み付けブロック１２６へ出力する。

Ｓ１４０３では、重み付けブロック１２６は、撮影情報入力ブロック１２３で取得した撮影情報に応じて重み付け係数を決定する。重み付け係数とは、判定ブロック１２５で決定した各検出パラメータについての信頼性レベルの重要度を表している。

ここで、Ｓ１４０３での重み付け係数の決定動作についてより詳細に説明する。

図１５は、撮影情報と信頼性レベルの重み付け係数を示した図である。

ポートレート撮影モード時は、被写体と撮像装置が正対し、かつ主被写体をメインに大きく撮影することが多い。この場合、主被写体の周辺に存在する人物ではなく確実に主被写体に対して検出を行う必要がある。従って、重み付けブロック１２６は、正対度を表す「目と口の位置関係」と「画面における顔の大きさ」の信頼性レベルの重要度を高くするように係数を決定する。

ストロボ発光時は、ストロボ光より被写体の目が通常よりも細くなり、またストロボ光が瞳孔部で反射することで赤目になることが多い。従って、検出パラメータ選択ブロック１１７は検出パラメータ群１１８のうち、「目の色情報」と「目の縦横比」の信頼性レベルの重要度を低くし、赤目や細目でも被写体を検出できるように係数を決定する。

露出補正撮影時は、ユーザが意図して被写体輝度を低くしたり、高くしたりする場合があり、色情報による被写体検出ができないことが多い。従って、「目の色情報」と「顔の色情報」の信頼性レベルの重要度を低く係数を決定する。

連続撮影や動画撮影モード時は、被写体が動いているので、被写体と撮像装置が正対していないことが多い。従って、「目と口の位置関係」と、「画面における目の水平度」の信頼性レベルの重要度を低く係数を決定する。

その他の撮影モードでは、全検出パラメータの信頼性レベルの重要度を同じになるように係数を決定する。

ここでは、各検出パラメータの重み付け係数を加算すると各撮影モードで同じ数値になっており、撮影モードにより被写体の状況を予測し、各検出パラメータに応じて信頼性レベルの重要度の比重を変えている。

Ｓ１４０５では、被写体検出ブロック１２３は入力された画像中から顔の局所特徴である目と口に相当する形状部分の抽出し、検出パラメータ群１２４ついて評価値の演算を行う。

Ｓ１４０６では、Ｓ１４０５で演算した各検出パラメータについて演算した評価結果とＳ１４０３の動作で決定した重み付け係数とから判定ブロック１２５により信頼性判定を行う。ここでは、検出パラメータ毎に、評価結果に対応した信頼性レベルと重み付け係数を乗算し、さらに乗算結果を全て加算演算し、総合信頼性レベルとする。総合信頼性レベルが所定レベル以上である場合は、被写体の顔が検出できたと判断してＳ１４０７へ移行する。一方、総合信頼性レベルが所定レベルより下である場合は、被写体の顔が存在していないと判断して一連の動作を終了する。

Ｓ１４０７では、Ｓ１４０５で検出した目と口の位置から被写体の顔の位置や、表情などの被写体情報をＲＡＭ１１２に記憶し、次回撮影時に被写***置を中心とした測光および焦点位置制御を行う。また、被写体情報を画像と関連付けて外部メモリ１０２へ記憶する。

また、図１５の撮影情報と信頼性レベルの重み付け係数は一例であり、これらに限られるものではない。

以上のように、撮影情報に応じて、最適な信頼性レベルの重み付け係数を決定する事で被写体の検出率を上げると共に誤検出を低減することができる。

［他の実施形態］
本発明は、前述した実施形態の機能を実現するコンピュータプログラムを、システムあるいは装置に直接あるいは遠隔から供給することによって達成される場合も含む。その場合、システム等のコンピュータが該コンピュータプログラムを読み出して実行することになる。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるコンピュータプログラム自体も本発明を実現するものである。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体（記憶媒体）としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク等がある。その他にも、MO、CD-ROM、CD-R、CD-RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD-ROM、DVD-R)等がある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのものをダウンロードすることもできる。また圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するコンピュータプログラムを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してCD-ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザが、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードすることもできる。この場合、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現する。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳ等が、実際の処理の一部又は全部を行うことによっても実現され得る。

更に、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットのメモリに書き込まれた後、該ボード等のＣＰＵ等が実際の処理の一部又は全部を行うことによっても実現される。

本発明に係る第１の実施形態の構成を示すブロック図である。 本発明に係る第１の実施形態による被写体検出処理を示すフローチャートである。 画像中の顔の局所（目、口）抽出を説明する図である。 「目の縦横比」について説明する図である。 「目と口の位置関係」について説明する図である。 「画面における目の水平度」について説明する図である。 「画面における顔の大きさ」について説明する図である。 検出パラメータと判定レベルを示す図である 撮影情報と検出パラメータ及び判定レベルを示す図である。 本発明に係る第１の実施の形態による別の被写体検出処理を示すフローチャートである。 前画像で被写体検出できている場合の検出パラメータと判定レベルを示す図である。 本発明に係る第２の実施形態の構成を示すブロック図である。 検出パラメータと評価値及び信頼性レベルを示す図である。 本発明に係る第２の実施形態による被写体検出処理を示すフローチャートである。 撮影情報と信頼性レベルの重み付け係数を示す図である。

符号の説明

１００ ＣＰＵ
１０１ 画像処理回路
１０２ 外部メモリ
１０３ 映像信号処理回路
１０４ 信号入力回路
１０５ レンズ通信回路
１０６ 撮像センサ
１０７ 測光用センサ
１０８ 焦点検出用センサ
１０９ ストロボ
１１０ 表示部
１１１ ＲＯＭ
１１２ ＲＡＭ
１１３ ＥＥＰＲＯＭ
１１４ スイッチ群
１１５ レンズ制御信号
１１６ 被写体検出ブロック
１１７ 検出パラメータ選択ブロック
１１８ 検出パラメータ群
１１９ 判定ブロック
１２０ 判定レベル決定ブロック
１２１ 撮影情報入力ブロック

Claims (4)

1. 撮像手段にて得られた画像から、人物の目を含む顔における特徴を抽出して複数の項目のパラメータを求め、前記複数の項目のパラメータが予め設定した判定レベルに達していれば、前記特徴を含む領域を顔として検出する検出手段と、
   前記画像を生成した際の、前記撮像手段に設定されていた撮影モードおよびストロボ発光の有無を含む撮影情報を取得する取得手段と、を有し、
   前記複数の項目のパラメータには、目の横幅と縦幅の比を示す目の縦横比を示すパラメータ、目の色を示すパラメータ、および、それ以外のパラメータが含まれ、
   前記検出手段は、前記取得手段にて取得された撮影情報に応じて前記判定レベルを変更するものであって、前記ストロボ発光が行われていた場合には、前記複数の項目のうち、前記目の縦横比および目の色を示すパラメータについては前記ストロボ発光に対応する判定レベルを優先し、それ以外のパラメータについては前記撮像手段に設定されていた撮影モードに対応する判定レベルを優先することを特徴とする画像処理装置。
2. 撮像手段にて得られた画像から人物の顔を検出する画像処理方法であって、
   前記撮像手段にて得られた画像から、人物の目を含む顔における特徴を抽出して複数の項目のパラメータを求め、前記複数の項目のパラメータが予め設定した判定レベルに達していれば、前記特徴を含む領域を顔として検出する検出ステップと、
   前記画像を生成した際の、前記撮像手段に設定されていた撮影モードおよびストロボ発光の有無を含む撮影情報を取得する取得ステップと、を有し、
   前記複数の項目のパラメータには、目の横幅と縦幅の比を示す目の縦横比を示すパラメータ、目の色を示すパラメータ、および、それ以外のパラメータが含まれ、
   前記検出ステップでは、前記取得ステップにて取得された撮影情報に応じて前記判定レベルを変更するものであって、前記ストロボ発光が行われていた場合には、前記複数の項目のうち、前記目の縦横比および目の色を示すパラメータについては前記ストロボ発光に対応する判定レベルを優先し、それ以外のパラメータについては前記撮像手段に設定されていた撮影モードに対応する判定レベルを優先することを特徴とする画像処理方法。
3. 請求項２に記載の画像処理方法をコンピュータに実行させるためのプログラム。
4. 請求項３に記載のプログラムを記憶したことを特徴とするコンピュータ可読記憶媒体。

Images