JP4375448B2 - 画像処理装置、撮像装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像処理装置に関し、特に画像に検出対象が含まれるか否かを判断する画像処理装置、撮像装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

従来、デジタルスチルカメラやビデオカメラ等の撮像装置では、特定の被写体が撮像された領域を撮像結果から検出し、この領域の撮像結果に基づいてオートフォーカスや自動露光などの撮像に関する制御を行う手法が提案されている。このような特定の被写体が撮像された領域を検出する手法では、この特定の被写体として、主に人物の顔が適用され、例えば固有顔（ｅｉｇｅｎｆａｃｅ）、ニューラルネットワーク、サポートベクタマシン等のパタ−ン認識の手法を利用して、予め顔パターンを学習させて識別器を生成する手法や、平均顔テンプレートとの相関マッチング結果から相関値の局所最大値を求め、この局所最大値に基づき顔候補を抽出する手法などが挙げられる。

このような手法に関して、例えば顔が撮影された領域の数および大きさによって、撮影モードを自動的に設定する方法が提案されている（例えば、特許文献１参照。）。また、顔が撮影された領域の大きさにより、この顔に係る人物までの距離を推定してフォーカス制御する方法が提案されている（例えば、特許文献２参照。）。また、テンプレートを用いたテンプレートマッチングにおいて、顔が撮影された領域の検出に係る工夫が提案されている（例えば、特許文献３参照。）。また、ブースティングにより集団学習された複数の弱判別器とこれらの出力を重み付き多数決する加算器からなる判別器が提案されている（例えば、特許文献４参照。）。
特開２００１−３３０８８２号公報（図１） 特開２００３−７５７１７号公報（図１） 特開２００４−３０６２９号公報（図１） 特開２００５−１５７６７９号公報（図１）

このように撮像結果から特定の被写体が撮像された領域を検出する処理は、被写体の動きに追従し、リアルタイム性を実現するために、十分な速度で実行される必要があるが、実際に撮像画像の中から被写体の顔画像を検出するプロセスにおいては、そのような撮像画像の中から被写体画像を切り出しながら検出を行うため、撮像画像全体あるいは特定された領域を様々なスケール（解像度）でスキャンすることになる。このため、各回のパターン識別のために膨大な演算処理が必要となり、リアルタイム性を実現することは極めて困難となる。また、リアルタイム性を追求し、演算処理を減らせば、被写体検出の性能に悪影響を与えるというトレードオフもある。

本発明は、このような従来の実情に鑑みて提案されたものであり、被写体検出の演算量を低減してリアルタイム性を向上させることを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、原画像の所定の位置からウィンドウ画像を切り出す画像切出し手段と、所定の基準に基づいて上記ウィンドウ画像の特徴量を抽出する特徴抽出手段と、検出対象を含む候補として上記ウィンドウ画像が所定の条件を満たすか否かを上記特徴量に基づいて判定する候補判定手段と、上記ウィンドウ画像が上記所定の条件を満たす場合には上記ウィンドウ画像に上記検出対象が含まれるか否かを判断する検出手段とを具備することを特徴とする画像処理装置である。これにより、ウィンドウ画像から抽出された特徴量に基づいて検出候補とするか否かを切り替えるという作用をもたらす。

また、この第１の側面において、上記特徴抽出手段は、上記特徴量として上記ウィンドウ画像の周波数成分の分布と予め設定された周波数成分の分布との相関性を抽出し、上記候補判定手段は、上記相関性が所定の閾値よりも高い場合には上記ウィンドウ画像が上記候補であると判定してもよい。これにより、ウィンドウ画像の周波数成分の分布と予め設定された周波数成分の分布との相関性に基づいて検出候補とするか否かを切り替えるという作用をもたらす。

また、この第１の側面において、上記特徴抽出手段は、上記特徴量として上記ウィンドウ画像に含まれる周波数成分の分布において所定の基準周波数よりも高い周波数成分を有する画素の数を抽出し、上記候補判定手段は、上記画素の数が所定の閾値よりも多い場合には上記ウィンドウ画像が上記候補であると判定してもよい。これにより、ウィンドウ画像の周波数成分の分布に基づいて検出候補とするか否かを切り替えるという作用をもたらす。

また、この第１の側面において、上記特徴抽出手段は、上記特徴量として上記ウィンドウ画像の輝度成分の分布と予め設定された輝度成分の分布との相関性を抽出し、上記候補判定手段は、上記相関性が所定の閾値よりも高い場合には上記ウィンドウ画像が上記候補であると判定してもよい。これにより、ウィンドウ画像の輝度成分の分布と予め設定された輝度成分の分布との相関性に基づいて検出候補とするか否かを切り替えるという作用をもたらす。

また、この第１の側面において、上記特徴抽出手段は、上記特徴量として上記ウィンドウ画像に含まれる輝度成分の分布と所定の基準輝度成分の分布との各画素における差分の総和を抽出し、上記候補判定手段は、上記総和が所定の閾値よりも大きい場合には上記ウィンドウ画像が上記候補であると判定してもよい。これにより、ウィンドウ画像に含まれる輝度成分の分布と所定の基準輝度成分の分布との各画素における差分に基づいて検出候補とするか否かを切り替えるという作用をもたらす。

また、この第１の側面において、上記特徴抽出手段は、上記特徴量として上記ウィンドウ画像の色成分の分布と予め設定された色成分の分布との相関性を抽出し、上記候補判定手段は、上記相関性が所定の閾値よりも高い場合には上記ウィンドウ画像が上記候補であると判定してもよい。これにより、ウィンドウ画像の色成分の分布と予め設定された色成分の分布との相関性に基づいて検出候補とするか否かを切り替えるという作用をもたらす。

また、この第１の側面において、上記特徴抽出手段は、上記特徴量として上記ウィンドウ画像に含まれる色成分の分布において所定の基準色の範囲に該当する画素の数を抽出し、上記候補判定手段は、上記画素の数が所定の閾値よりも大きい場合には上記ウィンドウ画像が上記候補であると判定してもよい。これにより、ウィンドウ画像に含まれる色成分の分布に基づいて検出候補とするか否かを切り替えるという作用をもたらす。

また、この第１の側面において、上記特徴量の抽出の際に基準となる値の入力を受け付ける操作受付手段をさらに具備し、上記特徴抽出手段は、上記基準となる値に基づいて上記特徴量を抽出してもよい。これにより、入力された値に基づいて特徴量を抽出し、それによってウィンドウ画像を検出候補とするか否かを切り替えるという作用をもたらす。

また、この第１の側面において、上記検出対象は人間の顔画像であり、上記特徴抽出手段は、上記特徴量として上記ウィンドウ画像の周波数成分の分布と予め設定された人間の顔画像の周波数成分の分布との相関性、または、上記ウィンドウ画像の色成分の分布と予め設定された肌色成分の分布との相関性を抽出してもよい。これにより、予め設定された人間の顔画像の特徴量に基づいてウィンドウ画像を検出候補とするか否かを切り替えるという作用をもたらす。

また、本発明の第２の側面は、被写体を撮像して撮像画像を生成する撮像手段と、上記撮像画像に対して所定の信号処理を施す信号処理手段と、上記信号処理された撮像画像の解像度を変換して縮小画像を生成する解像度変換手段と、上記縮小画像の所定の位置からウィンドウ画像を切り出す画像切出し手段と、所定の基準に基づいて上記ウィンドウ画像の特徴量を抽出する特徴抽出手段と、検出対象を含む候補として上記ウィンドウ画像が所定の条件を満たすか否かを上記特徴量に基づいて判定する候補判定手段と、上記ウィンドウ画像が上記所定の条件を満たす場合には上記ウィンドウ画像に上記検出対象が含まれるか否かを判断する検出手段とを具備することを特徴とする撮像装置である。これにより、撮像画像から切り出されたウィンドウ画像を検出候補とするか否かを、ウィンドウ画像から抽出された特徴量に基づいて切り替えるという作用をもたらす。

また、この第２の側面において、上記特徴量の抽出の際の上記所定の基準は、上記撮像の際の条件または上記信号処理のパラメータに応じて設定されてもよい。例えば、輝度成分に関しては、照明が明るい状態における撮像であれば厳しい基準を用いて、照明が暗い状態における撮像であれば緩い基準を適用することができる。また、色成分に関しては、照明が暗い状態における撮像であれば色空間における黒い領域も肌の色であるとみなすことができる。また、周波数成分に関しては、フォーカスが合っていれば厳しい基準を用いて、フォーカスが合っていなければ緩い基準を適用することができる。

また、本発明の第３の側面は、第１のメモリに保持される原画像の所定の位置からウィンドウ画像を切り出して第２のメモリに保持する画像切出し手順と、所定の基準に基づいて上記ウィンドウ画像の特徴量を抽出する特徴抽出手順と、検出対象を含む候補として上記ウィンドウ画像が所定の条件を満たすか否かを上記特徴量に基づいて判定する候補判定手順と、上記ウィンドウ画像が上記所定の条件を満たす場合には上記ウィンドウ画像に上記検出対象が含まれるか否かを判断する検出手順とを具備することを特徴とする画像処理方法またはこれら手順をコンピュータに実行させることを特徴とするプログラムである。これにより、ウィンドウ画像から抽出された特徴量に基づいて検出候補とするか否かを切り替えるという作用をもたらす。

本発明によれば、被写体検出の演算量を低減してリアルタイム性を向上させることができるという優れた効果を奏し得る。

次に本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明の実施の形態における画像処理装置の一実施例としての撮像装置１００の一構成例を示す図である。この撮像装置１００は、レンズユニット１１１と、撮像素子１１２と、カメラ信号処理部１１３と、画像メモリ１２０と、画像バス１３０と、顔検出部２００と、画像表示部１４０と、画像圧縮伸張部１５０と、入出力制御部１６０と、操作入力受付部１７０と、装置制御部１８０と、メモリ１９０とを備えている。

レンズユニット１１１は、フォーカスレンズ、ズームレンズ、絞り機構を有し、これらを可変制御しながら入射光を集光し、撮像素子１１２の撮像面に被写体の光学像を形成するものである。

撮像素子１１２は、撮像面に配置された各受光素子において受光された光を電気信号に光電変換するものである。この撮像素子１１２は、撮像面に形成された光学像の撮像結果を動画または静止画として出力する。

カメラ信号処理部１１３は、撮像素子１１２から出力された撮像結果に対して、マトリックス演算、ガンマ補正、ホワイトバランス調整等の信号処理を実行し、その処理結果による画像データを出力するものである。このカメラ信号処理部１１３は、その処理結果を画像表示部１４０および画像圧縮伸張部１５０に供給する。また、カメラ信号処理部１１３は、顔検出のための画像を、画像バス１３０を介して画像メモリ１２０に記録する。この顔検出のための画像は原画像をリサイズしたものを使用することができる。なお、この実施例では、原画像データには、モニタ用の画像データが適用され、例えば６４０画素×４８０画素のＶＧＡ（Video Graphics Array）による画像データや、３２０画素×２４０画素による画像データ等が想定される。

これらレンズユニット１１１、撮像素子１１２およびカメラ信号処理部１１３は、動画または静止画の撮像結果による原画像に係る画像データを取得する画像取得部を構成する。

画像メモリ１２０は、画像バス１３０上に供給される画像データを保持するものである。この画像メモリ１２０は、顔検出のための画像データとして、例えば、３２０画素×２４０画素、１６０画素×１２０画素、８０画素×６０画素、４０画素×３０画素の４種類の大きさの画像データを保持する。

画像バス１３０は、カメラ信号処理部１１３、画像メモリ１２０、顔検出部２００、画像表示部１４０および画像圧縮伸張部１５０のそれぞれを相互に接続するバスである。

顔検出部２００は、画像メモリ１２０に保持される画像データに含まれる顔を検出するものである。この顔検出部２００は、装置制御部１８０から指定された走査開始位置、走査順序、走査終了位置に従って被写体検出を順次行い、被写体検出の検出結果を装置制御部１８０に通知する。なお、この顔検出部２００の構成については後述する。

画像表示部１４０は、画像メモリ１２０に保持されるモニタ表示用の画像データによる画像を表示するものであり、例えば液晶表示装置（ＬＣＤ：Liquid Crystal Display）と、この液晶表示装置の周辺部により構成される。また、画像表示部１４０は、画像を表示する際、顔検出部２００による検出結果に基づいて、顔を囲む矩形形状による枠などを表示することができる。

画像圧縮伸張部１５０は、画像メモリ１２０に記録された画像データを取得し、この画像データを例えばＪＰＥＧ（Joint Photographic Coding Experts Group）やＭＰＥＧ（Moving Picture Experts Group）等の方式によりデータ圧縮し、その処理結果による画像データを、入出力制御部１６０を介して画像ファイルとして記録媒体に記録するものである。また、画像圧縮伸張部１５０は、記録媒体に記録された画像ファイルを、入出力制御部１６０を介して読み出し、データ伸長して、その処理結果による画像データを画像メモリ１２０に記録する。

入出力制御部１６０は、記録媒体に接続してデータの書込みまたは読出しを行うものである。また、この入出力制御部１６０は、有線または無線によるデータ通信機構を介して外部機器との間でデータの入出力を行うようにしてもよい。

操作入力受付部１７０は、撮像装置１００の使用者による操作入力を受け付けるものであり、例えば、操作ボタンやタッチパネルなどにより実現される。

装置制御部１８０は、撮像装置１００全体の動作を制御するものである。この装置制御部１８０は、ＣＰＵ（Central Processing Unit）などにより実現される。装置制御部１８０は、この撮像装置１００の動作を制御する制御部であり、メモリ１９０に記録されたプログラムの実行により、使用者による操作に応答して各部の動作を制御する。

メモリ１９０は、不揮発性メモリまたは揮発性メモリにより形成され、装置制御部１８０のプログラムや装置制御部１８０の処理に必要なデータ等を記録し、また、装置制御部１８０のワークエリア等を形成する。

なお、この実施例において、装置制御部１８０のプログラムは、この撮像装置１００のメモリ１９０に事前にインストールされて提供されてもよく、また、このような事前のインストールによる提供に代えて、光ディスク、磁気ディスク、メモリカード等の各種記録媒体に記録して提供するようにしてもよく、さらに、インターネット等のネットワークを介したダウンロードにより提供するようにしてもよい。

このように、撮像装置１００では、動画や静止画による撮像結果を記録媒体に記録し、またこの記録媒体に記録された画像データファイルを種々に処理できるように構成される。この記録媒体は、例えばメモリカード、光ディスク、磁気ディスク、磁気テープ等の各種記録媒体であり、画像圧縮伸張部１５０や装置制御部１８０から出力される各種のデータを記録し、また、記録された各種のデータを画像圧縮伸張部１５０や装置制御部１８０に出力する。なお、この記録媒体としては、着脱可能な形式によるもの、内蔵形式のものなどを適宜用いることができる。

撮像装置１００では、カメラ信号処理部１１３または画像圧縮伸張部１５０によって画像メモリ１２０に格納された画像データを、装置制御部１８０の制御によって顔検出部２００が取得する。そして、この原画像データによる画像から特定の被写体が撮影された領域が検出され、この領域の結果が装置制御部１８０に通知される。

これによりこの撮像装置１００では、レンズユニット１１１、撮像素子１１２およびカメラ信号処理部１１３から入力された動画または静止画による画像データを画像表示部１４０によりモニタできるように構成される。このとき、操作入力受付部１７０を介した使用者による指示により、顔が撮影された領域を確認できるように構成される。

図２は、本発明の実施の形態における顔検出部２００の一構成例を示す図である。この顔検出部２００は、解像度変換部２１０と、画像切出し部２２０と、ウィンドウメモリ２３０と、被写体検出部２４０と、被写体候補抽出部２０１と、顔検出制御部２９０とを備えている。

解像度変換部２１０は、画像メモリ１２０に保持された画像データに対して解像度変換を施して順次縮小し、その結果を画像切出し部２２０に供給するものである。この解像度変換部２１０は、画像メモリ１２０に保持された少なくとも１つの画像データを倍率αに応じてフィルタリング処理して段階的に縮小する。縮小していった結果、他に適切な解像度の画像データが存在する場合にはその画像データを縮小していく。例えば、上述のように３２０画素×２４０画素、１６０画素×１２０画素、８０画素×６０画素、４０画素×３０画素の４種類の大きさの画像データが画像メモリ１２０に保持されている場合、最初に３２０画素×２４０画素の画像データを０．９倍ずつ縮小し、その縮小後の解像度が１６０画素×１２０画素に近くなると、今度は１６０画素×１２０画素の画像データを０．９倍ずつ縮小していく。そして、その縮小後の解像度が８０画素×６０画素に近くなると、今度は８０画素×６０画素の画像データを０．９倍ずつ縮小していく。そして、その縮小後の解像度が４０画素×３０画素に近くなると、今度は４０画素×３０画素の画像データを０．９倍ずつ縮小していく。

画像切出し部２２０は、解像度変換部２１０から供給される画像データを保持し、顔検出制御部２９０による走査開始位置、走査順序および走査終了位置の指定に基づいて、その保持された画像データの任意の位置の画像データをウィンドウ画像として切り出すものである。画像切出し部２２０によって切り出されたウィンドウ画像は、被写体候補抽出部２０１およびウィンドウメモリ２３０に供給される。

ウィンドウメモリ２３０は、画像切出し部２２０によって切り出された画像データをウィンドウ画像として保持するメモリである。このウィンドウメモリ２３０に保持されるのは、輝度信号の成分である。このウィンドウ画像の輝度信号は、被写体検出部２４０に供給され、被写体検出の対象となり得る。但し、実際に被写体検出が行われるか否かは、被写体候補抽出部２０１における処理結果に依存する。

被写体検出部２４０は、ウィンドウメモリ２３０に保持されるウィンドウ画像の輝度信号に基づいて特定の被写体を検出するものである。この被写体検出部２４０の動作は、顔検出制御部２９０によって以下のように制御される。

顔検出制御部２９０は、顔検出部２００の各部に対する制御を行うものである。すなわち、この顔検出制御部２９０は、解像度変換部２１０によって縮小された縮小画像から画像切出し部２２０によってウィンドウ画像を切り出すように制御する。そして、その切り出されたウィンドウ画像を被写体候補抽出部２０１に供給して、ウィンドウ画像が被写体を含む候補であるか否かを判断させる。その結果、そのウィンドウ画像が、被写体を含む候補として被写体候補抽出部２０１によって抽出されると、顔検出制御部２９０は被写体検出部２４０に対して被写体検出を指示する。

被写体候補抽出部２０１は、被写体を含む候補となるウィンドウ画像を抽出するものである。この被写体候補抽出部２０１は、特徴抽出部２０２と、被写体候補判定部２８０とを備えている。特徴抽出部２０２は、周波数成分解析部２５０と、輝度成分解析部２６０と、色成分解析部２７０とを備えている。

周波数成分解析部２５０は、画像切出し部２２０から供給されたウィンドウ画像の周波数成分を解析して周波数成分に関する特徴量を抽出するものである。輝度成分解析部２６０は、画像切出し部２２０から供給されたウィンドウ画像の輝度成分を解析して輝度成分に関する特徴量を抽出するものである。色成分解析部２７０は、画像切出し部２２０から供給されたウィンドウ画像の色成分を解析して色成分に関する特徴量を抽出するものである。周波数成分解析部２５０および輝度成分解析部２６０にはウィンドウ画像の輝度信号が供給され、色成分解析部２７０にはウィンドウ画像の色差信号が供給される。

被写体候補判定部２８０は、特徴抽出部２０２において抽出された各特徴量および装置制御部１８０から入力される撮像条件に基づいて、ウィンドウ画像が被写体検出の候補となるか否かを判定するものである。この判定結果は、顔検出制御部２９０に供給される。

顔検出制御部２９０は、被写体候補であると判定された場合には、被写体検出部２４０における処理を有効にする。これにより、被写体検出部２４０は、例えばブースティングにより集団学習された複数の弱判別器によって、ウィンドウメモリ２３０から読み出された輝度信号に対して判別を行い、重み付き多数決を加算する。そして、この結果から被写体か否かの最終判断を行い、検出された被写体領域の座標と大きさを、縮小前のオリジナル座標に逆変換して戻し、この結果を装置制御部１８０に出力する。

一方、被写体候補でないと判定された場合には、顔検出制御部２９０は被写体検出部２４０における処理を無効にする。そして、ウィンドウメモリ２３０に記録されていたウィンドウ画像に関する処理を行わず、次の切出し位置からスキャンして新たな輝度信号をウィンドウメモリ２３０に記録すると同時に、ウィンドウ画像を周波数成分解析部２５０、輝度成分解析部２６０および色成分解析部２７０に入力し、装置制御部１８０から指定された走査終了位置に至るまで、この動作を繰り返し行う。

なお、本発明の実施の形態では、輝度信号を入力とした、ブースティングにより集団学習された複数の弱判別器とこれらの出力を重み付き多数決する加算器からなる判別器を被写体検出器として挙げているが、この被写体検出器は固有顔、ニューラルネットワークおよびサポートベクタマシン等のパターン認識の手法や、テンプレートマッチング等の種々の手法を適用することができる。この場合の入力信号は輝度信号に限らず、その検出器に必要な信号が入力される。

図１および図２により説明した撮像装置１００の構成例において、使用者が「静止画による撮影モード」を選択した場合、撮像素子１１２により動画による撮像結果を順次取得して、カメラ信号処理部１１３で信号処理した後、その撮像結果を画像メモリ１２０に格納する。そして、この画像メモリ１２０に格納した動画による撮像結果を画像表示部１４０で表示し、これにより撮影対象をモニタできるようにする。また、このようにモニタした状態で、使用者がシャッターボタンなどのトリガースイッチを操作すると、それまでの動画による撮像結果に代えて、静止画による撮像結果を取得して、画像メモリ１２０に格納する。そして、この画像メモリ１２０に格納した静止画による撮像結果を画像表示部１４０で表示し、これにより撮像結果をモニタできるようにする。また、使用者により撮像結果の記録が指示されると、画像メモリ１２０に格納した静止画による画像データを画像圧縮伸張部１５０でデータ圧縮して、入出力制御部１６０を介して記録媒体に記録する。

一方、使用者が「動画による撮影モード」を選択した場合、撮像素子１１２により動画による撮像結果を順次取得して、カメラ信号処理部１１３で信号処理した後、画像メモリ１２０に格納する。そして、この画像メモリ１２０に格納した動画による撮像結果を画像表示部１４０で表示し、これにより、この場合も撮影対象をモニタできるようにする。また、この状態で使用者がＲＥＣボタンなどのトリガースイッチを操作すると、順次、画像メモリ１２０に格納される画像データを画像圧縮伸張部１５０でデータ圧縮して、入出力制御部１６０を介して記録媒体に記録する。

また、使用者が「画像ファイルの再生」を指示した場合、この画像ファイルによる画像データを、入出力制御部１６０を介して記録媒体より取得して、画像圧縮伸張部１５０によりデータ伸長し、その処理結果による画像データを画像メモリ１２０に格納する。また、この画像メモリ１２０に格納した画像データよりモニタ用の画像データを生成し、このモニタ用の画像データによる画像を画像表示部１４０で表示する。

装置制御部１８０は、この処理手順の実行により、使用者による指示に応答して動画または静止画による撮像結果を取得して、画像表示部１４０によって表示し、またこの撮像結果を、入出力制御部１６０を介して記録媒体に記録する。このとき、装置制御部１８０は、使用者により、このような自動絞り（ＡＥ：Automatic Exposure）制御、自動フォーカス（ＡＦ：Auto Focus）制御、自動ホワイトバランス（ＡＷＢ：Auto White Balance）調整の基準とする領域が指示されると、被写体を囲む枠の表示を画像表示部１４０に指示する。撮影対象にする被写体を枠内に選択し、トリガースイッチを操作した時、顔検出部２００に動作を指示して、被写体サイズに領域を縮小し、被写体の特徴を算出し、記憶する動作の指示を、顔検出部２００に出す。また、使用者から被写体の特徴情報をタッチパネルなどにより直接入力出来る場合は、この情報を顔検出部２００の特徴抽出部２０２内に記憶する指示を出す。また、使用者から被写体を指定するような機能が存在しない場合は、例えば平均的な顔画像の特徴情報を、電源立上げ時に顔検出部２００の特徴抽出部２０２内に記憶する指示を出す。

装置制御部１８０は、被写体検出部２４０に動作を指示して被写体検出結果を取得し、この検出結果に基づいて、被写体が撮影された領域の画像データを取得する。装置制御部１８０は、この取得した画像データにより、レンズユニット１１１における絞りやフォーカスを制御して自動絞り制御や自動フォーカス制御の処理を実行し、また、カメラ信号処理部１１３におけるホワイトバランス調整を制御する。また、随時、撮影の際の露光、フォーカス、ホワイトバランス等の条件やカメラ信号処理の画作り条件などから適切な被写体の特徴情報の閾値を演算し、その閾値を顔検出部２００の特徴抽出部２０２に供給する。

具体的に、装置制御部１８０は、この被写体が撮影された領域が一定の輝度レベルとなるように、レンズユニット１１１における絞りを制御し、これにより自動絞り制御の処理を実行する。なお、装置制御部１８０は、画面全体の平均輝度レベル等を基準にした従来手法による絞り制御の手法との組み合わせにより絞り制御の処理を実行することにより、例えば風景の撮影により被写体を撮影した領域が検出されない場合でも、確実に絞り制御することができる。

また、装置制御部１８０は、この被写体が撮影された領域の大きさにより、この被写体が撮影された際の被写体までの距離を推定し、この距離によりフォーカス制御する。なお、装置制御部１８０は、この場合も、高周波成分の信号レベルが増大する方向に常にフォーカスを可変制御する、いわゆる山登り方式等による従来手法によるフォーカス制御と組み合わせてフォーカス制御の処理を実行することにより、被写体を撮影した領域が検出されない場合でも、確実にフォーカス制御することができる。

また、装置制御部１８０は、この被写体が撮影された領域の色相が一定値である色相となるように、各色信号の利得を補正してホワイトバランス調整する。また、この場合も、従来手法との組み合わせによりホワイトバランス調整することにより、被写体を撮影した領域が検出されない場合でも、確実にホワイトバランス調整することができる。

なお、これら従来手法との組み合わせにあっては、例えば、被写体が撮影された領域が一定の面積以上の大きさにより検出されない場合に限って従来手法を適用する場合、この被写体が撮影された領域の面積等による重み付け係数によって従来手法による制御量との間で制御量を重み付け加算して制御する場合等、種々の組み合わせ手法を広く適用することができる。

このように、この撮像装置１００では、顔検出部２００により検出された人間の顔などの特定の被写体を撮影した領域を基準にして、撮像系や信号処理系の動作を種々に制御することができる。

次に、本発明の実施の形態における特徴量の抽出例について説明する。

図３は、本発明の実施の形態における周波数成分解析部２５０の一構成例を示す図である。周波数成分解析部２５０は、周波数変換部２５４と、被写体周波数成分保持部２５５と、相関性抽出部２５６とを備えている。

周波数変換部２５４は、画像切出し部２２０から供給されたウィンドウ画像の輝度信号に対して、例えばアダマール変換、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）等の周波数変換を施すものである。

被写体周波数成分保持部２５５は、使用者が検出対象とする被写体領域の周波数成分を保持するメモリである。この被写体領域の周波数成分は、装置制御部１８０によって予め設定されているものとする。

相関性抽出部２５６は、周波数変換部２５４によってウィンドウ画像の輝度信号から周波数変換された周波数成分と被写体周波数成分保持部２５５に保持されていた被写体領域の周波数成分との相関性を抽出するものである。相関性抽出の一手法として、ここでは、周波数変換部２５４によってウィンドウ画像の輝度信号から周波数変換された周波数成分と被写体周波数成分保持部２５５に保持されていた被写体領域の周波数成分とのマッチングをとり、このマッチング結果について装置制御部１８０から設定された閾値と比較し、その比較結果を周波数成分による被写体抽出結果として、被写体候補判定部２８０に出力する。

なお、このとき装置制御部１８０から設定される閾値は、撮像時のフォーカス条件等の条件に応じて、可変に制御させることが可能である。例えば、フォーカスが合っている場合には厳しくなるように閾値を設定し、フォーカスが合っていない場合には甘くなるように閾値を設定することが考えられる。

図４は、本発明の実施の形態における周波数成分解析部２５０の一処理例を示す図である。ここでは、処理を簡易化するために、予め記憶された被写体とのマッチングを行わずに、ウィンドウ画像の画素毎にラプラシアン変換を施した結果値を、目的とする被写体がとる平均的な閾値と比較して、閾値より大きい値を示す画素の数をカウントしたものを結果として出力して用いるものとする。

例えば、２０画素×２０画素からなるウィンドウ画像において、対象画素２５３の周囲の３画素×３画素からなる部分画像２５２を想定し、この部分画像２５２と係数マトリクス２５７との積和演算を積和演算器２５８により行う。この積和演算は、８方向ラプラシアンフィルタに相当し、値が大きいほど対象画素２５３の周囲の周波数成分が高いことを意味する。したがって、この積和演算値に対する閾値（ラプラシアン閾値）を設定しておいて、ウィンドウ画像における対象画素２５３を左上から右下に至るまで変化させながら積和演算器２５８による積和演算を行い、それぞれの値とラプラシアン閾値とを比較して、ラプラシアン閾値を超える画素の数をカウントすることにより、ウィンドウ画像における高周波成分の含有度を生成することができる。そして、ラプラシアン閾値を超える画素の数に対する閾値（カウント閾値）を設定しておいて、カウントされた画素の数がカウント閾値を超えた場合には、ウィンドウ画像内に高周波成分を被写体同様に含むと判断して、被写体候補であると判断することができる。

なお、ラプラシアン閾値およびカウント閾値は、本発明の実施の形態においては、人間の顔に限定し、人間の顔の平均的な閾値を設定するものとしているが、使用者が予め指定した被写体の閾値付近に設定することも可能である。さらに、本発明の実施の形態ではラプラシアン閾値およびカウント閾値を一組であることを想定しているが、複数のラプラシアン閾値およびカウント閾値による条件を複数組み合わせて、他の周波数成分の存在画素数を条件として組み合わせ、選択候補をさらに限定することも可能である。

このように、周波数成分を解析することにより、予め目的の被写体候補を限定することができ、被写体検出性能を落とさずに、後段の被写体検出の演算量を削減することができる。また、このとき、目的の被写体の周波数分布は、使用者が認識ボタンを押す等の動作をトリガーにして予め被写体周波数成分保持部２５５に取り込むか、周波数分布を使用者に示してタッチパネルなどで指定させて被写体周波数成分保持部２５５に取り込むか、または、人間の顔に限定するのであれば、人間の顔の平均的な周波数分布を指定するなどの方法があげられる。また、被写体候補は使用者が意図する被写体に応じて、例えば人間の顔だけでなくペットの顔等、自由に設定することができる。

図５は、本発明の実施の形態における輝度成分解析部２６０の一構成例を示す図である。輝度成分解析部２６０は、被写体輝度成分保持部２６５および相関性抽出部２６６を備えている。

被写体輝度成分保持部２６５は、使用者が検出対象とする被写体領域の輝度成分（ヒストグラム）を保持するメモリである。この被写体領域の輝度成分は、装置制御部１８０によって予め設定されているものとする。

相関性抽出部２６６は、画像切出し部２２０から供給されたウィンドウ画像の輝度信号と被写体輝度成分保持部２６５に保持されていた被写体領域の輝度成分との相関性を抽出するものである。相関性抽出の一手法として、ここでは、入力されたウィンドウ画像の輝度信号と、被写体輝度成分保持部２６５に保持されていた被写体領域の輝度成分とのパターンマッチングをとる。このマッチング結果を装置制御部１８０から設定された閾値と比較し、その比較結果をパターンマッチングによる被写体抽出結果として、被写体候補判定部２８０に出力する。

なお、装置制御部１８０から設定される閾値は、撮像時のデジタルクランプ、ガンマ補正等の条件に応じて、可変に制御させることが可能である。例えば、撮像条件が明るい場合には厳しくなるように閾値を設定し、暗い場合には甘くなるように閾値を設定することが考えられる。

図６は、本発明の実施の形態における輝度成分解析部２６０の一処理例を示す図である。ここでは、処理を簡易化するために、代表点マッチング手法を採用するものとする。すなわち、画像切出し部２２０から供給されたウィンドウ画像について間引き用のローパスフィルタ（ＬＰＦ：Low Pass Filter）処理を施し、例えば、２０画素×２０画素からなるウィンドウ画像２６１において１０画素×１０画素の対象画素２６３に間引く。

また、被写体輝度成分保持部２６５においても同様にＬＰＦ処理を施し、例えば、１０画素×１０画素に間引いておく。そして、ウィンドウ画像における対象画素２６３を左上から右下に至るまで変化させながらウィンドウ画像２６１内の全ての対象画素について、両者の対応する画素同士の輝度信号の差分値を減算器２６８により生成し、その差分値を合計値に加算していく。

そして、この差分値の合計値に対する閾値（差分閾値）を設定しておいて、合計値が差分閾値以下である場合には、相関性が高いと判断して、被写体候補であると判断することができる。一方、合計値が差分閾値を超えた場合には、相関性が低いと判断して、被写体候補ではないと判断することができる。

このように、輝度成分を解析することにより、予め目的の被写体を限定することができ、顔検出性能を落とさずに、後段の顔識別の演算量を削減することができる。また、このとき、目的の被写体は、使用者が認識ボタンを押す等の動作をトリガーにして、予め輝度信号を被写体輝度成分保持部２６５に取り込むか、輝度信号分布を使用者に示してタッチパネルなどで指定させて被写体輝度成分保持部２６５に取り込むか、または、前のフィールドで検出された被写体領域内の輝度信号を被写体輝度成分保持部２６５に取り込むなどの方法があげられる、また、被写体候補はユーザーが意図する被写体に応じて、例えば人間の顔だけでなくペットの顔等、自由に設定することができる。

図７は、本発明の実施の形態における色成分解析部２７０の一構成例を示す図である。色成分解析部２７０は、被写体色成分保持部２７５および相関性抽出部２７６を備えている。

被写体色成分保持部２７５は、使用者が検出対象とする被写体領域の色差信号を保持するメモリである。この被写体領域の色差信号は、装置制御部１８０によって予め設定されているものとする。

相関性抽出部２７６は、画像切出し部２２０から供給されたウィンドウ画像の色差信号と被写体色成分保持部２７５に保持されていた被写体領域の色差信号との相関性を抽出するものである。相関性抽出の一手法として、ここでは、入力されたウィンドウ画像の色差信号と、被写体色成分保持部２７５に保持されていた被写体領域の色差信号とのパターンマッチングをとる。このマッチング結果を装置制御部１８０から設定された閾値と比較し、その比較結果をパターンマッチングによる被写体抽出結果として、被写体候補判定部２８０に出力する。なお、このとき装置制御部１８０から設定される閾値は、撮像時のフォーカス条件等の条件に応じて、可変に制御させることが可能である。

図８は、本発明の実施の形態における色成分解析部２７０の一処理例を示す図である。ここでは、処理を簡易化するために、予め記憶された被写体とのマッチングを行わずに、例えば、色差空間（Ｃｂ（青）、Ｃｒ（赤））において使用者の意図する被写体の平均的な領域を設定しておいて、この領域にウィンドウ画像のＣｂ信号およびＣｒ信号の組合せが所定画素数より多く存在するか否かを、色成分による被写体抽出結果として出力するものとする。

このＣｂ信号およびＣｒ信号の領域は、装置制御部１８０から撮像時のホワイトバランス条件、色生成演算等の条件に応じて、可変に設定することが可能である。例えば、本発明の実施の形態では、撮像条件が明るい場合には色差空間における内側の領域２７７を人間の肌の色として設定し、通常の明るさの場合は多少暗めの領域も肌色とみなすように外側の領域２７８を設定するように切り替える。なお、個人差を考慮して、皮膚の色の濃い人を対象とするために、領域２７９も併せて肌の色の領域としてもよい。

例えば、２０画素×２０画素からなるウィンドウ画像において対象画素２７３を左上から右下に至るまで変化させながら、上述のように設定された色差空間における領域に該当する画素の数をカウントする。

そして、このカウント値に対する閾値（カウント閾値）を設定しておいて、カウントされた画素の数がカウント閾値を超えた場合には、ウィンドウ画像が被写体領域と同一である可能性が高いと判断して、被写体候補であると判定することができる。一方、カウント閾値以下である場合には、被写体領域と同一である可能性が低いと判断して、被写体候補でないと判定することができる。

このように、色成分を解析することにより、予め目的の被写体候補を限定することができ、被写体検出性能を落とさずに、後段の演算量の重い詳細に行う被写体検出の演算量を削減することができる。また、このとき、目的の被写体の色空間分布は、使用者が認識ボタンを押す等の動作をトリガーにして予め被写体色成分保持部２７５に取り込むか、色空間を使用者に示してタッチパネルなどで指定させて被写体色成分保持部２７５に取り込むか、または、人間の顔に限定するのであれば肌色空間を被写体の色空間に指定するなどの方法があげられる。また、被写体候補はユーザーが意図する被写体に応じて、例えば人間の顔だけでなくペットの顔等、自由に設定することができる。

次に本発明の実施の形態における撮像装置１００の動作について図面を参照して説明する。

図９は、本発明の実施の形態における撮像装置１００の処理手順例を示す図である。まず、画像取得部（１１１乃至１１３）において撮像が行われると（ステップＳ９１１）、画像メモリ１２０に撮像画像が原画像として保持される（ステップＳ９１２）。

顔検出部２００では、画像メモリ１２０に保持される画像が解像度変換部２１０によって縮小され（ステップＳ９１３）、画像切出し部２２０によってウィンドウ画像が切り出される（ステップＳ９１４）。この切り出されたウィンドウ画像は、ウィンドウメモリ２３０に保持されるとともに、周波数成分解析部２５０、輝度成分解析部２６０および色成分解析部２７０における特徴抽出の対象となる（ステップＳ９５０乃至Ｓ９７０）。

その結果、被写体候補判定部２８０によって被写体候補であると判定されると（ステップＳ９１５）、顔検出制御部２９０からの制御の下で、被写体検出部２４０によってウィンドウ画像からの被写体の検出処理が行われる（ステップＳ９１６）。

ステップＳ９１４乃至Ｓ９１６の処理は、ウィンドウ画像における指定された範囲内の部分画像の切出しが終了するまで繰り返される（ステップＳ９１７）。また、ステップＳ９１３乃至Ｓ９１７の処理は、指定された範囲内の最小の解像度に至るまで繰り返される（ステップＳ９１８）。

図１０は、本発明の実施の形態における周波数成分解析処理（ステップＳ９５０）の処理手順例を示す図である。なお、ここでは、図４により説明した簡易化した手法による処理手順について説明する。まず、この周波数成分解析処理で用いられるカウント値（Ｆカウント値）が「０」にクリアされる（ステップＳ９５１）。

そして、ウィンドウ画像２５１の対象画素２５３について以下のステップＳ９５３乃至Ｓ９５５が繰り返される（ステップＳ９５２）。すなわち、対象画素２５３の周囲の部分画像２５２と係数マトリクス２５７との積和演算が行われ（ステップＳ９５３）、その演算結果がラプラシアン閾値を超えている場合には（ステップＳ９５４）、Ｆカウント値が「１」加算される（ステップＳ９５５）。

ウィンドウ画像２５１内の全ての画素を対象画素２５３としてステップＳ９５３乃至Ｓ９５５の処理が完了すると（ステップＳ９５２）、Ｆカウント値とその閾値（Ｆカウント閾値）との比較が行われる（ステップＳ９５６）。その結果、Ｆカウント値がＦカウント閾値を超えていれば、被写体候補判定部２８０において被写体候補であると判定される（ステップＳ９５７）。一方、Ｆカウント値がＦカウント閾値を超えていなければ、被写体候補判定部２８０において被写体候補でないと判定される（ステップＳ９５８）。

図１１は、本発明の実施の形態における輝度成分解析処理（ステップＳ９６０）の処理手順例を示す図である。なお、ここでは、図６により説明した簡易化した手法による処理手順について説明する。まず、この輝度成分解析処理で用いられる合計値（Ｙ合計値）が「０」にクリアされる（ステップＳ９６１）。

そして、ウィンドウ画像２６１の対象画素２６３について以下のステップＳ９６３乃至Ｓ９６５が繰り返される（ステップＳ９６２）。すなわち、対象画素２６３を中心としたローパスフィルタ処理が行われ（ステップＳ９６３）、その処理結果と被写体輝度成分保持部２６５の対応する画素の輝度信号との差分値が生成される（ステップＳ９６４）。この生成された差分値はＹ合計値に加算されていく（ステップＳ９６５）。

ウィンドウ画像２６１内の全ての画素を対象画素２６３としてステップＳ９６３乃至Ｓ９６５の処理が完了すると（ステップＳ９６２）、Ｙ合計値とその閾値（差分閾値）との比較が行われる（ステップＳ９６６）。その結果、Ｙ合計値が差分閾値を超えていなければ、被写体候補判定部２８０において被写体候補であると判定される（ステップＳ９６７）。一方、Ｙ合計値が差分閾値を超えていれば、被写体候補判定部２８０において被写体候補でないと判定される（ステップＳ９６８）。

図１２は、本発明の実施の形態における色成分解析処理（ステップＳ９７０）の処理手順例を示す図である。なお、ここでは、図８により説明した簡易化した手法による処理手順について説明する。まず、この色成分解析処理で用いられるカウント値（Ｃカウント値）が「０」にクリアされる（ステップＳ９７１）。

そして、ウィンドウ画像２７１の対象画素２７３について以下のステップＳ９７４およびＳ９７５が繰り返される（ステップＳ９７２）。すなわち、対象画素２７３が色差空間における特定の領域内に該当する場合には（ステップＳ９７４）、Ｃカウント値が「１」加算される（ステップＳ９７５）。

ウィンドウ画像２７１内の全ての画素を対象画素２７３としてステップＳ９７４およびＳ９７５の処理が完了すると（ステップＳ９７２）、Ｃカウント値とその閾値（Ｃカウント閾値）との比較が行われる（ステップＳ９７６）。その結果、Ｃカウント値がＣカウント閾値を超えていれば、被写体候補判定部２８０において被写体候補であると判定される（ステップＳ９７７）。一方、Ｃカウント値がＣカウント閾値を超えていなければ、被写体候補判定部２８０において被写体候補でないと判定される（ステップＳ９７８）。

このように、本発明の実施の形態によれば、特徴抽出部２０２において抽出された特徴量に基づいてウィンドウ画像が被写体候補となるか否かを被写体候補判定部２８０において判定し、被写体候補とならない場合には被写体検出部２４０における被写体検出処理を省くことにより、被写体検出の演算量を低減してリアルタイム性を向上させるとともに、撮像画像の中から認識できる被写体情報を顔検出内に取り込むことによって検出性能も同時に向上させることができる。

なお、本発明の実施の形態においては、周波数成分解析部２５０、輝度成分解析部２６０または色成分解析部２７０の何れかにおいて個別の条件を満たせば被写体候補判定部２８０において被写体候補であると判定されることを想定したが、これらの条件は組み合わせることができる。その場合、各条件の重み付けも変更することができる。例えば、自動フォーカス（ＡＦ）の合焦度によって周波数成分解析部２５０の重みを、自動ホワイトバランス（ＡＷＢ）の調整度によって色成分解析部２７０の重みを、また、画面全体のヒストグラムに応じて輝度成分解析部２６０の重みを、それぞれ変更することができる。

また、本発明の実施の形態においては、輝度信号と色差信号（ＣｒおよびＣｂ）を想定してその適用例について説明したが、本発明はこれに限らず、例えばｘｖＹＣＣなどの広色域色空間にも適用することができる。

また、本発明の実施の形態においては、本発明を撮像装置に適用する場合について説明したが、本発明はこれに限らず、例えば光ディスク等の種々の記録媒体による記録再生装置、プリンタ等の画像処理装置に広く適用することができ、さらにはコンピュータにおける画像処理ソフト等に広く適用することができる。

また、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。

なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。

本発明の実施の形態における画像処理装置の一実施例としての撮像装置１００の一構成例を示す図である。 本発明の実施の形態における顔検出部２００の一構成例を示す図である。 本発明の実施の形態における周波数成分解析部２５０の一構成例を示す図である。 本発明の実施の形態における周波数成分解析部２５０の一処理例を示す図である。 本発明の実施の形態における輝度成分解析部２６０の一構成例を示す図である。 本発明の実施の形態における輝度成分解析部２６０の一処理例を示す図である。 本発明の実施の形態における色成分解析部２７０の一構成例を示す図である。 本発明の実施の形態における色成分解析部２７０の一処理例を示す図である。 本発明の実施の形態における撮像装置１００の処理手順例を示す図である。 本発明の実施の形態における周波数成分解析処理（ステップＳ９５０）の処理手順例を示す図である。 本発明の実施の形態における輝度成分解析処理（ステップＳ９６０）の処理手順例を示す図である。 本発明の実施の形態における色成分解析処理（ステップＳ９７０）の処理手順例を示す図である。

符号の説明

１００ 撮像装置
１１１ レンズユニット
１１２ 撮像素子
１１３ カメラ信号処理部
１２０ 画像メモリ
１３０ 画像バス
１４０ 画像表示部
１５０ 画像圧縮伸張部
１６０ 入出力制御部
１７０ 操作入力受付部
１８０ 装置制御部
１９０ メモリ
２００ 顔検出部
２０１ 被写体候補抽出部
２０２ 特徴抽出部
２１０ 解像度変換部
２２０ 画像切出し部
２３０ ウィンドウメモリ
２４０ 被写体検出部
２５０ 周波数成分解析部
２５４ 周波数変換部
２５５ 被写体周波数成分保持部
２５６ 相関性抽出部
２５７ 係数マトリクス
２５８ 積和演算器
２６０ 輝度成分解析部
２６５ 被写体輝度成分保持部
２６６ 相関性抽出部
２６８ 減算器
２７０ 色成分解析部
２７５ 被写体色成分保持部
２７６ 相関性抽出部
２８０ 被写体候補判定部
２９０ 顔検出制御部

Claims (6)

1. 原画像の所定の位置からウィンドウ画像を切り出す画像切出し手段と、
   前記原画像が撮像された際の撮像条件に応じて設定される所定の基準に基づいて前記ウィンドウ画像の特徴量を抽出する特徴抽出手段と、
   検出対象を含む候補として前記ウィンドウ画像が所定の条件を満たすか否かを前記特徴量に基づいて判定する候補判定手段と、
   前記ウィンドウ画像が前記所定の条件を満たす場合には前記ウィンドウ画像に前記検出対象が含まれるか否かを判断する検出手段と
   を具備し、
   前記特徴抽出手段は、前記特徴量として前記ウィンドウ画像の周波数成分の分布と予め設定された周波数成分の分布との相関性を抽出し、
   前記候補判定手段は、前記相関性が所定の閾値よりも高い場合には前記ウィンドウ画像が前記候補であると判定し、
   前記所定の基準は、前記原画像が撮像された際のフォーカス条件に応じて設定される
   画像処理装置。
2. 原画像の所定の位置からウィンドウ画像を切り出す画像切出し手段と、
   前記原画像が撮像された際の撮像条件に応じて設定される所定の基準に基づいて前記ウィンドウ画像の特徴量を抽出する特徴抽出手段と、
   検出対象を含む候補として前記ウィンドウ画像が所定の条件を満たすか否かを前記特徴量に基づいて判定する候補判定手段と、
   前記ウィンドウ画像が前記所定の条件を満たす場合には前記ウィンドウ画像に前記検出対象が含まれるか否かを判断する検出手段と
   を具備し、
   前記特徴抽出手段は、前記特徴量として前記ウィンドウ画像に含まれる周波数成分の分布において所定の基準周波数よりも高い周波数成分を有する画素の数を抽出し、
   前記候補判定手段は、前記画素の数が所定の閾値よりも多い場合には前記ウィンドウ画像が前記候補であると判定し、
   前記所定の基準は、前記原画像が撮像された際のフォーカス条件に応じて設定される
   画像処理装置。
3. 原画像の所定の位置からウィンドウ画像を切り出す画像切出し手段と、
   前記原画像が撮像された際の撮像条件に応じて設定される所定の基準に基づいて前記ウィンドウ画像の特徴量を抽出する特徴抽出手段と、
   検出対象を含む候補として前記ウィンドウ画像が所定の条件を満たすか否かを前記特徴量に基づいて判定する候補判定手段と、
   前記ウィンドウ画像が前記所定の条件を満たす場合には前記ウィンドウ画像に前記検出対象が含まれるか否かを判断する検出手段と
   を具備し、
   前記特徴抽出手段は、前記特徴量として前記ウィンドウ画像の輝度成分の分布と予め設定された輝度成分の分布との相関性を抽出し、
   前記候補判定手段は、前記相関性が所定の閾値よりも高い場合には前記ウィンドウ画像が前記候補であると判定し、
   前記所定の基準は、前記原画像が撮像された際のデジタルクランプまたはガンマ補正の条件に応じて設定される
   画像処理装置。
4. 原画像の所定の位置からウィンドウ画像を切り出す画像切出し手段と、
   前記原画像が撮像された際の撮像条件に応じて設定される所定の基準に基づいて前記ウィンドウ画像の特徴量を抽出する特徴抽出手段と、
   検出対象を含む候補として前記ウィンドウ画像が所定の条件を満たすか否かを前記特徴量に基づいて判定する候補判定手段と、
   前記ウィンドウ画像が前記所定の条件を満たす場合には前記ウィンドウ画像に前記検出対象が含まれるか否かを判断する検出手段と
   を具備し、
   前記特徴抽出手段は、前記特徴量として前記ウィンドウ画像に含まれる輝度成分の分布と所定の基準輝度成分の分布との各画素における差分の総和を抽出し、
   前記候補判定手段は、前記総和が所定の閾値よりも大きい場合には前記ウィンドウ画像が前記候補であると判定し、
   前記所定の基準は、前記原画像が撮像された際のデジタルクランプまたはガンマ補正の条件に応じて設定される
   画像処理装置。
5. 被写体を撮像して撮像画像を生成する撮像手段と、
   前記撮像画像に対して所定の信号処理を施す信号処理手段と、
   前記信号処理された撮像画像の解像度を変換して縮小画像を生成する解像度変換手段と、
   前記縮小画像の所定の位置からウィンドウ画像を切り出す画像切出し手段と、
   前記撮像画像が撮像された際の撮像条件に応じて設定される所定の基準に基づいて前記ウィンドウ画像の特徴量を抽出する特徴抽出手段と、
   検出対象を含む候補として前記ウィンドウ画像が所定の条件を満たすか否かを前記特徴量に基づいて判定する候補判定手段と、
   前記ウィンドウ画像が前記所定の条件を満たす場合には前記ウィンドウ画像に前記検出対象が含まれるか否かを判断する検出手段と
   を具備し、
   前記特徴抽出手段は、前記特徴量として前記ウィンドウ画像の周波数成分の分布と予め設定された周波数成分の分布との相関性を抽出し、
   前記候補判定手段は、前記相関性が所定の閾値よりも高い場合には前記ウィンドウ画像が前記候補であると判定し、
   前記所定の基準は、前記原画像が撮像された際のフォーカス条件に応じて設定される
   撮像装置。
6. 第１のメモリに保持される原画像の所定の位置からウィンドウ画像を切り出して第２のメモリに保持する画像切出し手順と、
   前記原画像が撮像された際の撮像条件に応じて設定される所定の基準に基づいて前記ウィンドウ画像の特徴量を抽出する特徴抽出手順と、
   検出対象を含む候補として前記ウィンドウ画像が所定の条件を満たすか否かを前記特徴量に基づいて判定する候補判定手順と、
   前記ウィンドウ画像が前記所定の条件を満たす場合には前記ウィンドウ画像に前記検出対象が含まれるか否かを判断する検出手順と
   をコンピュータに実行させるプログラムであって、
   前記特徴抽出手順において、前記特徴量として前記ウィンドウ画像の周波数成分の分布と予め設定された周波数成分の分布との相関性を抽出し、
   前記候補判定手順において、前記相関性が所定の閾値よりも高い場合には前記ウィンドウ画像が前記候補であると判定し、
   前記所定の基準は、前記原画像が撮像された際のフォーカス条件に応じて設定される
   プログラム。

Images