JP2012113460A

JP2012113460A - 情報処理装置および方法、並びにプログラム

Info

Publication number: JP2012113460A
Application number: JP2010260869A
Authority: JP
Inventors: Yuichi Hasegawa; 雄一長谷川; Yasushi Shu; 寧周
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2010-11-24
Filing date: 2010-11-24
Publication date: 2012-06-14
Also published as: US9007481B2; US20120194697A1; CN102592127A

Abstract

【課題】より確実に対象物を認識できるようにする。
【解決手段】第１の認識処理は、例えば、手を認識する。第２の認識処理は、例えば、人を認識する。取得した画像が手を認識するのに不適切な画像の場合、例えば、画像上の手が小さいため認識できない場合、第２の認識処理を行い、画像上から人を認識する。人が認識された場合、ズーム率などの画質パラメータが新たに取得される。そして、画質パラメータが変更された画像を取得し、再び第１の認識処理を行う。以上の処理を手が認識されるまで繰り返すことで、確実に手を認識する。本発明は、例えばパーソナルコンピュータに適用できる。
【選択図】図１４

Description

本発明は情報処理装置および方法、並びにプログラムに関し、特に、より確実に対象物を認識するようにした情報処理装置および方法、並びにプログラムに関する。

図１に示すように、カメラ１１を用いてユーザ１の手２を認識し、手２の動きのパターンによるジェスチャを使用して、テレビジョン受像機１２などの電子機器を操作することが行われている。

また、カメラを用いて撮像する場合、ユーザの顔を認識し、認識された顔の情報に基づいて、ピントや色のバランスなどのパラメータを自動的に制御することが行われている。

このような処理を実行するための画像認識装置は、例えば、人、顔、手などを認識する（例えば特許文献１参照）。また、画像認識装置の中には、人の姿勢を認識するものもある（例えば特許文献２参照）。

特開２０１０−１０８４７５号公報特開平１１−１２８５３５号公報

しかしながら、画像認識装置は、取得した画像が適切な画像でない場合、対象物を認識することができないことがあった。

図２と図３は、対象物の認識に適切でない画像の例を示している。図２Ａは、明るすぎる画像の例を示している。図２Ｂは、暗すぎる画像の例を示している。図３Ａは、ピントがぼけている画像の例を示している。図３Ｂは、認識する対象物（例えば、手５や顔６）が小さい例を示している。

このような場合、画像認識装置は、手５や顔６などの対象物を認識することが困難であった。

本発明は、このような状況に鑑みてなされたものであり、より確実に対象物を認識できるようにするものである。

本発明の一側面の情報処理装置は、画像および画質パラメータを取得する取得手段と、前記画像から第１の対象物を認識する第１の認識手段と、前記画像から第２の対象物を認識する第２の認識手段と、前記第１の対象物と前記第２の対象物の認識に成功したかをそれぞれ判定する判定手段と、前記画像を前記画質パラメータに基づく画像に変更するように制御する制御手段とを備え、前記取得手段は、前記判定手段により前記第１の対象物の認識に失敗したと判定されるとともに、前記第２の対象物の認識に成功したと判定される場合、新たな前記画質パラメータを取得し、前記第１の認識手段は、新たな前記画質パラメータに基づき変更された前記画像から前記第１の対象物を認識する。

前記判定手段は、前記第１の対象物と前記第２の対象物との相対的な位置および相対的な大きさのうちの少なくとも一方が、予め設定された所定の条件を満足するかを判定することができる。

前記第１の対象物は、人、顔、および手のうちのいずれか１つであり、前記第２の対象物は、前記人、前記顔、および前記手のうちの前記第１の対象物とは異なるいずれか１つであるようにすることができる。

前記人の姿勢を認識する姿勢認識手段をさらに備え、前記判定手段は、前記第１の対象物と前記姿勢認識手段により認識された前記姿勢の相対距離および相対角度のうち少なくとも一方が予め設定された所定の条件を満足するかを判定することができる。

前記第１の対象物は、自動車のボディ、タイヤ、およびナンバープレートのうちのいずれか１つであり、前記第２の対象物は、前記自動車の前記ボディ、前記タイヤ、および前記ナンバープレートのうちの前記第１の対象物とは異なるいずれか１つであるようにすることができる。

本発明の一側面の情報処理方法は、画像および画質パラメータを取得する取得ステップと、前記画像から第１の対象物を認識する第１の認識ステップと、前記画像から第２の対象物を認識する第２の認識ステップと、前記第１の対象物と前記第２の対象物の認識に成功したかをそれぞれ判定する判定ステップと、前記画像を前記画質パラメータに基づく画像に変更するように制御する制御ステップとを含み、前記取得ステップの処理は、前記判定ステップの処理により前記第１の対象物の認識に失敗したと判定されるとともに、前記第２の対象物の認識に成功したと判定される場合、新たな前記画質パラメータを取得し、前記第１の認識ステップの処理は、新たな前記画質パラメータに基づき変更された前記画像から前記第１の対象物を認識する。

本発明の一側面のプログラムは、コンピュータに、画像および画質パラメータを取得する取得ステップと、前記画像から第１の対象物を認識する第１の認識ステップと、前記画像から第２の対象物を認識する第２の認識ステップと、前記第１の対象物と前記第２の対象物の認識に成功したかをそれぞれ判定する判定ステップと、前記画像を前記画質パラメータに基づく画像に変更するように制御する制御ステップとを実行させるためのプログラムであって、前記取得ステップの処理は、前記判定ステップの処理により前記第１の対象物の認識に失敗したと判定されるとともに、前記第２の対象物の認識に成功したと判定される場合、新たな前記画質パラメータを取得し、前記第１の認識ステップの処理は、新たな前記画質パラメータに基づき変更された前記画像から前記第１の対象物を認識する。

本発明の一側面においては、画像および画質パラメータが取得され、画像から第１の対象物が認識されるとともに、第２の対象物が認識され、第１の対象物と第２の対象物の認識に成功したかがそれぞれ判定され、画像が画質パラメータに基づく画像に変更するように制御される。そして、第１の対象物の認識に失敗したと判定されるとともに、第２の対象物の認識に成功したと判定される場合、新たな画質パラメータが取得され、新たな画質パラメータに基づき変更された画像から第１の対象物が認識される。

本発明の側面によれば、より確実に対象物を認識することが可能になる。

カメラを用いたジェスチャ認識の例を示す図である。認識に不適切な画像の例を示す図である。認識に不適切な画像の例を示す図である。本発明を適用したパーソナルコンピュータのハードウェアの構成例を示すブロック図である。 CPUの機能的構成例を示すブロック図である。第２認識部の詳細な構成例を示すブロック図である。輪郭特徴量計算部の詳細な構成例を示すブロック図である。画像に対してフィルタ処理を行った結果を示す図である。認識処理を説明するフローチャートである。対象物特徴点の抽出について説明する図である。輪郭特徴点の抽出について説明する図である。輪郭特徴量計算処理を説明するフローチャートである。認識結果の例を示す図である。対象物認識処理を説明するフローチャートである。認識結果の例を示す図である。相対位置の条件の例を示す図である。相対位置の条件の判定結果の例を示す図である。相対的な大きさの比較の条件の例を示す図である。相対的な大きさの比較の条件の判定結果の例を示す図である。認識結果の例を示す図である。姿勢認識部の詳細な構成例を示すブロック図である。対象物認識処理の例を説明するフローチャートである。認識結果の例を示す図である。姿勢認識処理の例を説明するフローチャートである。相対距離と相対角度の条件の例を示す図である。相対距離の条件の判定結果の例を示す図である。本発明を適用したテレビジョン受像機制御システムの構成例を示すブロック図である。本発明を適用したデジタルカメラ制御システムの構成例を示すブロック図である。

以下、本発明を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．パーソナルコンピュータの構成
２．第２認識部の構成
３．輪郭特徴量計算部の構成
４．認識処理
５．輪郭特徴量計算処理
６．対象物認識処理１
７．対象物認識処理２
８．姿勢認識部の構成
９．対象物認識処理３
１０．姿勢認識処理
１１．テレビジョン受像機制御システムの構成
１２．デジタルカメラ制御システムの構成
１３．その他

［パーソナルコンピュータの構成］

図４は、本発明を適用したパーソナルコンピュータ２１のハードウェアの構成例を示すブロック図である。

情報処理装置としてのパーソナルコンピュータ２１において、CPU（Central Processing Unit）４１，ROM（Read Only Memory）４２，RAM（Random Access Memory）４３は、バス４４により相互に接続されている。

バス４４には、さらに、入出力インタフェース４５が接続されている。入出力インタフェース４５には、入力部４６、出力部４７、記憶部４８、通信部４９、およびドライブ５０が接続されている。

入力部４６は、キーボード、マウス、マイクロフォンなどの他、カメラ４６Ａを有する。出力部４７は、スピーカなどの他、ディスプレイ４７Ａを有する。

カメラ４６Ａは、ディスプレイ４７Ａを見るユーザを撮影できる位置に配置されている。ディスプレイ４７Ａは、各種のアプリケーションに対応する画像の他、必要に応じてカメラ４６Ａにより撮影された画像を表示する。

記憶部４８は、ハードディスクや不揮発性のメモリなどよりなる。通信部４９は、ネットワークインタフェースなどよりなる。ドライブ５０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１を駆動する。

以上のように構成されるパーソナルコンピュータ２１においては、CPU４１が、例えば、記憶部４８に記憶されているプログラムを、入出力インタフェース４５及びバス４４を介して、RAM４３にロードして実行することにより、各種の処理が行われる。

CPU４１が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１に記録して提供される。

なお、パッケージメディアとしては、磁気ディスク（フレキシブルディスクを含む）、光ディスク(CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等)、光磁気ディスク、もしくは半導体メモリなどが用いられる。

また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

パーソナルコンピュータ２１においては、プログラムは、リムーバブルメディア５１をドライブ５０に装着することにより、入出力インタフェース４５を介して、記憶部４８にインストールすることができる。

また、プログラムは、有線または無線の伝送媒体を介して、通信部４９で受信し、記憶部４８にインストールすることができる。その他、プログラムは、ROM４２や記憶部４８に、あらかじめインストールしておくことができる。

図５は、CPU４１の機能的構成を示すブロック図である。

CPU４１は、取得部６１、第１認識部６２、第２認識部６３、判定部６４、制御部６５、出力部６６、およびアプリケーション実行部６７の機能ブロックを有している。なおCPU４１の各ブロックは、必要に応じて相互に信号、データを授受することが可能とされている。

取得部６１は、各種の情報を取得する。第１認識部６２および第２認識部６３は、手、顔、人等、それぞれ異なる認識対象物の認識処理を行う。例えば、第１認識部６２は認識対象物として手を認識し、第２認識部６３は認識対象物として人を認識する。

判定部６４は、各種の情報を判定する。制御部６５は、各種の制御処理を行う。出力部６６は、各種の情報を出力する。アプリケーション実行部６７は、アプリケーションを実行する。

アプリケーションとしては、例えば、画像上の手のジェスチャを認識して、そのジェスチャに対応するコマンドを実行するアプリケーション、または画像上の顔を認識して顔の領域の画質を向上させるアプリケーションなどがある。

すなわちアプリケーション実行部６７は、画像上の対象物を認識し、その認識結果を用いて所定の処理を行うアプリケーションを実行する。

［第２認識部の構成］

手を認識する第１認識部６２は、人を認識する第２認識部６３と同様の構成を有している。ここでは代表して第２認識部６３の構成について説明する。図６は、第２認識部６３のより詳細な構成例を示すブロック図である。

第２認識部６３は、ピラミッド画像生成部８１、対象物特徴点抽出部８２、対象物特徴量計算部８３、輪郭特徴点抽出部８４、輪郭特徴量計算部８５、識別計算部８６、および認識結果出力部８７から構成される。

各部は必要に応じて相互に信号、データを授受することが可能とされている。このことは、後述する図６、図７、および図２１においても同様である。

ピラミッド画像生成部８１は、取得された画像から、互いに解像度の異なる複数の画像をピラミッド画像として生成する。

例えば、レベルＬ１乃至レベルＬ８までの８つの解像度の階層のピラミッド画像が生成される。レベルＬ１のピラミッド画像が最も解像度が高く、レベルＬ１からレベルＬ８まで順番にピラミッド画像の解像度が低くなる。

対象物特徴点抽出部８２は、ピラミッド画像生成部８１で生成されたピラミッド画像を構成する各画像から、その画像の画素のいくつかを、対象物を認識するときに用いられる対象物特徴点として抽出する。

対象物特徴量計算部８３は、対象物特徴点抽出部８２により抽出された各対象物特徴点について、その対象物特徴点と、他の対象物特徴点とを１つのペアとするペアリングを行う。

また、対象物特徴量計算部８３は、対象物特徴点が抽出された画像に基づいて、対象物特徴点のペア毎に、任意の２つの領域のテクスチャの距離を示す対象物特徴量を計算する。

輪郭特徴点抽出部８４は、ピラミッド画像生成部８１で生成されたピラミッド画像を構成する各画像から、その画像の画素のいくつかを、対象物を認識するときに用いられる輪郭特徴点として抽出する。

輪郭特徴量計算部８５は、輪郭特徴点が抽出された画像に基づいて、例えばステアラブルフィルタ（Steerable Filter）を用いたフィルタ処理により、輪郭特徴点毎に、抽出された輪郭を示す輪郭特徴量を計算する。

識別計算部８６は、予め記憶部４８に記憶されている識別用特徴量および統合識別器を読み出す。また、識別計算部８６は、対象物特徴量計算部８３により計算された対象物特徴量、および輪郭特徴量計算部８５により計算された輪郭特徴量のうちの識別用特徴量に対応するものを、読み出した統合識別器に代入して演算を行う。

ここで、統合識別器とは、対象物識別器と輪郭識別器とを統合して生成されたものである。

対象物識別器および輪郭識別器は、予め統計学習により生成された、複数の弱識別器からなる強い識別器であり、対象物（例えば人）の特徴を利用して、入力された画像中に対象物の画像の領域が存在するか否かを識別するときに用いられる。

また、識別用特徴量は、統合識別器を用いて対象物体の認識を行うときに用いられる対象物特徴点のペアの対象物特徴量、および輪郭特徴点の輪郭特徴量である。

認識結果出力部８７は、識別計算部８６における演算結果に基づいて、対象物体が入力画像で認識されたか否かの識別結果を出力する。

上述したように、第１認識部６２は、第２認識部６３と同様の構成を有し、同様の処理を行うので、その詳細な説明は省略する。

［輪郭特徴量計算部の構成］

図７は、図６の輪郭特徴量計算部８５のより詳細な構成例を示すブロック図である。輪郭特徴量計算部８５は、１次フィルタ処理部１０１、２次フィルタ処理部１０２、３次フィルタ処理部１０３、および特徴量生成部１０４から構成される。

輪郭特徴点抽出部８４により輪郭特徴点が抽出された画像は、１次フィルタ処理部１０１乃至特徴量生成部１０４に供給され、輪郭特徴点は、１次フィルタ処理部１０１乃至３次フィルタ処理部１０３に供給される。

１次フィルタ処理部１０１は、輪郭特徴点抽出部８４により抽出された輪郭特徴点毎に、輪郭特徴点に対してガウス関数Ｇの１次微分関数Ｇ₁によりフィルタ処理を施して特徴量を抽出する。ここで、ガウス関数Ｇ、および１次微分関数Ｇ₁は、次式（１）および式（２）により示される。

式（１）において、σはガウス幅を示している。式（２）において、θは任意の角度を示している。

例えば、１次フィルタ処理部１０１は、ガウス関数Ｇのガウス幅σを３つの所定値（例えば、ガウス幅σ１，σ２，σ３＝１，２，４）に変化させ、ガウス幅σ毎に所定の４方向（例えば、θ＝θ１，θ２，θ３，θ４）について式（２）を計算する。

なお、方向θは４方向に限らず、８方向、例えばπを８方向に等分したときの各方向などとしてもよい。また、従来は、複数のガウス幅を用いて処理を行っていたが、本実施の形態においては、後述するように、ガウス幅は１つだけ用意しておけば良い。

換言すれば、ガウス幅を変化させる必要がない。よって、上記では、「ガウス幅を３つの所定値に変化させ、ガウス幅σ毎に所定の４方向について式（２）を計算する」と記載したが、本実施の形態においては、設定されているガウス幅σにおいて所定の方向の４方向について式（２）を計算するだけでよい。

よって、複数のガウス幅毎に計算する必要がないため、計算量を低減させることが可能となる。このようなことは、他のフィルタ、例えば、２次フィルタ処理部１０２、３次フィルタ処理部１０３においても同様である。

２次フィルタ処理部１０２は、抽出された輪郭特徴点毎に、輪郭特徴点に対してガウス関数Ｇの２次微分関数Ｇ₂によりフィルタ処理を施して特徴量を抽出する。次式（３）は、２次微分関数Ｇ₂を示しており、式（３）においてθは任意の角度を示している。

また、式（３）における係数ｋ_2i（θ）（但し、ｉ＝１，２，３）は、次式（４）で示される関数である。

例えば、２次フィルタ処理部１０２は、ガウス関数Ｇの所定のガウス幅σにおいて、所定の４方向（例えば、θ＝θ１，θ２，θ３，θ４）について式（３）を計算する。

３次フィルタ処理部１０３は、抽出された輪郭特徴点毎に、輪郭特徴点に対してガウス関数Ｇの３次微分関数Ｇ₃によりフィルタ処理を施して特徴量を抽出する。

次式（５）は、３次微分関数Ｇ₃を示しており、式（５）においてθは任意の角度を示している。

また、式（５）における係数ｋ_3i（θ）（但し、ｉ＝１，２，３）は、次式（６）で示される関数である。

例えば、３次フィルタ処理部１０３は、ガウス関数Ｇの所定のガウス幅σにおいて、所定の４方向（例えば、θ＝θ１，θ２，θ３，θ４）について、式（５）を計算する。

特徴量生成部１０４は、１次フィルタ処理部１０１、２次フィルタ処理部１０２、および３次フィルタ処理部１０３のそれぞれで、４つの方向θについて計算された各輪郭特徴点の特徴量の供給を受け、供給された合計１２個（＝３（次数）×４（方向））の特徴量を並べて輪郭特徴点における輪郭特徴量とする。

また、各フィルタ処理部１０１，１０２，１０３には、ピラミッド画像生成部８１から異なる解像度の複数の画像が供給されるため、各画像から４つの方向θについて計算された各輪郭特徴点の特徴量も供給される。

この供給される特徴量は、ピラミッド画像生成部８１が生成する画像の枚数に依存し、例えば、レベル１からレベル８までの８枚の画像が生成される場合、８枚分の４つの方向θについて計算された各輪郭特徴点の特徴量が供給されることになる。

このように、輪郭特徴量計算部８５では、ガウス関数を微分して得られる、方向θに選択性を持つフィルタ（基底関数）が用いられて、微分の次数毎に異なる特徴量（輪郭）が抽出され、輪郭特徴量とされている。

図８に、ガウス関数Ｇの微分関数により、人が写っている画像に対してフィルタ処理を行うことで得られた結果を示す。図８において、左側にはフィルタ処理の対象となる画像が示され、中央にはフィルタが示され、右側にはフィルタ処理後の画像が示されている。

図８の左側に示した画像は、ピラミッド画像を構成する２枚の画像であり、異なる解像度の画像である。ピラミッド画像生成部８１は、例えば、レベルＬ１乃至Ｌ８までの異なる解像度の画像を生成する。そのうちの例えば、レベルＬ１の画像１３１とレベルＬ２の画像１３２が、図８の左側に示されている。

図８の中央に示したフィルタは、１次微分関数Ｇ₁、２次微分関数Ｇ₂、および３次微分関数Ｇ₃のガウス幅σがσ＝１のフィルタの一例を示している。

図８の左側に示した画像１３１，１３２に対して、図８の中央に示したフィルタのうち、例えば、３次微分関数Ｇ₃のフィルタを用いて、フィルタ処理した場合、図８の右側に示した画像が生成される。

すなわち、画像１３１に対して、３次微分関数Ｇ₃のフィルタでフィルタ処理を行うと、画像１４１−１乃至１４１−４が生成される。また、画像１３２に対して、３次微分のフィルタでフィルタ処理を行うと、画像１４２−１乃至１４２−４が生成される。

画像１４１−１乃至１４１−４は、それぞれガウス幅σが１（σ＝１）の３次微分関数Ｇ₃のフィルタを用いて、フィルタ処理を行ったため、ガウス幅σが１のフィルタでフィルタ処理が行われたときの画像となる。

同様に、画像１４２−１乃至１４２−４は、それぞれガウス幅σが１（σ＝１）の３次微分関数Ｇ₃のフィルタを用いて、フィルタ処理を行ったため、ガウス幅σが１のフィルタでフィルタ処理が行われたときの画像となる。

しかしながら、画像１４２−１乃至１４２−４は、画像１３２をフィルタ処理した画像である。画像１３２は、画像１３１を縮小した画像である。

このような場合、画像１４２−１乃至１４２−４は、ガウス幅σが２（σ＝２）の３次微分関数Ｇ₃のフィルタを用いてフィルタ処理を行った結果、生成される画像に相当する画像とすることができる。

換言すれば、画像１３１に対して、ガウス幅σが２（σ＝２）の３次微分関数Ｇ₃のフィルタを用いてフィルタ処理したときに生成される画像に相当する画像が、画像１４２−１乃至１４２−４である。

すなわち、ピラミッド画像に対して、フィルタ処理を行うことで、異なるガウス幅のフィルタを用いて、フィルタ処理したときと同等の画像を得ることが可能となる。

例えば、ガウス幅毎にフィルタを予め用意し、フィルタ処理を行うときの演算量や処理負担と比較し、上記したように１つのガウス幅のフィルタを予め用意し、ピラミッド画像にフィルタ処理を行うときの演算量や処理負担は大幅に軽減されたものとなる。

すなわち、ピラミッド画像を生成し、１つのガウス幅でフィルタ処理を行うことで、処理時間を大幅に短縮することが可能となる。

よって、このような手法で、画像から人などの対象物を検出するようにした場合、処理時間が短くなることで、リアルタイムに画像から対象物を検出することが可能となる。

輪郭特徴量計算部８５は、このようにして、異なるガウス幅σのフィルタでフィルタ処理したときに相当する複数の画像を、さらに平均して得られる画像を生成する。その生成された平均の画像からは、人の輪郭を確認することができ、各フィルタを用いたフィルタ処理によって、画像から適切に人の輪郭が抽出される。

［認識処理］

次に、図９乃至図１３を参照して、対象物を認識する第１認識部６２および第２認識部６３の認識処理を説明する。

なお、手を認識対象物とする第１認識部６２の認識処理と人を認識対象物とする第２認識部６３の認識処理とは認識対象物が異なるだけであり、処理は同様であるので、簡単のため人を認識対象物とする第２認識部６１の認識処理についてだけ説明する。

図９は、認識処理を説明するフローチャートである。図９の処理はカメラ４６Ａにより画像が取得された時に実行される。

ステップＳ１において、第２認識部６３のピラミッド画像生成部８１は、カメラ４６Ａにより取得された画像から、ピラミッド画像を生成する。

上記したように、ピラミッド画像生成部８１は、例えば、レベルＬ１乃至レベルＬ８までの８つの解像度の階層のピラミッド画像を生成する。

対象物特徴点抽出部８２と輪郭特徴点抽出部８４は、それぞれ、供給されるピラミッド画像（異なる解像度の複数の画像）のうちの１つの画像を、処理対象の画像として、ステップＳ２以下の処理を実行し、複数の画像毎に繰り返しステップＳ２以下の処理を実行する。

ステップＳ２において、対象物特徴点抽出部８２は、処理対象とされた画像から対象物特徴点を抽出する。

ステップＳ３において、対象物特徴量計算部８３は、ステップＳ２で抽出された対象物特徴点から、未処理の対象物特徴点の１つを注目点として選択する。

ステップＳ４において、対象物特徴量計算部８３は、対象物特徴点抽出部８２により抽出された対象物特徴点とその画像とに基づいて、各対象物特徴点について、対象物特徴点のペアリングを行う。

ステップＳ５において、対象物特徴量計算部８３は、ペアリングによりペアとされた対象物特徴点の各ペアについて対象物特徴量を計算する。

例えば、図１０に示す画像が対象物特徴点抽出部８２により処理対象とされた場合、対象物特徴点抽出部８２は、予め定められたマージン（のりしろ）と、サンプリングスキップ数とに基づいて、画像から対象物特徴点１４５を抽出する。

なお、図１０において、画像上の円は、対象物特徴点１４５とされた画素を示している。また便宜上、符号は、画像上の１つの円にのみ付されている。

ここで、マージンとは、画像において、画像の端から対象物特徴点１４５の抽出の対象となる領域までの画素数である。また、サンプリングスキップ数とは、対象物特徴点１４５とされる画像上の画素と画素との間隔である。

したがって、例えばマージンが５画素であり、サンプリングスキップ数が５画素である場合、対象物特徴点抽出部８２は、画像の端から５画素以内の位置にある画素からなる領域を除外し、残りの内側の領域Ｅ１１を対象物特徴点の抽出の対象とする。

そして、対象物特徴点抽出部８２は、領域Ｅ１１内の画素のうち、互いに５画素だけ離れている位置の画素を対象物特徴点１４５として抽出する。

すなわち、図１０の縦方向または横方向に互いに隣り合う対象物特徴点１４５間の距離は５画素とされ、各対象物特徴点１４５は、領域Ｅ１１内の画素とされる（ステップＳ２，Ｓ３の処理）。

次に、対象物特徴量計算部８３は、予め定められた最小半径および最大半径に基づいて、各対象物特徴点１４５のペアリングを行う。

例えば、最小半径がＲ１１であり、最大半径がＲ１２である場合、所定の対象物特徴点ＫＴ１に注目したとき、対象物特徴量計算部８３は、対象物特徴点ＫＴ１からの距離が、最小半径Ｒ１１以上であり、かつ最大半径Ｒ１２以内である全ての対象物特徴点１４５について、その対象物特徴点１４５と、対象物特徴点ＫＴ１とを１つのペアとする。

例えば、対象物特徴点ＫＴ１からの距離が、最小半径Ｒ１１以上であり、かつ最大半径Ｒ１２以内である対象物特徴点１４５がＮ個存在する場合、Ｎ個の対象物特徴点１４５のペアが得られることになる。

対象物特徴量計算部８３は、全ての対象物特徴点１４５について、他の対象物特徴点１４５とのペアリングを行う（ステップＳ４の処理）。

さらに、対象物特徴量計算部８３は、ペアリングにより得られた対象物特徴点１４５の各ペアについて、ペアとなる各対象物特徴点１４５を中心とする所定の形の所定の大きさの領域同士のテクスチャの距離を対象物特徴量として計算する。

例えば、図１０に示す対象物特徴点ＫＴ１と対象物特徴点ＫＴ２とのペアについての対象物特徴量をSSD（Sum of Square Distance）により求める場合、対象物特徴量計算部８３は、対象物特徴点ＫＴ１を中心とする所定の領域を領域Ｔｘ１とし、対象物特徴点ＫＴ２を中心とする領域Ｔｘ１と同じ大きさの領域を領域Ｔｘ２とする。

そして、対象物特徴量計算部８３は、領域Ｔｘ１内の画素の画素値と、その画素に対応する領域Ｔｘ２内の画素の画素値との差分の絶対値和を求め、求められた差分の絶対値和を対象物特徴量とする。

なお、対象物特徴量は、SSDに限らず、SAD（Sum of Absolute Distance）や、正規化相関などとされてもよい（ステップＳ５の処理）。

図９に戻り、ステップＳ６において、対象物特徴量計算部８３は、全ての対象物特徴点について処理が終了したかを判定する。

ステップＳ６において、全ての対象物特徴点１４５についてまだ処理が終了していないと判定された場合、処理はステップＳ３に戻り、次の対象物特徴点１４５が注目点として選択され、同様の処理が実行される。

一方、ステップＳ６において、全ての対象物特徴点１４５について処理が終了したと判定された場合、処理はステップＳ７に進む。

ステップＳ７において、輪郭特徴点抽出部８４は、ステップＳ１で生成され、処理対象とされた画像から輪郭特徴点を抽出する。

例えば、輪郭特徴点抽出部８４に図１１Ａに示す画像が入力された場合、輪郭特徴点抽出部８４は、図１１Ｂに示すように、画像において所定の間隔で並んでいる画素を、輪郭特徴点１４６として抽出する。

なお、図１１Ｂにおいて、画像上の円は輪郭特徴点１４６とされた画素を表している。また便宜上、符号は、画像上の１つの円にのみ付されている。

図１１Ｂに示す画像は、図中、横方向に３２画素、縦方向に６４画素からなる画像であり、輪郭特徴点抽出部８４は、画像上の画素を、横方向および縦方向に２画素おきに輪郭特徴点１４６とする画素として選択する。

これにより、横方向に１２画素、縦方向に２８画素、合計３３６（＝１２×２８）画素が輪郭特徴点１４６として選択される。

輪郭特徴点抽出部８４は、画像から輪郭特徴点１４６を抽出すると、抽出した輪郭特徴点１４６と、入力された画像とを輪郭特徴量計算部８５に供給する。

ステップＳ８において、輪郭特徴量計算部８５は、輪郭特徴量計算処理を行い、輪郭特徴点抽出部８４から供給された輪郭特徴点１４６および画像に基づいて、各輪郭特徴点１４６の輪郭特徴量を計算する。

［輪郭特徴量計算処理］

ここで、図１２のフローチャートを参照して、図９のステップＳ８の処理に対応する輪郭特徴量計算処理について説明する。

ステップＳ２１において、輪郭特徴量計算部８５、より詳細には、輪郭特徴量計算部８５の１次フィルタ処理部１０１、２次フィルタ処理部１０２、および３次フィルタ処理部１０３は、それぞれ輪郭特徴点抽出部８４から供給されてきた輪郭特徴点のうち、未処理の輪郭特徴点の１つを注目画素として選択する。

ステップＳ２２において、輪郭特徴量計算部８５は、方向θｑを示すカウンタｑを１とする。これにより、方向θｑはθ１とされる。

ステップＳ２３において、１次フィルタ処理部１０１は、１次フィルタ処理を行う。

すなわち、１次フィルタ処理部１０１は、処理対象となる注目画素の画素値に基づいて、ガウス幅をσ＝１とし、かつ方向をθｑとして式（２）を演算し、フィルタ処理した結果を特徴量生成部１０４に供給する。

すなわち、式（２）における方向θがθｑとされて演算が行われ、輪郭が抽出される。

なお、「ガウス幅をσ＝１として」と記述したが、本実施の形態の場合、ガウス幅は、σ＝１と固定されている（予め１つのガウス幅のフィルタが設定されている）ため、この「ガウス幅をσ＝１として」という処理は省略することが可能である。

すなわち、本実施の形態においては、ガウス幅σが１のフィルタの方向をθｑとして式（２）を演算するという処理が、ステップＳ２３において実行されることになる。

また、ここでは、ガウス幅σをσ＝１として説明を続けるが、予め用意されているフィルタのガウス幅は、σ＝１以外のガウス幅でも勿論良い。

ステップＳ２４において、２次フィルタ処理部１０２は、２次フィルタ処理を行う。

すなわち、２次フィルタ処理部１０２は、注目画素の画素値に基づいて、ガウス幅σ＝１のフィルタの方向をθｑとして式（３）を演算し、フィルタ処理した結果を特徴量生成部１０４に供給する。

すなわち、式（３）における方向θがθｑとされて演算が行われ、輪郭が抽出される。

ステップＳ２５において、３次フィルタ処理部１０３は、３次フィルタ処理を行う。

すなわち、３次フィルタ処理部１０３は、注目画素の画素値に基づいて、ガウス幅σ＝１のフィルタの方向をθｑとして式（５）を演算し、フィルタ処理した結果を特徴量生成部１０４に供給する。

すなわち、式（５）における方向θがθｑとされて演算が行われ、輪郭が抽出される。

ステップＳ２６において、輪郭特徴量計算部８５は、方向θｑがθ４であるか否か、すなわちカウンタｑ＝４であるか否かを判定する。ステップＳ２６において、方向θｑがθ４でないと判定された場合、ステップＳ２７において、輪郭特徴量計算部８５は、カウンタｑをインクリメントする。

例えば、カウンタｑ＝１であった場合、カウンタｑが１だけインクリメントされてｑ＝２とされ、これにより方向θｑはθ２とされる。カウンタｑが１だけインクリメントされると、処理はステップＳ２３に戻り、上述した処理が繰り返される。

これに対して、ステップＳ２６において、方向θｑがθ４であると判定された場合、ステップＳ２８において、特徴量生成部１０４は、１次フィルタ処理部１０１、２次フィルタ処理部１０２、および３次フィルタ処理部１０３から供給された演算結果を輪郭特徴量として合成し、１つの輪郭特徴点に対する輪郭特徴量を生成する。

輪郭特徴量は、以下の式（７）または式（８）で求められる。

式（７）、式（８）において、Ｇ_ｄ,θは、式（２）などと同じく、任意の角度θにおけるガウス関数Ｇのｄ次微分関数である。また、Ｉ（ｘ_ｉ，ｙ_ｉ，ｓ_ｉ）のうち、（ｘ_i，ｙ_i）は、処理対象とされている輪郭特徴点の画像内での座標を表し、（ｓ_i）は、ピラミッド画像を構成する画像のうち、処理対象とされている画像のスケールを表す。

式（７）は、任意の角度θにおけるガウス関数Ｇのｄ次微分関数と輪郭特徴量を畳込み演算し、その絶対値をΣで総和を演算する式である。式（８）は、任意の角度θにおけるガウス関数Ｇのｄ次微分関数と輪郭特徴量を畳込み演算し、その絶対値をｍａｘで最大値をとる式である。

式（７）と式（８）は、ともに、特徴量を算出する式であるが、式（７）は、局所的なエネルギーを計算する式であり、式（８）は、局所的な最大値を計算する式である。ここで、この式の意味ついて説明を加える。

上記したような処理により、任意の角度における関数とスケールで抽出されたフィルタ係数を特徴量として、人などの対象物を検出する検出識別器を生成できる。

しかしながら、この検出識別器では、例えば、人の着ている服装と背景の関係に依存する特徴量となってしまう。

また、人のように歪みや変形の大きな認証対象に関しては、特徴量として選択性がありすぎる。よって、これらのことを吸収して処理する必要があり、それぞれの特徴量を不変性のある特徴量にする必要がある。

「人の着ている服装と背景に関係に依存する特徴量」を、不変性のある特徴量にするには、フィルタ処理後の出力値の絶対値を演算することで解決することができる。絶対値を演算することで、人の輪郭に近い特徴量が抽出できる。

さらに本実施の形態においては、１次微分関数、２次微分関数、さらに３次微分関数を演算し、それぞれ絶対値の演算を行っている。よって、１次微分関数による絶対値だけで演算を行う場合に比べて、はるかに精度を良くすることができ、不変性を有する特徴量を算出できるようになる。

また、「人のように歪みや変形の大きな認証対象に関しては、特徴量として選択性がありすぎる」といったことに対しては、位置ずれによる不変演算を行うことで、そのようなこと吸収した特徴量を演算できるようになる。

位置ずれによる不変演算とは、例えば、人の顔の輪郭を検出したとき、顔の形によらずその輪郭の長さはほぼ同じになるといったことを利用した演算である。

換言すれば、輪郭の所定の部分に注目したとき、その部分が位置的にずれても、例えば、ほぼ丸顔の人の輪郭が位置的に移動し、細長い顔の人の輪郭に重なるようにしたときに、位置がずれただけで、その長さなどの値は不変であるとみなせる演算である。

このような演算として、式（７）のように、総和が演算される。総和を演算することにより、例えば、人の顔の輪郭の総和が演算されることになる。

または、式（８）のように、最大値が演算される。最大値を演算することにより、例えば、人の顔の輪郭のうちの最大値が演算されることになる。

ここでは、総和と最大値という２つの演算を示した。換言すれば、上記したように、式（７）に基づき、局所的なエネルギーを計算する演算を示し、式（８）に基づき、局所的な最大値を計算する演算を示した。

この他にも、局所的な最大値を有する点の周辺の局所的なエネルギーを計算する演算が行われるようにしても良い。これは、式（８）の演算結果を受けて、式（７）の演算を行うようなイメージである。

または、局所的なエネルギーの周辺の最大値を計算する演算が行われるよにしても良い。これは、式（７）の演算結果を受けて、式（８）の演算を行うようなイメージである。具体的な式は示さないが、このような演算で特徴量が算出されるようにしても良い。

このような演算により、各輪郭特徴点から特徴量が算出される。そして、ステップＳ２９において、輪郭特徴量計算部８５は、全ての輪郭特徴点について処理が終了したか否かを判定する。

例えば、輪郭特徴点抽出部８４から供給された全ての輪郭特徴点について、輪郭特徴量が求められた場合、処理が終了したと判定される。

ステップＳ２９において、全ての輪郭特徴点について処理がまだ終了していないと判定された場合、処理はステップＳ２１に戻り、次の輪郭特徴点が注目画素として選択される。

これに対して、ステップＳ２９において、全ての輪郭特徴点について処理が終了したと判定された場合、処理は図９のステップＳ９に進む。

ステップＳ９において、識別計算部８６は、記憶部４８に予め記憶されている識別用特徴量および統合識別器を読み出して、読み出した統合識別器に特徴量を代入して計算する。

すなわち、識別計算部８６は、対象物特徴量計算部８３からの対象物特徴量、および輪郭特徴量計算部８５からの輪郭特徴量のうちの識別用特徴量に対応するものを、統合識別器に代入して演算を行う。

ここで、識別用特徴量とされる特徴量は、統計学習処理時において、統合識別器を構成する弱識別器の設定に用いられた特徴量である。すなわち誤り率が比較的低い所定の個数の弱識別器に対応する対象物特徴点のペアの対象物特徴量、および輪郭特徴点の輪郭特徴量である。

また統合識別器は、対象物識別器と輪郭識別器とを統合して生成されている。対象物識別器は、対象物特徴量を用いて画像に対象物が含まれているかを識別する識別器である。輪郭識別器は、輪郭特徴量を用いて画像に対象物が含まれているかを識別する識別器である。

所定の個数の弱識別器は、対応する対象物特徴点のペアの対象物特徴量が代入された場合、結果が正であるとき「＋１」を出力し、負であるとき「−１」を出力する。そして対象物識別器は、所定の個数の弱判別器の多数決により認識しようとする対象物体の有無を出力する。

輪郭識別器も同様に、輪郭特徴点の輪郭特徴量が弱識別器に代入され、所定の個数の弱判別器の多数決により認識しようとする対象物体の有無を出力する。

具体的には、統合識別器は、以下のように生成される。

まず、次式（９）を計算し、対象物識別器Ｒ（ｘ）と、輪郭識別器Ｔ（ｘ）との識別器和Ｕ（ｘ）を求める。すなわち、対象物識別器Ｒ（ｘ）と、輪郭識別器Ｔ（ｘ）との線形結合により、識別器和Ｕ（ｘ）が求められる。

Ｕ（ｘ）＝α・Ｒ（ｘ）＋β・Ｔ（ｘ）・・・（９）

なお、式（９）において、αおよびβは所定の定数、すなわちチューニングパラメータであり、例えば統計学習処理に用いられる学習画像に対する識別率などにより求められる。

求められた識別器和Ｕ（ｘ）を用いて、次式（１０）により示される統合識別器が生成される。

統合識別器＝sign（Ｕ（ｘ））・・・（１０）

式（１０）の演算が行われると、その演算の結果として、入力画像中に対象物体としての人が存在することを示す「＋１」、または入力画像中に対象物体としての人が存在しないことを示す「−１」が得られる。識別計算部８６は、統合識別器での演算結果を識別結果出力部８７に供給する。

ステップＳ１０において、識別結果出力部８７は、識別計算部８６からの演算結果に基づいて、人の認識結果を出力し、認識処理は終了する。すなわち、対象物体が画像で認識されたか否かの識別結果が出力される。

なお、以上においては、対象物体として人を検出すると説明したが、人に限らず、どのようなものであってもよい。

例えば、対象物体が入力画像で認識されたか否かの識別結果として、図１３に示すように、対象物体としての人、手、及び顔が検出された領域に枠が設定され、表示された画像が表示されるようにしてもよい。

図１３に示す画像は、対象物体として人１５１、手１５２、および顔１５３が表示されている画像であり、画像には、人１５１を囲む人認識枠１６１、手１５２を囲む手認識枠１６２、および顔１５３を囲む顔認識枠１６３が設定され、表示されている。

このような表示を行う場合、認識結果出力部８７にも画像が入力され、識別計算部８６は、演算結果とともに入力画像における対象物体が検出された領域を示す情報を識別結果出力部８７に供給する。

認識結果出力部８７は、識別計算部８６からの演算結果および領域を示す情報に基づいて、画像から対象物体が検出された場合には、画像とともに、対象物体（例えば人１５１）が検出された領域を囲む枠（例えば人認識枠１６１）を設定し、ディスプレイ４７Ａに表示させる。

このようにして、第２認識部６３は、画像から対象物特徴点を抽出して、対象物特徴点のペアの対象物特徴量を求めるとともに、画像から輪郭特徴点を抽出して輪郭特徴量を求める。

そして、第２認識部６３は、求めた対象物特徴量および輪郭特徴量と、記憶部４８に予め記憶されている統合識別器とを用いて、画像から対象物体として人を検出する。

以上のようにして、第２認識部６３は対象物体として人を認識する。第１認識部６２が手を対象物として認識する処理も、対象物が異なるだけで、第２認識部６３の処理と同様であり、その説明は繰り返しになるので省略する。

［対象物認識処理１］

次に、図１４乃至図１９を参照して、第１認識部６２と第２認識部６３の２個の認識器を用いて対象物を認識する処理の例を説明する。なお認識器の数は、２個に限らず、３以上の複数個の認識器を用いてもよい。

図１４は、対象物認識処理を説明するフローチャートである。図１４の例では、第１認識部６２が認識対象物として手を認識し、第２認識部６３が認識対象物として人を認識するものとする。

ステップＳ４１において、取得部６１は、入力部４６を構成するカメラ４６Ａから画像を取得する。例えば、図１５Ａに示す人１５１−１が手１５２−１を挙げている画像を取得される。

ステップＳ４２において、第１認識部６２は、取得した画像に対して第１の認識処理を行う。すなわち、図１５Ａの画像から手を認識する処理が実行される。この処理の詳細は上述した通りである。

図１５Ａの画像は、人１５１−１がカメラ４６Ａから離れた場所に立っている。このような場合、手１５２−１が小さくなるので、ステップＳ４２の第１認識処理では図１５Ａの画像からは、手１５２−１を認識することが困難になる。

ステップＳ４３において、判定部６４は、第１の認識処理が成功したかを判定する。すなわち、図１５Ａの画像から手１５２−１を認識できたかが判定される。

ステップＳ４３において第１の認識処理が失敗したと判定された場合、すなわち手を認識することができなかった場合、処理はステップＳ４４に進む。

ステップＳ４４において、第２認識部６３は、取得した画像に対して第２の認識処理を行う。すなわち、図１５Ａの画像に対して人を認識する処理が実行される。この処理の詳細は上述した通りである。

図１５Ａの画像では、人１５１−１がカメラから離れた場所に立っている。しかし、人１５１−１の大きさは、手１５２−１より大きく、認識に充分な大きさである。ステップＳ４４の第２の認識処理で人１５１−１が認識されたときの画像を図１５Ｂに示す。

図１５Ｂは、人１５１−１が認識されたときの画像の例を示す図である。第２認識部６３により人１５１−１が認識され、人認識枠１６１−１が設定され、表示されている。

ステップＳ４５において、判定部６４は、第２の認識処理が成功したかを判定する。すなわち、図１５Ａの画像から人１５１−１を認識できたかが判定される。

ステップＳ４５において第２の認識処理が失敗したと判定された場合、処理はステップＳ４１に戻る。すなわち、第１の認識処理と第２の認識処理のいずれも失敗した場合には、ステップＳ４１乃至ステップＳ４５の処理が繰り返される。

ステップＳ４５において第２の認識処理が成功したと判定された場合、すなわち図１５Ｂの例のように、人１５１−１を認識することができた場合、すなわち、手の認識処理には失敗したが、人の認識処理には成功した場合、処理はステップＳ４６に進む。

ステップＳ４６において、取得部６１は、記憶部４８から画質パラメータを取得する。画質パラメータは、カメラ制御パラメータと画像処理パラメータに分類できる。

カメラ制御パラメータは、例えば、ズーム率、フォーカス位置、絞り値、シャッター時間、ゲイン値、色調整値、およびカメラ方向などカメラ本体の設定値を定めるパラメータである。画像処理パラメータは、例えば、明度、コントラスト、色変換、先鋭度値、ぼかし、およびデジタルズーム率など取得した画像を処理するためのパラメータである。

このカメラ制御パラメータおよび画像処理パラメータのうちの少なくとも１種類が画質パラメータとして予め記憶部４８に記憶されている。記憶部４８に記憶されている画質パラメータは、その設定値が離散的に用意されている。

例えば、画質パラメータとしてズーム率が設定されており、Ｐ個（Ｐは自然数）の設定値が用意されている場合、ズーム率ａ＝｛ａ１，ａ２，・・・，ａＰ｝として記憶されている。取得部６１は、｛ａ１，ａ２，・・・，ａＰ｝の中から新たな設定値を画質パラメータとして取得する。

なお、例えば、ズーム率ａに加え、明度ｂ＝｛ｂ１，ｂ２，・・・，ｂＱ（Ｑは自然数）｝を画質パラメータとして設定する場合、ズーム率ａと明度ｂとの設定値の組み合わせを画質パラメータとして提供することができる。

また画質パラメータの種類が３種類以上の場合も同様である。そして、画像が認識されるまで全通りの組み合わせを試す方法が有効である。

ステップＳ４７において、制御部６５は、現在の画質パラメータを、ステップＳ４６において取得された新たな画質パラメータに変更するように制御する。ステップＳ４７の処理の後、処理はステップＳ４１に戻る。

なお、画質パラメータに変えて、ユーザに対して「カメラに近づいて下さい」というような指示を取得し、ディスプレイ４７Ａに表示するようにしてもよい。

ステップＳ４３において第１の認識処理が成功したと判定されるまで、ステップＳ４１乃至Ｓ４７の処理が繰り返される。

ステップＳ４７の処理の後のステップＳ４１の処理において、取得部６１は、ステップＳ４７において画質パラメータが変更された画像を取得する。図１５Ｃを参照して、画質パラメータを変更した手を認識するのに適切な画像について説明する。

図１５Ｃは、画質パラメータとしてズーム率が変更された画像を示す図である。図１５Ｃの図では、ズーム率がより望遠となる画質パラメータに変更された場合の例を示している。すなわち、人１５１−２が画像上により大きく表示されている。

ステップＳ４２において、第１認識部６２は、第１の認識処理を実行する。画質パラメータが変更された図１５Ｃの画像は、手１５２−２の大きさが、図１５Ａに示される場合より大きく、認識に充分な大きさである。従って、ステップＳ４２の処理で、第１認識部６２により手１５２−２が認識され、手認識枠１６２−２が設定され、表示される。

ステップＳ４３において第１の認識処理が成功したと判定された場合、すなわち手を認識することができた場合、処理はステップＳ４８に進む。

ステップＳ４８において、判定部６４は、ステップＳ４４の第２の認識処理が成功したかを判定する。すなわち、人を認識する処理が成功したかが判定される。

ステップＳ４８において第２の認識処理が成功したと判定された場合、処理はステップＳ４９に進み、ステップＳ４９において、判定部６４は、条件を満足するかを判定する。

条件は、相対的な位置関係と相対的な大きさの関係との２つの条件がある。まず図１６と図１７を参照して、相対的な位置関係の条件について説明する。

図１６Ａは、人認識枠１６１と手認識枠１６２との相対的な位置関係の例を示す図である。検出領域１８１は、人認識枠１６１の所定の位置に予め設定されている。そして判定部６４により手認識枠１６２が、検出領域１８１内にあるかが条件として判定される。

具体的には、例えば、人認識枠１６１の左上の頂点の座標（ｘｂ，ｙｂ）に対して、検出領域１８１の左上の頂点の座標（ｘ１，ｙ１）と、検出領域１８１の右下の頂点の座標（ｘ２，ｙ２）は所定の関係になるように予め設定される。

この場合、判定部６４は、手認識枠１６２の左上の頂点の座標（ｘｈ，ｙｈ）が次式を満足するかを判定する。

図１６Ｂは、人認識枠１６１と手認識枠１６２との相対的な位置関係の他の例を示す図である。検出領域１８２は、人認識枠１６１に対する手認識枠１６２の相対位置の分布に基づいて設定される。

具体的には、手の位置の座標（ｘｈ，ｙｈ）の平均μ_ｘ，ｙと共分散Σ_ｘｙが与えられることで定義される２次元正規分布を考えたときの、共分散Σ_ｘｙの値が閾値ｗ０以上となる所定の範囲が規定される。

つまり、手認識枠１６２の左上の頂点の座標を（ｘｈ，ｙｈ）を取得したとき、判定部６４は、その座標（ｘｈ，ｙｈ）が次式を満足するかを判定する。すなわち、座標がｘｙ平面内の平均μ_ｘ，ｙから所定の距離の範囲内に位置するかが判定される。

なお、図１６の例では、手認識枠１６２の左上の頂点の座標（ｘｈ，ｙｈ）を基準の座標としたが、基準とする座標は、手認識枠１６２の他の頂点、辺上、または重心などでもよい。

また、図１６Ｂの例では２次元正規分布を使用したが、ロジスティック分布、双曲線正割分布、レイリー分布、レヴィ分布、またはコーシー分布など他の確率分布を同様に規定して使用してもよい。

図１７Ａは、相対的な位置関係の条件を満足する例を示す図である。人認識枠１６１−３の左上の頂点の座標（ｘｂ，ｙｂ）に対する手認識枠１６２−３の左上の頂点の座標（ｘｈ，ｙｈ）は、検出領域１８１−３内に存在する。従って、判定部６４は、相対的な位置関係の条件を満足すると判定する。

図１７Ｂは、相対的な位置関係の条件を満足しない例を示す図である。図１７Ｂに示すように、手認識枠１６２−４の左上の頂点の座標（ｘｈ，ｙｈ）が検出領域１８１−４の範囲外である人認識枠１６１−４の左下の位置に存在する。

このような場合、例えば手がユーザのひざ付近に位置していることになるので、その認識結果は誤認識の可能性が高い。従って、判定部６４は、相対的な位置関係の条件を満足しないと判定する。

次に図１８と図１９を参照して、相対的な大きさの関係の条件について説明する。図１８Ａは、人認識枠１６１の大きさを示す図である。図１８Ａの例では、人認識枠１６１の横の長さを人認識枠１６１の大きさＨとしている。

図１８Ｂは、手認識枠１６２の大きさを示す図である。図１８Ｂの例では、手認識枠１６２の横の長さを手認識枠１６２の大きさｈとしている。

そして、この人認識枠１６１の大きさＨと手認識枠１６２の大きさｈとの比が、予め設定された所定の範囲内にあるかが判定される。

具体的には、判定部６４は、次式が満足されるかを判定する。

また、他の例として、人認識枠１６１の大きさＨに対する手認識枠１６２の大きさｈの比ｓに関する平均値μｓと分散σ^２が与えられることで定義される正規分布を考えたときの、分散σ^２の値が閾値ｓ０以上となる所定の範囲が規定される。

つまり、手認識枠１６２の大きさｈと、人認識枠１６１の大きさＨが得られたとき、判定部６４は、次式が満足されるかを判定する。すなわち、検出された手認識枠１６２の大きさｈと人認識枠１６１の大きさＨに対する比ｓの分散σ^２が、閾値ｓ０以上であるか、つまり、比ｓが平均μｓから所定の範囲内にあるかが判定される。

図１９Ａは、相対的な大きさの関係の条件を満足する例を示す図である。

人認識枠１６１−１１の大きさＨに対する手認識枠１６２−１１の大きさｈの比が、予め設定された範囲内である場合、すなわち手認識枠１６２−１１の大きさｈが、人認識枠１６１−１１の大きさＨに対して適切な大きさである場合、判定部６４は、相対的な大きさの関係の条件を満足すると判定する。

図１９Ｂは、相対的な大きさの関係の条件を満足しない例を示す図である。図１９Ｂに示すように、手認識枠１６２−１２の大きさｈ’は、人認識枠１６１−１２の大きさＨ’に較べて小さ過ぎる。

このような場合、手または人の認識結果は誤認識の可能性が高いので、判定部６４は、相対的な大きさの関係の条件を満足しないと判定する。これにより、より正確に対象物を認識することができる。

なお、条件として相対的な位置関係と相対的な大きさの関係との２つの条件について説明したが、この２つの条件を組み合わせて判断してもよい。

すなわち、式（１２）と式（１３）とを組み合わせて、判定部６４は、次式が満足されるかを判定するようにしてもよい。

図１４に戻り、ステップＳ４９において条件が満足されていないと判定された場合、処理はステップＳ４６に進む。すなわち、手と人の両方が認識されたとしても条件が満足されていない場合、画質パラメータが取得され、新たな画像から認識処理が行われる。

ステップＳ４９において条件が満足されていると判定された場合、すなわち、手と人の両方が認識され、条件も満足されている場合、処理はステップＳ５０に進む。

また、ステップＳ４８において第２の認識処理が成功していないと判定された場合、すなわち、ステップＳ４１において最初に取得した、画質パラメータを変更していない画像から手が認識されたが、人は認識することができなかった場合にも、処理はステップＳ５０に進む。

ステップＳ５０において、出力部６６は、認識成功を出力する。例えば、出力部６６は、アプリケーション実行部６７に認識成功を出力する。

アプリケーション実行部６７は、出力部６６から認識成功が通知されたとき、所定のアプリケーションを実行する。例えば、アプリケーション実行部６７により、ジェスチャ認識に基づくコマンドが実行される。

ステップＳ５０の処理の後、図１４の対象物認識処理は終了する。

このように、手と人とをそれぞれ認識する２つの認識器を用いることで、手を認識する認識器単体では認識が困難な画像でも、より確実に手を認識することができるようになる。

なお、図１４の例では、第１認識部６２が認識対象物として手を認識し、第２認識部６３が認識対象物として人を認識するものとしたが、第１認識部６２および第２認識部６３の認識対象物は、これらに限られない。

［対象物認識処理２］

本実施の形態の対象物認識処理の他の例として、第１認識部６２が認識対象物として顔を認識し、第２認識部６３が認識対象物として人を認識する場合の例を図１４と図２０を参照して説明する。なお、図１４と図１５を参照して説明した例と同様の処理は繰り返しになるので簡単に説明する。

図１４のステップＳ４１において、取得部６１は、図２０Ａの画像を取得する。図２０Ａの画像は、ピントがぼけている画像の例を示す図である。

ステップＳ４２において、第１認識部６２は、取得した図２０Ａの画像に対して第１の認識処理、すなわち顔を認識する処理を行う。しかし、図２０Ａの画像は、ピントがぼけているため顔１５３−１５を認識することが困難である。

ステップＳ４３において、判定部６４は、第１の認識処理、すなわち顔１５３−１５の認識に成功したか判定する。図２０Ａの画像では、顔１５３−１５を認識することができないので、ステップＳ４３において第１の認識処理が失敗したと判定され、処理はステップＳ４４に進む。

ステップＳ４４において、第２認識部６３は、取得した図２０Ａの画像に対して第２の認識処理、すなわち人を認識する処理を行う。図２０Ａの画像は、ピントがぼけているが、人１５１−１５の画像は認識に充分な画像となっている。

ステップＳ４４の第２の認識処理が実行され、人１５１−１５が認識されると、図２０Ｂに示すように、人認識枠１６１−１５が設定され、表示される。

ステップＳ４５において、判定部６４は、第２の認識処理が成功したかを判定する。図２０Ａの画像が認識される場合、ステップＳ４５において第２の認識処理が成功したと判定され、処理はステップＳ４６に進む。

ステップＳ４６において、取得部６１は、新たな画質パラメータを取得する。図２０の例の場合、画質パラメータとしてフォーカス位置と先鋭度値とが記憶されており、フォーカス位置と先鋭度値との設定値の組み合わせから新たな設定値を取得する。

なお、ステップＳ４３において第１の認識処理が成功したと判定されるまで、ステップＳ４１乃至Ｓ４７の処理が繰り返される。

ステップＳ４１において、顔を認識するのに適切な画像を取得したとすると、ステップＳ４２において、第１の認識処理が実行されることにより、図２０Ｃの画像が出力される。ステップＳ４２の処理で、顔１５３−１６が認識されると、顔認識枠１６３−１６が設定、表示される。

そして、ステップＳ４３において、第１の認識処理が成功したと判定され、処理はステップＳ４８に進む。ステップＳ４８以降の処理は、図１４乃至図１９を参照して説明した例と同様であるので省略する。

なお、図２０の例の場合、アプリケーション実行部６７は、ステップＳ５０の処理により認識成功が出力されると、顔をよりはっきり且つきれいに表示できるように、ピントや色を調整するアプリケーションを実行する。勿論、画質パラメータとして、ピントを変更するようにしてもよい。

［姿勢認識部の構成］

条件が満足されているかの判定に人の姿勢を利用することができる。図２１は、このような場合に、CPU４１にさらに含まれる姿勢認識部２０１の詳細な構成例を示すブロック図である。

姿勢認識部２０１は、遅延画像取得部２２１、演算部２２２、信号強度検出部２２３、および検出結果出力部２２４から構成されている。

遅延画像取得部２２１は、ＲＡＭ４３に所定時間前に記憶された画像、または図示せぬ遅延回路を介して供給される所定時間前の画像を取得し、演算部２２２に供給する。

演算部２２２は、原画像と遅延画像の差分を演算し、演算結果を信号強度検出部２２３に供給する。信号強度検出部２２３は、信号強度が所定の値より高い領域を検出し、検出結果を検出結果出力部２２４に供給する。

検出結果出力部２２４は、検出結果を画像上に重畳して出力する。

［対象物認識処理３］

図２２乃至図２６を参照して、本実施の形態の対象物認識処理のさらに他の例を示す。図２２においてステップＳ６１乃至Ｓ６８，Ｓ７０，Ｓ７１の処理は、図１４のステップＳ４１乃至Ｓ５０の処理に対応する処理であり、これらの処理は繰り返しになるので簡単に説明する。

図２２の例では、第１認識部６２が認識対象物として手を認識し、第２認識部６３が認識対象物として顔を認識する場合の例を示している。

ステップＳ６１において、取得部６１は、図２３Ａの画像を取得する。図２３Ａの画像は、カメラ４６Ａの近くに人１５１−２１がいるか、またはカメラ４６Ａのズーム率のパラメータが広角に設定されているため、手１５２−２１がカメラの画角におさまりきらない画像の例である。

ステップＳ６２において、第１認識部６２は、取得した図２３Ａの画像に対して第１の認識処理、すなわち手１５２−２１を認識する処理を行う。しかし、図２３Ａの画像は、手１５２−２１が一部しか表示されておらず、手１５２−２１は認識することができない。

ステップＳ６３において、判定部６４は、第１の認識処理、すなわち手１５２−２１の認識に成功したか判定する。図２３Ａの画像では、手１５２−２１を認識することができないので、ステップＳ６３において第１の認識処理が失敗したと判定され、処理はステップＳ６４に進む。

ステップＳ６４において、第２認識部６３は、取得した図２３Ａの画像に対して第２の認識処理、すなわち顔１５３−２１を認識する処理を行う。図２３Ａの画像は、顔１５３−２１がはっきり表示されている。

ステップＳ６４の第２の認識処理が実行され、顔１５３−２１が認識されると、図２３Ｂに示すように、顔認識枠１６３−２１が設定、表示される。

ステップＳ６５において、判定部６４は、第２の認識処理が成功したかを判定する。この場合、ステップＳ６５において第２の認識処理が成功したと判定され、処理はステップＳ６６に進む。

ステップＳ６６において、取得部６１は、新たな画質パラメータを取得する。図２３の例の場合、画質パラメータとしてズーム率が記憶されており、記憶されているズーム率の設定値から新たな設定値が取得される。

ステップＳ６７において、制御部６５は、現在の画質パラメータを、ステップＳ６６において取得された新たな画質パラメータに変更するように制御する。ステップＳ６７の処理の後、処理はステップＳ６１に戻る。

以上のようにして、ステップＳ６３において第１の認識処理が成功したと判定されるまで、ステップＳ６１乃至Ｓ６７の処理が繰り返される。

ステップＳ６１において、手を認識するのに適切な画像が取得されたとすると、ステップＳ６２において、第１の認識処理が実行されることにより、図２３Ｃの画像に示すように、手１５２−２２の周りに、手認識枠１６２−２２が設定、表示される。

そして、ステップＳ６３において、第１の認識処理が成功したと判定され、処理はステップＳ６８に進む。

ステップＳ６８において、判定部６４は、第２の認識処理が成功したかを判定する。図２３の例の場合、ステップＳ６８において第２の認識処理が成功したと判定され、すなわち、手と顔が認識されたと判定され、処理はステップＳ６９に進む。

ステップＳ６９において、姿勢認識部２０１は、姿勢認識処理を実行する。図２４を参照して姿勢認識処理について説明する。

［姿勢認識処理］

図２４は、姿勢認識処理の例を説明するフローチャートである。

ステップＳ８１において、遅延画像取得部２２１は、遅延画像を取得する。原画像の所定時間前の画像である遅延画像は、随時ＲＡＭ４３に記憶されている。

ステップＳ８２において、演算部２２２は、原画像と遅延画像の差分を演算する。ステップＳ８３において、信号強度検出部２２３は、差分が演算された画像から信号強度が高い領域を検出する。つまり、差分の値の絶対値が大きい領域が検出される。

例えば、ユーザが手を動かしたとすると、ユーザの動作前の手および腕の位置と、動作後の手および腕の位置の領域が検出される。

ステップＳ８４において、検出結果出力部２２４は、信号強度検出部２２３により検出された領域を原画像上に重畳して出力する。検出された領域を原画像上に重畳して出力する例を図２３Ｃを参照して説明する。

図２３Ｃの画像には、姿勢１６４−１と姿勢１６４−２が設定され、出力されている。姿勢１６４−１は、ユーザの動作前、すなわち遅延画像におけるユーザの手および腕の位置を示している。姿勢１６４−２は、ユーザの動作後、すなわち原画像におけるユーザの手および腕の位置を示している。

図２４のステップＳ８４の処理の後、処理は図２２のステップＳ７０に進む。ステップＳ７０において、判定部６４は、条件を満足するかを判定する。図２５と図２６を参照して、手認識枠１６２と姿勢１６４の相対的な距離の関係と相対的な角度の関係の条件について説明する。

図２５は、手と腕の相対的な距離の関係と相対的な角度の関係の条件の例を説明する図である。

まず、相対的な距離の関係の条件ついて説明する。相対的な距離は、例えば、手認識枠１６２の４つの辺のうち姿勢１６４の先端に最も近い辺の中点の座標と、手認識枠１６２に最も近い姿勢１６４の先端の座標との間の距離ｄを演算して算出される。距離ｄは、式（１６）を用いて算出される。

ｄｘは、手認識枠１６２の所定の辺の中点Ｐｍのｘ座標と、姿勢１６４の先端Ｐｆ（この場合、腕の先端）のｘ座標の差により算出される。同様にｄｙは、手認識枠１６２の所定の辺の中点Ｐｍのｙ座標と、姿勢１６４の先端Ｐｆのｙ座標の差により算出される。

そして判定部６４は、次式が満足されるかを判定する。すなわち距離ｄが、予め設定された値ｄ１とｄ２の範囲内にあるかが判定される。

また、他の例として、距離ｄに関する平均値μｄと分散σ_ｄ ^２が与えられることで定義される正規分布を考えたときの、分散σ_ｄ ^２の値が閾値ｅ０以上となる所定の範囲が規定される。

そして、判定部６４は、次式が満足されるかを判定する。すなわち、検出された距離ｄが平均μｄから所定の範囲内にあるかが判定される。

次に、相対的な角度の関係の条件ついて説明する。相対的な角度は、手認識枠１６２の所定の辺と平行な平行線１９１と姿勢１６４との間にできる角度ｄθにより表わされる。

平行線１９１に対応する辺としては、手認識枠１６２の辺のうち、角度ｄθがより小さくなる辺が選択される。図２５の例においては、鉛直方向に近い辺が選択されている。

角度ｄθに関する平均値μθと分散σ_θ ^２が与えられることで定義される正規分布を考えたときの、分散σ_θ ^２の値が閾値ｆ０以上となる所定の範囲が規定される。

そして、判定部６４は、次式が満足されるかを判定する。すなわち、検出された角度ｄθが平均μθから所定の範囲内にあるかが判定される。

なお、条件として相対的な位置距離と相対的な角度の関係との２つの条件について説明したが、この２つの条件を組み合わせて判断してもよい。

例えば、式（１８）と式（１９）とを組み合わせて、判定部６４は、次式を満足するかが判定される。

図２６は、相対的な距離の判定結果の例を示す図である。

図２６Ａは、相対的な距離の関係の条件を満足する例を示す図である。手認識枠１６２−３１と姿勢１６４−３１は接触しており、距離ｄ＝０となる。従って、手認識枠１６２−３１と姿勢１６４−３１との距離は、予め設定された範囲内にあるので、判定部６４は、相対的な大きさの関係の条件を満足すると判定する。

図２６Ｂは、相対的な距離の関係の条件を満足しない例を示す図である。図２６Ｂに示すように、手認識枠１６２−３２の４つの辺のうち姿勢１６４−３２の先端に最も近い辺の中点の座標と、手認識枠１６２−３２に最も近い姿勢１６４−３２の先端の座標との間の距離ｄは、ｄ’となっている。

手認識枠１６２−３２と姿勢１６４−３２との距離ｄが、予め設定された範囲外であるとすると、手の認識結果は誤認識の可能性が高いので、判定部６４は、相対的な距離の関係の条件を満足しないと判定する。

これにより、図２６Ｂに示すように、顔認識枠１６３−３２に対する手認識枠１６２−３２の相対位置が、検出領域１８１−１１内であり、相対位置の関係の条件を満足していても、手認識枠１６２−３２と姿勢１６４−３２との相対位置の関係の条件を満足していないので、判定部６４は、条件を満足していないと判定する。

このように、図１４の対象物認識処理に対して、さらに姿勢認識（例えば、腕）の認識結果を使用して対象物（例えば、手）を認識できたかを判定するので、より確実に対象物を認識することができるようになる。

図２２に戻り、ステップＳ７０において条件を満足していないと判定された場合、処理はステップＳ６６に進む。

ステップＳ７０において条件を満足すると判定された場合、処理はステップＳ７１に進む。ステップＳ７１において、出力部６６は、認識成功を出力する。ステップＳ７１の処理の後、図２２の対象物認識処理は終了する。

［テレビジョン受像機制御システムの構成］

次に図２７を参照して、本実施の形態におけるテレビジョン受像機制御システム３０１について説明する。図２７は、本発明を適用したテレビジョン受像機制御システム３０１の構成例を示すブロック図である。

情報処理装置としてのテレビジョン受像機制御システム３０１は、例えば、図１４と図１５を参照して上述した対象物認識処理１と同様の処理を実行する。テレビジョン受像機制御システム３０１は、カメラ３２１、制御装置３２２、画像表示装置３２３、およびＲＡＭ３２４から構成されている。

カメラ３２１は、設定された画質パラメータに基づく画像を取得する。またカメラ３２１は、画像表示装置３２３を見るユーザを撮影できる位置に配置されている。

画像表示装置３２３は、地上デジタル放送、ＢＳ放送、およびＣＳ放送などの画像の他、必要に応じてカメラ３２１により取得された画像を表示する。

ＲＡＭ３２４は、制御装置３２２において各種の処理を実行するのに必要なデータ、プログラム等を記憶する。

制御装置３２２において、カメラ制御エンジン３４１、人認識エンジン３４２、手認識エンジン３４３、認識結果判定エンジン３４４、ジェスチャ認識エンジン３４５、テレビジョン受像機メインエンジン（以下、ＴＶメインエンジンと称する）３４６、および制御用CPU３４８は、画像信号用バス３４７およびバス３４９により相互に接続されている。

カメラ制御エンジン３４１は、カメラ３２１から画像を取得する。また、カメラ制御エンジン３４１は、画像が上述した画質パラメータの設定値に基づく画像になるようにカメラを制御する。

人認識エンジン３４２は、画像信号用バス３４７を介してカメラ制御エンジン３４１から取得した画像から認識対象物として人を認識する。具体的には、人認識エンジン３４２の処理は、対象物認識処理１における第２認識部６３の処理と同様の処理を行う。

手認識エンジン３４３は、画像信号用バス３４７を介してカメラ制御エンジン３４１から取得した画像から認識対象物として手を認識する。具体的には、手認識エンジン３４３の処理は、対象物認識処理１における第１認識部６２の処理と同様の処理を行う。

認識結果判定エンジン３４４は、画像信号用バス３４７またはバス３４９を介して取得した人認識エンジン３４２および手認識エンジン３４３の認識結果に基づいて、対象物を認識できたかを判定し、判定結果を出力する。具体的には、認識結果判定エンジン３４４は、図１４のステップＳ４３，Ｓ４５，Ｓ４８，Ｓ４９，Ｓ５０の処理と同様の処理を実行する。

ジェスチャ認識エンジン３４５は、画像信号用バス３４７を介して取得した人認識エンジン３４２または手認識エンジン３４３の認識結果から、人または手のジェスチャの種類を認識する。

ＴＶメインエンジン３４６は、バス３４９を介して取得したジェスチャ認識エンジン３４５のジェスチャの認識結果、または制御用CPU３４８からの指示に基づいて、画像表示装置３２３への画像の出力を制御する。

制御用CPU３４８は、カメラ制御エンジン３４１、人認識エンジン３４２、手認識エンジン３４３、認識結果判定エンジン３４４、ジェスチャ認識エンジン３４５、およびＴＶメインエンジン３４６の動作を、バス３４９を介して制御する。

これにより、テレビジョン受像機制御システム３０１は、ユーザの手の動きのジェスチャの画像をカメラ３２１により取得し、そのジェスチャの種類を認識するので、ユーザがリモートコントローラなどを使用しないで、チャネルの切り替えなどの操作をすることができる。その動作は上述した場合と同様なので、その説明は省略する。

［デジタルカメラ制御システムの構成］

次に図２８を参照して、本実施の形態におけるデジタルカメラ制御システム４０１について説明する。図２８は、本発明を適用したデジタルカメラ制御システム４０１の構成例を示すブロック図である。

情報処理装置としてのデジタルカメラ制御システム４０１は、例えば、図１４と図２０を参照して上述した対象物認識処理２と同様の処理を実行する。デジタルカメラ制御システム４０１は、カメラ４２１、制御装置４２２、画像表示装置４２３、ＲＡＭ４２４、および記録メディア４２５から構成されている。

カメラ４２１は、画像を取得する。画像表示装置４２３は、カメラ４２１により取得された画像、または画像処理を施した画像を表示する。

ＲＡＭ４２４は、制御装置４２２において各種の処理を実行するのに必要なデータ、プログラム等を記録する。記録メディア４２５は、制御装置４２２により制御され、カメラ４２１により撮影された画像、その他の情報を記憶する。

制御装置４２２において、カメラ信号処理エンジン４４１、人認識エンジン４４２、顔認識エンジン４４３、認識結果判定エンジン４４４、画像先鋭度調整エンジン４４５、JPEG（Joint Photographic Experts Group）エンジン４４６、画像表示用エンジン４４７、および制御用CPU４４９は、画像信号用バス４４８およびバス４５２により相互に接続されている。

また、制御用CPU４４９と外部メディアコントローラ４５１は、データバス４５０を介して相互に接続されている。データバス４５０は、画像信号用バス４４８にも接続されている。

カメラ信号処理エンジン４４１は、カメラ４２１により取得されたアナログデータの画像をデジタルデータの画像に変換して取得する。

人認識エンジン４４２は、画像信号用バス４４８を介してカメラ信号処理エンジン４４１から取得した画像から認識対象物として人を認識する。具体的には、人認識エンジン４４２の処理は、上述した対象物認識処理２における第２認識部６３の処理と同様である。

顔認識エンジン４４３は、画像信号用バス４４８を介してカメラ信号処理エンジン４４１から取得した画像から認識対象物として顔を認識する。具体的には、顔認識エンジン４４３の処理は、上述した対象物認識処理２における第１認識部６２の処理と同様である。

認識結果判定エンジン４４４は、画像信号用バス４４８またはバス４５２を介して取得した人認識エンジン４４２および顔認識エンジン４４３の認識結果に基づいて、対象物を認識できたかを判定し、判定結果を出力する。具体的には、図１４のステップＳ４３，Ｓ４５，Ｓ４８，Ｓ４９，Ｓ５０の処理と同様の処理を実行する。

画像先鋭度調整エンジン４４５は、画像信号用バス４４８を介して取得したカメラ信号処理エンジン４４１の画像の先鋭度を調整する画像処理を行う。

JPEGエンジン４４６は、画像信号用バス４４８を介して取得したカメラ信号処理エンジン４４１または画像先鋭度調整エンジン４４５の画像に対してJPEGの規格に基づく圧縮、伸張処理を行う。

画像表示用エンジン４４７は、画像信号用バス４４８を介して取得した各種画像を画像表示装置４２３に出力し、表示させる。

制御用CPU４４９は、カメラ信号処理エンジン４４１、人認識エンジン４４２、顔認識エンジン４４３、認識結果判定エンジン４４４、画像先鋭度調整エンジン４４５、JPEGエンジン４４６、および画像表示用エンジン４４７の動作を、バス４５２を介して制御する。

外部メディアコントローラ４５１は、記録メディア４２５を制御して、カメラ４２１により撮影された画像データを記憶させたり、記憶された画像データを読み出し、画像表示装置４２３に表示させる。

これにより、デジタルカメラ制御システム４０１は、カメラ４２１により取得された画像からユーザの顔などを認識し、認識された顔の領域の先鋭度を向上させ、記録メディア４２５に記録させるので、ユーザがより好適な画像を撮像し、記録再生することができる。この場合の動作も上述した場合と同様なので、その説明は省略する。

以上においては、認識対象を人およびその部位としたが、その他の物体を認識対象物とすることもできる。例えば、自動車を認識する情報処理装置において、「ボディ認識」、「タイヤ認識」、および「ナンバープレート認識」などを組み合わせて同様の認識処理を実行することが可能である。

［その他］

本明細書において、プログラムのステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

本発明の実施の形態は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

２１コンピュータ，６１取得部，６２第１認識部，６３第２認識部，６４判定部，６５制御部

Claims

画像および画質パラメータを取得する取得手段と、
前記画像から第１の対象物を認識する第１の認識手段と、
前記画像から第２の対象物を認識する第２の認識手段と、
前記第１の対象物と前記第２の対象物の認識に成功したかをそれぞれ判定する判定手段と、
前記画像を前記画質パラメータに基づく画像に変更するように制御する制御手段と
を備え、
前記取得手段は、前記判定手段により前記第１の対象物の認識に失敗したと判定されるとともに、前記第２の対象物の認識に成功したと判定される場合、新たな前記画質パラメータを取得し、
前記第１の認識手段は、新たな前記画質パラメータに基づき変更された前記画像から前記第１の対象物を認識する
情報処理装置。
前記判定手段は、前記第１の対象物と前記第２の対象物との相対的な位置および相対的な大きさのうちの少なくとも一方が、予め設定された所定の条件を満足するかを判定する
請求項１に記載の情報処理装置。
前記第１の対象物は、人、顔、および手のうちのいずれか１つであり、
前記第２の対象物は、前記人、前記顔、および前記手のうちの前記第１の対象物とは異なるいずれか１つである
請求項２に記載の情報処理装置。
前記人の姿勢を認識する姿勢認識手段をさらに備え、
前記判定手段は、前記第１の対象物と前記姿勢認識手段により認識された前記姿勢の相対距離および相対角度のうち少なくとも一方が予め設定された所定の条件を満足するかを判定する
請求項３に記載の情報処理装置。
前記第１の対象物は、自動車のボディ、タイヤ、およびナンバープレートのうちのいずれか１つであり、
前記第２の対象物は、前記自動車の前記ボディ、前記タイヤ、および前記ナンバープレートのうち前記第１の対象物とは異なるのいずれか１つである
請求項２に記載の情報処理装置。
画像および画質パラメータを取得する取得ステップと、
前記画像から第１の対象物を認識する第１の認識ステップと、
前記画像から第２の対象物を認識する第２の認識ステップと、
前記第１の対象物と前記第２の対象物の認識に成功したかをそれぞれ判定する判定ステップと、
前記画像を前記画質パラメータに基づく画像に変更するように制御する制御ステップと
を含み、
前記取得ステップの処理は、前記判定ステップの処理により前記第１の対象物の認識に失敗したと判定されるとともに、前記第２の対象物の認識に成功したと判定される場合、新たな前記画質パラメータを取得し、
前記第１の認識ステップの処理は、新たな前記画質パラメータに基づき変更された前記画像から前記第１の対象物を認識する
情報処理方法。
コンピュータに、
画像および画質パラメータを取得する取得ステップと、
前記画像から第１の対象物を認識する第１の認識ステップと、
前記画像から第２の対象物を認識する第２の認識ステップと、
前記第１の対象物と前記第２の対象物の認識に成功したかをそれぞれ判定する判定ステップと、
前記画像を前記画質パラメータに基づく画像に変更するように制御する制御ステップと
を実行させるためのプログラムであって、
前記取得ステップの処理は、前記判定ステップの処理により前記第１の対象物の認識に失敗したと判定されるとともに、前記第２の対象物の認識に成功したと判定される場合、新たな前記画質パラメータを取得し、
前記第１の認識ステップの処理は、新たな前記画質パラメータに基づき変更された前記画像から前記第１の対象物を認識する
プログラム。