JP5906071B2 - 情報処理方法、情報処理装置、および記憶媒体 - Google Patents

Description

本発明は、対象物を撮像することにより得られた画像から、当該対象物を認識する認識処理において適用可能な情報処理技術に関するものである。

従来より、種々の対象物を撮像することにより得られた画像から抽出されたそれぞれの特徴量をコンピュータに学習させておき、新たに入力された画像に含まれる対象物について、その種別を識別する識別手法に関する研究が活発になされている。

また、対象物のモデル情報などを用いることにより、対象物の種別に加えて、位置や姿勢をあわせて識別する研究もなされている。

例えば、下記非特許文献１では、学習画像から抽出されコードブック化された特徴点と、入力された画像から抽出された特徴点とを対応付け、確率的投票により対象物の中心位置を識別する手法が提案されている（ｉｍｐｌｉｃｉｔ−ｓｈａｐｅ−ｍｏｄｅｌ）。当該手法によれば、対象物の種別だけではなく、対象物の位置や姿勢を識別することも可能である。

また、下記特許文献１に開示された手法では、まず、入力画像から抽出された各特徴点について特徴量を算出し、学習画像において算出された各特徴点の特徴量と対比することで、類似する特徴点同士を対応点として設定する。次に、種別、位置、姿勢が互いに異なる各学習画像にて予め算出された、特徴点から基準点までのベクトルを用いることで、入力画像の各特徴点において基準点を算出する。次に、当該算出した基準点の位置を所定の画像平面上に投票したうえで、当該算出した基準点が所定の画像平面上の小領域内に所定数以上存在しているか否かを判断する。そして、存在していた場合に当該基準点の算出に用いられたベクトルを有する学習画像を入力画像と類似する学習画像と判断することで、対象物の種別、位置、姿勢を識別している。

しかしながら、対象物の種別に加えて、その位置や姿勢も識別しようとした場合、上述のような識別手法では、入力画像が小さかったり、位置や姿勢の識別に有効な特徴点が少なかったりした場合に、識別が困難になるという問題がある。このようなことから、識別項目（種別、位置、姿勢等）が複数ある場合には、複数段の識別器を用いて、徐々に候補を絞り込んでいく認識技術を用いるのが一般的であり、このような認識技術の研究も進められている。

かかる認識技術の一例として、Ｃｏａｒｓｅ−Ｔｏ−Ｆｉｎｅによる手法が挙げられる。Ｃｏａｒｓｅ−Ｔｏ−Ｆｉｎｅによる手法では、１段階目の識別器で識別するクラスが最終的に識別されるクラスよりも粗く設定されている。具体的には、対象物の種別の識別において、１段階目の識別器では、複数の種別クラスを１つのクラスとして統合したうえで識別処理を行う。同様に、対象物の姿勢の識別についても、１段階目の識別器では、複数の姿勢クラスを１つのクラスとして統合したうえで識別を行う。つまり、いずれの識別項目（種別、姿勢）も１段階目の識別器において、クラスを粗く設定したうえで候補クラスを絞り込み、その候補クラスの中から２段目以降の識別器を用いて更にクラスを絞り込むことで、最終的なクラスを識別している。

Ｃｏａｒｓｅ−Ｔｏ−Ｆｉｎｅによる手法の一例として、下記特許文献２では、識別器を複数段使用し、各段にて候補クラスを徐々に絞り込むことでパターン認識を行う方法が提案されている。下記特許文献２の場合、あらかじめ識別項目ごとに各段の絞り込みに用いる参照パターンを決定しておき、当該参照パターンを用いて学習処理を行うことで、辞書を生成する。このとき、各クラスにおいては、段数が進むにつれ参照パターンが多くなるように設定しておく。そして、各段における識別処理時に識別対象に対して候補クラスを検出し、段階的に詳細化するように構成された辞書を用いることにより、最も識別対象に近い候補クラスを絞り込んでいく。その後、Ｋ段目まで進んだ際に各段における識別処理の結果が、同一の候補クラスであれば、当該候補クラスを識別結果として出力する。

更に、下記特許文献３の場合、テンプレートマッチングにおいて、学習テンプレート全体を用いて回転粗サーチを行い、サーチ範囲を絞り込む。また、予め設定された学習テンプレートの部分テンプレートを用いることで、最終的に対象物の姿勢を識別する。下記特許文献３によれば、部分テンプレートは複数あり、各部分テンプレートには、対象物の特徴的な部分が指定されている。そして、当該部分テンプレートを、絞り込まれたサーチ範囲内でテンプレートマッチングさせることで、最終的な姿勢を、当該部分テンプレートの位置関係に基づいて識別している。

特開２００８−２５７６４９号公報 特許第３９２５０１１号 特許第３４４７７１７号

B.Leibe, "Robust Object Detection with Interleaved Categorization and Segmentation", IJCV Special Issue on Learning for Vision for learning, Aug. 2007.

しかしながら、Ｃｏａｒｓｅ−Ｔｏ−Ｆｉｎｅによる手法の場合、いずれも、識別器の段数が進むにつれ、微小な違いにより、クラス等の決定やテンプレートのマッチングを行わなければならず、識別が困難になるという問題がある。このようなことから、複数段の識別器を用いて対象物の認識処理を行うにあたっては、認識精度が落ちることがないよう、識別器の段数が進むことで絞りこまれる候補クラスについて、ロバスト性を高めておくことが必要である。

本発明は上記課題に鑑みてなされたものであり、複数段の識別器を用いて、対象物を認識する認識処理において、各段における識別結果のロバスト性を向上させることを目的とする。

上記の目的を達成するために本発明に係る情報処理装置は以下のような構成を備える。即ち、
複数段の識別器を用いて対象物のクラスを識別する識別処理を実行可能な情報処理装置であって、
第１の段の識別器において識別されたクラスを、候補クラスとして取得する取得手段と、
前記第１の段の識別器が前記候補クラスを識別する際に用いた識別空間において、当該候補クラスが定義する部分空間を拡張した部分空間として定義されたクラスを、第２の段の識別器において識別されるべきクラスとして、該第２の段の識別器に設定する設定手段とを有することを特徴とする。

本発明によれば、複数段の識別器を用いて、対象物を認識する認識処理において、各段における識別結果のロバスト性を向上させることが可能になる。

情報処理装置１２０を備える認識処理システム１００の外観構成を示す図である。 情報処理装置１２０の機能構成を説明するための図である。 情報処理装置１２０における対象物１３０の認識処理の流れを示すフローチャートである。 学習画像を説明するための図である。 視点の異なる複数の学習画像を示す図である。 学習処理の流れを示すフローチャートである。 ベクトル算出処理を説明するための図である。 候補クラス出力処理の流れを示すフローチャートである。 投票空間の一例を示す図である。 拡張クラス設定処理を説明するための図である。 拡張クラス設定処理を説明するための図である。 拡張クラス設定処理を説明するための図である。 拡張クラス設定処理の概念を説明するための図である。 拡張クラス設定処理の概念を説明するための図である。 情報処理装置１５００の機能構成を説明するための図である。 情報処理装置１５００における対象物１３０の認識処理の流れを示すフローチャートである。 対象物が個人の顔の場合における、特徴点の一例を示す図である。 候補クラス出力工程が実行されることにより出力された候補クラスの一例を示す図である。 情報処理装置１９００の機能構成を説明するための図である。 情報処理装置１９００における対象物１３０の認識処理の流れを示すフローチャートである。

以下、添付図面を参照しながら本発明の各実施形態について詳説する。なお、以下に詳説する各実施形態のうち、第１の実施形態では、第１の段の識別器が識別処理を実行することにより該第１の段の識別器より出力される候補クラスを、当該識別処理が実行された際に用いられた識別空間において拡張する。そして、当該拡張した候補クラス（拡張クラス）について、第２の段の識別器にて識別処理を実行させることで、第２の段の識別器における識別処理のロバスト性（環境の変化などの外乱の影響に対する識別処理の安定性）の向上を実現した。

また、第２の実施形態では、第１の段の識別器が識別処理を実行することにより該第１の段の識別器より出力された候補クラスを周辺化する。ここで、周辺化とは、各候補クラスを識別する際に利用した各特徴の存在確率を表す確率変数のうち、所定の特徴の確率変数を消去して表される確率（「周辺確率」）を求めることをいう。そして、第２の段の識別器に、当該周辺確率を用いた識別処理を実行させることで、第２の段の識別器における識別処理のロバスト性の向上を実現した。

また、第３の実施形態では、第１の段の識別器が識別処理を実行することにより出力した候補クラスを、第２の段の識別器に設定する。そして、第２の段の識別器にて当該候補クラスの識別処理を実行させるにあたり、予め当該候補クラスごとに定義されている、第２の段の識別器が識別すべき識別項目（例えば、対象物の姿勢）の識別に有効な特徴点及び複数のクラスを設定する。これにより、第２の段の識別器では、候補クラスを識別するにあたり、各候補クラスに新たに設定された複数のクラスの特徴点の識別結果を統合して判断することが可能となり、第２の段の識別器における識別処理のロバスト性を向上させることが可能となった。

なお、本発明は、複数段の識別器を用いて対象物を認識する認識処理において適用されるものであり、各識別器にて実行される識別処理自体は、特定の方式に限定されるものではない。ただし、以下の各実施形態では、説明の便宜上、第１の段の識別器として、基準点を算出し、所定の画像平面に投票することにより識別処理を実行する識別器を用いた場合について説明する。

また、本発明が適用される認識処理には、対象物の種別、姿勢等、種々の識別項目が含まれるが、以下の各実施形態のうち、第１及び第３の実施形態では、対象物の種別及び姿勢を識別項目とする場合について説明する。また、第２の実施形態では、対象物の種別を識別項目とする場合について説明する。

［第１の実施形態］
＜１．認識処理システムの外観構成＞
はじめに、本実施形態に係る情報処理装置を備える認識処理システムの外観構成について説明する。図１は、本実施形態に係る情報処理装置１２０を備える認識処理システム１００の外観構成を示す図である。図１において、１１０は撮像部（例えば、カメラ）であり、対象物１３０を撮像する。１２０は情報処理装置であり、撮像部１１０が対象物１３０を撮像することにより得られた画像（入力画像）に基づいて、対象物１３０の種別及び姿勢を識別する。

＜２．情報処理装置の機能構成＞
次に、情報処理装置１２０の機能構成について説明する。図２は、情報処理装置１２０の機能構成を説明するための図である。図２に示すように、情報処理装置１２０は、候補クラス出力部２１０と、拡張クラス設定部２２０と、クラス識別部２３０と、識別器学習用データ保持部２４０と、第一識別器保持部２５０と、第二識別器保持部２６０とを備える。

なお、本実施形態では、識別器学習用データ保持部２４０と、第一識別器保持部２５０と、第二識別器保持部２６０とが、情報処理装置１２０内に配されているものとして説明するが、本発明は必ずしもこれに限定されない。例えば、情報処理装置１２０の外部において、情報処理装置１２０によって実行可能に接続された不揮発性の記憶装置内に配されていてもよい。

＜３．情報処理装置における認識処理の概要＞
次に、情報処理装置１２０における対象物１３０の認識処理について説明する。図３は、情報処理装置１２０における対象物１３０の認識処理の流れを示すフローチャートである。

認識処理が開始されると、ステップＳ３０１では、候補クラス出力部２１０が候補クラス出力工程を実行する。具体的には、対象物１３０を撮像することにより得られた入力画像について、候補クラス出力部２１０が、第一識別器保持部２５０に保持されている第１の段の識別器（第一識別器）に識別処理を実行させることで、該第一識別器より複数の候補クラスを取得する。なお、取得した複数の候補クラスは、拡張クラス設定部２２０に送信される。ここで、「クラス」とは、識別空間の中で同一の分類ラベルが付与されている範囲（部分空間）をいう。つまり、第一識別器によって、対象物１３０がある範囲に属すると識別されると、当該対象物１３０は当該範囲によって定義されているクラスであると識別される。なお、第一識別器には、識別器学習用データ保持部２４０に予め保持された学習画像を用いて学習処理を行うことで定義されたクラス（対象物の種別及び姿勢についてのクラス）が設定されているものとする。

ステップＳ３０２では、拡張クラス設定部２２０が、拡張クラス設定工程を実行する。具体的には、候補クラス出力工程（ステップＳ３０１）において候補クラス出力部２１０より出力された複数の候補クラスのうち、少なくとも１つの候補クラスについて、識別ロバスト性を向上させる。具体的には、当該候補クラスによって定義されている第一識別器の識別空間における範囲を拡張する。そして、拡張後の範囲によって定義されるクラスを、拡張クラスとして、クラス識別部２３０に送信する。なお、拡張クラスの詳細については後述する。

ステップＳ３０３では、クラス識別部２３０が、クラス識別工程を実行する。具体的には、第二識別器保持部２６０に保持されている第２の段の識別器（第二識別器）を用いて、入力画像中の対象物１３０が、拡張クラス設定工程（ステップＳ３０２）において設定された拡張クラスのいずれに属するかを識別する。

このように、クラス識別工程（ステップＳ３０３）では、候補クラス出力工程において出力された候補クラスと、拡張クラス設定工程において新たに含まれることとなったクラスと、を含む拡張クラスについて、第二識別器に識別処理を実行させる。なお、第二識別器には、識別器学習用データ保持部２４０に予め保持された学習画像を用いて学習処理を行うことで定義されたクラスが設定されているものとする。

このように本実施形態では、第二識別器に識別処理を実行させるにあたり、候補クラスを増やすことで、第二識別器における識別処理のロバスト性の向上を実現している。

以下、情報処理装置１２０における上記各処理の詳細について説明する。

＜４．情報処理装置における各処理の詳細＞
＜４．１ 学習処理の詳細＞
はじめに、学習画像及び該学習画像に基づいて、第一識別器に設定される下記情報を算出するための学習処理について説明する。

・各特徴点の特徴量
・学習画像のクラス
・各特徴点から基準点までのベクトル
・入力画像の特徴点との対応付けに用いられる代表ベクトル
・各クラスタに含まれる特徴点
ｉ）学習画像
はじめに、学習処理に用いられる学習画像について説明する。図４は、学習画像を説明するための図である。図４に示すように、対象物１３０を囲う測地ドーム４００の各視点４０１から、対象物１３０を撮像することにより得られた画像を、学習画像として利用する。図５は、複数の視点４０１のうちの２視点において、対象物１３０を撮像した場合に得られた学習画像である。なお、図５は学習画像の一例にすぎず、学習処理を行うにあたっては、少なくとも、図４に示した測地ドーム４００内の各視点の数に相当する数だけ、対象物１３０についての学習画像が取得されているものとする。

ｉｉ）学習処理の流れ
次に学習処理について説明する。図６は、第一識別器にて実行される、基準点に基づく識別処理を実行する際に用いられる上記情報を算出するための学習処理の流れを示すフローチャートである。

ステップＳ６０１では、各学習画像より各特徴点ｆ_ｉを抽出し、保存する。また、各学習画像における各特徴点ｆ_ｉの特徴量Ｆ_ｉ（ｉ＝１，２，・・・，Ｎ）及び、各学習画像のクラス（対象物１３０の種別、姿勢）を保存する。なお、各学習画像のクラスを示すインデックスをＩＤ_ｉとする（ｉ＝１，２，・・・，Ｎ）。また、ＩＤ_ｉは１〜Ｐまでの値をとるものとする（Ｐはクラス総数）。

次に、ステップＳ６０２では、各特徴点ｆ_ｉから基準点Ｏ_ｊへのベクトルを算出する。ここで、ステップＳ６０２に示すベクトル算出処理を図７を用いて具体的に説明する。

図７はあるクラスに属する学習画像より抽出された特徴点の一部と基準点との関係を模式的に示した図である。図７において、７０１は対象物１３０の一部を、７０２は特徴点を、７０３はある特徴点から基準点へのベクトルを、７０４はその基準点をそれぞれ示している。なお、図７の場合、特徴点は７点であるが、参照番号７０２はそのうちの１つの特徴点を指している。

基準点へのベクトル算出処理では、対象物の一部７０１の特徴点７０２の位置ｆ_ｎ＝（ｘ_ｎ，ｙ_ｎ）から対象物の一部７０１に設定されている基準点（ここでは物体中心とする）Ｏ＝（ｘ_ｏ，ｙ_ｏ）へのベクトルＭ_ｎ＝（ｘ_ｏ−ｘ_ｎ，ｙ_ｏ−ｙ_ｎ）を算出する。

そして、各特徴点ｆ_ｉから基準点Ｏ_ｊへのベクトルＭ_ｉｊ（ｉ＝１，２，・・・，Ｎ、ｊ＝１，２，３，・・・）を、全ての学習画像において算出したのち、ステップＳ６０３に進む。

ステップＳ６０３では、得られたすべての特徴点ｆ_ｉ（ｉ＝１，２，・・・，Ｎ_ａｌｌ）について、特徴量Ｆ_ｉ（ｉ＝１，２，・・・，Ｎ_ａｌｌ）に従ってクラスタリングを行う。ここで、Ｎ_allは全学習画像から抽出された特徴点数を示している。なお、クラスタリング手法はｋ−ｍｅａｎｓを用いてもよいし、自己組織化マップアルゴリズムを用いるなど、他の任意のクラスタリング手法を用いてもよい。例えば、ｋ−ｍｅａｎｓの場合、クラスタ数Ｋを規定して特徴量Ｆ_ｉ間のユークリッド距離を用いることにより、クラスタリングを行うことができる。

ステップＳ６０４では、クラスタリング情報を保存する。具体的には、それぞれのクラスタの代表ベクトルＦ_ｋ’（ｋ＝１，２，・・・，Ｋ）（Ｋはクラスタ数、ｋはそのインデックスを示している）及びそのクラスタに含まれる特徴点を保存する。なお、代表ベクトルＦ_ｋ及び特徴点は、入力画像より抽出される特徴点と、学習画像の特徴点との対応付けを行う際に利用される。以上の処理により学習処理が終了する。

なお、上記説明では、全学習画像から抽出された特徴点を特徴量に従ってクラスタリングするためのクラスタリング手法として、ｋ−ｍｅａｎｓを例示したが、本発明はこれに限定されるものではない。例えば、アンサンブル学習手法の１つであるランダムフォレスト方式（例えば、ＵＳＰ６，００９，１９９参照）を用いてもよい。なお、ランダムフォレスト方式とは、複数の決定木を用いてパターン認識を行う手法である。

ランダムフォレスト方式の場合、各ノードでランダムに情報の問い合わせを行い、問い合わせの結果に応じて学習パターンを次々と分割して決定木を分岐させていく。そして、葉ノードに達した時に残っている学習パターンをその葉ノードの分類結果として記憶する。本実施形態では、学習パターンを各学習画像の各特徴点として分類を行う。

＜４．２ 候補クラス出力部における候補クラス出力処理＞
次に候補クラス出力部２１０における候補クラス出力処理について説明する。図８は、候補クラス出力処理の流れを示すフローチャートである。

ステップＳ８０１では、学習処理と同様に、対象物を撮像することにより得られた入力画像から特徴点を抽出する。ステップＳ８０２では、抽出した特徴点の特徴量と各クラスタの代表ベクトルとの距離計算を行うことで、最も類似度の高いクラスタを決定する。これにより、入力画像から抽出された特徴点と、学習画像の特徴点との対応付けを行うことが可能となる。なお、ランダムフォレスト方式を用いる場合には、入力画像から抽出した特徴点を分類して葉ノードを決定する。また、他の分類木を用いる場合も同様である。

ステップＳ８０３では、対応付けによって求められた各代表ベクトルが属するクラスタ内の各特徴点に付随して保存されている、基準点へのベクトルを読み出す。そして、当該読み出したベクトルを用いて、入力画像から抽出した特徴点それぞれについて、基準点を算出し、投票空間への投票を行う。なお、本実施形態では、画像座標のｘ、ｙ軸及びクラスＩＤを表す軸の３軸によって形成された空間を投票空間とする。

図９は、画像座標のｘ、ｙ軸及びクラスＩＤを表す軸の３軸によって形成される投票空間の一例を示す図である。図９において、９００は投票空間を示している。なお、図９に示すように、投票空間９００における各セルの大きさは、予め設定されているものとする。

ここで、図９に示す投票空間９００を参照しながら、具体的な投票方法について説明する。入力画像から抽出された各特徴点ｇ_ｍ＝（ｘ_ｍ，ｙ_ｍ）（ｍ＝１，２，・・・，Ｍ）（Ｍは入力画像から抽出された特徴点総数、ｍは各特徴点を示すインデックスを示している。）の特徴量Ｇ_ｍと、学習処理により得られた各クラスタの代表ベクトルＦ_ｋ’（ｋ＝１，２，・・・，Ｋ）とを対比することにより、最も類似度が高いクラスタｋ”を判定する。

例えば、抽出された特徴点ｇ_ｍの特徴量Ｇ_ｍと各クラスタの代表ベクトルＦ_ｋ’（ｋ＝１，２，・・・，Ｋ）とのユークリッド距離により算出する場合、以下の数式１が用いられる。

判定されたクラスタに含まれている特徴点ｆ_ｉに付随して保存されている基準点へのベクトルＭ_ｉｊ（ｉ＝１，２，・・・，Ｎ、ｊ＝１，２，３，・・・）及びクラスＩＤ_ｉ（ｉ＝１，２，・・・，Ｎ）に従って、投票処理を行う。具体的には、投票空間９００の投票点を（ｘ，ｙ，ＩＤ）とすると、投票点は、以下の数式２により算出される。

実際には、求められた（ｘ，ｙ，ＩＤ）に対応するセルに投票する。なお、これらの処理は、入力画像から抽出された各特徴点について、最も類似度が高いと判定されたクラスタ内の全特徴点に対して行う。この場合、全投票数は最大Ｎ×Ｍとなる。

ステップＳ８０４では、ステップＳ８０３において投票された投票空間９００において最大投票数のセルを抽出する。もしくは予め定められている閾値以上のセルもしくは所定数分（候補数）だけ投票数の多いセルを抽出するようにしてもよい。ここでは、候補数をＰ（Ｐ≧１）として、各候補クラスを（ｘ_ｐ，ｙ_ｐ，ＩＤ_ｐ）とする。

＜４．３ 拡張クラス設定部における拡張クラス設定処理＞
次に拡張クラス設定部２２０における拡張クラス設定処理について図１０乃至図１２を用いて説明する。拡張クラス設定処理では、候補クラス出力処理において出力された各候補クラス（ｘ_ｐ，ｙ_ｐ，ＩＤ_ｐ）（ｐ＝１，２，・・・，Ｐ）に対して、候補クラスが設定されている識別空間において拡張クラスを設定する。

図１０に示すように、対象物１３０の姿勢は世界座標系におけるＸ軸、Ｙ軸、Ｚ軸の各座標軸に対する回転角を特徴量とする３自由度で設定されている。なお、図１０において、１００１は対象物１３０のＺ軸で、対象物１３０は、Ｚ軸１００１周りに回転角１００２だけ回転していることを示している。１００３は対象物１３０のＹ軸周りの回転方向を示している。

ここで第一識別器における識別処理において、識別空間の６自由度のうち、Ｚ軸１００１周りの回転角１００２以外のＸ軸周り及びＹ軸周りの回転角を表す特徴量を推定することは容易であるとする。本実施形態では、姿勢はクラスとして扱っているため、予め３つの特徴量のうちＺ軸１００１に対する回転角１００２以外の２つの特徴量の近いクラス（姿勢）は学習処理時に学習しておくものとする。

図１１は、対象物１３０のＺ軸１００１に対する回転角１００２以外の２つの回転軸の回転角について特徴量の近いクラス（姿勢）の一例を示した図である。

図１２は、（ｂ）に示す候補クラスに対して、回転方向１００３に回転させたクラス（ａ）、（ｃ）を示した図である。（ａ）、（ｃ）は、いずれもＺ軸１００１に対する回転角１００２は同じである。これらのクラスを統合したクラスを拡張クラスとする。

つまり、拡張クラスは複数の候補クラスを含むため、当該拡張クラスに属するか否かを第二識別器が識別する場合、第二識別器での識別処理におけるロバスト性は向上することとなる。

ここで、拡張クラス設定部２２０における拡張クラス設定処理の概念を、識別空間を用いて説明する。拡張クラス設定処理では、第一識別器により識別される候補クラスのうち、少なくとも１組の候補クラス間のロバスト性を向上させるべく、当該候補クラスの識別空間として定義されている範囲を拡張する。

図１３（ａ）、（ｂ）は、拡張クラス設定処理の概念を、識別空間を用いて表現した図である。図１３（ａ）、（ｂ）において、１３００は識別空間全体を示している。１３０２は、当該識別空間１３００を細分化した部分識別空間を表している。

対象物のクラスを識別することは、識別空間１３００の範囲で、対象物１３０のクラスがどの部分識別空間１３０２に対応するかを決定することに相当する。なお、本実施形態では、第一識別器と第二識別器の２段階の識別器を用いることで、対象物１３０のクラスを決定するが、識別器は３段階以上であってもよい。

図１３（ａ）において、１３０１は第一識別器で対象物１３０の候補クラスとして出力されたクラスを示している。また、図１３（ｂ）は、図１３（ａ）の各候補クラスを、候補クラス間のロバスト性が向上するように拡張した様子を示したものであり、１３０３は各候補クラスを拡張した拡張クラスを表している。

このように、拡張クラスを設定することで、第二識別器で対象物１３０のクラスを識別する際に、第一識別器で識別された候補クラスだけでなく、候補クラスの周辺のクラス（識別空間において、候補クラスに隣接するクラス）も利用することが可能となる。

なお、拡張クラスは、予め設定されているものとする。また、拡張クラスは、各候補クラスごとに個別に設定されているものとし、図１４（ａ）、（ｂ）に示すように、各候補クラス１３０１に対して、それぞれ異なる拡張クラスが設定されていてもよい（１４０３参照）。

＜４．４ クラス識別部におけるクラス識別処理＞
次に、クラス識別部２３０におけるクラス識別処理について説明する。クラス識別処理では、第二識別器保持部２６０に保持されている第二識別器を用いて、拡張クラス設定処理において設定された拡張クラスの中から、対象物１３０が属する最終的なクラスを決定する。

対象物１３０の場合、クラスの識別処理に有効な特徴１３１（図１等参照）が存在する。このため、拡張クラスに含まれる各クラスにおける対象物１３０の特徴１３１についてのテンプレートを、入力画像の対応する部分にテンプレートマッチングさせることにより評価値を算出する。

ここで、拡張クラスに含まれるクラス数をｃとして、各クラスに対応するテンプレートをＴｃ、各テンプレートの大きさをＭｃ×Ｎｃ、テンプレートＴｃの位置（ｉ，ｊ）における画素値をＴｃ（ｉ，ｊ）とする。また、テンプレートＴｃと重ね合わせた、入力画像の画素値をＩ（ｉ，ｊ）とする。この場合、テンプレートＴｃと入力画像との類似度Ｒｃは、以下のＮｃｃ（正規化相互相関）により算出される。ただし、他の類似度を使用してもよい。

なお、テンプレートの探索範囲領域Ｗは、候補クラス出力工程（ステップＳ３０１）において出力された候補クラスに基づいて設定する。各テンプレートＴｃに関して類似度Ｒｃが最大になる位置を探索範囲領域Ｗ内から検出するとともに、その類似度を、

とおく。そして、拡張クラスに含まれるクラスごとに

を推定して、その評価値を加算する。これにより最終的な評価値Ｒは

となる。なお、加算方法は各評価値に重みωｃを定義して重み付き加算してもよい（数式５）。

拡張クラスごとにＲを算出してＲが最大となる拡張クラスを識別する。このように候補クラスのテンプレートの類似度だけではなく、隣接するクラスのテンプレートの類似度も加算された評価値Ｒを評価することで、第二識別器における識別処理のロバスト性を向上させることができる。拡張クラスが識別されると、クラス識別工程では、候補クラス出力工程（ステップＳ３０１）において出力された対応する候補クラスを最終的なクラスとして決定する。

なお、候補クラス出力工程（ステップＳ３０１）のときと同様に、ランダムフォレスト方式などの分類木や識別器を第二識別器として利用するようにしてもよい。その場合、さまざまなクラスの特徴１３１の学習画像もしくは特徴変換された特徴を学習パターンとして、分類木を作成すればよい。そして、識別処理時には分類結果を投票などの統合処理を行うことによって最終的なクラスを決定する。

以上の説明から明らかなように、本実施形態に係る情報処理装置１２０では、第一及び第二識別器を用いて認識処理を行うにあたり、第一識別器において出力された候補クラスに対して、識別空間内において隣接するクラスを抽出する構成とした。そして、当該候補クラスと当該候補クラスに隣接するクラスとを統合して拡張クラスとし、当該拡張クラスについて、第二識別器に識別処理を実行させる構成とした。

この結果、従来のように、第一識別器において出力された候補クラスについて、第二識別器に識別処理を実行させていた場合と比べ、第二識別器における識別処理のロバスト性が向上することとなった。

［第２の実施形態］
上記第１の実施形態では、第二識別器における識別処理のロバスト性を向上させるべく、第一識別器において出力された候補クラスよりも広い拡張クラスを設定し、当該拡張クラスについて、第二識別器に識別処理を実行させる構成とした。

しかしながら、第二識別器における識別処理のロバスト性を向上させるための方法は、これに限定されない。例えば、第一識別器より出力された候補クラスそれぞれを、第一識別器における識別処理に用いられた識別空間において周辺化し、第二識別器では、当該周辺化した候補クラスを対比することで、最終的なクラスを決定するように構成してもよい。以下、本実施形態の詳細を説明する。

＜１．情報処理装置の機能構成＞
はじめに、本実施形態に係る情報処理装置の機能構成について説明する。図１５は、本実施形態に係る情報処理装置１５００の機能構成を説明するための図である。図１５に示すように、情報処理装置１５００の基本的な構成は、図２を用いて説明した第１の実施形態に係る情報処理装置１２０とほぼ同様であるが、拡張クラス設定部２２０の代わりに周辺化部１５２０が配されている点において相違する。

＜２．情報処理装置における認識処理の概要＞
次に、情報処理装置１５００における対象物１３０の認識処理について説明する。図１６は、情報処理装置１５００における対象物１３０の認識処理の流れを示すフローチャートである。

図１６に示すように、情報処理装置１５００における認識処理の流れは、図３を用いて説明した上記第１の実施形態に係る情報処理装置１２０における認識処理とほぼ同様である。ただし、候補クラス出力工程における処理の内容について相違し、また、拡張クラス設定工程の代わりに、周辺化工程が実行される点において相違する。以下、これらの相違点を中心に説明する。なお、ここでは、顔認識における個人認証を例に説明する。

＜３．情報処理装置における各処理の詳細＞
＜３．１ 候補クラス出力部における候補クラス出力処理＞
ステップＳ３０１において、候補クラス出力部２１０により実行される候補クラス出力工程について説明する。候補クラス出力工程では、撮像部１１０が対象物を撮像することにより得られた入力画像について、候補クラス出力部２１０が、第一識別器保持部２５０に保持されている第一識別器に識別処理を実行させることで、該第一識別器より複数の候補クラスを取得する。

ここで、第一識別器における識別処理においては、顔認識するための特徴点をＮ個定義する。例えば、両目や鼻、口などの部位を表す特徴点を予め定義しておく。図１７は、対象物が個人の顔の場合における、特徴点の例を示している。図１７において、１７０１は両目や鼻、口などの第一識別器において利用される特徴を示している。また、１７０２は、個人認証をするために有効な特徴を示している。

各特徴Ｆ_θ（θ＝１、２、・・・、Ｎ）によって定義される確率変数をＸ_θ（θ＝１、２、・・・、Ｎ）とおく。また、個人をクラスとして、各個人ｙ_φ（φ＝１、２、・・・、Ｍ）によって定義される確率変数をＹ_φ（φ＝１、２、・・・、Ｍ）とおく。

そして、すべての特徴によって推定されるある個人クラスｙ_φ（φ＝１、２、・・・、Ｍ）の同時確率Ｐｒ［ｙ_φ、Ｘ_１、Ｘ_２、・・・、Ｘ_θ］を計算し、その値が所定の値より大きな位置を個人識別候補領域として出力する。

図１８は、候補クラス出力工程が実行されることにより出力された候補クラスの一例を示す図である。図１８に示すように、撮像部１１０において撮像されることにより得られた入力画像１８０１に対して、候補クラスとして個人識別候補領域１８０２が検出され、出力される。

＜３．２ 周辺化部における周辺化処理＞
次に、周辺化部１５２０により、ステップＳ１６０２において実行される周辺化工程について説明する。周辺化工程（Ｓ１６０２）では、個人を認証するために有効な特徴Ｆ_θ’によって定義される同時確率Ｐｒ［ｙ_φ、Ｘ_θ’］を計算するのではなく、周辺確率Ｐｒ［Ｘ_θ’］を計算することで、第二識別器における識別処理のロバスト性を向上させる。

例えば、２つの確率変数をＸ、Ｙとおき、それぞれがクラス及び特徴量に対応するとする。なお、クラスＸは任意の値ｘ_ｉ（ｉ＝１，２，・・・，Ｍ）、特徴量Ｙは任意の値ｙ_ｊ（ｊ＝１，２，・・・，Ｌ）をとることができるものとする。ここで、クラスを対象物の種別、特徴量をＳＨＩＦＴ特徴量の各次元の度数とすると、候補クラス出力工程において出力された候補クラスがｘ_ｋ（ｋ＝１，２，・・・，Ｍ）の場合、所定の特徴量ｙ_ｋに関する周辺確率ｐ（Ｙ＝ｙ_ｋ）は下式により算出することができる。このとき、周辺化される変数ｘ_ｎはそれぞれの候補クラスに関して複数決定されているものとする。

なお、本実施形態においては、ある個人を認証するのに有効な特徴を複数人物の同一特徴データを利用して、その特徴の存在確率だけを計算することで識別する。

＜３．３ クラス識別部におけるクラス識別処理＞
次に、クラス識別部２３０におけるクラス識別処理について説明する。クラス識別処理では、候補クラス出力工程（ステップＳ３０１）において候補クラスとして出力された個人別候補領域の中で、周辺化工程（ステップＳ１６０２）において計算された周辺確率Ｐｒ［Ｘ_θ’］の値が所定の値よりも大きい、もしくは一番大きい領域を個人ｙ_φ（φ＝１、２、・・・、Ｍ）の位置とする。

以上の説明から明らかなように、本実施形態では、第一識別器より出力された候補クラスそれぞれを、第一識別器における識別処理に用いられた識別空間において周辺化する構成とした。これにより、上記第１の実施形態と同様に、第二識別器における識別処理のロバスト性を向上させることが可能となった。

［第３の実施形態］
上記第１の実施形態では、第二識別器における認識処理のロバスト性を向上させるべく、第一識別器において出力された候補クラスよりも広い拡張クラスを設定し、当該拡張クラスについて、第二識別器に認識処理を実行させる構成とした。

また、上記第２の実施形態では、第一識別器より出力された候補クラスそれぞれを第一識別器における識別処理に用いられた識別空間において周辺化する構成とした。

しかしながら、本発明はこれに限定されない。例えば、第一識別器より出力された候補クラスを第二識別器にて識別させるにあたり、各候補クラスに新たに複数の特徴点及びクラスを設定し、当該複数のクラスの特徴点の識別結果を統合して判断させる構成としてもよい。以下、本実施形態の詳細について説明する。

＜１．情報処理装置の機能構成＞
はじめに、本実施形態に係る情報処理装置の機能構成について説明する。図１９は、本実施形態に係る情報処理装置１９００の機能構成を説明するための図である。図１９に示すように、情報処理装置１９００の基本的な構成は、図２を用いて説明した第１の実施形態に係る情報処理装置１２０とほぼ同様であるが、拡張クラス設定部２２０の代わりに後段識別器パラメータ設定部１９２０が配されている点において相違する。

＜２．情報処理装置における認識処理の概要＞
次に、情報処理装置１９００における対象物１３０の認識処理について説明する。図２０は、情報処理装置１９００における対象物１３０の認識処理の流れを示すフローチャートである。

図２０に示すように、情報処理装置１９００における認識処理の流れは、図３を用いて説明した第１の実施形態に係る情報処理装置１２０における認識処理とほぼ同様である。ただし、候補クラス出力工程における処理の内容について相違し、また、拡張クラス設定工程の代わりに、後段識別器パラメータ設定工程が実行される点において相違する。以下、これらの相違点を中心に説明する。なお、以下では、図４に示す対象物１３０を認識する場合について説明する。

＜３．情報処理装置における各処理の詳細＞
＜３．１ 後段識別器パラメータ設定部における後段識別器パラメータ設定処理＞
後段識別器パラメータ設定部１９２０により、ステップＳ２００２において実行される後段識別器パラメータ設定工程について説明する。

後段識別器パラメータ設定工程では、候補クラス出力工程Ｓ３０１において出力された各候補クラス（ｘ_Ｐ，ｙ_Ｐ，ＩＤ_Ｐ）（ｐ＝１，２，・・・、Ｐ）に対して、第二識別器における識別処理のロバスト性が向上するように第二識別器のパラメータもしくは辞書を設定する。

図４に示す対象物１３０の場合、クラスの識別に有効な特徴１３１が存在するため、第一識別器の学習処理を行う際には、各姿勢クラスの学習画像の特徴１３１付近から取得される特徴点を記録しておく。そして後段識別器パラメータ設定工程（ステップＳ２００２）では、クラス識別工程（ステップＳ３０３）における識別の際に投票（統合）する特徴点ｆ_ｐ’および姿勢クラスＩＤ_ｐ’を候補クラスごとにパラメータとして設定する。姿勢クラスＩＤ_ｐ’は各候補クラスのＩＤ_ｐに対して複数設定し、複数クラスの特徴点ｆ_ｐ’の識別結果を統合する構成とすることで第二識別器の識別処理におけるロバスト性を向上させる。

なお、ここでは特徴点で説明したが、部分領域やＨＯＧなどの領域特徴でもよい。また、識別器において用いられる識別方式は、ランダムフォレスト方式やテンプレートマッチングなど、任意の識別方式でもよい。上記パラメータは識別処理の際に設定できるため、第一識別器と第二識別器は同一のものであってもよい。

また、オフラインであらかじめ特徴１３１付近から取得される特徴点ｆ_ｐ’と学習画像から取得されるそれ以外の特徴点とを分類する辞書を学習しておき、クラス識別工程（ステップＳ３０３）での識別辞書として用いるように構成してもよい。

＜３．２ クラス識別部におけるクラス識別処理＞
次に、クラス識別部２３０により、ステップＳ３０３において実行されるクラス識別工程について説明する。

クラス識別工程（ステップＳ３０３）では、候補クラス出力工程（ステップＳ３０１）で出力された候補クラスについて、後段識別器パラメータ設定工程（ステップＳ２００２）で設定された識別器のパラメータもしくは辞書を用いて、識別処理を行う。

以上の説明から明らかなように、本実施形態では、第一識別器より出力された候補クラスを第二識別器にて識別するにあたり、各候補クラスに新たに複数の特徴点及びクラスを設定し、当該複数のクラスの特徴点の識別結果を統合して判断させる構成とした。

これにより、上記第１の実施形態と同様に、識別処理のロバスト性を向上させることが可能となった。

［他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (8)

1. 複数段の識別器を用いて対象物のクラスを識別する情報処理装置における情報処理方法であって、
   取得手段が、第１の段の識別器において識別されたクラスを、候補クラスとして取得する取得工程と、
   設定手段が、前記第１の段の識別器が前記候補クラスを識別する際に用いた識別空間において、当該候補クラスが定義する部分空間を拡張した部分空間として定義されたクラスを、第２の段の識別器において識別されるべきクラスとして、該第２の段の識別器に設定する設定工程と
   を有することを特徴とする情報処理方法。
2. 複数段の識別器を用いて対象物のクラスを識別する情報処理装置における情報処理方法であって、
   取得手段が、第１の段の識別器において識別されたクラスを、候補クラスとして取得する取得工程と、
   設定手段が、前記候補クラスを定義する、複数の特徴それぞれの存在確率を表す確率変数のうち、所定の特徴の確率変数を消去して算出される、該候補クラスの周辺確率を、該候補クラスを識別する際に用いられるべきパラメータとして、第２の段の識別器に設定する設定工程と
   を有することを特徴とする情報処理方法。
3. 複数段の識別器を用いて対象物のクラスを識別する情報処理装置における情報処理方法であって、
   取得手段が、第１の段の識別器において識別されたクラスを、候補クラスとして取得する取得工程と、
   設定手段が、前記候補クラスごとに予め定義された複数のクラスを、該候補クラスを識別する際に用いられるべきクラスとして、該第２の段の識別器に設定する設定工程と
   を有することを特徴とする情報処理方法。
4. 前記クラスには、前記対象物の姿勢を識別するクラスが含まれることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理方法。
5. 複数段の識別器を用いて対象物のクラスを識別する情報処理装置であって、
   第１の段の識別器において識別されたクラスを、候補クラスとして取得する取得手段と、
   前記第１の段の識別器が前記候補クラスを識別する際に用いた識別空間において、当該候補クラスが定義する部分空間を拡張した部分空間として定義されたクラスを、第２の段の識別器において識別されるべきクラスとして、該第２の段の識別器に設定する設定手段と
   を有することを特徴とする情報処理装置。
6. 複数段の識別器を用いて対象物のクラスを識別する情報処理装置であって、
   第１の段の識別器において識別されたクラスを、候補クラスとして取得する取得手段と、
   前記候補クラスを定義する、複数の特徴それぞれの存在確率を表す確率変数のうち、所定の特徴の確率変数を消去して算出される、該候補クラスの周辺確率を、該候補クラスを識別する際に用いられるべきパラメータとして、第２の段の識別器に設定する設定手段と
   を有することを特徴とする情報処理装置。
7. 複数段の識別器を用いて対象物のクラスを識別する情報処理装置であって、
   第１の段の識別器において識別されたクラスを、候補クラスとして取得する取得手段と、
   前記候補クラスごとに予め定義された複数のクラスを、該候補クラスを識別する際に用いられるべきクラスとして、該第２の段の識別器に設定する設定手段と
   を有することを特徴とする情報処理装置。
8. コンピュータを、請求項５乃至７のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラムを記憶した記憶媒体。

Images