JP4532915B2 - パターン認識用学習方法、パターン認識用学習装置、画像入力装置、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体 - Google Patents

Description

本発明は、パターン認識用学習方法、パターン認識用学習装置、画像入力装置、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体に関し、特に、画像データに基づき、顔や人物、車両、その他の物体の検出・認識を行う機能を実現する為の学習を行うために用いて好適なものである。

従来から、画像認識を行うために、認識対象の検出に必要な特徴量を学習する方法として、例えば、非特許文献１に記載されている技術があった。前記非特許文献１に記載されている技術は、画像にいわゆるInterest演算子を作用させてコーナやライン交差などの局所特徴点を抽出し、然る後、k-平均法などのベクトル量子化によるクラスタリングの技術を適用して有用な少数の特徴を抽出する方法である。

また、画像認識の手法としては、例えば非特許文献２、３に記載されている技術等がある。前記非特許文献２に記載されている技術は、モデルとの類似度に関する特徴量を算出して画像認識を行う方法、即ち、対象のモデル画像を主成分分析して得られる固有画像関数空間へ入力パターンを写像してモデルとの特徴空間内での距離を算出する方法である。また、前記非特許文献３に記載されている技術は、複数の特徴抽出の結果（特徴ベクトル）及びその空間配置関係をグラフで表現し、弾性的グラフマッチングにより類似度の算出して画像認識を行う方法である。

さらに、生体の情報処理機構にヒントを得た神経回路網モデルによるパターン認識方法としては、階層的テンプレートマッチングを行う方法（例えば、特許文献１及び非特許文献４を参照）や、その他多層パーセプトロンや、動径基底関数（Radial Basis Function）ネットワークなどを用いる方法がある。

特公昭６０−７１２号公報 M.Weber et al.,"Viewpoint-Invariant Learning and Detection of Human Heads, Proceedings of 4th International Conference on Automatic Face and Gesture Recognition",（米国）,2000年,p.20−27 Sirovich et al.,"Low-dimensional procedure for the characterization of human faces,",（米国）, J. Opt. Soc. Am. [A],1987年,第3巻（vol. 3）,p.519−524 Lades et al.,"Distortion Invariant Object Recognition in the Dynamic Link Architecture,",（米国）,IEEE Trans. on Computers,1993年,第42巻（vol.42）,p.300−311 Fukushima & Miyake,"Neocognitron: A new algorithm for pattern recognition tolerant of deformation and shifts in position," ,（米国）, Pattern Recognition,,1982年,第15巻（vol.15）,p.455−469

しかしながら、前記非特許文献１に記載の学習方法で抽出される特徴は、特定の対象に対しては有効であっても、異なるカテゴリの対象の検出や認識が保障されないという問題点があった。
また、前記特許文献１及び前記非特許文献２ないし４などに例示される認識アルゴリズムは、いずれも、認識対象のサイズや向きの変動などにロバスト（robust）であるとういう要件と、複数の異なるカテゴリの対象の検出・認識に適用可能であるという要件とを満たすことが困難であるという問題点があった。

本発明は、前述した問題点に鑑みてなされたものであり、異なるカテゴリの対象の検出や認識に有用な局所特徴を、画像の集合から適切に抽出するための学習を行えることができるようにすることを目的とする。

前述した目的を達成するために、本発明のパターン認識用学習方法は、複数の階層のニューロンを有する畳み込み神経回路網を用いて物体画像データに基づき物体を認識または検出するパターン認識装置の学習を行うパターン認識用学習方法であって、異なる種類の物体画像データの集合を入力する画像入力ステップと、前記画像入力ステップにより入力された各物体画像データから所定の幾何学的構造を有する局所的特徴を検出する局所的特徴検出ステップと、前記局所的特徴検出ステップにより検出された複数の局所的特徴を所定の方法によりクラスタリングするクラスタリングステップと、前記クラスタリングステップによりクラスタリングされた結果に基づき、複数の代表局所特徴を選択する特徴選択ステップと、前記特徴選択ステップにより選択された前記代表局所特徴を教師データとして含む学習用データセットを用いて、前記畳み込み神経回路網の第３階層以降の各階層について、当該階層の直前の階層までのニューロンの結合を固定して、当該階層と直前の階層とのニューロンの結合に前記学習用データを与えて教師付き学習を行うことを順次上位の階層について実行する学習ステップとを有することを特徴とする。

本発明のパターン認識用学習装置は、複数の階層のニューロンを有する畳み込み神経回路網を用いて物体画像データに基づき物体を認識または検出するパターン認識装置の学習を行うパターン認識用学習装置であって、異なる種類の物体画像データの集合を入力する画像入力手段と、前記画像入力手段により入力された各物体画像データから所定の幾何学的構造を有する局所的特徴を検出する局所的特徴検出手段と、前記局所的特徴検出手段により検出された複数の局所的特徴を所定の方法によりクラスタリングするクラスタリング手段と、前記クラスタリング手段によりクラスタリングされた結果に基づき、複数の代表局所特徴を選択する特徴選択手段と、前記特徴選択手段により選択された前記代表局所特徴を教師データとして含む学習用データセットを用いて、前記畳み込み神経回路網の第３階層以降の各階層について、当該階層の直前の階層までのニューロンの結合を固定して、当該階層と直前の階層とのニューロンの結合に前記学習用データを与えて教師付き学習を行うことを順次上位の階層について実行する学習手段とを有することを特徴とする。

本発明のコンピュータプログラムは、複数の階層のニューロンを有する畳み込み神経回路網を用いて物体画像データに基づき物体を認識または検出するパターン認識装置の学習をコンピュータに実行させるコンピュータプログラムであって、異なる種類の物体画像データの集合を入力する画像入力ステップと、前記画像入力ステップにより入力された各物体画像データから所定の幾何学的構造を有する局所的特徴を検出する局所的特徴検出ステップと、前記局所的特徴検出ステップにより検出された複数の局所的特徴を所定の方法によりクラスタリングするクラスタリングステップと、前記クラスタリングステップによりクラスタリングされた結果に基づき、複数の代表局所特徴を選択する特徴選択ステップと、前記特徴選択ステップにより選択された前記代表局所特徴を教師データとして含む学習用データセットを用いて、前記畳み込み神経回路網の第３階層以降の各階層について、当該階層の直前の階層までのニューロンの結合を固定して、当該階層と直前の階層とのニューロンの結合に前記学習用データを与えて教師付き学習を行うことを順次上位の階層について実行する学習ステップとをコンピュータに実行させることを特徴とする。
本発明のコンピュータ読み取り可能な記録媒体は、前記記載のコンピュータプログラムを記録したことを特徴とする。

本発明によれば、物体検出または認識に使うことを目的として、異なる種類の物体画像データを記述（表現）するのに有用な少数の局所特徴のクラスを自動的に学習により求めることができる。

＜第１の実施形態＞
以下、図面を用いて本発明の第１の実施形態を詳細に説明する。
（全体構成概要）
図１は、本実施形態で用いるパターン認識用学習装置を組み込んだパターン認識装置の主要な構成要素をなす、パターン検出・認識を行うための並列階層処理ネットワークの全体構成の一例を模式的に示す図である。このパターン認識装置では、対象または幾何学的特徴などの認識（検出）に関与する情報を主として扱う。

図１１は、本実施形態で用いるパターン認識装置の構成の一例を示すブロック図である。
図１１において、パターン認識装置は、画像入力部１１１と、画像認識部１１２と、学習制御部１１３と、局所的特徴検出部１１２０と、局所的特徴検出部１１２０における局所的特徴の検出結果に対してクラスタリング（clustering）処理を行うクラスタリング部１１２１と、クラスタリング部１１２１におけるクラスタリング処理の結果に基づいて代表的局所特徴を選択する特徴選択部１１２２とを要部として含む。

なお、パターン認識装置は、例えば、制御プログラムなどが格納されているＲＯＭと、前記制御プログラムを実行するなどしてパターン認識装置を統括制御するＣＰＵと、前記ＣＰＵが前記制御プログラムを実行する際のワークエリアなどとして用いられるＲＡＭとを備えたマイクロコンピュータを用いることにより実現される。

画像入力部１１１としては、撮像手段または外部データベース等へのアクセス端末などが用いられ、人物や車など異なるカテゴリの画像を含むデータを入力する。
画像認識部１１２は、画像入力部１１１で入力された画像データを認識するために、階層的特徴抽出処理を行う。

局所的特徴検出部１１２０は、画像入力部１１１で入力された画像データから、後述する複数種類の局所特徴データを検出し、その画像データを保持する。
クラスタリング部１１２１は、局所的特徴検出部１１２０で抽出された複数の局所特徴データについて、自己組織化マップなどの手法により、クラスタリングを行って、複数の特徴クラスに分類する。

特徴選択部１１２２は、クラスタリング部１１２１により分類された複数の特徴クラスから代表的特徴クラスを選択する。
学習制御部１１３は、特徴選択部１１２２により選択された代表的局所特徴を、画像認識部１１２の学習用データ（教師データの一部）として用い、後で説明する教師付き学習を行う。

図１は、画像認識部１１２の構成要素をなす、いわゆるConvolutionalネットワークの構造を模式的に表している。最終出力の分布は、認識結果、即ち認識された対象のカテゴリと、その検出位置情報とを反映する。なお、Convolutionalネットワークの構造については、例えば「LeCun, Y. and Bengio, Y., "Convolutional Networks for Images Speech, and Time Series"in Handbook of Brain Theory and Neural Networks (M. Arbib, Ed.), MIT Press,1995年，p.255−258」に記載されている。

図１において、データ入力層１０１は、画像センサー手段（画像入力部１１１）、例えばＣＭＯＳセンサー、或いはＣＣＤ素子等の光電変換素子からのデータを保持する。
最初の特徴検出層１０２Ａ（（１，０））は、複数の解像度の画像を入力する。そして、画像パターンの局所的な低次の特徴（幾何学的特徴のほかに色成分特徴を含んでもよい）を、全画面の各位置（或いは、全画面にわたる所定のサンプリング点の各点）において、各画面の同一箇所で検出する。この検出は、複数のスケールレベル又は複数の解像度で行うとともに、特徴カテゴリの数だけ行う。特徴検出層１０２Ａ（（１，０））は、特徴量の種類（例えば、幾何学的特徴として所定方向の線分を抽出する場合にはその幾何学的構造である線分の傾き）に応じた受容野構造を有するニューロン素子から構成される。

特徴検出層１０２（（１，ｋ）、但し、ｋ≧０）は、全体として異なる解像度の画像をシーケンシャルに入力する事により、複数の解像度（又はスケールレベル）の処理チャネルを、その都度形成する。そして、同一のスケールレベル（又は解像度）で処理を進行していく。これら特徴検出層１０２の各ニューロンは、検出すべきパターンの構造に応じた局所受容野構造（前層との局所的なシナプス結合構造）を有する。

特徴統合（特徴プーリング）層１０３Ａ（２,０）は、所定の受容野構造（以下、受容野とは、直前の層の出力素子との結合範囲を意味するものとし、受容野構造とは、その結合荷重の分布を意味するものとする）を有するニューロン素子からなる。この特徴プーリング層１０３Ａ（（２,０））は、特徴検出層１０２Ａ（（１,０））からの複数のニューロン出力（特徴統合層ニューロンの局所受容野内）の統合処理として、局所平均化や最大出力抽出等によるサブサンプリングなどの演算を行う。なお、特徴プーリング層１０３内のニューロンの各受容野は、同一層内のニューロン間でモジュール（検出される特徴）の種類によらず共通の構造を有している。

各特徴検出層１０２（(１,１)、(１,２)、・・・、(１,Ｎ)）及び各特徴プーリング層１０３（(２,１)、(２,２)、・・・、(２,Ｎ)）内のニューロンは、それぞれ所定の受容野構造を持つ。そして、前述した各層と同様に、前者（(１,１)、・・・、(１,Ｎ)）は、各特徴検出モジュールにおいて複数の異なる特徴の検出を行い、後者（(２,１)、・・・、(２,Ｎ)）は、前段の特徴検出層からの複数の特徴に関する検出結果について上述したような統合処理を行う。
入力データ上の所定位置（或いはその位置を中心とする局所領域）での複数の幾何学的特徴に関する特徴プーリング層１０３内のニューロンは、互いに隣接して配置されており、各ニューロンは、より上位の特徴検出層のニューロンへの結合をなしている。

図９に示す特徴検出細胞２０１（Ｆ_D(r,f_k,i)；（ｋ≧０））は、入力データ上の場所ｒに該当する位置においての、（ｋ＋１）番目の特徴検出層でのｉ番目の特徴カテゴリを検出する細胞である。また、特徴プーリング細胞２０２（Ｆ_I(r,f_k,i)；（ｋ≧０））は、同様に入力データ上の場所ｒに該当する位置においての、（ｋ＋１）番目の特徴プーリング層でのｉ番目の特徴カテゴリに関する細胞である。

図９において、低次の特徴に関する層間で特徴検出層２０４（（１，０））から特徴プーリング層２０５（（２，０））への結合を局所受容野２０６とともに示した部分は、図１と異なり、各層間の結合がいずれも局所受容野構造を有することを模式的に示している。
各ニューロンは、分布重み係数と画像データとの積和入力を行って得られる結果に対して非線型squashing関数（典型的にはいわゆるLogistic関数または双曲正接関数）となる出力を行うが、他の非線形関数（例えば非単調関数など）となる出力を行ってもよい。

（特徴検出層での処理）
特徴検出層（１,０）の各ニューロン（または複数ニューロンからなる各グループ）は、所定の空間フィルタ機能を有する。また、この特徴検出層（１,０）では、スケールレベル（解像度）が一定で方向選択性の異なる複数の畳み込み演算カーネルに対応する受容野構造を有するニューロンからなる複数のニューロン集団を一まとめにして一つのチャネルを形成する。

特徴検出層(１,０)に続く後段の特徴検出層（(１,１)、(１,２)、・・・）の各ニューロンは、前記特徴検出層(１，０）とは異なり、認識対象のパターンに固有の特徴を検出する受容野構造を、以下に説明するモジュールごとの教師付き学習により形成する。後の特徴検出層ほど、特徴検出を行う局所的な領域のサイズ、即ち、受容野サイズが認識対象全体のサイズに段階的に近くなり、幾何学的には中次または高次の特徴を検出する。

例えば、顔の検出と認識とを行う場合における中次（または高次）の特徴とは、顔を構成する目、鼻、口等の図形要素のレベルでの特徴を表す。なお、特徴検出層のニューロンの受容野構造は、一般的に（低次、高次の特徴抽出に依らず）興奮性と抑制性との結合を有するが、出力の安定化のために分流型抑制(shunting inhibition)性の結合を、前段の特徴抽出層の出力に基づいて受けるような機構を有してもよい。

（特徴プーリング層での処理）
特徴プーリング層（(２,０)、(２,１)、・・・）のニューロンについて説明する。
図１に示すごとく特徴検出層（例えば、特徴検出層（１,０）から特徴プーリング層（例えば、特徴プーリング層（２,０））への結合は、当該特徴プーリング層のニューロンの受容野内にある前段の特徴検出層の同一特徴要素（タイプ）のニューロンから興奮性結合の入力を受けるように構成される。また、特徴プーリング層のニューロンは、前述したごとく、特徴カテゴリごとの局所平均化や、最大値検出によるサブサンプリング等を行う機能を有している。
すなわち、特徴プーリング層のニューロンは、同一種類の特徴検出層のニューロンから複数の信号を入力し、それらを局所的な領域（受容野）で統合して平均化する（或いは、受容野内での最大値等の代表値を算出する）ことにより、その特徴の位置のゆらぎや、変形に対しても確実に特徴を検出することができる。

（有用な局所特徴のクラスの選択処理）
次に、本発明の主眼であるパターン認識のための有用な局所特徴の選択処理の手順の一例について、図２に示すフローチャートを参照して説明する。
先ず、種類、大きさ、向き、撮影条件などの異なる様々な物体クラスを含む入力画像データの集合（各入力画像データ）に対して、いわゆるインテレスト・オペレータなどを作用させ、局所特徴を検出する（ステップＳ１）。

図３はその結果を示し、図中○の印の箇所は、検出された局所特徴の存在位置を表している。なお、インテレスト・オペレータについては、「Schmid, C., Mohr, R., Bauckhage, C. "Evaluation of interest point detectors,",International Journal of Computer Vision,（2001）,第45巻（vol.45）,pｐ.83−105」や、「Laptev, I. and Lindeberg, T. "Interest point detection and scale selection in space-time," in Proc. Scale Space Methods in Computer Vision, Lecture Notes in Computer Science,（2003）,pｐ.372−387., Springer Verlag」などの文献に記載されている。

次に、その検出された局所特徴を含む所定サイズ（例えば、７×７の領域）の画像の集合に対して、照明変動の影響を軽減するためにヒストグラム均等化（histogram equalization)や輝度値正規化などの正規化処理（ステップＳ２）を行った後、自己組織化マップなどのクラスタリングを行う（ステップＳ３）。ここでは、自己組織化マップ（いわゆるＳＯＭ）を用いる事により、少数の有用な局所特徴クラスへの絞込みを行う。

本実施形態では、入力画像の正規化として、輝度値の範囲が正規化された人物の顔画像（３００枚）、道路上の車両の斜め前方から見た画像（３０４枚）、及びその他一般的な建物や風景の画像（３００枚）の集合を用い、これらの画像に対してインテレスト・オペレータ（いわゆるHarrisオペレータ）を作用させ、６９７５３個（一画像あたり約６０個のオーダ）の局所特徴（コーナのような特徴）を得た。ここで用いた画像のデータセットのうち、顔画像については様々なサイズ（１４４×１０８〜２９６×２２０）と、向き（−３０°、０°、３０°など）の顔画像を含んでいる。

これらに対して自己組織化マップを適用した結果、多数の局所特徴が、より少数（１０のオーダ）のクラスの特徴に分類することができた。その結果、各クラスに数百個ほどの局所特徴が帰属することが確認された。同一のクラスに属する局所特徴の画像は、互いにユークリッド距離が所定閾値以下になっているが、異なるカテゴリの物体画像に由来する複数の画像が一般的には含まれる。

次に、複数のクラスに分類された中から代表的な特徴クラスを選択する（ステップＳ４）。この場合、自己組織化マップで得られた隣接、若しくは近接する各クラスの代表的局所特徴は、人間が視覚的に認識しても互いに類似度が高い場合がある。そこで（所定の特徴空間で互いに直交するような）互いに類似度の低い代表的クラスを選択する。

具体的には、特徴の類似度を評価するための距離尺度（特徴ベクトル空間のユークリッド距離など）を導入して、互いに所定閾値以上に離れた特徴を選択するか、或いは人間の視覚認識により代表的な特徴を選択する。この結果得られるそれぞれの特徴クラスには、ある程度異なる変動（サイズ変動、向き変動、照明変動など）の下での複数の局所特徴が含まれている。

次に、以上のようにして選択された局所特徴を用いて行う学習手順の一例について、図４に示すフローチャートを参照して説明する。
本実施形態で用いるパターン認識装置の要部をなす畳み込み神経回路（Convolutional Neural Network：以下、必要に応じてＣＮＮと称する）の第２階層レベルにおける特徴検出層の各モジュールのニューロンが、教師信号として選択された局所特徴の画像データに選択的に反応するように、それぞれのモジュールに対して、教師付き学習を誤差逆伝播法（Back Propagation：以下、必要に応じてＢＰと称する）により行う（ステップＳ４１〜Ｓ４３）。この場合、正解用の学習画像として選択された局所特徴の画像データを用いるとともに、不正解用の学習画像としてそれ以外の異なるクラスなどの画像データを用いる。
階層レベルが２以上（最下位層レベルより上）の特徴検出モジュールにおいては、その階層レベルより下の結合（各ニューロンの受容野構造）を固定し（ステップＳ４４）、当該特徴検出モジュールのニューロンの結合パターンだけを可変として、その階層レベルと１つ下の階層レベルとの間の結合の教師付き学習を行う（ステップＳ４５）。これを順に上位の階層レベルについて行うようにして、全ての階層に対して学習を実行する（ステップＳ４６、Ｓ４７）。

本実施形態では、１つのクラスにつき、それに属する５０個の互いに異なる局所特徴画像データと、そのクラスに属さない局所画像データセットとを用いて誤差逆伝搬法（ＢＰ）によりトレーニングした。交差検定法(cross-validation)を用いることにより、学習を行っているニューロン（第２階層レベル以下）での誤差（正解画像に対しては１、不正解画像に対しては−１または０が正しい出力としたときの、与えられた評価用入力画像データに対する出力の二乗平均誤差など）を最小にし、かつ変動にロバストな（例えば、サイズ変動は約２倍を許容し、回転変動は約±１０度を許容することをロバスト性の基準とする）特徴検出ニューロンの受容野構造（４種類）が学習により形成された。
なお、畳み込み神経回路（ＣＮＮ）では、受容野構造は、同じクラスの特徴カテゴリを検出するニューロン間で共有される（即ち、同一モジュールに属するニューロンは同じ受容野構造を有する）。

本実施形態では、より下位の階層レベル（具体的には第２階層レベル）から順に上位の階層レベルのモジュールに教師データを与えて誤差が最小となるように学習を行った。
教師データは、入力データと出力データとのペアであるデータセットであって、そのモジュールが検出予定の局所特徴の画像データセットを入力画像とした場合には、ニューロンの出力データとして発火状態に対応する値（例えば１）が与えられ、検出予定以外の画像データを入力した場合には、出力データとして非発火状態に対応する値（例えば−１）が与えられる。

このときに与えられる教師データとしては、入力データは、予め前述したクラスタリング（自己組織化マップ）により選択された局所特徴の集合から複数の局所特徴を抽出し、それらの適切な空間は位置関係によって特定され、認識対象の部分をなし、人間によって認知（識別）可能なまとまりのある図形パターンの画像データ（例えば、顔の中の目領域や、瞳領域など）を検出予定の画像データとする。なお、出力データは、第２階層レベルの学習時と同様に、入力データが検出予定の画像のときは発火状態とし、検出予定以外の不正解データのときは非発火状態とする。また、学習の収束は、誤差曲線の値の絶対値（または移動平均値、傾きの平均値）が所定の閾値以下か否かで判定する。

以上説明した学習の結果、得られた各局所特徴検出モジュールが、上に例示したように、変動に対してある程度のロバスト性があること、選択された局所特徴クラスで十分であること、および複数の異なる物体カテゴリ（例えば顔や車両など）の検出や認識に有効であることが確かめられた。

以上のように、本実施形態で説明した学習を行うことにより、物体の検出または認識に使うことを目的として、様々な撮影条件下で異なるクラスに属する複数の物体の画像を記述（表現）するのに有用な少数の局所特徴のクラス（図形アルファベット）を、自動的に求めることができる。
また、モジュールごとの学習により求められた図形アルファベットおよび中間特徴クラスを用いて、畳み込み神経回路網の特徴検出ニューロンの受容野を教師付き学習により形成することができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。なお、前述した第１の実施形態と同一の部分についての詳細な説明を省略する。
本実施形態における学習手順の一例を図５に示すフローチャートを参照して説明する。
ここでは、第１の実施形態で用いた畳み込み神経回路（ＣＮＮ）において、複数の異なるカテゴリの物体に関する画像データ（例えば、人物の顔や車の画像など）を用いて、第２階層レベル以下の学習を第１の実施形態と同様に行う（ステップＳ５１〜Ｓ５３）。

然る後、学習済みの第２階層レベル以下の結合（受容野構造）を固定する（ステップＳ５４）。そして、第２階層レベルより上の特徴検出層のニューロンの結合を自動学習する際は、最上位の特徴検出層のニューロンに、検出すべきカテゴリ（車両の場合、例えば、特定の角度から見たセダンやハッチバックなど）に属する画像データ（車両の場合、メーカや色などが含まれるものとする）を正解の教師データ（ニューロンが発火する事象に対応）として与えるとともに、それ以外のカテゴリに属する画像データを不正解の教師データ（即ち、ニューロンが発火しない事象に対応）として与えて、誤差逆伝播法（ＢＰ）を適用する（ステップＳ５５）。
その結果、指定されたカテゴリの物体を検出することが可能な特徴検出モジュールが、最上位の特徴検出層に形成されるとともに、第２階層レベルより上位の中間層(特徴検出層)には、中間特徴の検出モジュールが自動的に生成される。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。なお、前述した第１及び第２の実施形態と同一の部分についての詳細な説明を省略する。
本実施形態では、選択された局所特徴の組み合わせにより得られる更に複雑な特徴であって、認識対象を構成する有用な中間的局所特徴を自動的に抽出する方法および装置の構成を示す。
第１及び第２の実施形態で示した畳み込み神経回路（ＣＮＮ）の学習により生成された最下位層もしくは第２階層レベルで検出される局所特徴の集合（これらを図形アルファベットという）から複数の特徴を選択し、それらの所定の局所的空間配置によって得られる中間レベル図形パターンの集合（パターン認識における一種のボキャブラリイのようなもの）も、異なるカテゴリの物体検出／認識の分野において同様に有用であると考えられる。

第１及び第２の実施形態では、検出対象の物体の画像もしくは当該物体の局所画像を正解の教師データの一部として与える教師付き学習によりこのボキャブラリイの集合を生成した。これに対し、本実施形態では、予め学習によって形成された図形アルファベットの任意の組み合わせについて取り得る典型的な空間配置を選択し、その図形アルファベットパターン画像間の論理和や論理積（２値化画像の場合）、若しくは重み付き和（濃淡画像データの場合）などの演算を行うことにより新たな中間図形パターンのデータセットを生成する。

学習に用いる中間的局所特徴を生成する手順の一例を図６に示すフローチャートを参照して説明する。
先ず、第１の実施形態と同様に、様々な物体クラスを含む画像データセットからインテレスト・オペレータ等を用いて局所特徴の集合を抽出し（ステップＳ６１）、正規化処理（ステップＳ６２）を行った後、ベクトル量子化や自己組織化マップなどによるクラスタリング（ステップＳＳ６３）を行い、更に少数の有用な局所特徴のクラスを選択する（ステップＳ６４）。

ここで選択された局所特徴クラス（図形アルファベットモデル）は、例えば、図７（Ｃ）に示すようなものであり、畳み込み神経回路（ＣＮＮ）の、主に最下位層で検出されるものが含まれる。この局所特徴クラス（図形アルファベット）の検出モジュールを形成するために用いた教師データの一例を図７（Ａ）に示す。これらの類型化処理（ステップＳ６５）を行うことにより、図７（Ａ）に示すような２値化特徴パターンとそれぞれの反転特徴パターンとの集合を得る。各２値化パターンの検出に用いられるニューロンの受容野構造を図７（Ｂ）に示す。そして、その集合から任意の２つの局所特徴ペアを選択（ステップＳ６６）し、相対位置を一定範囲（この範囲は検出予定の中間特徴の種類により一般的に決まるが、ここでは例えば図形アルファベットサイズ程度とする）でずらしながら論理積（ＡＮＤ）や論理和（ＯＲ）演算等を行う（ステップＳ６７）。このようにすると、図８に例示するような中間レベル図形パターン（以下、中間図形パターンと略称する）の集合が生成される。

生成された中間図形パターンは、畳み込み神経回路（ＣＮＮ）の中間層モジュールに与える教師データのうちの正解用入力データとして用いることができる。実際に生成された中間図形パターンは、特定カテゴリの物体検出に有用でない場合もあるが、可能性のある局所特徴の組み合わせ配置関係により特定される、図８に例示されるような中間図形パターンの特徴検出モジュールを、学習により予め十分な種類の特徴に対応して複数生成しておく。このようにすることにより、複数の特定カテゴリ（検出／認識対象レベル）の検出／認識に必要な中間図形パターンだけを検出するような特徴検出モジュールが選択されるような学習を行うことができる。

その理由は、本実施形態に係る教師つき学習においては、ある中間図形パターンが特定物体の検出に有用である場合には、その中間図形検出モジュールのニューロンと物体検出用モジュールのニューロンとの興奮性結合が強化されるが、他の有用でない中間図形の検出モジュールニューロンとその物体検出用モジュールニューロン間の結合は強化されない（若しくは弱められたり、抑制性の結合が強化されたりする）からである。
以上のように、本実施形態で説明した学習を行うことにより、求められた図形アルファベットの所定の空間配置関係により特定される上位の（より複雑な）中間特徴（または高次特徴）であって、特定の物体の検出や認識に有用な特徴クラスを自動的に求めることができる。

＜第１〜３の実施形態のパターン認識装置を搭載した撮像装置＞
図１０は、図１１に示した構成を基本要素とする、前述した第１〜第３実施形態のパターン認識装置を搭載した撮像装置の構成の概要を示すブロック図である。
図１０の撮像装置９は、撮影レンズおよびズーム撮影用駆動制御機構を含む結像光学系９２、ＣＣＤ又はＣＭＯＳイメージセンサー９３、撮像パラメータ計測部９４、映像信号処理回路９５、記憶部９６、撮像動作の制御や、撮像条件の制御などを行うための制御用信号を発生する制御信号発生部９７、ＥＶＦなどファインダーを兼ねた表示ディスプレイ９８、ストロボ発光部９９、記録媒体９１０、及び被写体検出（認識）部９１１（前述した各実施形態での階層構造を持った並列パルス信号処理回路からなるパターン認識装置）などを具備する。

この撮像装置９は、例えば撮影された映像中から予め登録された人物の顔画像の検出（存在位置や、サイズの検出）を被写体検出（認識）部９１１により行う。その人物の位置、サイズ情報が、被写体検出（認識）部９１１から制御信号発生部９７に入力されると、制御信号発生部９７は、撮像パラメータ計測部９４からの出力に基づき、その人物に対するピント制御、露出条件制御、及びホワイトバランス制御などを最適に行う制御信号を発生する。

前述した各実施形態のパターン検出(認識)装置を、このように撮像装置に用いた結果、被写体を確実に検出(認識)する機能を低消費電力かつ高速（リアルタイム）に実現して、人物等の検出とそれに基づく撮影の最適制御（ＡＦ、ＡＥなど）を行うことができる。
なお、図１０では、撮像装置にパターン認識装置を搭載する場合について例示したが、撮像装置とは異なるスキャナー等の画像入力装置に、パターン認識装置を搭載するようにしてもよい。

（本発明の他の実施形態）
前述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、前記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。

また、この場合、前記ソフトウェアのプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えば、かかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。

さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。

本発明の第１の実施形態を示し、パターン検出・認識を行うための並列階層処理ネットワークの全体構成の一例を模式的に示す図である。 本発明の第１の実施形態を示し、パターン認識のための有用な局所特徴の選択処理の手順の一例を説明するフローチャートである。 本発明の第１の実施形態を示し、インテレスト・オペレータを作用させることにより画像から抽出された局所特徴の一例を示す図である。 本発明の第１の実施形態を示し、局所特徴を用いて行う学習手順の一例を説明するフローチャートである。 本発明の第２の実施形態を示し、局所特徴を用いて行う学習手順の一例を説明するフローチャートである。 本発明の第３の実施形態を示し、中間的局所特徴を生成する手順の一例を説明するフローチャートである。 本発明の第３の実施形態を示し、図形アルファベットパターン、対応する局所特徴検出ニューロンの受容野構造、及び図形アルファベットモデルの一例を示す図である。 本発明の第３の実施形態を示し、生成された中間図形パターンの一例を示す図である。 本発明の実施形態を示し、パターン検出・認識を行うための並列階層処理ネットワークの全体構成の一例を模式的に示す図であって、各層間の結合が局所受容野構造を有していることを模式的に示した図である。 本発明の実施形態を示し、本発明のパターン認識装置を内蔵した撮像装置の構成の一例を示したブロック図である。 本発明の実施形態を示し、パターン認識装置の構成の一例を示すブロック図である。

符号の説明

９ 撮像装置
９２ 結像光学系
９３ ＣＣＤ又はＣＭＯＳイメージセンサー
９４ 撮像パラメータ計測部
９５ 映像信号処理回路
９６ 記憶部
９７ 制御信号発生部
９８ 表示ディスプレイ
９９ ストロボ発光部
１０１ データ入力層
１０２ 特徴検出層
１０３ 特徴統合層
９１０ 記録媒体
９１１ 被写体検出（認識）部

Claims (23)

1. 複数の階層のニューロンを有する畳み込み神経回路網を用いて物体画像データに基づき物体を認識または検出するパターン認識装置の学習を行うパターン認識用学習方法であって、
   異なる種類の物体画像データの集合を入力する画像入力ステップと、
   前記画像入力ステップにより入力された各物体画像データから所定の幾何学的構造を有する局所的特徴を検出する局所的特徴検出ステップと、
   前記局所的特徴検出ステップにより検出された複数の局所的特徴を所定の方法によりクラスタリングするクラスタリングステップと、
   前記クラスタリングステップによりクラスタリングされた結果に基づき、複数の代表局所特徴を選択する特徴選択ステップと、
   前記特徴選択ステップにより選択された前記代表局所特徴を教師データとして含む学習用データセットを用いて、前記畳み込み神経回路網の第３階層以降の各階層について、当該階層の直前の階層までのニューロンの結合を固定して、当該階層と直前の階層とのニューロンの結合に前記学習用データを与えて教師付き学習を行うことを順次上位の階層について実行する学習ステップとを有することを特徴とするパターン認識用学習方法。
2. 前記学習ステップにより学習された結果に基づいて、前記物体画像データに基づく物体を認識または検出する画像認識ステップを有することを特徴とする請求項１に記載のパターン認識用学習方法。
3. 前記代表局所特徴は、所定の階層レベルの前記局所的特徴に関するものであることを特徴とする請求項１に記載のパターン認識用学習方法。
4. 前記クラスタリングステップは、前記局所的特徴検出ステップにより検出された複数の局所的特徴を、ベクトル量子化または自己組織化マップを用いてクラスタリングすることを特徴とする請求項１に記載のパターン認識用学習方法。
5. 前記畳み込み神経回路網は、特徴検出層と特徴プーリング層とを交互に含むことを特徴とする請求項１に記載のパターン認識用学習方法。
6. 前記局所的特徴検出ステップは、インテレスト・オペレータを用いて、前記局所的特徴を検出することを特徴とする請求項１に記載のパターン認識用学習方法。
7. 前記学習ステップは、前記各階層について、当該階層のニューロンと、その１つ下の階層のニューロンとの間で、前記学習を行うことを特徴とする請求項１に記載のパターン認識用学習方法。
8. 前記学習ステップは、前記選択された複数の代表的局所特徴の組み合わせの空間配置に基づき指定される所定の特徴を検出するように、前記学習を行うことを特徴とする請求項１に記載のパターン認識用学習方法。
9. 前記学習ステップは、前記学習用データセットとして、前記画像入力ステップにより入力された物体画像データの特徴量に所定の正規化を行って得られるデータを用いることを特徴とする請求項１に記載のパターン認識用学習方法。
10. 前記異なる種類の物体画像データは、同一のカテゴリに属する物体画像データであって、物体のサイズ、向き、コントラスト、及び色バランスの少なくとも一つの特性が異なることを特徴とする請求項１に記載のパターン認識用学習方法。
11. 複数の階層のニューロンを有する畳み込み神経回路網を用いて物体画像データに基づき物体を認識または検出するパターン認識装置の学習を行うパターン認識用学習装置であって、
    異なる種類の物体画像データの集合を入力する画像入力手段と、
    前記画像入力手段により入力された各物体画像データから所定の幾何学的構造を有する局所的特徴を検出する局所的特徴検出手段と、
    前記局所的特徴検出手段により検出された複数の局所的特徴を所定の方法によりクラスタリングするクラスタリング手段と、
    前記クラスタリング手段によりクラスタリングされた結果に基づき、複数の代表局所特徴を選択する特徴選択手段と、
    前記特徴選択手段により選択された前記代表局所特徴を教師データとして含む学習用データセットを用いて、前記畳み込み神経回路網の第３階層以降の各階層について、当該階層の直前の階層までのニューロンの結合を固定して、当該階層と直前の階層とのニューロンの結合に前記学習用データを与えて教師付き学習を行うことを順次上位の階層について実行する学習手段とを有することを特徴とするパターン認識用学習装置。
12. 前記学習手段により学習された結果に基づいて、前記物体画像データに基づく物体を認識または検出する画像認識手段を有することを特徴とする請求項１１に記載のパターン認識用学習装置。
13. 前記代表局所特徴は、所定の階層レベルの前記局所的特徴に関するものであることを特徴とする請求項１１に記載のパターン認識用学習装置。
14. 前記クラスタリング手段は、前記局所的特徴検出手段により検出された複数の局所的特徴を、ベクトル量子化または自己組織化マップを用いてクラスタリングすることを特徴とする請求項１１に記載のパターン認識用学習装置。
15. 前記畳み込み神経回路網は、特徴検出層と特徴プーリング層とを交互に含むことを特徴とする請求項１１に記載のパターン認識用学習装置。
16. 前記局所的特徴検出手段は、インテレスト・オペレータを用いて、前記局所的特徴を検出することを特徴とする請求項１１に記載のパターン認識用学習装置。
17. 前記学習手段は、前記各階層について、当該階層のニューロンと、その１つ下の階層のニューロンとの間で、前記学習を行うことを特徴とする請求項１１に記載のパターン認識用学習装置。
18. 前記学習手段は、前記選択された複数の代表的局所特徴の組み合わせ空間配置に基づき指定される所定の特徴を検出するように、前記学習を行うことを特徴とする請求項１１に記載のパターン認識用学習装置。
19. 前記学習手段は、前記学習用データセットとして、前記画像入力手段により入力された物体画像データの特徴量に所定の正規化を行って得られるデータを用いることを特徴とする請求項１１に記載のパターン認識用学習装置。
20. 前記異なる種類の物体画像データは、同一のカテゴリに属する物体画像データであって、物体のサイズ、向き、コントラスト、及び色バランスの少なくとも一つの特性が異なることを特徴とする請求項１１に記載のパターン認識用学習装置。
21. 請求項１１〜２０の何れか１項に記載の前記パターン認識用学習装置を有することを特徴とする画像入力装置。
22. 複数の階層のニューロンを有する畳み込み神経回路網を用いて物体画像データに基づき物体を認識または検出するパターン認識装置の学習をコンピュータに実行させるコンピュータプログラムであって、
    異なる種類の物体画像データの集合を入力する画像入力ステップと、
    前記画像入力ステップにより入力された各物体画像データから所定の幾何学的構造を有する局所的特徴を検出する局所的特徴検出ステップと、
    前記局所的特徴検出ステップにより検出された複数の局所的特徴を所定の方法によりクラスタリングするクラスタリングステップと、
    前記クラスタリングステップによりクラスタリングされた結果に基づき、複数の代表局所特徴を選択する特徴選択ステップと、
    前記特徴選択ステップにより選択された前記代表局所特徴を教師データとして含む学習用データセットを用いて、前記畳み込み神経回路網の第３階層以降の各階層について、当該階層の直前の階層までのニューロンの結合を固定して、当該階層と直前の階層とのニューロンの結合に前記学習用データを与えて教師付き学習を行うことを順次上位の階層について実行する学習ステップとをコンピュータに実行させることを特徴とするコンピュータプログラム。
23. 請求項２２に記載のコンピュータプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。

Images