JP2015036939A - 特徴抽出プログラム及び情報処理装置 - Google Patents

Abstract

【課題】画像情報の特徴抽出において、バックプロパゲーション法を用いずに、空間的な相関性を取り込むとともに、従来に比べて演算処理の負荷及びメモリ消費量を抑制する特徴抽出プログラム及び情報処理装置を提供する。【解決手段】情報処理装置１は、レイヤ０において、画像情報１１１から特徴量を抽出する基本特徴量抽出手段１００と、複数レイヤにおいて抽出された特徴量を用いて学習を行い学習結果情報１１２を出力する学習手段１０２と、レイヤ０以外のレイヤのそれぞれにおいて、学習手段１０２の学習結果情報１１２に基づいて、１つ前のレイヤの出力からｋ−ｍｅａｎｓクラスタリングにより特徴量を抽出する特徴量抽出手段１０１と、レイヤ０以外のレイヤのそれぞれにおいて、特徴量抽出手段１０１が抽出した特徴量をプーリング処理し、プーリング処理された特徴量を当該レイヤの出力とするプーリング処理手段１０３とを有する。【選択図】図１

Description

本発明は、特徴抽出プログラム及び情報処理装置に関する。

従来の特徴抽出プログラムとして、画像情報から得られる特徴ベクトルについて階層的なプーリング及び特徴抽出を行うものがある（例えば、特許文献１参照）。

特許文献１の特徴抽出プログラムは、画像情報から人物の顔を認識するために用いられる特徴を抽出する手法であって、画像情報の全体画像上で予め定めた範囲を走査して当該範囲毎に特徴ベクトルを抽出し、自己組織化マップによって抽出した特徴ベクトルの次元数を減らし、次元数を減らした特徴ベクトルから混成畳み込みニューラルネットワークにより画像情報を予め定めたクラスに分類する。当該ニューラルネットワークは、教師あり学習を用いる方法であるバックプロパゲーション法（誤差逆伝播法）によりクラスと画像情報との対応関係を学習するものであり、局所的特徴検出と空間プーリングを繰り返すことで並進、回転、拡大縮小、変形に対して検出される特徴量の不変性を増している。つまり、画像情報の持つ空間的な相関性を取り込んでいる。

特開平１０−２１４０６号公報

本発明の目的は、画像情報の特徴抽出において、バックプロパゲーション法を用いずに、空間的な相関性を取り込むとともに、従来に比べて演算処理の負荷及びメモリ消費量を抑制する特徴抽出プログラム及び情報処理装置を提供することにある。

本発明の一態様は、上記目的を達成するため、以下の特徴抽出プログラム及び情報処理装置を提供する。

［１］コンピュータを、
複数の階層の各階層において、１つ前の階層の出力を入力として画像情報の特徴量を抽出するよう機能させるものであって、
前記複数の階層の最初の階層において、画像情報から特徴量を抽出する基本特徴量抽出手段と、
前記複数の階層において抽出された特徴量を用いて学習を行い学習結果を出力する学習手段と、
前記複数の階層の最初以外の階層のそれぞれにおいて、前記学習手段の学習結果に基づいて、１つ前の階層の出力から教師なしのクラスタリング手法により特徴量を抽出する特徴量抽出手段と、
前記複数の階層の最初以外の階層のそれぞれにおいて、前記特徴量抽出手段が抽出した特徴量をプーリング処理し、プーリング処理された特徴量を当該階層の出力とするプーリング処理手段として機能させる特徴抽出プログラム。

［２］前記特徴量抽出手段は、前記複数の階層のうち特定の階層までに抽出された特徴量を用いて前記学習手段が学習を行い出力した学習結果に基づいて、１つ前の階層の出力から特徴量を抽出する前記[１]に記載の特徴抽出プログラム。

［３］前記学習手段は、１つ前の階層の学習結果を用いて学習を行う前記[１]又は［２］に記載の特徴抽出プログラム。

［４］複数の階層において１つ前の階層の出力を入力として特徴量を抽出するものであって、
前記複数の階層の最初の階層において、画像情報から特徴量を抽出する基本特徴量抽出手段と、
前記複数の階層において抽出された特徴量を用いて学習を行い学習結果を出力する学習手段と、
前記複数の階層の最初以外の階層のそれぞれにおいて、前記学習手段の学習結果に基づいて、１つ前の階層の出力から教師なしのクラスタリング手法により特徴量を抽出する特徴量抽出手段と、
前記複数の階層の最初以外の階層のそれぞれにおいて、前記特徴量抽出手段が抽出した特徴量をプーリング処理し、プーリング処理された特徴量を当該階層の出力とするプーリング処理手段とを有する情報処理装置。

請求項１又は４に係る発明によれば、画像情報の特徴抽出において、バックプロパゲーション法を用いずに、空間的な相関性を取り込むとともに、従来に比べて演算処理の負荷及びメモリ消費量を抑制することができる。

請求項２に係る発明によれば、共通の学習結果に基づいて特徴量を抽出することができる。

請求項３に係る発明によれば、１つ前の階層の学習結果を用いて学習を行うことができる。

図１は、本発明の第１の実施の形態に係る情報処理装置の構成の一例を示す図である。 図２は、特徴抽出動作の一例を説明する概略図である。 図３は、学習動作の一例を説明する概略図である。 図４（ａ）及び（ｂ）は、基本特徴量抽出手段の特徴量抽出動作を説明するための概略図である。 図５は、学習結果情報の構成の一例を示す概略図である。 図６は、特徴量抽出手段によって抽出される特徴量情報の構成の一例を示す概略図である。 図７は、特徴量抽出手段によって抽出される特徴量情報の構成の他の例を示す概略図である。 図８（ａ）−（ｃ）は、特徴量の抽出動作の具体例を説明するための概略図である。 図９は、特徴量の抽出動作においてｋ−ｍｅａｎｓクラスタリングの具体例を説明するための概略図である。 図１０（ａ）及び（ｂ）は、プーリング処理の具体例を説明するための概略図である。 図１１は、情報処理装置の特徴抽出動作の一例を示すフローチャートである。 図１２は、情報処理装置の学習動作の一例を示すフローチャートである。 図１３は、本発明の第２の実施の形態に係る情報処理装置の構成の一例を示す図である。 図１４は、特徴抽出動作の一例を説明する概略図である。 図１５は、本発明の第３の実施の形態に係る情報処理装置の構成の一例を示す図である。 図１６は、特徴抽出動作の一例を説明する概略図である。

［第１の実施の形態］
（情報処理装置の構成）
図１は、本発明の第１の実施の形態に係る情報処理装置の構成の一例を示す図である。

情報処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等から構成され各部を制御するとともに各種のプログラムを実行する制御部１０と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やフラッシュメモリ等の記憶媒体から構成され情報を記憶する記憶部１１と、外部とネットワークを介して通信する通信部１２を備える。

情報処理装置１は、画像情報１１１に、例えば、「木」「家」「犬」「車」等の被写体が含まれるとき、これら「木」「家」「犬」「車」等の語句を画像情報に対する識別情報として付与するために画像情報１１１から特徴を抽出するものである。また、情報処理装置１は、記憶部１１に格納された予め抽出されるべき特徴が付与された訓練用の訓練画像情報集合１１４を用いて学習を行うものである。なお、情報処理装置１は、識別情報を付与する動作は他の装置に実行させて、画像情報１１１から特徴を抽出する動作までを実行するものであってもよい。

情報処理装置１は、画像情報１１１から複数の階層で特徴量を抽出するものであり、各階層のことを以下「レイヤ」という。各階層は、特徴量を抽出する動作と、抽出された特徴量について後述するプーリングを行う動作とを含むものとし、両動作が実行されて出力される値が次のレイヤの入力となる。また、各レイヤは特徴量を抽出する順番においてレイヤ０、レイヤ１、レイヤ２…と番号を振って呼ぶことにする。

制御部１０は、後述する特徴抽出プログラム１１０を実行することで、基本特徴量抽出手段１００、特徴量抽出手段１０１、学習手段１０２及びプーリング処理手段１０３等として機能する。

基本特徴量抽出手段１００は、複数のレイヤのうち最初のレイヤ（レイヤ０）において、画像情報１１１及び学習用の訓練画像情報集合１１４を、画素の単位であるピクセル毎に、例えば、ガボールフィルタを用いる方法やＲＧＢ、正規化ＲＧ、ＣＩＥＬＡＢ等の特徴量を抽出する方法によって特徴ベクトルを生成する。ここで、特徴ベクトルは特徴量情報の一例である。また、数ピクセル毎に特徴量を抽出してもよいし、数ピクセルのパッチを１つの単位として、それぞれのピクセルから得られる値をベクトルの要素として１つの特徴量としてもよい。

特徴量抽出手段１０１は、複数のレイヤのうち最初以外のレイヤ（レイヤ１以降）において、１つ前のレイヤの出力を入力として、１つ前のレイヤの学習結果に基づいて特徴量の抽出を行う。特徴量の抽出方法は、ｋ−ｍｅａｎｓクラスタリングを用いる。なお、抽出方法は教師なしのクラスタリング手法であれば、混合ガウスモデル、混合多項分布モデル等を用いてもよい。

学習手段１０２は、訓練画像情報集合１１４を、複数のレイヤのうちレイヤ０の入力とし、複数レイヤにおける処理結果である出力を用いて学習を行う。

プーリング処理手段１０３は、基本特徴量抽出手段１００又は特徴量抽出手段１０１が抽出した複数の特徴量から、１つの平均値、最大値等の統計値を得て特徴量の数を次元数とする新たな特徴量ベクトルを生成する（以下、「プーリング」という。）。

記憶部１１は、制御部１０を上述した各手段として動作させる特徴抽出プログラム１１０、特徴抽出の対象となる画像情報１１１、学習手段１０２による学習結果として保存される学習結果情報１１２、特徴量抽出手段１０１が抽出した特徴量である特徴量情報１１３及び学習手段１０２が学習の際に用いる訓練画像情報集合１１４等を記憶する。

（情報処理装置の動作）
以下に、情報処理装置の動作例を各図を参照しつつ、（１）特徴抽出動作、（２）学習動作に分けて説明する。

（１）特徴抽出動作
図１１は、情報処理装置の特徴抽出動作の一例を示すフローチャートである。図２は、特徴抽出動作の一例を説明する概略図である。

まず、特徴抽出の対象となる画像情報１１１を基本特徴量抽出手段１００に入力する（Ｓ１）。

図４（ａ）及び（ｂ）は、基本特徴量抽出手段１００の特徴量抽出動作を説明するための概略図である。

基本特徴量抽出手段１００は、図４（ａ）に示すように、画像情報１１１ａからピクセル毎に、一例として、Ｄ０個の特徴量ｆ_１−ｆ_Ｄ０を抽出する。ここで、「ｃｏｌ」は列を示し、「ｒｏｗ」は行を示す。次に、基本特徴量抽出手段１００は、図４（ｂ）に示すように、Ｄ０個の特徴量ｆ_１−ｆ_Ｄ０を成分とした各座標における特徴ベクトルｘ_１、ｘ_２、…、ｘ_Ｎ０の集合である特徴量情報１１３_０を抽出する（Ｓ２）。

図５は、学習結果情報１１２の構成の一例を示す概略図である。図６は、特徴量抽出手段１０１によって抽出される特徴量情報１１３の構成の一例を示す概略図である。図７は、特徴量抽出手段１０１によって抽出される特徴量情報１１３の構成の他の例を示す概略図である。以下に説明する動作は、レイヤ１以降の複数のレイヤにおいて繰り返されるものである（Ｓ３、Ｓ６及びＳ９）。なお、代表してレイヤＭについて説明する。

特徴量抽出手段１０１_ｍは、ｋ−ｍｅａｎｓクラスタリングにより、レイヤＭ−１の出力である特徴量情報１１３_ｍ−１について、後述する「（２）学習動作」によって得られるレイヤＭ−１における学習結果情報１１２_ｍ−１（図５）に基づいて図６に示す特徴量１０１_ｍａを抽出する（Ｓ４）。

ここで、学習結果情報１１２_ｍ−１は、ｄ_１ ^ｍ−ｄ_Ｄｍ ^ｍまでのＤｍ個のベクトルを含むものであり、ｋ−ｍｅａｎｓクラスタリングにより特徴量１０１_ｍ−１ａの各ベクトルがｄ_１ ^ｍ−ｄ_Ｄｍ ^ｍのＤｍ個のベクトルに属するか否かを判定するものであるため、特徴量１０１_ｍａはＤ_ｍ次元のベクトルになる。

つまり、レイヤｍ−１の出力であるｘ_ｉｍ−１ ^ｍ−１を入力とし、これをＤｍ次元のベクトルｘ_ｉｍ−１ ^ｍに変換する。すなわち、

ここで、「ｓｍａｌｌ（）」は、ｋに関して括弧内が小さい方から数えてＫ番目までの大きさの場合には「１」、そうでない場合には「０」を値として返すものである。

なお、ここで、ｋ−ｍｅａｎｓクラスタリングにより特徴量１０１_ｍ−１ａの各ベクトルがｄ_１ ^ｍ−ｄ_Ｄｍ ^ｍの各ベクトルに属する場合は値が「１」、また、属さない場合は値が「０」となるため、特徴量１０１_ｍａの各ベクトルは値が０のものが多い、いわゆるスパースなベクトルとなる。

従って、値が０でないベクトルの要素について、そのインデックス１０１_ｉと値１０１_ｖとを記述する特徴量１０１_ｍｂとすることにより、図示しない情報処理装置１のメモリにおいて情報処理の際に一時的に保持する情報量を減少することができる。

次に、プーリング処理手段１０３は、特徴量１０１_ｍａ（又は１０１_ｍｂ）に含まれる複数のベクトルのうち、予め定めた数のベクトルと組として、組に属するベクトルの平均、最大値等の統計値を算出して新たな１つのベクトルを生成することでプーリング処理し（Ｓ５）、特徴量１０１_ｍａに含まれるベクトルの数を減少させた特徴量情報１１３_ｍを出力する。

ここで、プーリング処理のうち平均プーリングは次式で表される。

また、プーリング処理のうち、最大プーリングは次式で表される。

次に、すべてのレイヤについて上記ステップＳ４、Ｓ５の動作を処理し終えると、最後のレイヤＭの出力を特徴量情報１１３として記憶部１１に保存する（Ｓ８）。ここで、Ｍの設定方法としては、レイヤＭの出力が予め定めた数のベクトル以下となる場合であってもよいし、予め定めた数値としてもよい。

以下において、上記したレイヤｍにおける特徴量の抽出動作及びプーリング処理の動作を、具体例を用いて説明する。

図８（ａ）−（ｃ）は、特徴量の抽出動作の具体例を説明するための概略図である。図９は、特徴量の抽出動作においてｋ−ｍｅａｎｓクラスタリングの具体例を説明するための概略図である。図１０（ａ）及び（ｂ）は、プーリング処理の具体例を説明するための概略図である。

まず、図８（ａ）に示すようにレイヤｍ−１の出力である特徴量情報１１３_ｍ−１に含まれる特徴量ベクトルを概念的に×印で記載した場合に、各特徴量ベクトルがｘ_１＝［０．１、０．０８］、ｘ_２＝［０．４、０．１］、ｘ_３＝［０．１、０．１３］、ｘ_４＝［０．１５、０．１］であって、レイヤｍ−１の学習結果情報１１２_ｍ−１がｄ_１＝［０．１、０．１］、ｄ_２＝［０．４、０．１］、ｄ_３＝［０．１、０．１３］、ｄ_４＝［０．１５、０．１］であった場合について考える。

ｋ−ｍｅａｎｓクラスタリングにより特徴量空間において図９に示すように各ベクトルが分布していたとすると、ｘ_１、ｘ_３、ｘ_４がｄ_１に属し、ｘ_２がｄ_４に属しているため、属している場合を「１」、属していない場合を「０」と記載するとしたとき、ｘ_１＝［１、０、０、０］、ｘ_２＝［０、０、０、１］、ｘ_３＝［１、０、０、０］、ｘ_４＝［１、０、０、０］といった特徴量ベクトル１０１_ｍｃが抽出される。

次に、プーリング処理手段１０３は、特徴量ベクトル１０１_ｍｃから平均値ｘ_ａｖｇ＝［０．７５、０、０、０．２５］を算出し、新たな特徴量情報１１３_ｍの特徴量ベクトルとする。また、最大値を算出する場合は、ｘ_ｍａｘ＝［１、０、０、１］を特徴量ベクトルとする。

（２）学習動作
図１２は、情報処理装置の学習動作の一例を示すフローチャートである。図３は、学習動作の一例を説明する概略図である。

まず、学習の対象となる複数の訓練画像情報１１４を入力し（Ｓ１０）、「（１）特徴抽出動作」のステップＳ２−Ｓ９を実行し、基本特徴量抽出手段１００、特徴量抽出手段１０１及びプーリング処理手段１０３によって、レイヤ_ｍ−１までの特徴量情報１１３_ｍ−１を抽出する（Ｓ１１）。当該動作は、複数の訓練画像情報集合１１４について実行され、それぞれの特徴量を抽出する（Ｓ１２）。

次に、学習手段１０２は、特徴量情報１１３_０−１１３_ｍ−１に基づいてｋ−ｍｅａｎｓクラスタリングにより学習し、学習結果情報１１２_ｍ−１を算出して（Ｓ１３）、記憶部１１に保存する（Ｓ１４）。

上記のレイヤｍ−１における学習結果情報１１２_ｍ−１はレイヤｍの特徴量抽出手段１０１_ｍにおいて用いられる。

（第１の実施の形態の効果）
上記した第１の実施の形態によると、画像情報の特徴抽出において、教師あり学習を用いる方法であるバックプロパゲーション法を用いずに、教師なしのクラスタリング手法であるｋ−ｍｅａｎｓクラスタリングを用いたため、例えば、公知の技術であるＫＤ−ｔｒｅｅと呼ばれる木構造を用いて高速に計算することができるため、従来に比べて演算処理の負荷を抑制できる。

また、バックプロパゲーション法は、全てのレイヤにおける値をメモリ上に保持する必要があるが、ｋ−ｍｅａｎｓクラスタリングは、１つ前のレイヤにおける値をメモリ上に保持するだけで済み、情報処理装置１のメモリ消費量を抑制することができる。

また、プーリング処理手段１０３によって局所受容野を用いてプーリングを行ったため、特徴量情報１１３に画像情報１１１の空間的な相関性を取り込むことができる。

［第２の実施の形態］
（情報処理装置の構成）
図１３は、本発明の第２の実施の形態に係る情報処理装置の構成の一例を示す図である。図１４は、特徴抽出動作の一例を説明する概略図である。

第２の実施の形態の情報処理装置１Ａは、第１の実施の形態の情報処理装置１の構成に加えて共通学習結果情報１１５を有する点で異なる。

情報処理装置１Ａの学習手段１０２は、一例として、レイヤ０及びレイヤ１において抽出される特徴量情報１１３_０及び１１３_１を用いて学習し、学習の結果得られた学習結果情報１１２を共通学習結果情報１１５としてレイヤ１−レイヤＭの特徴量抽出手段１０１_１−１０１_Ｍにおいて用いる。なお、共通学習結果情報１１５を用いるレイヤＮ−レイヤＭは、Ｎ≧１を満たせばよく、その場合、共通学習結果情報１１５はレイヤ１−レイヤＮにおいて抽出される特徴量情報１１３_０−１１３_Ｎを用いた学習結果情報１１２を用いるものとする。

（第２の実施の形態の効果）
上記した第２の実施の形態によると、共通学習結果情報１１５に含まれるベクトルの数がレイヤ１−レイヤＭで抽出される特徴量情報１１３_１−１１３_Ｍに含まれる次元数となる、つまり、特徴量情報１１３_１−１１３_Ｍの次元数が全て共通となるため、計算の簡略化を図ることができ、第１の実施の形態に比べて、処理が高速化される。

［第３の実施の形態］
（情報処理装置の構成）
図１５は、本発明の第３の実施の形態に係る情報処理装置の構成の一例を示す図である。図１６は、特徴抽出動作の一例を説明する概略図である。

第３の実施の形態の情報処理装置１Ｂは、第１の実施の形態の情報処理装置１の構成に加えて初期値設定手段１０４を有する点で異なる。

情報処理装置１Ｂの学習手段１０２は、一つ前のレイヤｍ−１において得られた学習結果情報１１２_ｍ−１をｋ−ｍｅａｎｓクラスタリングの初期値に利用してレイヤｍにおいて抽出された特徴量情報１１３_ｍについて学習し、学習結果情報１１２_ｍを得る。

（第３の実施の形態の効果）
上記した第３の実施の形態によると、一つ前のレイヤｍ−１において得られた学習結果情報１１２_ｍ−１をｋ−ｍｅａｎｓクラスタリングの初期値に利用したため、ｋ−ｍｅａｎｓクラスタリングにおいて値の収束までの処理の回数が短縮でき、第１の実施の形態に比べて、処理が高速化される。

［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々な変形が可能である。

また、上記実施の形態で使用される特徴抽出プログラム１１０は、ＣＤ−ＲＯＭ等の記憶媒体から装置内の記憶部１１に読み込んでも良く、インターネット等のネットワークに接続されているサーバ装置等から装置内の記憶部１１にダウンロードしてもよい。また、記憶部１１を装置外に配置してもよいし、装置外に配置した記憶部１１と情報処理装置１とをネットワークを介して接続してもよい。また、上記実施の形態で使用される手段１００〜１０４の一部または全部をＡＳＩＣ等のハードウェアによって実現してもよい。

１、１Ａ、１Ｂ 情報処理装置
１０ 制御部
１１ 記憶部
１２ 通信部
１００ 基本特徴量抽出手段
１０１ 特徴量抽出手段
１０１_ｉ インデックス
１０１_ｍａ、１０１_ｍｂ、１０１_ｍｃ 特徴量ベクトル
１０１_ｖ 値
１０２ 学習手段
１０３ プーリング処理手段
１０４ 初期値設定手段
１１０ 特徴抽出プログラム
１１１ 画像情報
１１２ 学習結果情報
１１３ 特徴量情報
１１４ 訓練画像情報集合
１１５ 共通学習結果情報

Claims (4)

1. コンピュータを、
   複数の階層の各階層において、１つ前の階層の出力を入力として画像情報の特徴量を抽出するよう機能させるものであって、
   前記複数の階層の最初の階層において、画像情報から特徴量を抽出する基本特徴量抽出手段と、
   前記複数の階層において抽出された特徴量を用いて学習を行い学習結果を出力する学習手段と、
   前記複数の階層の最初以外の階層のそれぞれにおいて、前記学習手段の学習結果に基づいて、１つ前の階層の出力から教師なしのクラスタリング手法により特徴量を抽出する特徴量抽出手段と、
   前記複数の階層の最初以外の階層のそれぞれにおいて、前記特徴量抽出手段が抽出した特徴量をプーリング処理し、プーリング処理された特徴量を当該階層の出力とするプーリング処理手段として機能させる特徴抽出プログラム。
2. 前記特徴量抽出手段は、前記複数の階層のうち特定の階層までに抽出された特徴量を用いて前記学習手段が学習を行い出力した学習結果に基づいて、１つ前の階層の出力から特徴量を抽出する請求項１に記載の特徴抽出プログラム。
3. 前記学習手段は、１つ前の階層の学習結果を用いて学習を行う請求項１又は２に記載の特徴抽出プログラム。
4. 複数の階層において１つ前の階層の出力を入力として特徴量を抽出するものであって、
   前記複数の階層の最初の階層において、画像情報から特徴量を抽出する基本特徴量抽出手段と、
   前記複数の階層において抽出された特徴量を用いて学習を行い学習結果を出力する学習手段と、
   前記複数の階層の最初以外の階層のそれぞれにおいて、前記学習手段の学習結果に基づいて、１つ前の階層の出力から教師なしのクラスタリング手法により特徴量を抽出する特徴量抽出手段と、
   前記複数の階層の最初以外の階層のそれぞれにおいて、前記特徴量抽出手段が抽出した特徴量をプーリング処理し、プーリング処理された特徴量を当該階層の出力とするプーリング処理手段とを有する情報処理装置。