JP6763408B2 - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法、及び、記録媒体に関し、特にニューラルネットワークを学習する情報処理装置、情報処理方法、及び、記録媒体に関する。

パターン認識技術とは、入力されたパターンがどのクラスに属するパターンであるかを推定する技術である。具体的なパターン認識の例としては、入力された画像に写っている物体を推定する物体認識や、入力された音声の発話内容を推定する音声認識などが挙げられる。

パターン認識技術としては、統計的機械学習が広く利用されている。統計的機械学習の内、特にニューラルネットワークは、近年、ディープラーニング（deep learning）と呼ばれる学習技術の発達により、認識に無関係なパターン変動に頑健な（ロバストな）認識を行うことができる学習方法として知られている。

ニューラルネットワークを用いたパターン認識では、認識に無関係なパターン変動に対してロバストな認識を行うことができる一方で、認識に有用な微小なパターン変動（微小な特徴の違い）を捉えた認識を行うことが難しい。例えば、顔画像から個人の識別を行う顔認証では、個人の識別に有用な特徴の違い（個人間の目や鼻の位置や形の違い）よりも、個人の識別に無関係なパターン変動（画像の位置ずれや、表情変動による顔の位置や形の違い）の方が大きい。このため、認識に無関係なパターン変動にロバストなニューラルネットワークを学習すると、個人の識別に有用な特徴の違いを捉えることが困難になる。

このような認識に無関係なパターン変動を、画像の位置変動（位置ずれ）を例に説明する。一般的に、ニューラルネットワークでは、位置変動に対するロバスト性を向上させるために、例えば、特許文献１に開示されているような、プーリング（pooling）層が導入される。プーリング層は、局所領域毎に、画素値の値を統合し、出力する、プーリングを行う。図５は、プーリング層によるプーリングの例を示す図である。図５において、矩形は画素、矩形内の数字は画素値を表す。図５の例では、プーリングとして、最大値プーリングが行われている。最大値プーリングでは、局所領域（図５では２×２画素の領域）の画素値の最大値が、プーリング後の画素値として出力される。プーリングにより、局所領域のサイズ以下の位置ずれに対して、ほぼ同じ画素値が出力される。したがって、プーリング層を含むニューラルネットワークを学習することにより、位置ずれに対してロバストな認識を行うことができる。

図６は、顔認識に対するプーリングの例を示す図である。図６における２つの画像は、異なる人物の顔画像である。これらの顔画像では、局所的な領域における微小な特徴は異なるため、これら微小な特徴の違いを捉えることで、２つの画像の人物を見分けることができる。しかしながら、プーリング層を用いた場合、これら微小な特徴の違いは失われ、それぞれの顔画像に対して、同じ画素値が出力される。このため、位置ずれに対してロバストな認識を行うことはできるものの、微小な特徴の違いを捉えた認識を行うことができない。

特開２０１５−１５８５８２号公報

上述のように、特許文献１に開示されているようなロバスト性を有するニューラルネットワークでは、認識に有用な微小なパターン変動を捉えることが難しいという課題があった。本発明の目的は、上述の課題を解決し、認識に無関係なパターン変動に対するロバスト性を保ちつつ、認識に有用な微小なパターン変動を捉えたニューラルネットワークを学習できる、情報処理装置、情報処理方法、及び、記録媒体を提供することである。

本発明の一態様における情報処理装置は、特定のパターン変動を含む、学習対象のパターン集合に対して、処理後の前記特定のパターン変動の大きさが異なるような複数の前処理を行う前処理手段と、前記複数の前処理の各々について、当該前処理後の前記特定のパターン変動の大きさに応じたロバスト性を持つニューラルネットワークのネットワーク構造を決定するネットワーク構造決定手段と、前記複数の前処理の各々について、当該前処理後のパターン集合を用いて、当該前処理に対応するネットワーク構造のニューラルネットワークを学習するネットワーク学習手段と、を備える。

本発明の一態様における情報処理方法は、特定のパターン変動を含む、学習対象のパターン集合に対して、処理後の前記特定のパターン変動の大きさが異なるような複数の前処理を行い、前記複数の前処理の各々について、当該前処理後の前記特定のパターン変動の大きさに応じたロバスト性を持つニューラルネットワークのネットワーク構造を決定し、前記複数の前処理の各々について、当該前処理後のパターン集合を用いて、当該前処理に対応するネットワーク構造のニューラルネットワークを学習する。

本発明の一態様におけるコンピュータが読み取り可能な記録媒体は、コンピュータに、特定のパターン変動を含む、学習対象のパターン集合に対して、処理後の前記特定のパターン変動の大きさが異なるような複数の前処理を行い、前記複数の前処理の各々について、当該前処理後の前記特定のパターン変動の大きさに応じたロバスト性を持つニューラルネットワークのネットワーク構造を決定し、前記複数の前処理の各々について、当該前処理後のパターン集合を用いて、当該前処理に対応するネットワーク構造のニューラルネットワークを学習する、処理を実行させるプログラムを格納する。

本発明の効果は、認識に無関係なパターン変動に対するロバスト性を保ちつつ、認識に有用な微小なパターン変動を捉えたニューラルネットワークを学習できることである。

本発明の第１の実施形態の特徴的な構成を示すブロック図である。 本発明の第１の実施形態における、学習装置１００の構成を示すブロック図である。 本発明の第１の実施の形態における、コンピュータにより実現された学習装置１００の構成を示すブロック図である。 本発明の第１の実施の形態における、学習装置１００の学習処理を示すフローチャートである。 プーリング層によるプーリングの例を示す図である。 顔認識に対するプーリングの例を示す図である。 本発明の第１の実施の形態における、ロバスト性制御部１３０の処理を示す図である。 本発明の第１の実施の形態における、特定のパターン変動の大きさに応じた、ニューラルネットワーク２２０のネットワーク構造２１０の違いを示す図である。 本発明の第１の実施の形態における、統合ニューラルネットワーク２３０の例を示す図である。 本発明の第２の実施の形態における、学習装置１００の構成を示すブロック図である。 本発明の第２の実施の形態における、学習装置１００の認識処理を示すフローチャートである。

発明を実施するための形態について図面を参照して詳細に説明する。なお、各図面、及び、明細書記載の各実施形態において、同様の構成要素には同一の符号を付与し、説明を適宜省略する。

また、図面中の一方向性の矢印は、データの流れの方向を端的に示したもので、双方向性を排除するものではない。

（第１の実施の形態）
はじめに、本発明の第１の実施形態における学習装置１００の構成を説明する。

図２は、本発明の第１の実施形態における、学習装置１００の構成を示すブロック図である。学習装置１００は、本発明の情報処理装置の一実施形態である。

図２を参照すると、学習装置１００は、学習パターン記憶部１１０、前処理部１２０、ロバスト性制御部１３０、ネットワーク学習部１４０、ネットワーク統合部１５０、及び、ネットワーク記憶部１６０を含む。

学習パターン記憶部１１０は、入力された学習対象のパターン２０１の集合（以下、パターン集合とも記載）を記憶する。パターン２０１の集合は、画像や音声等、パターン認識における学習対象のパターンの集合である。各パターン２０１には、例えば、当該パターンに係る認識対象の識別子が付与される。パターン２０１の集合に含まれるパターン２０１間では、認識に関係するパターン変動に加えて、認識に無関係なパターン変動が存在する。ここで、パターン変動とは、パターン２０１間の差異（違い）である。

認識に関係するパターン変動（以下、第１のパターン変動とも記載する）とは、例えば、個人間の顔の特徴や音声の特徴により生じるパターン変動等、認識対象の違いにより生じる（認識対象の違いに依存した）パターン変動である。認識に関係するパターン変動は、認識に有用な微小なパターン変動でもよい。ニューラルネットワークを用いたパターン認識では、学習対象のパターンの集合を用いて、認識に関係するパターン変動が識別できるように、ニューラルネットワークが学習される必要がある。

認識に無関係なパターン変動（以下、第２のパターン変動とも記載する）は、例えば、画像の位置ずれ、輝度変化（照明条件の変化）等、認識対象の違い以外の要因により生じる（認識対象の違いに依存しない）パターン変動である。以下、認識に無関係なパターン変動を、特定のパターン変動とも記載する。

前処理部１２０は、学習対象のパターン２０１の各々に対して、特定のパターン変動を低減するための、所定の複数種類（ｎ種類（ｎは２以上の整数））の前処理を行う。複数種類の前処理による、特定のパターン変動の低減効果は、互いに異なる。すなわち、複数種類の前処理による処理後のパターン２０２（２０２＿１、…、２０２＿ｎ）の集合における、特定のパターン変動の大きさは、互いに異なる。

ロバスト性制御部１３０は、変動推定部１３１、及び、ネットワーク構造決定部１３２を含む。変動推定部１３１は、複数種類の前処理の各々について、当該前処理後のパターン２０２の集合における特定のパターン変動の大きさを推定する。ネットワーク構造決定部１３２は、複数種類の前処理の各々について、当該前処理後のパターン２０２の集合における特定のパターン変動の大きさに応じたロバスト性を持つネットワーク構造２１０（２１０＿１、…、２１０＿ｎ）を決定する。

ネットワーク学習部１４０は、複数種類の前処理の各々について、当該前処理後のパターン２０２の集合を用いて、当該前処理に対応するネットワーク構造２１０のニューラルネットワーク２２０（２２０＿１、…、２２０＿ｎ）を学習する。

ネットワーク統合部１５０は、複数種類の前処理について学習したニューラルネットワーク２２０を統合する。

ネットワーク記憶部１６０は、統合されたニューラルネットワーク（以下、統合ニューラルネットワーク２３０とも記載）を記憶する。

なお、学習装置１００は、ＣＰＵ（Central Processing Unit）とプログラムを記憶した記憶媒体を含み、プログラムに基づく制御によって動作するコンピュータであってもよい。

図３は、本発明の第１の実施の形態における、コンピュータにより実現された学習装置１００の構成を示すブロック図である。

この場合、学習装置１００は、ＣＰＵ１０１、ハードディスクやメモリ等の記憶デバイス１０２（記憶媒体）、キーボード、ディスプレイ等の入出力デバイス１０３、及び、他の装置等と通信を行う通信デバイス１０４を含む。ＣＰＵ１０１は、前処理部１２０、ロバスト性制御部１３０、ネットワーク学習部１４０、及び、ネットワーク統合部１５０を実現するためのプログラムを実行する。記憶デバイス１０２は、学習パターン記憶部１１０、及び、ネットワーク記憶部１６０のデータを記憶する。入出力デバイス１０３は、ユーザからの学習対象のパターン２０１の集合の入力、及び、ユーザへの統合ニューラルネットワーク２３０の出力を行ってもよい。また、通信デバイス１０４が、他の装置等から学習対象のパターン２０１の集合を受信する、或いは、他の装置等へ統合ニューラルネットワーク２３０を送信してもよい。

また、図２における学習装置１００の各構成要素の一部または全部は、汎用または専用の回路（circuitry）やプロセッサ、これらの組み合わせによって実現されてもよい。これらの回路やプロセッサは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。また、学習装置１００の各構成要素の一部または全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。

各構成要素の一部または全部が、複数の情報処理装置や回路等により実現される場合、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。

次に、本発明の第１の実施の形態における学習装置１００の動作を説明する。図４は、本発明の第１の実施の形態における、学習装置１００の学習処理を示すフローチャートである。

ここでは、学習対象のパターン２０１が顔画像であり、認識に無関係なパターン変動（特定のパターン変動）が、位置ずれに起因する変動である場合を例に動作を説明する。学習するニューラルネットワーク２２０のタスクは、顔画像を入力とし、個人のＩＤ（Identifier）毎に、顔画像が当該個人である確率（当該ＩＤの本人確率）を出力することである。

学習パターン記憶部１１０には、学習対象のパターン２０１の集合が予め、ユーザや他の装置等から入力され、記憶されていると仮定する。

はじめに、前処理部１２０は、学習パターン記憶部１１０から学習対象のパターン２０１の集合を読み出す（ステップＳ１０１）。

次に、前処理部１２０は、読み出した各パターン２０１について、複数種類（ｎ種類）の前処理を行う（ステップＳ１０２）。前処理部１２０は、各前処理についての前処理後のパターン２０２（２０２＿１、…、２０２＿ｎ）の集合を、ロバスト性制御部１３０とネットワーク学習部１４０に出力する。

ここで、前処理部１２０は、前処理として、例えば、顔画像における顔特徴点を用いた位置合わせを行う。前処理部１２０は、例えば、顔の平均的なモデルにおける所定の特徴点（例えば、目や口、鼻等）の位置（平均位置）に、所定の画像変換を用いて、各パターン２０１の対応する特徴点を合わせる（移動させる）ことにより、位置合わせを行う。この場合、位置合わせに用いる特徴点の数が多いほど、また、位置合わせに用いる画像変換の自由度が高いほど、位置合わせが精緻に行われるため、前処理後のパターン２０２の位置ずれ量はより小さくなる。前処理部１２０は、複数種類の前処理として、特徴点の数や画像変換の自由度が異なる前処理を行う。

次に、ロバスト性制御部１３０の変動推定部１３１は、複数種類の前処理の各々について、前処理後のパターン２０２（２０２＿１、…、２０２＿ｎ）の集合における特定のパターン変動の大きさを推定する（ステップＳ１０３）。

図７は、本発明の第１の実施の形態における、ロバスト性制御部１３０の処理を示す図である。

ここで、変動推定部１３１は、特定のパターン変動の大きさとして、前処理後のパターン２０２の位置ずれ量の大きさを算出する。位置ずれ量の大きさは、位置合わせ後の各特徴点の位置の標準偏差の、全特徴点についての平均により推定できる。特徴点の数をＭ（Ｍは１以上の整数）、学習対象のパターンの数をＮ（Ｎは１以上の整数）、位置合わせ後の特徴点の位置をｐｉｊ（ｉ＝１，…，Ｍ、ｊ＝１，…，Ｎ）とすると、位置合わせ後の顔特徴点の位置の標準偏差の平均は、数１式により算出される。

数１式において、ａｖｅ（ｐｉ）はｉ番目の特徴点の平均位置である。また、ｐｉｊ、ａｖｅ（ｐｉ）は、例えば、２次元座標で表される。この場合、｜｜ｐｉｊ−ａｖｅ（ｐｉ）｜｜は、２次元座標ｐｉｊ、ａｖｅ（ｐｉ）間の距離である。２次元座標としては、例えば、画素の位置が用いられる。

次に、ネットワーク構造決定部１３２は、複数種類の前処理の各々について、推定した特定のパターン変動の大きさに応じたロバスト性を持つネットワーク構造２１０（２１０＿１、…、２１０＿ｎ）を決定する（ステップＳ１０４）。ネットワーク構造決定部１３２は、決定したネットワーク構造２１０をネットワーク学習部１４０に出力する。

ここで、ネットワーク構造決定部１３２は、図７に示すように、ニューラルネットワーク２２０の位置ずれに対するロバスト性を、プーリング層の層数により調整する。プーリング層におけるプーリングとしては、例えば、図５に示したような最大値プーリングを、画像全体に対して、均一に適用する。プーリングにおける局所領域の一辺のサイズをｓとすると、パターンにｓ画素以内の位置ずれがあっても、ほぼ同じ画素値が、プーリングの結果として出力される。このようなプーリング層をｋ層導入することで、ｓ＾ｋ（ｓのｋ乗）画素以内の位置ずれにロバストなネットワークを構成できる。一般的に、サイズｓとして、図５に示したように、ｓ＝２が用いられる。ネットワーク構造決定部１３２は、特定のパターン変動の大きさ（位置ずれ量の大きさ）の推定値ｒを用いて、数２式により、プーリング層の数ｋを決定する。

ネットワーク構造決定部１３２は、さらに、決定した数ｋのプーリング層の配置位置を決定する。ネットワーク構造決定部１３２は、例えば、図７に示すように、入力層に近い方から、中間層（畳み込み層）とプーリング層との組がｋ回並ぶように、プーリング層を配置し、さらに、それらの組と出力層との間に、中間層（全結合層）を配置する。

なお、ネットワーク構造決定部１３２は、図７の配置位置に限らず、決定した数ｋのプーリング層が配置できれば、他の位置にプーリング層や中間層を配置してもよい。

図８は、本発明の第１の実施の形態における、特定のパターン変動の大きさに応じた、ニューラルネットワーク２２０のネットワーク構造２１０の違いを示す図である。

ステップＳ１０４の処理により、図８に示すように、推定した位置ずれ量が大きい前処理に対しては、位置ずれに対するロバスト性が高くなるように、プーリング層を多数配置したネットワーク構造２１０が生成される。逆に、推定した位置ずれ量が小さい前処理に対しては、位置ずれに対するロバスト性が低くてもよいため、プーリング層を少数配置したネットワーク構造２１０が生成される。

なお、本発明の第１の実施の形態では、プーリングとして、最大値プーリングを用いたが、これに限らず、プーリングとして、一般に用いられる他のプーリング（平均値プーリング、Lpプーリング等）が用いられてもよい。最大値プーリングは非線形な処理を行うため、プーリング層の層数に応じて学習の傾向が大きく変化する。したがって、プーリングとして最大値プーリングを用いた方が、他のプーリングを用いた場合に比べて、統合ニューラルネットワーク２３０における認識性能が向上しやすい。

また、本発明の第１の実施の形態では、画像全体で均一なプーリングを行ったが、推定される特定のパターン変動の大きさが画像全体で不均一な場合、画像上の位置によって、サイズが異なるプーリングを行ってもよい。この場合、例えば、特定のパターン変動の大きさが大きい位置については、局所領域の一辺のサイズｓが、特定のパターン変動の大きさが小さい位置よりも大きくなるように決定される。

次に、ネットワーク学習部１４０は、複数種類の前処理の各々について、ロバスト性制御部１３０から入力されたネットワーク構造２１０のニューラルネットワーク２２０（２２０＿１、…、２２０＿ｎ）を学習する（ステップＳ１０５）。ここで、ネットワーク学習部１４０は、前処理部１２０から入力された前処理後のパターン２０２の集合を用いて、当該前処理に対応するネットワーク構造２１０のニューラルネットワーク２２０を学習する。ネットワーク学習部１４０は、例えば、一般的なニューラルネットワークの学習手法である、誤差逆伝播法を用いて、ニューラルネットワーク２２０を学習する。ネットワーク学習部１４０は、学習したニューラルネットワーク２２０をネットワーク統合部１５０に出力する。

次に、ネットワーク統合部１５０は、ネットワーク学習部１４０から入力された、複数種類の前処理についてのニューラルネットワーク２２０（２２０＿１、…、２２０＿ｎ）を統合する（ステップＳ１０６）。ここで、ネットワーク統合部１５０は、各前処理に対応するニューラルネットワーク２２０による認識結果を統合した認識結果が出力されるように、ニューラルネットワーク２２０を統合する。ネットワーク統合部１５０は、統合により得られた統合ニューラルネットワーク２３０を、ネットワーク記憶部１６０に保存する。なお、ネットワーク統合部１５０は、統合ニューラルネットワーク２３０を、ユーザや他の装置等に出力してもよい。

図９は、本発明の第１の実施の形態における、統合ニューラルネットワーク２３０の例を示す図である。

例えば、ネットワーク統合部１５０は、図９に示すように、ニューラルネットワーク２２０＿１、…、２２０＿ｎと、これらから得られる本人確率の平均値を算出する平均値算出処理を、統合ニューラルネットワーク２３０として生成する。

以上により、本発明の第１の実施の形態の動作が完了する。

なお、本発明の第１の実施の形態では、認識に無関係なパターン変動（特定のパターン変動）が位置ずれに起因する変動である場合を例に説明した。しかしながら、これに限らず、認識に無関係なパターン変動が、位置ずれ以外の他の要因に起因する変動でもよい。

例えば、認識に無関係なパターン変動（特定のパターン変動）が、画像の輝度変化（照明条件の変化）に起因する変動でもよい。この場合、前処理部１２０は、特定のパターン変動を低減するための複数種類の前処理として、例えば、異なる方法で、輝度の正規化（画像の明るさを合わせる処理）を行う。変動推定部１３１は、前処理後のパターン２０２の集合における、特定のパターン変動の大きさとして、前処理後の輝度のずれの大きさを推定する。ネットワーク構造決定部１３２は、輝度のずれに対するニューラルネットワーク２２０のロバスト性を、局所領域の隠れ値正規化層（ＬＲＮ（Local Response Normalization）層）の層数により調整する。

さらに、認識に無関係なパターン変動（特定のパターン変動）が、位置ずれと輝度変化の両方に起因する変動でもよい。この場合、プーリング層とＬＲＮ層の両方の層数を調整することで、位置ずれと輝度変化の両方に対するロバスト性を同時に制御できる。

また、本発明の第１の実施の形態では、変動推定部１３１が、前処理後のパターン２０２の集合における特定のパターン変動の大きさを推定した。しかしながら、これに限らず、前処理部１２０が当該前処理後のパターン２０２の集合における特定のパターン変動の大きさを指定できる場合は、変動推定部１３１は省略されてもよい。この場合、ネットワーク構造決定部１３２は、前処理部１２０により指定された特定のパターン変動の大きさに応じて、ネットワーク構造２１０を決定する。

また、本発明の第１の実施の形態では、学習対象のパターン２０１が画像のパターンである場合を例に説明した。しかしながら、これに限らず、学習対象のパターン２０１に対してニューラルネットワークを学習できれば、パターン２０１は音声のパターンでもよい。

次に、本発明の第１の実施の形態の特徴的な構成を説明する。

図１は、本発明の第１の実施の形態の特徴的な構成を示すブロック図である。図１を参照すると、学習装置１００（情報処理装置）は、前処理部１２０（前処理手段）、ネットワーク構造決定部１３２（ネットワーク構造決定手段）、及び、ネットワーク学習部１４０（ネットワーク学習手段）を含む。

前処理部１２０は、特定のパターン変動を含む、学習対象のパターン２０１の集合に対して、処理後の特定のパターン変動の大きさが異なるような複数の前処理を行う。ネットワーク構造決定部１３２は、複数の前処理の各々について、当該前処理後の特定のパターン変動の大きさに応じたロバスト性を持つニューラルネットワーク２２０のネットワーク構造２１０を決定する。ネットワーク学習部１４０は、複数の前処理の各々について、当該前処理後のパターン２０２の集合を用いて、当該前処理に対応するネットワーク構造２１０のニューラルネットワーク２２０を学習する。

次に、本発明の第１の実施の形態の効果を説明する。

本発明の第１の実施の形態によれば、認識に無関係なパターン変動に対するロバスト性を保ちつつ、認識に有用な微小なパターン変動を捉えたニューラルネットワークを学習できる。その理由は、学習装置１００が、特定のパターン変動を含むパターン２０１の集合に複数の前処理を行い、各前処理について、当該前処理後の特定のパターン変動の大きさに応じたロバスト性を持つニューラルネットワーク２２０を学習するためである。これにより、認識に無関係な特定のパターン変動が大きい前処理に対しては、当該特定のパターン変動に対するロバスト性の高いニューラルネットワーク２２０が学習され、特定のパターン変動に頑健な認識が行われる。一方、特定のパターン変動が小さい前処理に対しては、当該特定のパターン変動に対するロバスト性が低いニューラルネットワーク２２０が学習され、認識に有用な微小なパターン変動を捉えた認識が行われる。このように、学習された複数のニューラルネットワーク２２０は、互いに認識の傾向が大きく異なるため、一般にアンサンブル学習として知られているように、これらを統合することによって、認識の性能を大きく向上することができる。すなわち、学習された複数のニューラルネットワーク２２０を統合することにより、認識に無関係なパターン変動に対するロバスト性を保ちつつ、認識に有用な微小なパターン変動を捉えた統合ニューラルネットワーク２３０を得ることができる。

（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。

本発明の第２の実施の形態においては、統合ニューラルネットワーク２３０を用いて、認識対象のパターン２５１に対するパターン認識を行う。

はじめに、本発明の第２の実施における学習装置１００の構成を説明する。

図１０は、本発明の第２の実施の形態における、学習装置１００の構成を示すブロック図である。本発明の第２の実施の形態の学習装置１００は、本発明の第１の実施の形態の学習装置１００の構成要素（図２）に加えて、認識対象パターン記憶部１７０、及び、認識部１８０を含む。

認識対象パターン記憶部１７０は、認識対象のパターン２５１を記憶する。認識部１８０は、統合ニューラルネットワーク２３０を用いて、認識対象のパターン２５１に対するパターン認識を行う。

次に、本発明の第２の実施の形態における学習装置１００の動作を説明する。

図１１は、本発明の第２の実施の形態における、学習装置１００の認識処理を示すフローチャートである。認識処理は、上述の学習処理（ステップＳ１０１〜Ｓ１０６）により、統合ニューラルネットワーク２３０が生成された後に行われる。

ここでは、図９のような統合ニューラルネットワーク２３０が、ネットワーク記憶部１６０に保存されていると仮定する。

はじめに、前処理部１２０は、認識対象パターン記憶部１７０から認識対象のパターン２５１を読み出す（ステップＳ２０１）。

次に、前処理部１２０は、読み出したパターン２５１について、複数種類（ｎ種類）の前処理を行う（ステップＳ２０２）。前処理部１２０は、各前処理についての前処理後のパターン２５２（２５２＿１、…、２５２＿ｎ）を認識部１８０に出力する。

認識部１８０は、統合ニューラルネットワーク２３０を、ネットワーク記憶部１６０から読み出す（ステップＳ２０３）。例えば、認識部１８０は、図９に示す統合ニューラルネットワーク２３０を読み出す。

認識部１８０は、読み出した統合ニューラルネットワーク２３０を用いて、認識対象のパターン２５１に対するパターン認識を実行する（ステップＳ２０4）。ここで、認識部１８０は、前処理部１２０から入力された、複数種類の前処理の各々の処理後のパターン２５２（２５２＿１、…、２５２＿ｎ）について、対応するニューラルネットワーク２２０（２２２＿１、…、２２２＿ｎ）を用いてパターン認識を実行する。そして、認識部１８０は、統合ニューラルネットワーク２３０に従って、各ニューラルネットワーク２２０（２２２＿１、…、２２２＿ｎ）による認識結果を統合する。例えば、認識部１８０は、図９の統合ニューラルネットワーク２３０に従って、各ニューラルネットワーク２２０（２２２＿１、…、２２２＿ｎ）から出力される本人確率の平均値を算出する。

認識部１８０は、パターン認識の結果（認識結果２６０）を、ユーザや他の装置等に出力する（ステップＳ２０４）。例えば、認識部１８０は、本人確率の平均値を、認識結果２６０として出力する。

以上により、本発明の第２の実施の形態の動作が完了する。

次に、本発明の第２の実施の形態の効果を説明する。

本発明の第２の実施の形態によれば、認識に無関係なパターン変動が存在する場合でも、高い認識性能を得ることができる。その理由は、学習装置１００が、認識対象のパターン２５１を、認識に無関係なパターン変動に対するロバスト性を保ちつつ、認識に有用な微小なパターン変動を捉えるように学習された統合ニューラルネットワーク２３０を用いて認識するためである。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されない。本願発明の構成や詳細に対して、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
特定のパターン変動を含む、学習対象のパターン集合に対して、処理後の前記特定のパターン変動の大きさが異なるような複数の前処理を行う前処理手段と、
前記複数の前処理の各々について、当該前処理後の前記特定のパターン変動の大きさに応じたロバスト性を持つニューラルネットワークのネットワーク構造を決定するネットワーク構造決定手段と、
前記複数の前処理の各々について、当該前処理後のパターン集合を用いて、当該前処理に対応するネットワーク構造のニューラルネットワークを学習するネットワーク学習手段と、
を備える情報処理装置。

（付記２）
さらに、前記複数の前処理の各々について、当該前処理後のパターン集合の前記特定のパターン変動の大きさを推定する、変動推定手段を備える、
付記１に記載の情報処理装置。

（付記３）
前記パターン集合に含まれるパターンは画像であり、前記特定のパターン変動は画像の位置ずれである、
付記１または２に記載の情報処理装置。

（付記４）
前記パターン集合に含まれるパターンは画像であり、前記特定のパターン変動は画像の輝度変化である、
付記１または２に記載の情報処理装置。

（付記５）
さらに、認識対象のパターンに対する前記複数の前処理の各々の処理後のパターンを、当該前処理に対して学習されたニューラルネットワークを用いて認識することにより、前記認識対象のパターンの認識を行う、認識手段を備える、
付記１乃至４の内のいずれか一つに記載の情報処理装置。

（付記６）
特定のパターン変動を含む、学習対象のパターン集合に対して、処理後の前記特定のパターン変動の大きさが異なるような複数の前処理を行い、
前記複数の前処理の各々について、当該前処理後の前記特定のパターン変動の大きさに応じたロバスト性を持つニューラルネットワークのネットワーク構造を決定し、
前記複数の前処理の各々について、当該前処理後のパターン集合を用いて、当該前処理に対応するネットワーク構造のニューラルネットワークを学習する、
情報処理方法。

（付記７）
さらに、前記複数の前処理の各々について、当該前処理後のパターン集合の前記特定のパターン変動の大きさを推定する、
付記６に記載の情報処理方法。

（付記８）
前記パターン集合に含まれるパターンは画像であり、前記特定のパターン変動は画像の位置ずれである、
付記６または７に記載の情報処理方法。

（付記９）
さらに、認識対象のパターンに対する前記複数の前処理の各々の処理後のパターンを、当該前処理に対して学習されたニューラルネットワークを用いて認識することにより、前記認識対象のパターンの認識を行う、
付記６乃至８の内のいずれか一つに記載の情報処理方法。

（付記１０）
コンピュータに、
特定のパターン変動を含む、学習対象のパターン集合に対して、処理後の前記特定のパターン変動の大きさが異なるような複数の前処理を行い、
前記複数の前処理の各々について、当該前処理後の前記特定のパターン変動の大きさに応じたロバスト性を持つニューラルネットワークのネットワーク構造を決定し、
前記複数の前処理の各々について、当該前処理後のパターン集合を用いて、当該前処理に対応するネットワーク構造のニューラルネットワークを学習する、
処理を実行させるプログラムを格納する、コンピュータが読み取り可能な記録媒体。

（付記１１）
さらに、前記複数の前処理の各々について、当該前処理後のパターン集合の前記特定のパターン変動の大きさを推定する、
処理を実行させる付記１０に記載のプログラムを格納する、コンピュータが読み取り可能な記録媒体。

（付記１２）
前記パターン集合に含まれるパターンは画像であり、前記特定のパターン変動は画像の位置ずれである、
付記１０または１１に記載のプログラムを格納する、コンピュータが読み取り可能な記録媒体。

（付記１３）
さらに、認識対象のパターンに対する前記複数の前処理の各々の処理後のパターンを、当該前処理に対して学習されたニューラルネットワークを用いて認識することにより、前記認識対象のパターンの認識を行う、
処理を実行させる付記１０乃至１２の内のいずれか一つに記載のプログラムを格納する、コンピュータが読み取り可能な記録媒体。

この出願は、２０１６年１月１９日に出願された日本出願特願２０１６−００７７５５を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１００ 学習装置
１０１ ＣＰＵ
１０２ 記憶デバイス
１０３ 入出力デバイス
１０４ 通信デバイス
１１０ 学習パターン記憶部
１２０ 前処理部
１３０ ロバスト性制御部
１３１ 変動推定部
１３２ ネットワーク構造決定部
１４０ ネットワーク学習部
１５０ ネットワーク統合部
１６０ ネットワーク記憶部
１７０ 認識対象パターン記憶部
１８０ 認識部
２０１ パターン
２０２ パターン
２１０ ネットワーク構造
２２０ ニューラルネットワーク
２３０ 統合ニューラルネットワーク
２５１ パターン
２５２ パターン
２６０ 認識結果

Claims (10)

1. 特定のパターン変動を含む、学習対象のパターン集合に対して、処理後の前記特定のパターン変動の大きさが異なるような複数の前処理を行う前処理手段と、
   前記複数の前処理の各々について、当該前処理後の前記特定のパターン変動の大きさに応じたロバスト性を持つニューラルネットワークのネットワーク構造を決定するネットワーク構造決定手段と、
   前記複数の前処理の各々について、当該前処理後のパターン集合を用いて、当該前処理に対応するネットワーク構造のニューラルネットワークを学習するネットワーク学習手段と、
   を備える情報処理装置。
2. さらに、前記複数の前処理の各々について、当該前処理後のパターン集合の前記特定のパターン変動の大きさを推定する、変動推定手段を備える、
   請求項１に記載の情報処理装置。
3. 前記パターン集合に含まれるパターンは画像であり、前記特定のパターン変動は画像の位置ずれである、
   請求項１または２に記載の情報処理装置。
4. 前記パターン集合に含まれるパターンは画像であり、前記特定のパターン変動は画像の輝度変化である、
   請求項１または２に記載の情報処理装置。
5. さらに、認識対象のパターンに対する前記複数の前処理の各々の処理後のパターンを、当該前処理に対して学習されたニューラルネットワークを用いて認識することにより、前記認識対象のパターンの認識を行う、認識手段を備える、
   請求項１乃至４の内のいずれか１項に記載の情報処理装置。
6. コンピュータに具備された前処理手段が、特定のパターン変動を含む、学習対象のパターン集合に対して、処理後の前記特定のパターン変動の大きさが異なるような複数の前処理を行い、
   前記コンピュータに具備されたネットワーク構造決定手段が、前記複数の前処理の各々について、当該前処理後の前記特定のパターン変動の大きさに応じたロバスト性を持つニューラルネットワークのネットワーク構造を決定し、
   前記コンピュータに具備されたネットワーク学習手段が、前記複数の前処理の各々について、当該前処理後のパターン集合を用いて、当該前処理に対応するネットワーク構造のニューラルネットワークを学習する、
   情報処理方法。
7. さらに、前記コンピュータに具備された変動推定手段が、前記複数の前処理の各々について、当該前処理後のパターン集合の前記特定のパターン変動の大きさを推定する、
   請求項６に記載の情報処理方法。
8. 前記パターン集合に含まれるパターンは画像であり、前記特定のパターン変動は画像の位置ずれである、
   請求項６または７に記載の情報処理方法。
9. さらに、前記コンピュータに具備された認識手段が、認識対象のパターンに対する前記複数の前処理の各々の処理後のパターンを、当該前処理に対して学習されたニューラルネットワークを用いて認識することにより、前記認識対象のパターンの認識を行う、
   請求項６乃至８の内のいずれか１項に記載の情報処理方法。
10. コンピュータに、
    特定のパターン変動を含む、学習対象のパターン集合に対して、処理後の前記特定のパターン変動の大きさが異なるような複数の前処理を行い、
    前記複数の前処理の各々について、当該前処理後の前記特定のパターン変動の大きさに応じたロバスト性を持つニューラルネットワークのネットワーク構造を決定し、
    前記複数の前処理の各々について、当該前処理後のパターン集合を用いて、当該前処理に対応するネットワーク構造のニューラルネットワークを学習する、
    処理を実行させるプログラム。

Images