JP2005352900A5 - - Google Patents

Claims (29)

1. データ入力層と、複数の検出すべき特徴クラスにそれぞれ対応する複数の処理モジュールを備えかつ少なくとも一つの階層レベルを有する演算処理層と、を有する並列階層処理を行う情報処理装置であって、
   少なくとも一つの階層レベルの前記演算処理層において予め定められた特徴クラスを検出するのに用いられる受容野構造を持つ複数のニューロンからなる少なくとも一つの学習済み処理モジュールと、
   未学習の特徴クラスを学習すべき受容野構造が不定な複数ニューロンからなる少なくとも一つの未学習処理モジュールとを備え、
   予め定められたパターンを前記データ入力層に提示することにより、前記未学習処理モジュールにおいて新規な特徴クラスの検出に必要な学習を行うことを特徴とする情報処理装置。
2. データ入力層と、検出すべき特徴クラスに対応する複数の処理モジュールを備えかつ少なくとも一つの階層レベルを有する演算処理層と、学習制御回路と、処理モジュール追加・削除回路と、を有する情報処理装置であって、
   前記学習制御回路により実行される学習段階において前記演算処理層内の階層レベルでの演算素子出力の誤差信号が予め定められた条件を満たすか否かを判定する判定手段と、
   前記判定手段が前記予め定められた条件を満たすと判定した場合、前記階層レベルより下位の層において前記処理モジュール追加・削除回路に、少なくとも一つの処理モジュールを追加させるよう制御する制御手段と
   を備えることを特徴とする情報処理装置。
3. 前記学習済み処理モジュールを構成するニューロン群の受容野構造は、前記新規な特徴クラスの学習において予め定められた範囲で可変とすることを特徴とする請求項１に記載の情報処理装置。
4. 前記新規な特徴クラスの学習は、複数の階層レベルで行うことを特徴とする請求項１に記載の情報処理装置。
5. 前記新規な特徴クラスの検出に必要な結合パターンの学習は、前記未学習処理モジュールが存在する階層より上位の階層レベルの処理モジュールに対して行う教師付き学習であり、前記演算処理層間における結合素子の特性を決定することを特徴とする請求項１に記載の情報処理装置。
6. 前記学習制御回路は前記学習段階において、注目階層において追加された処理モジュール内の演算素子と当該階層より下位の階層の処理モジュール内にある演算素子に対する局所的な初期結合を設定し、前記初期結合は、前記注目階層の学習済み処理モジュール内演算素子が結合する前記下位の階層の処理モジュール内演算素子の空間配置のいずれとも異なる空間配置を有する下位階層の演算素子と形成されることを特徴とする請求項２に記載の情報処理装置。
7. 前記新規な特徴クラスの検出に必要な結合パターンの学習は、前記追加された処理モジュールの演算素子出力と同一階層レベルの他の学習済み処理モジュールの演算素子出力との相関が減少するような自己組織化学習であることを特徴とする請求項５に記載の情報処理装置。
8. 前記制御手段は、前記処理モジュール追加・削除回路に、複数の処理モジュールを同時に追加させる処理を行い、追加された処理モジュールの演算素子の受容野サイズは前記追加された処理モジュール間で異なることを特徴とする請求項２に記載の情報処理装置。
9. 前記自己組織化学習は反ヘッブ則に基づく学習であることを特徴とする請求項７に記載の情報処理装置。
10. 前記演算処理層のうち少なくとも一つの階層レベルは追加された処理モジュールと学習済み処理モジュール間での層内結合を有し、当該追加された処理モジュールが属する階層で行う前記自己組織化学習は、当該階層とその下位の階層間での層間結合および前記層内結合について行うことを特徴とする請求項７に記載の情報処理装置。
11. 前記新規な特徴クラスの検出に必要な結合パターンの学習は、当該学習を行う処理モジュールが結合する上位の階層の処理モジュールにおける教師付き学習が収束した後に行われる自己組織化学習であることを特徴とする請求項５に記載の情報処理装置。
12. 前記演算処理層は、畳み込み神経回路網であることを特徴とする請求項１に記載の情報処理装置。
13. 前記新規な特徴クラスの検出に必要な結合パターンの学習は、追加された処理モジュールの演算素子出力と同一階層レベルの他の学習済み処理モジュールの演算素子出力とに関する相互情報量が減少するような自己組織化学習であることを特徴とする請求項５に記載の情報処理装置。
14. 前記処理モジュール追加・削除回路は、前記演算処理層内の階層レベルでの各処理モジュールの相対寄与度評価を行い、前記相対寄与度が閾値より小さい処理モジュールを削除することを特徴とする請求項２に記載の情報処理装置。
15. 入力データを入力する入力層と、
    データセットに関して独立成分分析を行う独立成分分析手段と、
    学習制御手段と、
    複数の検出すべき特徴クラスそれぞれに対応する複数の処理モジュールを備え、かつ少なくとも一つの階層レベルを有する演算処理層と、
    前記独立成分分析の結果得られる基底データセットと前記入力データとから、前記処理モジュールが学習すべき特徴クラスを含む学習用入力データを設定し、メモリに格納する学習用データ設定手段と、
    を有する情報処理装置であって、
    少なくとも一つの階層レベルの前記演算処理層は、
    特徴クラスを検出するのに用いられる受容野構造を持つ複数のニューロンからなる少なくとも一つの学習済み処理モジュールと、
    未学習の特徴クラスを学習すべき受容野構造が不定な複数ニューロンからなる少なくとも一つの未学習処理モジュールと
    を備え、
    前記学習制御手段は、前記学習用入力データを前記演算処理層の注目層に呈示することにより、前記未学習処理モジュールにおいて新規な特徴クラスの検出に必要な学習を行うことを特徴とする情報処理装置。
16. 前記学習用データ設定手段は、前記基底データセットの顕著領域を抽出し、当該顕著領域に対応する前記入力データ上のデータを前記学習用入力データとして設定することを特徴とする請求項１５に記載の情報処理装置。
17. データ入力層と、
    複数の検出すべき特徴クラスにそれぞれ対応する複数の処理モジュールを備え、かつ少なくとも一つの階層レベルを有する演算処理層と、
    学習制御手段と、
    前記演算処理層からの出力に基づき、パターン認識結果を出力する認識結果出力手段とを備え、
    少なくとも一つの階層レベルの前記演算処理層は、特徴クラスを検出するのに用いられる受容野構造を持つ複数のニューロンからなる少なくとも一つの学習済み処理モジュールと、
    未学習の特徴クラスを学習すべき受容野構造が不定な複数ニューロンからなる少なくとも一つの未学習処理モジュールと
    を備え、
    前記学習制御手段は、パターンを前記データ入力層に提示することにより、前記未学習処理モジュールにおいて新規な特徴クラスの検出に必要な学習を行うことを特徴とするパターン認識装置。
18. データ入力層と、
    検出すべき特徴クラスに対応する複数の処理モジュールを備え、かつ少なくとも一つの階層レベルを有する演算処理層と、
    学習制御回路と、
    処理モジュール追加・削除回路と、
    前記演算処理層からの出力に基づき、パターン認識結果を出力する認識結果出力手段とを有し、
    前記学習制御回路により実行される学習段階において前記演算処理層内の注目階層レベルでの演算素子出力の誤差信号が予め定められた条件を満たすときに、前記階層レベルより下位の層において前記処理モジュール追加・削除回路は、少なくとも一つの処理モジュールを追加することを特徴とするパターン認識装置。
19. 請求項１又は２に記載の情報処理装置を搭載することを特徴とする画像入力装置。
20. 請求項１７又は１８に記載のパターン認識装置を搭載することを特徴とする画像入力装置。
21. データ入力層と、複数の検出すべき特徴クラスにそれぞれ対応する複数の処理モジュールを備えかつ少なくとも一つの階層レベルを有する演算処理層と、少なくとも一つの階層レベルの前記演算処理層において特徴クラスを検出するのに用いられる受容野構造を持つ複数のニューロンからなる少なくとも一つの学習済み処理モジュールと、未学習の特徴クラスを学習すべき受容野構造が不定な複数ニューロンからなる少なくとも一つの未学習処理モジュールとを備える情報処理装置が行う情報処理方法であって、
    パターンを前記データ入力層に提示することにより、前記未学習処理モジュールにおいて新規な特徴クラスの検出に必要な学習を行うことを特徴とする情報処理方法。
22. データ入力層と、検出すべき特徴クラスに対応する複数の処理モジュールを備えかつ少なくとも一つの階層レベルを有する演算処理層と、学習制御回路と、処理モジュール追加・削除回路と、を有する情報処理装置が行う情報処理方法であって、
    前記学習制御回路により実行される学習段階において前記演算処理層内の階層レベルでの演算素子出力の誤差信号が予め定められた条件を満たすか否かを判定する判定工程と、
    前記判定工程で前記予め定められた条件を満たすと判定した場合、前記階層レベルより下位の層において前記処理モジュール追加・削除回路に、少なくとも一つの処理モジュールを追加させるよう制御する制御工程と
    を備えることを特徴とする情報処理方法。
23. 入力データを入力する入力層と、
    データセットに関して独立成分分析を行う独立成分分析手段と、
    学習制御手段と、
    複数の検出すべき特徴クラスそれぞれに対応する複数の処理モジュールを備え、かつ少なくとも一つの階層レベルを有する演算処理層と、
    前記独立成分分析の結果得られる基底データセットと前記入力データとから、前記処理モジュールが学習すべき特徴クラスを含む学習用入力データを設定し、メモリに格納する学習用データ設定手段と、
    を有し、少なくとも一つの階層レベルの前記演算処理層は、
    特徴クラスを検出するのに用いられる受容野構造を持つ複数のニューロンからなる少なくとも一つの学習済処理モジュールと、
    未学習の特徴クラスを学習すべき受容野構造が不定な複数ニューロンからなる少なくとも一つの未学習の処理モジュールとを備える情報処理装置が行う情報処理方法であって、
    前記学習制御手段は、前記学習用入力データを前記演算処理層の注目層に呈示することにより、前記未学習処理モジュールにおいて新規な特徴クラスの検出に必要な学習を行うことを特徴とする情報処理方法。
24. データ入力層と、
    複数の検出すべき特徴クラスにそれぞれ対応する複数の処理モジュールを備え、かつ少なくとも一つの階層レベルを有する演算処理層と、
    学習制御手段と、
    前記演算処理層からの出力に基づき、パターン認識結果を出力する認識結果出力手段とを備え、
    少なくとも一つの階層レベルの前記演算処理層は、特徴クラスを検出するのに用いられる受容野構造を持つ複数のニューロンからなる少なくとも一つの学習済み処理モジュールと、
    未学習の特徴クラスを学習すべき受容野構造が不定な複数ニューロンからなる少なくとも一つの未学習処理モジュールと
    を備えるパターン認識装置が行うパターン認識方法であって、
    前記学習制御手段は、パターンを前記データ入力層に提示することにより、前記未学習処理モジュールにおいて新規な特徴クラスの検出に必要な学習を行うことを特徴とするパターン認識方法。
25. データ入力層と、
    検出すべき特徴クラスに対応する複数の処理モジュールを備え、かつ少なくとも一つの階層レベルを有する演算処理層と、
    学習制御回路と、
    処理モジュール追加・削除回路と、
    前記演算処理層からの出力に基づき、パターン認識結果を出力する認識結果出力手段とを有するパターン認識装置が行うパターン認識方法であって、
    前記学習制御回路により実行される学習段階において前記演算処理層内の階層レベルでの演算素子出力の誤差信号が予め定められた条件を満たすときに、前記階層レベルより下位の層において前記処理モジュール追加・削除回路は、少なくとも一つの処理モジュールを追加することを特徴とするパターン認識方法。
26. コンピュータに請求項２１乃至２３の何れか１項に記載の情報処理方法を実行させる為のコンピュータプログラム。
27. コンピュータに請求項２４又は２５に記載のパターン認識方法を実行させる為のコンピュータプログラム。
28. データ入力層とデータ出力層との間に、前段の層からの出力から検出すべきそれぞれの特徴量を検出するための複数の処理モジュールを備える検出層、当該検出層からの出力を統合して出力する統合層、の各層を交互に配置することにより構成される階層型ニューラルネットワークにおいて、注目検出層における注目処理モジュールを構成する各ニューロンの出力値を予め定められた出力値とすべく、層間の結合定数を修正する処理を行う情報処理装置であって、
    注目検出層における注目処理モジュールを構成する各ニューロンの出力値と、予め定められた出力値との誤差を求める誤差計算手段と、
    前記データ入力層から、前記注目処理モジュールに出力値を出力する層までの間に配置された各層の内１つ以上の層内に、前記誤差に応じて処理モジュールを新たに追加する追加手段と、
    前記追加手段による追加処理後、前記誤差計算手段による誤差に基づいて、前記注目検出層から前記データ入力層に向けて予め定められた層数分の層の間の結合定数を修正する修正手段と
    を備えることを特徴とする情報処理装置。
29. データ入力層とデータ出力層との間に、前段の層からの出力から検出すべきそれぞれの特徴量を検出するための複数の処理モジュールを備える検出層、当該検出層からの出力を統合して出力する統合層、の各層を交互に配置することにより構成される階層型ニューラルネットワークにおいて、注目検出層における注目処理モジュールを構成する各ニューロンの出力値を予め定められた出力値とすべく、層間の結合定数を修正する処理を行う情報処理方法であって、
    注目検出層における注目処理モジュールを構成する各ニューロンの出力値と、予め定められた出力値との誤差を求める誤差計算工程と、
    前記データ入力層から、前記注目処理モジュールに出力値を出力する層までの間に配置された各層の内１つ以上の層内に、前記誤差に応じて処理モジュールを新たに追加する追加工程と、
    前記追加工程による追加処理後、前記誤差計算工程による誤差に基づいて、前記注目検出層から前記データ入力層に向けて予め定められた層数分の層の間の結合定数を修正する修正工程と
    を備えることを特徴とする情報処理方法。