JP2003099756A

JP2003099756A - 脳の精神的な機能をモデル化した人工ニューラルネットワーク構造の形成方法

Info

Publication number: JP2003099756A
Application number: JP2001291235A
Authority: JP
Inventors: Tetsuya Hoya; 谷哲也保
Original assignee: RIKEN Institute of Physical and Chemical Research
Current assignee: RIKEN Institute of Physical and Chemical Research
Priority date: 2001-09-25
Filing date: 2001-09-25
Publication date: 2003-04-04
Anticipated expiration: 2021-09-25
Also published as: JP4925235B2

Abstract

(57)【要約】（修正有）【課題】脳の精神的な機能である「直感」および「意
識」状態を比較的簡単な人工ニューラルネットワークモ
デルを用いて具現化することができる、人工ニューラル
ネットワーク構造の形成方法を提供する。【解決手段】入力パターンベクトルを一時的に記憶す
るための短期記憶型ニューラルネットワークを形成する
ステップと，短期記憶型ニューラルネットワークの出力
ベクトルに基づいて，通常出力用の長期記憶型ニューラ
ルネットワークを形成するステップと、通常出力用の長
期記憶型ニューラルネットワーク内のニューロンのパラ
メータを引き継いで，階層的な圧羽状出力用の長期記憶
型ニューラルネットワーク群を順次形成するステップと
を含む。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、脳の機能のうち精
神的な活動に関連した機能のモデル化に係り、とりわ
け、「直感（intuition）」や「意識（consciousnes
s）」といった脳の精神的な機能を比較的簡単な人工ニ
ューラルネットワークモデル（神経回路モデル）を用い
て具現化することができる、人工ニューラルネットワー
ク構造の形成方法に関する。なお、本発明は、(1)知能
ロボティックスのシステム部への応用、(2)パターン認
識装置（セキュリティシステム（指紋判定／音声・数字
認識等）や画像診断システム）への応用、さらには(3)
一般家電製品への応用、といった様々な応用分野で利用
することが可能である。

【０００２】

【従来の技術】人工ニューラルネットワークにより、実
際の脳の感情的・精神的な活動に対する働き（notion
s）を解釈処理することは、非常に挑戦的な課題であ
る。これまで、脳の機能のうち感情的・精神的な活動に
関連した機能の働きの解釈をめぐり、生物学から哲学ま
での多くの学派にまたがり歴史的な議論が展開されてき
た。現在、コンピュータ技術の進歩に加えて生物学的な
研究の進展により、我々が近い将来に到達することが期
待されるものの一つ、すなわち「脳型」コンピュータの
開発が行われている。

【０００３】脳型コンピュータの開発に向けての、鍵と
なるアプローチの一つは、『人工ニューラルネットワー
クによって「直感」の働きを解明することにある』、と
言われている（文献[1]参照）。

【０００４】他方、「意識」状態の具体的なモデル化に
ついては、最近、特に、ロボティクスの分野において様
々な議論がされている（文献[2]〜文献[5]参照）。その
ようなモデル化の一例として、「意識」のモデルを用い
て実際の動物の振る舞いを模した動きを実現した知能ロ
ボットが提案されている（文献[5]参照）。また、「意
識」の振る舞いをモデル化した仮想的な機械も考案され
ている（文献[2]参照）。

【０００５】

【発明が解決しようとする課題】しかしながら、従来の
人工ニューラルネットワークでは、「直感」の働きをモ
デル化する具体的な手法が確立しておらず、また、「意
識」状態のモデル化についてもそれを明瞭に説明し得る
手法は存在していない。

【０００６】本発明は、このような背景の下でなされた
ものであり、脳の精神的な機能である「直感」および
「意識」状態を比較的簡単な人工ニューラルネットワー
クモデルを用いて具現化することができる、人工ニュー
ラルネットワーク構造の形成方法、およびその方法を実
現する人工ニューラルネットワーク構造の形成プログラ
ムを提供することを目的とする。

【０００７】

【課題を解決するための手段】＜本発明の前提＞本発明
は、脳の精神的な機能をモデル化するための基礎とし
て、短期記憶（short-term memory (ＳＴＭ)）モデルお
よび長期記憶（long-term memory (ＬＴＭ)）モデルと
いう２つの記憶モデルを備えた階層的な記憶システムか
らなる重構造化一般回帰型ニューラルネットワーク（hi
erarchically arranged generalized regression neura
l networks (ＨＡ−ＧＲＮＮ)）を新しく提案し、その
発展プロセスを用いて「直感」および「意識」状態を説
明および具現化するものである。

【０００８】ここで、重構造化一般回帰型ニューラルネ
ットワーク（ＨＡ−ＧＲＮＮ）の前提となる一般回帰型
ニューラルネットワーク（generalized regression neu
ralnetwork (ＧＲＮＮ)）（文献[6]参照）は、既存の人
工ニューラルネットワーク理論の一つであり、ラジアル
基底関数ニューラルネットワーク（radial basis funct
ion neural network (ＲＢＦ−ＮＮ)）（文献[7]参照）
のカテゴリーに属するものである。しかしながら、ＧＲ
ＮＮは、一般的なＲＢＦ−ＮＮと異なり、中間層ニュー
ロンであるラジアル基底関数（radial basis function
(ＲＢＦ)）と出力層ニューロンとの間の重みベクトル
（weight vector）が目的ベクトル（target vector）と
同一のものとして与えられる、という特徴を有してい
る。このような魅力的な特徴のため、動的ニューラルシ
ステム（dynamic neural system）を複雑な数学的な演
算を伴うことなくモデル化することができる。なお、こ
のような動的ニューラルシステムの一例として、生物学
的な動機付けによる、短期記憶モデルおよび長期記憶モ
デルという２つのモデルの概念を導入した、２段階の記
憶システムも提案されている（文献[8]参照）。この２
段階の記憶システムは、ディジタル音声認識タスクおよ
びディジタル文字認識タスクの両方におけるオンライン
のバッチ式パターン補正のためのＧＲＮＮパターン分類
システムに組み込まれて用いられている。

【０００９】なお、ＲＢＦ−ＮＮはしばしば、ガウス混
合モデル（gaussian mixture model(ＧＭＭ)）（文献[1
0]参照）としても言及される。また、ＲＢＦ−ＮＮは、
ＲＢＦをガウスカーネルマシン（gaussian kernel mach
ine）とみなすことによりサポートベクターマシン（sup
port vector machine (ＳＶＭ)）（文献[11]参照）の概
念に包含されることすらある。今までのところ、これら
の概念は、パターン分類や、信号のモデル化および予測
（文献[12]参照）、適応制御（adaptive control）（文
献[6]参照）といった、信号処理に関連した幅広い種類
の問題解決に適用されている。

【００１０】＜解決手段＞本発明は、このような前提の
下で、脳の精神的な機能をモデル化した人工ニューラル
ネットワーク構造の形成方法において、入力パターンベ
クトルを一時的に記憶するための短期記憶型ニューラル
ネットワークを形成するステップと、前記短期記憶型ニ
ューラルネットワークの出力ベクトルに基づいて、通常
出力用の長期記憶型ニューラルネットワークを形成する
ステップと、前記通常出力用の長期記憶型ニューラルネ
ットワーク内のニューロンのパラメータを引き継いで、
階層的な通常出力用の長期記憶型ニューラルネットワー
ク群を順次形成するステップとを含むことを特徴とす
る、人工ニューラルネットワーク構造の形成方法を提供
する。

【００１１】なお、本発明において、前記通常出力用の
長期記憶型ニューラルネットワークは、複数のラジアル
基底関数を前記ニューロンとして持つ一般回帰型ニュー
ラルネットワークであることが好ましい。

【００１２】また、本発明においては、前記通常出力用
の長期記憶型ニューラルネットワーク群内の全てのニュ
ーロンのうち比較的発火（activation）の強いニューロ
ンのパラメータを引き継いで、前記短期記憶型ニューラ
ルネットワークの出力ベクトルが直接入力される直感型
出力用の長期記憶型ニューラルネットワークを形成する
ステップをさらに含むことが好ましい。

【００１３】さらに、本発明においては、前記通常出力
用の長期記憶型ニューラルネットワーク群内の全てのニ
ューロンのうち比較的発火の強いニューロンのパラメー
タを前記短期記憶型ニューラルネットワークのニューロ
ンのパラメータとしてフィードバックさせるステップを
さらに含むことが好ましい。

【００１４】さらにまた、本発明においては、所定のタ
イミングで、前記通常出力用の長期記憶型ニューラルネ
ットワーク群を再構築するステップをさらに含むことが
好ましい。

【００１５】なお、本発明においては、前記通常出力用
の長期記憶型ニューラルネットワーク群の出力を前記短
期記憶型ニューラルネットワークの入力パターンベクト
ルとして再度入力することにより、前記通常出力用の長
期記憶型ニューラルネットワーク群を再構築することが
好ましい。

【００１６】なお、本発明においては、上述した方法を
コンピュータに対して実行させることを特徴とする、人
工ニューラルネットワーク構造の形成プログラムも提供
される。

【００１７】本発明によれば、入力パターンベクトルを
一時的に記憶するための短期記憶型ニューラルネットワ
ークを形成し、さらに、当該短期記憶型ニューラルネッ
トワークの出力ベクトルを入力ベクトルとして割り当て
ることにより、階層的な通常出力用の長期記憶型ニュー
ラルネットワーク群を順次形成するので、その長期記憶
型ニューラルネットワークシステムにより、情報の「重
要さ」や「魅力度」等に基づいた階層的な分類システム
を明瞭かつ容易に実現することができ、このため、与え
られたタスクに対して高い汎化特性（能力）（generali
zation performance）を実現することができる。

【００１８】なお、本発明によれば、通常出力用の長期
記憶型ニューラルネットワークとして、複数のラジアル
基底関数をニューロンとして持つ一般回帰型ニューラル
ネットワーク（ＧＲＮＮ）を用いているので、重みベク
トルに対する繰り返しの学習が全く必要とされず、与え
られたタスクに応じてネットワークを柔軟に構成するこ
とが可能である。

【００１９】また、本発明によれば、通常出力用の長期
記憶型ニューラルネットワーク群内の全てのニューロン
のうち比較的発火の強いニューロンのパラメータを引き
継いで、短期記憶型ニューラルネットワークの出力ベク
トルが直接入力される直感型出力用の長期記憶型ニュー
ラルネットワークを形成しているので、ある特定の入力
パターンについて、直感型出力用の長期記憶型ニューラ
ルネットワーク内の幾つかのニューロンから「直感」的
な出力（直感型出力）が生じるようにネットワーク全体
を学習させることにより、脳の精神的な機能の一つであ
る「直感」のモデル化を実現することができる。

【００２０】さらに、本発明によれば、通常出力用の長
期記憶型ニューラルネットワーク群内の全てのニューロ
ンのうち比較的発火の強いニューロンのパラメータを短
期記憶型ニューラルネットワークのニューロンのパラメ
ータとしてフィードバックさせているので、通常出力用
の長期記憶型ニューラルネットワーク内のニューロンの
うち発火の強いニューロンが、入力パターンベクトルが
最初に入力される短期記憶型ニューラルネットワーク内
で強い影響を及ぼし、そのことによって、脳の精神的な
機能の一つである「意識」状態のモデル化を実現するこ
とができる。

【００２１】さらにまた、本発明によれば、所定のタイ
ミングで、通常出力用の長期記憶型ニューラルネットワ
ーク群を再構築しているので、ネットワーク全体の汎化
能力をより高めることができる。なお、本発明によれ
ば、通常出力用の長期記憶型ニューラルネットワークの
出力を短期記憶型ニューラルネットワークの入力パター
ンベクトルとして再度入力することにより、通常出力用
の長期記憶型ニューラルネットワークを再構築している
ので、その再構築の処理をより効率的に行うことができ
る。

【００２２】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態について説明する。本実施の形態は、階層的な
記憶システムとしての重構造化一般回帰型ニューラルネ
ットワーク（hierarchically arranged generalized re
gression neural networks (ＨＡ−ＧＲＮＮ)）を入力
パターンベクトルに従って発展させることにより、脳の
精神的な機能である「直感」および「意識」状態を説明
および具現化するものである。

【００２３】＜ＧＲＮＮの構成＞まず、本実施の形態に
係る重構造化一般回帰型ニューラルネットワーク（ＨＡ
−ＧＲＮＮ）の前提となる一般回帰型ニューラルネット
ワーク（ＧＲＮＮ）について説明する。

【００２４】図１(a)は、Ｎ_ｉ個の入力層ニューロン
と、Ｎ_ｈ個の中間層ニューロンと、Ｎ _ｏ個の出力層ニュ
ーロンとを有する、多層一般回帰型ニューラルネットワ
ーク（multilayered generalized regression neural n
etworks (ＭＬ-ＧＲＮＮ)）を示している。

【００２５】図１(a)において、それぞれの入力層ニュ
ーロンｘ_ｉ（ｉ＝１，２，…，Ｎ_ｉ）は入力ベクトルｘ
＝［ｘ１，ｘ２，…，ｘ_Ｎｉ］^Ｔ（Ｔ：転置ベクトル）
の各要素に対応している。（以下、下線付きの英字はベ
クトル（数式中では太字でも表される）を表してい
る。）中間層ニューロンｈ_ｊ（ｊ＝１，２，…，Ｎ_ｈ）（Ｎ_ｈ
は変数）はｊ番目のラジアル基底関数（radial basis f
unction (ＲＢＦ)）（以下「セントロイド」ともい
う。）を表している。

【００２６】出力層ニューロンｏ_ｋ（ｋ＝１，２，…，
Ｎ_ｏ）は次式（１）（２）により与えられる。

【００２７】

【数１】ここで、ｃ _ｊはセントロイドベクトル、σ_ｊは半径、ｗ
_ｊはｊ番目のＲＢＦと出力層ニューロンとの間の重みベ
クトルを示している。なお、‖…‖_２ ^２は平方Ｌ_２ノル
ムを表している。

【００２８】図１(a)に示すように、ＭＬ−ＧＲＮＮの
構成は、中間層でＲＢＦが用いられている点、および出
力層が線形関数である点を除いて、良く知られている多
層パーセプトロン型ニューラルネットワーク（multilay
ered perceptron neural network(ＭＬＰ−ＮＮ)）（文
献[7]参照）に類似している。

【００２９】しかしながら、ＧＲＮＮは、既存のＭＬＰ
−ＮＮに比較して、重みベクトルの繰り返しの学習が全
く必要とされない、という特徴を有している。すなわ
ち、他のＲＢＦ−ＮＮと同様に、単純に入力ベクトルを
セントロイドベクトルに割り当て、かつＲＢＦと出力層
との間の重みベクトルを対応する目的ベクトルに一致さ
せることにより、いかなる入出力マッピングにも対応す
ることが可能である。ＧＲＮＮのこのような特徴は、逆
伝搬に基づいて重みを適合させる従来の良く用いられて
きたＭＬＰ−ＮＮが、長い繰り返しの学習を必要とし、
かつその出力が局所極小（local minima）に留まる危険
性が常にある、という点から比較して、非常に有益であ
る。なお、この点は、学習用の入力ベクトルの組のサイ
ズが非常に大きいときに特に重大な問題となる。

【００３０】また、ＧＲＮＮにおいては、与えられたタ
スクに応じてネットワークを柔軟に構成することが可能
であり、また、ｃ _ｊおよびσ_ｊという２つのパラメータ
のみを調整するだけで学習が済んでしまうことから、実
際的なハードウェアの実装にとっても有益である。

【００３１】ＭＬＰ−ＮＮと比較したときのＧＲＮＮの
唯一の欠点は、メモリ空間に全てのセントロイドベクト
ルを記憶させる必要があるということである。つまり、
しばしばＧＲＮＮが網羅的なものとなることを意味し、
従って、参照モード（すなわちテストモード）における
演算の煩雑さが生じる。しかしながら、ＧＲＮＮはメモ
リベースのアーキテクチャを持った一素子とみなすこと
ができるので、上述したようなＧＲＮＮの有用性は、ニ
ューラルネットワークが実際の脳の機能に関連した「直
感」および「意識」といった機能の働きの解釈処理を助
けるツールとして用いられるのではないか、という考え
に結び付けられる。

【００３２】図１(a)(b)において、入力パターンベクト
ルｘに対応する目的ベクトルｔ（ｘ）は、特性関数の
ベクトルとして、次式（３）により与えられる。

【数２】

【００３３】さらに、セントロイドｈ_ｊをｘに割り当
て、上述したＧＲＮＮの特徴を利用して、ｗ _ｊ＝ｔ
（ｘ）とすれば、図１(b)に示すように、ネットワーク
の全体は、Ｎ_ｏ個のサブネットワークと決定ユニットと
を有するネットワークと幾何学的に等価となる。なお、
以下において、「ＧＲＮＮ」という用語は、図１(b)に
示すニューラルネットワークを表すものとして用いる。

【００３４】要約すれば、ＭＬ−ＧＲＮＮによるネット
ワークの構築は、単純に次のようにして行われる。（な
お、ニューラルネットワークの分野では、このような構
築はしばしば「学習」とも呼ばれる。しかしながら、Ｍ
Ｌ−ＧＲＮＮのネットワークは、重みベクトルの繰り返
しの調整等を伴うことなく、入力ベクトルを対応するＲ
ＢＦに割り当てることにより拡張および縮小しているの
で、その意味は比較的限定的である。）ネットワークの拡張：ｃ _ｊ＝ｘと設定し、σ_ｊを固定
し、ｗ_ｊｋｈ_ｊの項を上式（２）に加える。目的ベクト
ルｔ（ｘ）は従って、セントロイド（ＲＢＦ）が属する
こととなるサブネットワークの番号を示すクラスの「ラ
ベル」として用いられる。このことは、図１(b)におい
て、ｊ番目のＲＢＦを、対応するｋ番目のサブネットに
加えることに等しい。

【００３５】ネットワークの縮小：上式（２）からｗ
_ｊｋｈ_ｊの項を削除する。

【００３６】上記の処理により、動的なパターン分類シ
ステムが形成される（文献[8]参照）。また、このよう
なネットワークの構築により、本実施の形態に係る重構
造化一般回帰型ニューラルネットワーク（ＨＡ−ＧＲＮ
Ｎ）を構築するための基礎が与えられる。

【００３７】（ＧＲＮＮの半径の設定）ＲＢＦ−ＮＮの
設計においては、半径の値の設定もまた重要な要素であ
り、このような決定は未だに未解決の問題である（例え
ば、文献[7]参照）。本実施の形態では、固定の半径の
値が用いられ、それは、次式（４）の設定に従って、ネ
ットワーク内の全てのセントロイドに対して同一に設定
される。

【００３８】

【数３】ここで、γはスカラー定数であり、ｄ_ｍａｘはセントロ
イドベクトル間の最大ユークリッド距離である。上式
（３）を適用することにより、学習のフェーズで形成さ
れる全体の超空間が徐々に（合理的に）セントロイドに
より覆われる。

【００３９】本実施の形態では、半径の値は、セントロ
イドの数やパラメータが変化したときに更新される。

【００４０】＜ＨＡ−ＧＲＮＮの構成＞次に、図２乃至
図４により、本実施の形態に係る重構造化一般回帰型ニ
ューラルネットワーク（ＨＡ−ＧＲＮＮ）の構成につい
て説明する。

【００４１】図２に示すように、本実施の形態に係るＨ
Ａ−ＧＲＮＮ１０は、短期記憶（short-term memory
(ＳＴＭ)）モデルおよび長期記憶（long-term memory
(ＬＴＭ)）モデルという２つの記憶モデルを備えた階層
的な記憶システムとして実現されたものであり、短期記
憶（ＳＴＭ）モデルを実現するＳＴＭネットワーク（短
期記憶型ニューラルネットワーク）１１と、長期記憶
（ＬＴＭ）モデルを実現するＬＴＭネットワーク群（Ｌ
ＴＭネット１〜Ｌ）（長期記憶型ニューラルネットワー
ク）１２と、いわゆる「一人勝ち」方式に従う決定ユニ
ット１３とを備えている。

【００４２】なお、図２において、ｘはＨＡ−ＧＲＮＮ
１０に入ってくる入力パターンベクトル、Ｏ _ＳＴＭはＳ
ＴＭネットワーク１１の出力ベクトル、Ｏ
_{ＬＴＭ，ｉ}（ｉ＝１，２，…，Ｌ）はＬＴＭネットワー
ク群１２の出力、ｖ_ｉはＬＴＭネットワーク群１２の出
力に対する重みの値、Ｏ_ＮＥＴはＨＡ−ＧＲＮＮ１０の
出力である。

【００４３】ここで、ＬＴＭネットワーク群１２は、符
号（Ａ）の領域に表された「直感型出力」のためのもの
（ＬＴＭネット１）と、符号（Ｂ）の領域に表された
「通常出力」のためのもの（ＬＴＭネット２〜Ｌ）とに
分けられる。

【００４４】ここで、ＬＴＭネット２〜Ｌは図１(b)に
示すＧＲＮＮと同一の構成を有している。これに対し、
ＳＴＭネットワークおよびＬＴＭネット１は、図１(b)
に示す通常のＧＲＮＮの構成とは異なっており、ＳＴＭ
ネットワークおよびＬＴＭネット１はそれぞれ、図３お
よび図４に示すようにＲＢＦ−ＮＮの構成を修正した構
成を有している。

【００４５】以下、図１(b)、図３および図４により、
ＳＴＭネットワークおよびＬＴＭネットワーク群（ＬＴ
Ｍネット１〜Ｌ）の構成の詳細について説明する。

【００４６】（ＳＴＭネットワークの構成）図３に示す
ように、ＳＴＭネットワークは、修正されたＲＢＦ−Ｎ
Ｎであり、セントロイドｈ_１，ｈ_２，…ｈ_Ｍの中から最
も発火（activation）の強いセントロイドを選択する選
択ユニットを有している。なお、ＲＢＦ−ＮＮの出力Ｏ
_ＳＴ _Ｍは、ＲＢＦの出力の合計として計算されるスカラ
ー値としてではなく、ベクトルとして与えられる。ま
た、ＳＴＭネットワークは、後述されるＬＴＭネットワ
ークと異なり、サブネットワークを有しておらず、セン
トロイドの最大数Ｍ_ＳＴ _Ｍを持つ単層の構成に基づいて
いる。従って、ＳＴＭネットワークは、ファクタである
Ｍ_ＳＴＭにより長さの決まる、キューイングシステムに
類似した構成となる。

【００４７】（ＬＴＭネットワーク群の構成）図２に示
すそれぞれのＬＴＭネットワークは、ＳＴＭネットワー
クと同様に、セントロイドの最大数を有している。ＬＴ
Ｍネットワークは、ＬＴＭネット１を除いて、上記のよ
うなＲＢＦ−ＮＮではなく、ＧＲＮＮの構成を有してい
る。このため、それぞれのＬＴＭネットワークは、ＬＴ
Ｍネット１を除いて、図１(b)に示すような、サブネッ
トワークと決定ユニットとを有している。これに対し、
ＬＴＭネット１は、図４に示すように、出力側に合計処
理を行うユニットを持たないセントロイドからなってい
る。図４において、ＬＴＭネット１の出力Ｏ_ＬＴ _Ｍ，１
は、いわゆる「一人勝ち」方式で選ばれる、最も発火の
強い（例えば、ｌ番目の）セントロイドｈ_ｌ自体であ
る。ＬＴＭネット１におけるセントロイドの数は変化
し、その理由は以下に説明される。

【００４８】次に、図５により、このような構成からな
るＨＡ−ＧＲＮＮ１０の発展プロセスについて説明す
る。

【００４９】上述したように、ＨＡ−ＧＲＮＮ１０は、
実際の脳における階層的な記憶システムについての生物
学的な研究により動機付けられたものである（文献
[9]、文献[14]〜文献[18]参照）。ＨＡ−ＧＲＮＮ１０
における、ＳＴＭネットワークの役割は、ＨＡ−ＧＲＮ
Ｎ１０に入ってくる入力パターンベクトルを、それがＬ
ＴＭネットワーク群に記憶される前に一時的に記憶
（「バッファー」）することである。これに対し、ＬＴ
Ｍネットワーク群の役割は、ＬＴＭネット１〜Ｌを階層
的に構築することにより、情報の「重要さ」や「魅力
度」等に基づいた階層的な分類システムを実現すること
にある。

【００５０】本実施の形態においては、ＨＡ−ＧＲＮＮ
１０を、ＳＴＭネットワークおよびＬＴＭネットワーク
群内の全てのセントロイドの発火の強さに基づいて、図
５に示す５つのフェーズ（ステップ１０１乃至１０５）
に従って構築する。

【００５１】＜フェーズ１：ＳＴＭネットワーク（およ
びＬＴＭネット２）の形成＞フェーズ１において、ＳＴ
Ｍネットワークは次のようにして形成される。

【００５２】ステップ１：セントロイドの数ＭがＭ
_ＳＴＭよりも小さい場合には、上式（２）で計算される
発火の強さｈ_ｉと、そのセントロイドベクトルｃ _ｉ＝ｘ
とを持つＲＢＦを、ＳＴＭネットワークに加える。ＳＴ
Ｍネットワークの出力ベクトルＯ _ＳＴＭは、従ってｘに
等しい。

【００５３】ステップ２：そうでない場合には、次の処
理を行う。

【００５４】ステップ２．１：最も発火の弱いセントロ
イドの発火の強さ（例えば、ｊ番目のｈ_ｊ）がｈ_ｊ＜ｔ
ｈ_ＳＴＭである場合には、それを、セントロイドベクト
ルがｃ _ｊ＝ｘとなる、新しいものに置き換える。この場
合には、ネットワークの出力Ｏ _ＳＴＭは、ｘに等し
い。

【００５５】ステップ２．２：そうでない場合には、Ｏ
_ＳＴＭは次式（５）により調整される。

【００５６】

【数４】ここで、ｃ _ｋは最も発火の強いセントロイドｈ_ｋ（例え
ばｋ番目）のセントロイドベクトルであり、λは平滑化
ファクタ（smoothing factor）（０≦λ≦１）である。

【００５７】上述したステップ２において、平滑化ファ
クタλは、ネットワークに与えられる新たな入力パター
ンベクトルによりＳＴＭネットワークがいかに速く発展
されるかを規制するために導入されたものである。言い
換えれば、このファクタの役割は、ＳＴＭネットワーク
が、他のパターンに対してのフォーカスをいかに素早く
切り替えるかを決定するものである。このことは、特定
の事物に対する「選択的な注意」として把握される。例
えば、ファクタλが小さい場合には、出力Ｏ _Ｓ _ＴＭは
よりｘに近づくため、「不注意さ」の兆候を示している
といえる。逆に、ファクタλが大きい場合には、ＳＴＭ
ネットワークは特定のパターンに「執着」することとな
る。このことはまた、後述する「意識」状態のモデル化
にも関連している。

【００５８】フェーズ１において、ＳＴＭネットワーク
が上述したようにして形成されると、ＬＴＭネット２が
また、ＳＴＭネットワークの出力ベクトルをＬＴＭネッ
ト２のセントロイドに直接割り当てることにより、形成
される。言い換えれば、発展プロセスの初期段階（すな
わち、最も最初の入力パターンベクトルが入ってきてか
ら、ＬＴＭネット２が満たされるまで）においては、そ
れぞれのＬＴＭネットワークがＧＲＮＮにより表現され
るので、ＬＴＭネット２内のセントロイドは、それぞれ
のセントロイドベクトルに関連したクラスの「ラベル」
（すなわち、これは、上式（３）に定義された一連の特
性関数からなる目的ベクトルにより与えられる。）に従
って、それぞれのサブネットワーク内に分散されてい
る。

【００５９】これにより、ＬＴＭネット２のサブネット
ｉ（ｉ＝１，２，…，Ｎ_ｃｌ、ここで、Ｎ_ｃｌはそれぞ
れのＬＴＭネットワーク内のサブネットの数に等しいク
ラスの数である。）へのセントロイドの追加が、サブネ
ットｉ内のセントロイドの総数が最大数Ｍ
_{ＬＴＭ２，ｉ}に達するまで繰り返される。なお、この
ような追加ができなくなった場合には、サブネットｉ内
のセントロイドのうち最も発火の弱いセントロイドがＬ
ＴＭネット３に移動する。なお、サブネットワークの数
は、ＬＴＭネット２〜Ｌにおいて同一となるよう固定さ
れている。

【００６０】このような手順は、上述したフェーズ２に
対応しており、次のようにしてまとめられる。（なお、
ここでは、出力ベクトルがクラスｉに属するものと仮定
する。）＜フェーズ２：ＬＴＭネットワーク群（ＬＴＭネット２
〜Ｌ）の形成＞ステップ１：ｊ−１からＬ−１まで、次のことを行う。
もし、ＬＴＭネットｊのサブネットｉ内のセントロイド
の数がＭ_{ＬＴＭｊ，ｉ}に達したら、ＬＴＭネットｊの
サブネットｉ内のセントロイドのうち最も発火の弱いセ
ントロイドをＬＴＭネットｊ＋１に移動する。

【００６１】ステップ２：もし、ＬＴＭネットＬのサブ
ネットｉ内のセントロイドの数がＭ _{ＬＴＭ L，ｉ}に達し
たら（すなわち、ＬＴＭネット２〜Ｌ内の全てのｉ番目
のサブネットワークが満たされたら）、新しいＳＴＭネ
ットワークの出力ベクトルを記憶する場所がないことと
なる。このため、次のことを行う。

【００６２】ステップ２．１：ＬＴＭネットＬのサブネ
ットｉ内のセントロイドのうち最も発火の弱いセントロ
イドを放棄する。

【００６３】ステップ２．２：ＬＴＭネット（Ｌ−１）
〜２のサブネットｉ内のセントロイドのうち最も発火の
弱い全てのセントロイドをそれぞれ、ＬＴＭネットＬ〜
３に順次移す。

【００６４】ステップ２．３：新たなＳＴＭネットワー
クの出力ベクトルを、ＬＴＭネット２のサブネットｉに
記憶する。

【００６５】なお、上述したステップ２は、ＦＩＬＯ
（first-in-last-out）型のキュー構造に類似した手順
を表している。

【００６６】ここで、フェーズ２は、ＨＡ−ＧＲＮＮ１
０のＬＴＭネットワーク群が層構成（ＬＴＭネット２〜
Ｌ）をなしているという点に基づいたものである。な
お、ＨＡ−ＧＲＮＮ１０の出力Ｏ_ＮＥＴは、決定ユニッ
ト１３により、次式（６）のように、重み付けされたＬ
ＴＭネットワーク群の出力Ｏ_{ＬＴＭ，ｉ}（ｉ＝１，２，
…）の中で最も大きい値として選択される。

【００６７】ここで、ＬＴＭネットワーク群のうちＬＴ
Ｍネット１の出力Ｏ_{ＬＴＭ，１}ための重みの値ｖ_１は、
次式（７）に示すように、他のものよりも比較的大きく
与えられているが、これは、ＨＡ−ＧＲＮＮ１０からの
「直感型出力」を考慮したものである。

【数５】

【００６８】フェーズ２においてＬＴＭネットワーク群
が形成された後、フェーズ３において、ＬＴＭネットワ
ーク群の再構築が行われる。このような再構築は、ある
特定の時間または一定の期間内、または特定の入力パタ
ーンベクトルの下での幾つかのＬＴＭネットワーク内の
セントロイドの発火が強まったために行われる。なお、
ＬＴＭネットワーク群の再構築が行われている間は、入
ってくる入力パターンベクトルが処理されることは許さ
れない。

【００６９】フェーズ３の手順は次のようにしてまとめ
られる。

【００７０】＜フェーズ３：ＬＴＭネットワーク群（Ｌ
ＴＭネット２〜Ｌ）の再構築（自己発展）＞ステップ１：ＬＴＭネット２〜ｌ（ｌ＜＝Ｌ）内の全て
のセントロイドベクトルを集める。

【００７１】ステップ２：このようにして集められたセ
ントロイドベクトルを、入ってくる入力パターンベクト
ルとして設定する。

【００７２】ステップ３：それらを１つずつＨＡ−ＧＲ
ＮＮ１０に与える。このプロセスはｐ回繰り返される。
（図２において、このステップの流れは、点線矢印２１
で表されている。）ここで、フェーズ３は、ＬＴＭネット２〜Ｌ内のセント
ロイドにより張られるパターン空間を「整える（shape
up）」ために導入されたものである。

【００７３】なお、ＬＴＭネットワーク群の再構築の手
法としては、上述した事例ベースの処理（instance-bas
ed operation）以外にも、クラスタリングの技術を用い
て既存のＬＴＭネットワークを圧縮することにより新た
なＬＴＭネットワーク（セントロイドの組）を得るとい
う手法（文献[8]参照）を適用することもできる。しか
しながら、上述したクラスタリングの技術は、既に報告
されているとおり、代表ベクトル（representative vec
tors）の数が小さくなるにつれて、しばしば、パターン
空間を崩壊させてしまう可能性がある。

【００７４】フェーズ４において、ＬＴＭネット２〜Ｌ
において、ある期間内で比較的発火の強いセントロイド
の幾つかがＬＴＭネット１に移動される。ＬＴＭネット
１に新たに割り当てられたそれぞれのセントロイドは、
上述したとおり、最終的にＲＢＦ−ＮＮを形成し、入力
ベクトルに対する直接的な接続を有する。

【００７５】フェーズ４の手順は次のようにしてまとめ
られる。

【００７６】＜フェーズ４：ＬＴＭネット１の形成＞ステップ１：フェーズ２および３におけるＬＴＭネット
ワーク群の形成／再構築の間、入力パターンベクトルが
ＨＡ−ＧＲＮＮ１０に与えられる度に、ＬＴＭネット２
〜Ｌ内のセントロイドの中で最も発火が強くなったセン
トロイドの発火回数が監視される。なお、発火回数は、
入ってくる入力パターンベクトルのクラスＩＤと最も発
火の強いセントロイドのそれとが一致するときにのみ増
加される。

【００７７】ステップ２：ある特定の時間または期間内
（例えばｑ）に、ＬＴＭネット２〜Ｌ内のセントロイド
の全ての発火回数をリストアップし、最も大きい発火回
数を有するＮ個のセントロイドを得る。ここで、Ｎは次
式（８）の条件を満たすものである。

【数６】

【００７８】ステップ３：ＬＴＭネット１内のセントロ
イドの総数が、Ｍ_{ＬＴＭ１}−Ｎ（すなわち、Ｍ
_{ＬＴＭ１}はＬＴＭネット１内のセントロイドの最大数
を表し、Ｎ≦Ｍ_{ＬＴＭ１}とみなす。）より小さいか、
またはそれに等しいならば、Ｎ個のセントロイドの全て
をＬＴＭネット１に移動させる。そうでない場合には、
ＬＴＭネット１内の（Ｍ_{ＬＴＭ１}−Ｎ）個のセントロ
イドはそのままの状態で残し、ＬＴＭネット１内の残り
のセントロイドをＮ個の新たに得られたセントロイドに
置き換える。

【００７９】ステップ４：上述したステップで追加され
るそれぞれのセントロイドに対して、入力パターンベク
トルへの直接的な経路を作成する。（このプロセスは、
図２において太線矢印２２で示されている。）他のＬＴＭネットワーク群（ＬＴＭネット２〜Ｌ）と異
なり、ＬＴＭネット１内のセントロイドの半径の値は発
展プロセスの間に変化してはならない。これは、その半
径の値によるセントロイドの強い発火がＬＴＭネット１
に移された後も続くことが予期されるからである。

【００８０】上述した４つのフェーズはＨＡ−ＧＲＮＮ
１０の発展プロセスの基礎を与える。以下、ＨＡ−ＧＲ
ＮＮ１０の発展プロセスにより、どのようにして、脳の
２つの精神的な機能（すなわち、「直感」および「意
識」）の働きが解釈されるのかを説明する。

【００８１】＜「直感」および「意識」状態の解釈処理
＞（ＨＡ−ＧＲＮＮによる「直感」のモデル）日常の生活
において、我々はしばしば、『事物が正しいことは分か
るが、それがなぜであるかを説明することができず、ま
た、その証拠または証明を見出すことができない』、と
いうような場面に直面する。このことは、いわゆる「直
感」の働きとみなされている。

【００８２】推定１：ＨＡ−ＧＲＮＮ１０の場合におい
て、「直感」は、特定の入力パターンベクトルに対して
ＬＴＭネットワーク群内で異常に強い発火を有する、あ
る特定の組のセントロイドが存在すること、というよう
に解釈される。

【００８３】上述した推定１は、「直感」の働きは、脳
内の神経の特定の活動に関連した情報処理に関して説明
されるという観点から引き出されたものである（例え
ば、文献[19]参照）。

【００８４】図２においては、ＨＡ−ＧＲＮＮへ入って
くる入力パターンベクトルに対しては２つの経路があ
る。２つの経路を有するということは、ＨＡ−ＧＲＮＮ
の出力が、通常の入力パターンベクトルに対し、入力パ
ターンベクトルが２段階の記憶システム（すなわち、Ｓ
ＴＭネットワークおよびＬＴＭネットワーク群）に通さ
れた後で生成され、ある特定の入力パターンについて
は、ＬＴＭネット１内の幾つかのニューロンが、「直
感」的な出力（直感型出力）を生じるのに十分興奮する
ことにより生成される、ということを意味している。

【００８５】直感型出力がＬＴＭネット１の出力である
という根拠は、上述したＨＡ−ＧＲＮＮ１０の発展プロ
セスに関して説明したように、ＬＴＭネット１が、ＬＴ
Ｍネット２〜Ｌ内のある特定の数のセントロイドに対し
て強い発火をもたらす入力パターンベクトルの比較的長
い間繰り返される提示を行った後に形成されている、と
いうことにある。言い換えれば、ＳＴＭネットワークか
らＬＴＭネット２〜Ｌへのセントロイドの移行は、通常
の学習プロセスとみなされ、ＬＴＭネット２〜ＬからＬ
ＴＭネット１へのセントロイドの移行は後にＨＡ−ＧＲ
ＮＮの「直感」的な出力を生成する可能性を与えるもの
である。

【００８６】これに対し、我々はしばしば、『すばらし
い考えをひらめいた。』とか、『眠っているときに、恐
ろしい悪夢によって突然起きてしまった。』といったエ
ピソードを聞くことがある。これらもまた、直感と同
様、記憶の自己発展中に脳内で生じている現象として説
明される。ＨＡ−ＧＲＮＮ１０の場合には、これは、Ｌ
ＴＭネットワーク群の再構築フェーズ中に、ＬＴＭネッ
トワーク群内の幾つかのセントロイドがある特定のレベ
ルを十分に越える程発火する、というフェーズ３と関連
している。また、これらのセントロイドは、比較的長い
期間、または（ほとんど）永久的に（特に記憶に残る事
件の場合等にたとえられる）、ＬＴＭネットワーク群内
に残ることがある。このような解釈は、人が一旦ある振
る舞いの技能を修得したら、人は長い間それを忘れな
い、という生物学的な事実（文献[20]および文献[21]参
照）にも合致するものである。

【００８７】（ＨＡ−ＧＲＮＮによる「意識」状態のモ
デル）「意識」という言葉は具体的ではなく、それが本
来的に非常に広くかつ複雑な意味を内包していることか
ら、「意識」についての明確な定義というものは意に添
わないものになりがちである。このため、ここでは、自
己再帰性を使う解釈を認めることなく、ＨＡ−ＧＲＮＮ
の場合における「意識」という用語を限定的に用いるこ
とにする。

【００８８】最近、（狭い意味での）「意識」状態のモ
デル化の試みは、知能ロボティックスの開発の動機付け
となり、またその中で利用されている（文献[2]〜文献
[5]参照）。一つの具体化の例として、人工マウスによ
り迷路探索を実現するというモデルが考案されているが
（文献[5]および文献[24]参照）、その人工マウスの動
きは、「意識アーキテクチャ」と呼ばれる、階層的な概
念モデルにより制御される（文献[24]参照）。このモデ
ルにおいて、マウスは、経路探索の遂行に関して意識的
であるという状態を表す高階層のメモリを導入し、低階
層のメモリを実際の動きのために用いるとともに高階層
のメモリにより「意識」状態をコントロールすることに
より、迷路探索を続ける。

【００８９】ＨＡ−ＧＲＮＮの場合において、このよう
なモデルは、「意識」状態を表す「階層的」な構造を有
するという点において一致している。このため、次の推
定２が導かれる。

【００９０】推定２：何かについて「意識的である」と
う状態は、ＳＴＭネットワーク内のセントロイドによっ
て表現される。

【００９１】なお、ＨＡ−ＧＲＮＮにおいて、ＳＴＭネ
ットワークからＬＴＭネットワーク群へのセントロイド
の移行は「フィードフォワード」移行とみなされるの
で、フィードバック移行、すなわちＬＴＭネットワーク
群からＳＴＭネットワークへの移行についても当然考え
られる。このため、フェーズ２および３のフィードフォ
ワード移行処理と対照的な次のフェーズ５をＨＡ−ＧＲ
ＮＮの発展プロセスに追加することが好ましい（図５参
照）。

【００９２】＜フェーズ５：ＬＴＭネットワーク群から
ＳＴＭネットワークへのフィードバック（「意識」状態
の形成）＞ステップ１：ＬＴＭネットワーク群内で発火した、ある
特定のクラスに対応するセントロイドの中から、過度に
発火した回数が最も大きいｍ個のセントロイドを集め
る。（つまり、この処理がＨＡ−ＧＲＮＮの「意識」状
態に対応している。）ステップ２：ｍ個のセントロイドのコピーをＳＴＭネッ
トワーク内のｍ個の最も発火の弱いセントロイドと置き
換えられる。（ここで、（Ｍ_ＳＴＭ−ｍ）個の最も発火
の強いセントロイドはそのままの状態に保たれる。）こ
のようにして選ばれたｍ個のセントロイドは、それらの
セントロイドベクトルを変えることなく（ただし、半径
は変わる）、ＳＴＭネットワーク内である一定の比較的
長期間残る。

【００９３】フェーズ５では、ＳＴＭネットワーク内に
残る他のセントロイドのパラメータは学習中に変わるの
で、上記のようにコピーされたｍ個のセントロイドの半
径の値も変わり得る。言い換えれば、ｍ個のセントロイ
ドとＳＴＭネットワーク内の残りの（Ｍ_ＳＴＭ−ｍ）個
のセントロイドとの比率は「意識のレベル」を説明する
ものとして解釈される。このため、次の推定３が引き出
される。

【００９４】推定３：「意識のレベル」は、ＬＴＭネッ
トワーク群から選ばれたｍ個の最も発火の強いセントロ
イドの数と、ＳＴＭネットワーク内の残りの（Ｍ_ＳＴＭ
−ｍ）個のセントロイドの数との比率によって決定され
る。このことは「学習」プロセスの一部とみなされる。

【００９５】推定３はまた、「習熟（rehearsing）」行
為（文献[16]参照）（学習中に獲得された情報が徐々に
長期記憶に記憶される行為）についての神経物理学的な
証拠にも関連している。

【００９６】ＨＡ−ＧＲＮＮ１０の場合において、入っ
てくる入力パターンベクトル（または一組のパターンベ
クトル）は脳への入力情報と比較されるものであり、バ
ッファの機能を果たすＳＴＭネットワーク内に一時的に
記憶される。それから、発展プロセス中に、ＳＴＭネッ
トワーク内のセントロイドにより表される情報は、フェ
ーズ１〜３に示すように、選択的にＬＴＭネットワーク
群に移行される。反対に、（セントロイドを示してい
る）あるクラスについての「意識」は所定のタイミング
で生じるとされるので、ＬＴＭネットワーク群内の幾つ
かのセントロイドがＳＴＭネットワークに一旦戻され
る。（このような相互作用は「学習」プロセスと比較さ
れる（文献[16]参照）。）ＨＡ−ＧＲＮＮ１０の場合において、初期の段階で与え
られた発展プロセスは、厳密に言うと、偶発的なもので
はないので、与えられた問題に応じて、あらかじめ「意
識」状態をプログラムしておくこともできる。（しか
し、特定の応用問題における移行処理を適切に設定する
ことにより、ＨＡ−ＧＲＮＮ１０を自律的に発展させる
こともまた可能である。）例えば、パターン分類タスク
の場合において、「ＨＡ−ＧＲＮＮが総数Ｎ_ｍａｘ個の
中でＮ個のクラスについてのみ意識的である」というよ
うに、クラスの数をＮ＜Ｎ_ｍａｘに限定するようにして
もよい。

【００９７】このように本実施の形態によれば、フェー
ズ１および２において、入力パターンベクトルを一時的
に記憶するためのＳＴＭネットワーク１１を形成し、さ
らに、当該ＳＴＭネットワーク１１の出力ベクトルを入
力ベクトルとして割り当てることにより、階層的なＬＴ
Ｍネットワーク群（ＬＴＭネット２〜Ｌ）を順次形成す
るので（フェーズ１および２）、長期記憶型ニューラル
ネットワーク群としてのＬＴＭネット２〜Ｌにより、情
報の「重要さ」や「魅力度」等に基づいた階層的な分類
システムを明瞭かつ容易に実現することができ、このた
め、与えられたタスクに対して高い汎化能力を実現する
ことができる。

【００９８】なお、本実施の形態によれば、ＬＴＭネッ
トワーク（ＬＴＭネット２〜Ｌ）の構成として、複数の
ラジアル基底関数をセントロイド（ニューロン）として
持つ一般回帰型ニューラルネットワーク（ＧＲＮＮ）を
用いているので、重みベクトルに対する繰り返しの学習
が全く必要とされず、与えられたタスクに応じてネット
ワークを柔軟に構成することが可能である。

【００９９】また、本実施の形態によれば、フェーズ４
において、ＬＴＭネットワーク群（ＬＴＭネット２〜
Ｌ）内の全てのセントロイドのうち比較的発火の強いセ
ントロイドのパラメータを引き継いで、ＳＴＭネットワ
ークの出力ベクトルが直接入力される直感型出力用のＬ
ＴＭネットワーク（ＬＴＭネット１）を形成しているの
で、ある特定の入力パターンについて、ＬＴＭネット１
内の幾つかのセントロイドから「直感」的な出力（直感
型出力）が生じるようにＨＡ−ＧＲＮＮ１０を学習させ
ることにより、脳の精神的な機能の一つである「直感」
のモデル化を実現することができる。

【０１００】さらに、本実施の形態によれば、フェーズ
５において、ＬＴＭネットワーク群（ＬＴＭネット２〜
Ｌ）内のある特定のクラスに属するセントロイドのうち
比較的発火の強いセントロイドそのものをＳＴＭネット
ワークのセントロイドとして戻して（フィードバックさ
せて）いるので、入力パターンベクトルが最初に入力さ
れるＳＴＭネットワーク内の特定されたクラスに対する
汎化能力が高められる。このため、脳の精神的な機能の
一つである「意識」状態が人工的に造り出される。

【０１０１】さらにまた、本実施の形態によれば、フェ
ーズ３において、ある特定の時間または一定の期間内、
または特定の入力パターンベクトルの下での幾つかのＬ
ＴＭネットワーク群内のセントロイドの発火の強さに起
因して、ＬＴＭネットワーク群（ＬＴＭネット２〜Ｌ）
を再構築しているので、ネットワーク全体の汎化能力を
より高めることができる。なお、本実施の形態によれ
ば、ＬＴＭネットワーク群（ＬＴＭネット２〜Ｌ）の出
力をＳＴＭネットワークの入力パターンベクトルとして
再度入力することにより、ＬＴＭネットワーク群（ＬＴ
Ｍネット２〜Ｌ）を再構築しているので、その再構築の
処理をより効率的に行うことができる。

【０１０２】なお、上述した実施の形態に係る、脳の精
神的な機能をモデル化した人工ニューラルネットワーク
構造の形成方法は、例えば、図７に示すようなコンピュ
ータシステム４０上で稼働するプログラムとして簡単に
実現することができる。ここで、コンピュータシステム
４０は、バス４８と、バス４８に接続されたプロセッサ
４１、メモリ４２およびハードディスク４３と、バス４
８に接続された周辺機器（キーボードやマウス等の入力
装置４４、ディスプレイやプリンタ等の出力装置４５、
ＦＤドライブ４６およびＣＤ−ＲＯＭドライブ４７）と
を備えている。そして、上述したようなプログラムは、
メモリ４２やハードディスク４３、フレキシブルディス
ク４９およびＣＤ−ＲＯＭ５０等のようなコンピュータ
読み取り可能な記録媒体に格納され、プロセッサ４１か
ら逐次読み出されて実行されることにより上述したよう
な手順を実現することができる。

【０１０３】

【実施例】次に、上述した実施の形態の具体的実施例に
ついて述べる。なお、本実施例では、デジタル音声分類
タスクのための典型的なパターンセットを用いてＨＡ−
ＧＲＮＮを構築するシミュレーション実験を行い、脳の
精神的な機能である「直感」および「意識」状態のモデ
ル化の正当性を確かめた。

【０１０４】シミュレーション実験においては、ＳＦＳ
データベース（文献[25]参照）から抽出されるデータセ
ットを用いてＨＡ−ＧＲＮＮを構築した。ＳＦＳデータ
ベースは、パターン分類タスクのベンチマーク用のパブ
リックドメインのデータベースである。シミュレーショ
ン実験において、データセットは/ZERO/から/NINE/まで
の数字についての全部で９００の発話からなっている。
各発話は、英語により９人の異なった話者（同数の女性
および男性の話者を含む）によって記録されたものであ
る。実験では、データセットを任意に２つの組に分け、
一つはＨＡ−ＧＲＮＮを構築するためのもの（すなわ
ち、入ってくるパターンセット）として用い、他はテス
トのためのものとした用いた。構築用のデータセットは
全部で５４０の発話サンプル（それぞれの数字について
等しく５４のサンプルが選ばれた。）を含み、一方、テ
スト用のデータセットは全部で３６０のサンプル（それ
ぞれの数字について３６のサンプル）からなっている。
両方のセットにおいて、それぞれの発話は２０ｋＨｚで
サンプリングされ、良く知られているＬＰＣ−ｍｅｌ−
ｃｅｐｓｔｒａｌ分析により得られた、正規化された２
５６のデータポイントのセットを持つ特徴ベクトル（fe
ature vector）に変換された。このため、特徴ベクトル
がＨＡ−ＧＲＮＮの入力パターンベクトルとして用いら
れた。

【０１０５】（ＨＡ−ＧＲＮＮにおけるパラメータの設
定）表１に、シミュレーション実験で用いられたＨＡ−
ＧＲＮＮのネットワーク構築用のパラメータを示す。

【０１０６】

【表１】表１において、Ｍ_{ＬＴＭ１}，Ｍ_{ＬＴＭ２，ｉ}，Ｍ
_{ＬＴＭ３，ｉ}（ｉ＝１，２，…，１０（クラスＩＤで
ある１，２，…，１０のそれぞれに対応する））の値は
任意に選択されたものであり、Ｎ_ｃｌはクラス（すなわ
ち、１０個の数字）の数に等しくなるように選択された
ものである。このような設定において、ＬＴＭネット１
〜３内のセントロイドの総数であるＭ
_{ＬＴＭ，Ｔｏｔａｌ}は次式（９）に従って計算され、こ
こでは８５となる。

【数７】

【０１０７】（ＳＴＭネットワークの設定）実験では、
ＳＴＭネットワークの設計において、表１に示すよう
に、Ｍ_ＳＴＭ＝３０、γ＝２（上式（４））を用いた。
これにより、ＳＴＭネットワークは、構築中に１０個の
全てのクラスを網羅的にかつ合理的にカバーし、ＬＴＭ
ネットワーク群に対するバッファとして機能する。ま
た、上式（５）において、ｔｈ_Ｓ _ＴＭ＝０．１および平
滑化ファクタλ＝０．６を用いた。予備的なシミュレー
ション実験では、λ＝０．６の選択により、ｋ平均クラ
スタリング手法（文献[27]参照）の場合に比べて、ＨＡ
−ＧＲＮＮの比較的良好な汎化特性が経験的に得られ
た。

【０１０８】（ＬＴＭネットワーク群の設定）ＬＴＭネ
ット２〜Ｌの半径の設定に関して、γ＝１／４（上式
（４））がＨＡ−ＧＲＮＮの発展プロセス中に良好な汎
化特性を維持するための合理的な選択であることが分か
った。また、ＬＴＭネット１からの「直感型出力」を励
起させるため、ｖ_１は２．０に固定され、ｖ_ｉ（ｉ＝
２，３，…，Ｌ）は次式（１０）のような線形減衰によ
り与えられた。

【数８】

【０１０９】（発展プロセスのスケジューリング）図６
はシミュレーション実験の発展プロセスのスケジューリ
ングの一例を示す図である。図６において、ｔはＨＡ−
ＧＲＮＮにｔ番目に入ってくるパターンベクトルに対応
している。シミュレーション実験においては、フェーズ
１〜５の全てをカバーするよう、ｔ_１＝２００、ｔ_２＝
２０１、ｔ_３＝４００と設定した。（なお、発展時間ｔ
_２後に生じるＬＴＭネット１の形成は、上述したとお
り、入ってくる入力パターンベクトルの比較的長い提示
の後に生じるようスケジューリングされている。）シミ
ュレーション実験において、フェーズ３の再構築はｔ_１
において生じる。発展プロセスは最終的にｔ＝５４０
（すなわち、学習用に入ってくる全てのベクトルの数）
で止まる。シミュレーション実験において、ＨＡ−ＧＲ
ＮＮの自己発展（ｔ_１で生じる）はｐ＝２にスケジュー
リングされた。（すなわち、自己発展プロセスが２回行
われ、この設定は汎化能力に何ら影響を与えないことが
分かった。）（シミュレーション結果）ＨＡ−ＧＲＮＮによるパター
ン認識能力を把握するため、発展プロセスが終了した
後、ＳＴＭネットワークがバイパスされ、ＬＴＭネット
１〜Ｌのみを用いて、テスト中における汎化特性が評価
された。

【０１１０】表２は発展プロセスが終了した後にＨＡ−
ＧＲＮＮを用いて得られたコンフュージョンマトリック
ス（confusion matrix）を示す。

【表２】

【０１１１】この場合、「意識」状態はｔ_３では形成さ
れていない。これに対し、表３は、比較のため、ＨＡ−
ＧＲＮＮと同一の数（すなわち、全部で８５のセントロ
イドが用いられる。）のセントロイドをそれぞれのサブ
ネットに有する従来のＧＲＮＮを用いて得られたコンフ
ュージョンマトリックスを示している。

【表３】

【０１１２】ここで、各セントロイドは、良く知られて
いるマックイーン（MacQueen）のｋ平均クラスタリング
手法（文献[27]参照）により求められている。公平な比
較をなすため、それぞれのサブネット内のセントロイド
は、ｋ平均クラスタリング手法を、それぞれの数字（す
なわち、数字/ZERO/から数字/NINE/まで）ごとに５４の
サンプルを含むそれぞれの（入ってくるパターンベクト
ルの）サブセットに対して適用することにより得た。

【０１１３】表３に示される従来のＧＲＮＮの場合と比
較して、表２に示すように、ほぼクラス全体を通してＨ
Ａ−ＧＲＮＮの汎化特性における優位性があり、それに
加えて、それぞれの数字に関しての汎化性能が、数字/N
INE/を除いて、比較的高い。これに対し、従来のＧＲＮ
Ｎでは、表３に示すように、数字ごとにその性能が変化
する。このことは、ｋ平均クラスタリング手法により得
られたセントロイドにより張られるパターン空間が偏っ
ていることを示している。

【０１１４】（直感型出力の生成）実験では、発展プロ
セス中において、直感型出力が３回生成され、この３回
のうち２回は、数字/TWO/として、正しく分類された。
これに対し、テスト中においては、３６０個のうち１６
個のパターンベクトルがＬＴＭネット１からの直感型出
力の生成をもたらし、この１６個のうち１３個のパター
ンが正しく分類された。１２個のパターンベクトルと、
クラスＩＤ（すなわち、数字番号）に対応するそれぞれ
のセントロイドベクトルとの間のユークリッド距離は比
較的小さく、最小に近い。（実際にも、パターン番号８
３および８９と、数字/TWO/および/EIGHT/のセントロイ
ドとの間のユークリッド距離はそれぞれＬＴＭネット１
において最小であった。）このような結果から、直感型
出力は、入ってくるパターンベクトルがＬＴＭネット１
内のそれぞれのセントロイドベクトルと非常に近いとき
に生成されやすい、ということが分かる。

【０１１５】（「意識」状態をモデル化するためのシミ
ュレーション）表２において、数字/FIVE/および/NINE/
の結果は比較的悪い。ＨＡ-ＧＲＮＮ内に「意識」状態
のモデルを持つことの有効性を評価するため、数字/FIV
E/および/NINE/の両方に対して意図的に「意識」状態を
持たせた。

【０１１６】上述した推定２および３の両方に従って、
ＳＴＭネットワーク内の３０個のセントロイドのうち１
０個のセントロイドが、ｔ_３の発展時間後、それぞれの
数字に固定された。また、数字/FIVE/および/NINE/に対
する悪い汎化特性は（おそらく）それらのクラスに対す
るセントロイドの数が不十分であることによるので、Ｌ
ＴＭネット２および３内のセントロイドの最大の数Ｍ
_{ＬＴＭ２，ｉ}，Ｍ_ＬＴ _{Ｍ３，ｉ}（ｉ＝５および１０）
をそれぞれ増加させた。

【０１１７】表４において、数字/NINE/のみの「意識」
状態を持つＨＡ−ＧＲＮＮにより得られたコンフュージ
ョンマトリックスが示されている。

【表４】

【０１１８】この場合、ＬＴＭネット２および３内の全
部で８個のセントロイド（すなわち、ＬＴＭネット２お
よび３のそれぞれに４個ずつ）（最初の８個の（４個で
はなく）の最も発火の強いものに対応するもの）が（フ
ェーズ４に続いて）選択され、ＬＴＭネット２および３
の両方のサブネット１０に追加される（すなわち、ＬＴ
Ｍネット１〜３のセントロイドの総数は最終的に９３ま
で増加する。）。表４において、数字/NINE/の汎化特性
は、表２に示す場合と比べて、６１．１％まで改良され
た。なお、それに伴って、数字/ZERO/および/FIVE/の汎
化特性もまた改良されたことは非常に興味深い。

【０１１９】これに対し、表５は、数字/FIVE/および/N
INE/の両方の「意識」状態を持つＨＡ−ＧＲＮＮにより
得られたコンフュージョンマトリックスを示している。

【表５】

【０１２０】この場合にも、数字/NINE/の「意識」状態
を持つ場合と同様に、２つの数字に対する合計で１６個
のセントロイドがそれぞれサブネット６および１０に追
加される。（このため、ＬＴＭネット１〜３内のセント
ロイドの総数は最終的に１０１まで増加する。）表２の
場合と比較して、数字/FIVE/に対する汎化特性は、数字
/ZERO/、/THREE/および/NINE/と同様に、劇的に改良さ
れた。

【０１２１】これらの結果から、数字/NINE/に対する性
能の改良は両方とも期待されたものではなかったので、
数字/NINE/に対するパターン空間は他の数字に比べて完
全にカバーすることがより難しいことが分かる。

【０１２２】このように本実施例によれば、シミュレー
ション実験により、ＨＡ−ＧＲＮＮの発展プロセスの正
当性がパターン分類タスクの範囲内で確かめられた。具
体的には、汎化特性の有効性が調査され、ｋ平均クラス
タリング手法を用いた従来のＧＲＮＮに比べて優位性が
確認された。

【０１２３】参考文献 [1] G. Matsumoto, Y. Shigematsu, and M. Ichikawa,`
`The brain as a computer,'' in Proc. Int. Conf. Br
ain Processes, Theories and Models, MIT Press: Cam
bridge, MA, 1995. [2] I. Aleksander, ``Impossible minds: my neurons,
my consciousness,'' Imperial College Press, 1996. [3] R. A. Brooks, ``From earwigs to humans,'' Pro
c. Int. Symp. ``Conceptformation, thinking, and th
eir development'', Int. Inst. Advanced Studies, Ky
oto, 1996. [4] R. A. Brooks, ``A robust layered control syste
m for a mobile robot,'' IEEE J. Robotics and Autom
ation, RA-2-1, pp. 14-23, 1986. [5] T. Kitamura, Y. Otsuka, and Y. Nakao, ``Imitat
ion of animal behaviorwith use of a model of consc
iousness - behavior relation for a small robot,''
Proc. 4th IEEE Int. Workshop on Robot and Human Co
mmunication, pp. 313-316, Tokyo, 1995. [6] D. F. Specht, ``A general regression neural ne
twork,'' IEEE Trans. Neural Networks, Vol. 2, No.
6, pp.568-576, Nov, 1991. [7] S. Haykin, ``Neural networks: a comprehensive
foundation'', Macmillan College Publishing Co. In
c., 1994. [8] T. Hoya and J. A. Chambers, ``Heuristic patter
n correction scheme using adaptively trained gener
alized regression neural networks,'' IEEE Trans. N
eural Networks, Vol. 12, No. 1, pp. 91-100, Jan. 2
001. [9] R. C. Atkinson and R. M. Shiffrin, ``Human mem
ory: a proposed systemand its control processes,''
in K. W. Spence and J. T. Spence (Eds.), The Psyc
hology of Learning and Motivation, Vol. 2, pp. 89-
195, New York:Academic Press, 1968. [10] D. A. Reynold and R. C. Rose, ``Robust text-i
ndependent speaker identification using Gaussian m
ixture speaker models,'' IEEE Trans. Speechand Aud
io Processing, Vol. 3, No. 1, Jan. 1995. [11] V. Vapnik, ``The nature of statistical learni
ng theory,'' SpringerVerlag, New York, 1995. [12] Papers in the proceedings of IEEE Internation
al Workshop on NeuralNetworks for Signal Processin
g. [13] P. D. Wasserman, ``Advanced methods in neural
computing - in Chapter 8, Radial-basis function n
etworks,'' pp. 147-176, Van Nostrand Reinhold, New
York, 1993. [14] J. G. Taylor, B. Horwitz, N. J. Shah, W. A. F
ellenz, H.-W. Mueller-Gaertner, and J. B. Krause,
``Decomposing memory: functional assignmentsand br
ain traffic in paired word associate learning,'' N
eural Networks,Vol. 13, No. 8-9, pp. 923-940, Oct.
/Nov. 2000. [15] M. S. Gazzaniga, R. B. Irvy, and G. R. Mangu
n, ``Cognitive neuroscience - the biology of the m
ind: Chapter 7: memory systems,'' W. W. Norton \&
Company, New York/London, 1998. [16] O. Hikosaka, S. Miyachi, K. Miyashita, and M.
K. Rand, ``Procedurallearning in monkeys - possib
le roles of the basal ganglia,'' in ``Perception,
memory and emotion: frontiers in neuroscience,'' p
p. 403-420, eds. T. Ono, B. L. McNaughton, S. Molo
tchnikoff, E. T. Rolls, andH. Nishijo, Elsevier, 1
996. [17] Y. Shigematsu, M. Ichikawa, and G. Matsumoto,
``Reconstitution studies on brain computing with
the neural network engineering,'' in ``Perception,
memory and emotion: frontiers in neuroscience,''
pp. 581-599, eds. T. Ono, B. L. McNaughton, S. Mol
otchnikoff, E. T. Rolls, andH. Nishijo, Elsevier,
1996. [18] L. R. Squire, ``Memory and brain,'' Oxford Un
iv. Press, New York/Oxford, 1987. [19] M. Minsky, ``Emotions and the Society of Min
d,'' in Emotions and Psychopathology, Manfred Clyn
es and Jack Panksepp, eds., Plenum Press, N.Y., 19
88. [20] C. I. Hovland, ``Human learning and retentio
n,'' in: Handbook of experimental psychology, pp.
613-689, S. S. Stevens (ed.), John Wiley, 1951. [21] P. A. Kolers, ``Reading a year later,'' J. Ex
p. Psychol.: Human learn. and memory, Vol. 2, pp.
554-565, 1976. [22] Sir J. Eccles, ``Evolution of consciousnes
s,'' in ``Brain mechanisms of perception and memor
y: from neuron to behavior,'' eds. T. Ono, L. R. S
quire, M. E. Raichle, D. I. Perrett, and M. Fukud
a, Oxford Univ. Press, 1993. [23] M. Jibu and K. Yasue, ``Quantum brain dynamic
s and consciousness: an introduction,'' John Benja
mins, Amsterdam, 1995. [24] N. Matsumoto, ``The brain and biophysics,'' K
yo-ritsu Shuppan Press, 1997 (in Japanese). [25] M. Huckvale, ``Speech Filing System Vs3.0 --
Computer Tools For Speech Research'', University C
ollege London, Mar. 1996. [26] J. R. Deller Jr, J. G. Proakis, and J. H. L.
Hansen, ``Discrete-Time Processing of Speech Signa
ls'', Macmillan, NJ, 1993. [27] J. B. MacQueen, ``Some Methods for Classifica
tion and Analysis of Multivariate Observations'',
in Proc. Symp. Matho. Stat. Prob., 5th ed. Berkele
y, CA: Univ. of Calif. Press, Vol. 1, pp. 281-297,
1967.

【０１２４】

【発明の効果】以上説明したように本発明によれば、脳
の精神的な機能である「直感」および「意識」状態を比
較的簡単な人工ニューラルネットワークモデル（既存の
ニューラルネットワーク素子等により表現可能なモデ
ル）を用いて具現化することができる。

【図面の簡単な説明】

【図１】本発明の一実施の形態に係る重構造化一般回帰
型ニューラルネットワーク（ＨＡ−ＧＲＮＮ）の前提と
なる一般回帰型ニューラルネットワーク（ＧＲＮＮ）を
説明するための図。

【図２】本発明の一実施の形態に係る重構造化一般回帰
型ニューラルネットワーク（ＨＡ−ＧＲＮＮ）の全体構
成を示す概念図。

【図３】図２に示すＨＡ−ＧＲＮＮのＳＴＭネットワー
クの詳細を示す図。

【図４】図２に示すＨＡ−ＧＲＮＮのＬＴＭネット１の
詳細を示す図。

【図５】本発明の一実施の形態に係る重構造化一般回帰
型ニューラルネットワーク（ＨＡ−ＧＲＮＮ）の発展プ
ロセスを説明するためのフローチャート。

【図６】本発明の一実施例（シミュレーション実験）に
おける発展プロセスのスケジューリングの一例を示す
図。

【図７】本発明の一実施の形態が適用されるコンピュー
タシステムの一例を示す図。

【符号の説明】

１０重構造化一般回帰型ニューラルネットワーク（Ｈ
Ａ−ＧＲＮＮ）１１ＳＴＭネットワーク１２ＬＴＭネットワーク群１３決定ユニット

Claims

【特許請求の範囲】

【請求項１】脳の精神的な機能をモデル化した人工ニュ
ーラルネットワーク構造の形成方法において、入力パターンベクトルを一時的に記憶するための短期記
憶型ニューラルネットワークを形成するステップと、前記短期記憶型ニューラルネットワークの出力ベクトル
に基づいて、通常出力用の長期記憶型ニューラルネット
ワークを形成するステップと、前記通常出力用の長期記憶型ニューラルネットワーク内
のニューロンのパラメータを引き継いで、階層的な通常
出力用の長期記憶型ニューラルネットワーク群を順次形
成するステップとを含むことを特徴とする、人工ニュー
ラルネットワーク構造の形成方法。
【請求項２】前記通常出力用の長期記憶型ニューラルネ
ットワークは、複数のラジアル基底関数を前記ニューロ
ンとして持つ一般回帰型ニューラルネットワークである
ことを特徴とする、請求項１記載の人工ニューラルネッ
トワーク構造の形成方法。
【請求項３】前記通常出力用の長期記憶型ニューラルネ
ットワーク群内の全てのニューロンのうち比較的発火の
強いニューロンのパラメータを引き継いで、前記短期記
憶型ニューラルネットワークの出力ベクトルが直接入力
される直感型出力用の長期記憶型ニューラルネットワー
クを形成するステップをさらに含むことを特徴とする、
請求項１記載の人工ニューラルネットワーク構造の形成
方法。
【請求項４】前記通常出力用の長期記憶型ニューラルネ
ットワーク群内の全てのニューロンのうち比較的発火の
強いニューロンのパラメータを前記短期記憶型ニューラ
ルネットワークのニューロンのパラメータとしてフィー
ドバックさせるステップをさらに含むことを特徴とす
る、請求項１記載の人工ニューラルネットワーク構造の
形成方法。
【請求項５】所定のタイミングで、前記通常出力用の長
期記憶型ニューラルネットワーク群を再構築するステッ
プをさらに含むことを特徴とする、請求項１記載の人工
ニューラルネットワーク構造の形成方法。
【請求項６】前記通常出力用の長期記憶型ニューラルネ
ットワーク群の出力を前記短期記憶型ニューラルネット
ワークの入力パターンベクトルとして再度入力すること
により、前記通常出力用の長期記憶型ニューラルネット
ワーク群を再構築することを特徴とする、請求項５記載
の人工ニューラルネットワーク構造の形成方法。
【請求項７】請求項１乃至６のいずれか記載の方法をコ
ンピュータに対して実行させることを特徴とする、人工
ニューラルネットワーク構造の形成プログラム。