JP2003099756A - 脳の精神的な機能をモデル化した人工ニューラルネットワーク構造の形成方法 - Google Patents
脳の精神的な機能をモデル化した人工ニューラルネットワーク構造の形成方法Info
- Publication number
- JP2003099756A JP2003099756A JP2001291235A JP2001291235A JP2003099756A JP 2003099756 A JP2003099756 A JP 2003099756A JP 2001291235 A JP2001291235 A JP 2001291235A JP 2001291235 A JP2001291235 A JP 2001291235A JP 2003099756 A JP2003099756 A JP 2003099756A
- Authority
- JP
- Japan
- Prior art keywords
- neural network
- ltm
- term memory
- network
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
識」状態を比較的簡単な人工ニューラルネットワークモ
デルを用いて具現化することができる、人工ニューラル
ネットワーク構造の形成方法を提供する。 【解決手段】 入力パターンベクトルを一時的に記憶す
るための短期記憶型ニューラルネットワークを形成する
ステップと,短期記憶型ニューラルネットワークの出力
ベクトルに基づいて,通常出力用の長期記憶型ニューラ
ルネットワークを形成するステップと、通常出力用の長
期記憶型ニューラルネットワーク内のニューロンのパラ
メータを引き継いで,階層的な圧羽状出力用の長期記憶
型ニューラルネットワーク群を順次形成するステップと
を含む。
Description
神的な活動に関連した機能のモデル化に係り、とりわ
け、「直感(intuition)」や「意識(consciousnes
s)」といった脳の精神的な機能を比較的簡単な人工ニ
ューラルネットワークモデル(神経回路モデル)を用い
て具現化することができる、人工ニューラルネットワー
ク構造の形成方法に関する。なお、本発明は、(1)知能
ロボティックスのシステム部への応用、(2)パターン認
識装置(セキュリティシステム(指紋判定/音声・数字
認識等)や画像診断システム)への応用、さらには(3)
一般家電製品への応用、といった様々な応用分野で利用
することが可能である。
際の脳の感情的・精神的な活動に対する働き(notion
s)を解釈処理することは、非常に挑戦的な課題であ
る。これまで、脳の機能のうち感情的・精神的な活動に
関連した機能の働きの解釈をめぐり、生物学から哲学ま
での多くの学派にまたがり歴史的な議論が展開されてき
た。現在、コンピュータ技術の進歩に加えて生物学的な
研究の進展により、我々が近い将来に到達することが期
待されるものの一つ、すなわち「脳型」コンピュータの
開発が行われている。
なるアプローチの一つは、『人工ニューラルネットワー
クによって「直感」の働きを解明することにある』、と
言われている(文献[1]参照)。
ついては、最近、特に、ロボティクスの分野において様
々な議論がされている(文献[2]〜文献[5]参照)。その
ようなモデル化の一例として、「意識」のモデルを用い
て実際の動物の振る舞いを模した動きを実現した知能ロ
ボットが提案されている(文献[5]参照)。また、「意
識」の振る舞いをモデル化した仮想的な機械も考案され
ている(文献[2]参照)。
人工ニューラルネットワークでは、「直感」の働きをモ
デル化する具体的な手法が確立しておらず、また、「意
識」状態のモデル化についてもそれを明瞭に説明し得る
手法は存在していない。
ものであり、脳の精神的な機能である「直感」および
「意識」状態を比較的簡単な人工ニューラルネットワー
クモデルを用いて具現化することができる、人工ニュー
ラルネットワーク構造の形成方法、およびその方法を実
現する人工ニューラルネットワーク構造の形成プログラ
ムを提供することを目的とする。
は、脳の精神的な機能をモデル化するための基礎とし
て、短期記憶(short-term memory (STM))モデルお
よび長期記憶(long-term memory (LTM))モデルと
いう2つの記憶モデルを備えた階層的な記憶システムか
らなる重構造化一般回帰型ニューラルネットワーク(hi
erarchically arranged generalized regression neura
l networks (HA−GRNN))を新しく提案し、その
発展プロセスを用いて「直感」および「意識」状態を説
明および具現化するものである。
ットワーク(HA−GRNN)の前提となる一般回帰型
ニューラルネットワーク(generalized regression neu
ralnetwork (GRNN))(文献[6]参照)は、既存の人
工ニューラルネットワーク理論の一つであり、ラジアル
基底関数ニューラルネットワーク(radial basis funct
ion neural network (RBF−NN))(文献[7]参照)
のカテゴリーに属するものである。しかしながら、GR
NNは、一般的なRBF−NNと異なり、中間層ニュー
ロンであるラジアル基底関数(radial basis function
(RBF))と出力層ニューロンとの間の重みベクトル
(weight vector)が目的ベクトル(target vector)と
同一のものとして与えられる、という特徴を有してい
る。このような魅力的な特徴のため、動的ニューラルシ
ステム(dynamic neural system)を複雑な数学的な演
算を伴うことなくモデル化することができる。なお、こ
のような動的ニューラルシステムの一例として、生物学
的な動機付けによる、短期記憶モデルおよび長期記憶モ
デルという2つのモデルの概念を導入した、2段階の記
憶システムも提案されている(文献[8]参照)。この2
段階の記憶システムは、ディジタル音声認識タスクおよ
びディジタル文字認識タスクの両方におけるオンライン
のバッチ式パターン補正のためのGRNNパターン分類
システムに組み込まれて用いられている。
合モデル(gaussian mixture model(GMM))(文献[1
0]参照)としても言及される。また、RBF−NNは、
RBFをガウスカーネルマシン(gaussian kernel mach
ine)とみなすことによりサポートベクターマシン(sup
port vector machine (SVM))(文献[11]参照)の概
念に包含されることすらある。今までのところ、これら
の概念は、パターン分類や、信号のモデル化および予測
(文献[12]参照)、適応制御(adaptive control)(文
献[6]参照)といった、信号処理に関連した幅広い種類
の問題解決に適用されている。
下で、脳の精神的な機能をモデル化した人工ニューラル
ネットワーク構造の形成方法において、入力パターンベ
クトルを一時的に記憶するための短期記憶型ニューラル
ネットワークを形成するステップと、前記短期記憶型ニ
ューラルネットワークの出力ベクトルに基づいて、通常
出力用の長期記憶型ニューラルネットワークを形成する
ステップと、前記通常出力用の長期記憶型ニューラルネ
ットワーク内のニューロンのパラメータを引き継いで、
階層的な通常出力用の長期記憶型ニューラルネットワー
ク群を順次形成するステップとを含むことを特徴とす
る、人工ニューラルネットワーク構造の形成方法を提供
する。
長期記憶型ニューラルネットワークは、複数のラジアル
基底関数を前記ニューロンとして持つ一般回帰型ニュー
ラルネットワークであることが好ましい。
の長期記憶型ニューラルネットワーク群内の全てのニュ
ーロンのうち比較的発火(activation)の強いニューロ
ンのパラメータを引き継いで、前記短期記憶型ニューラ
ルネットワークの出力ベクトルが直接入力される直感型
出力用の長期記憶型ニューラルネットワークを形成する
ステップをさらに含むことが好ましい。
用の長期記憶型ニューラルネットワーク群内の全てのニ
ューロンのうち比較的発火の強いニューロンのパラメー
タを前記短期記憶型ニューラルネットワークのニューロ
ンのパラメータとしてフィードバックさせるステップを
さらに含むことが好ましい。
イミングで、前記通常出力用の長期記憶型ニューラルネ
ットワーク群を再構築するステップをさらに含むことが
好ましい。
の長期記憶型ニューラルネットワーク群の出力を前記短
期記憶型ニューラルネットワークの入力パターンベクト
ルとして再度入力することにより、前記通常出力用の長
期記憶型ニューラルネットワーク群を再構築することが
好ましい。
コンピュータに対して実行させることを特徴とする、人
工ニューラルネットワーク構造の形成プログラムも提供
される。
一時的に記憶するための短期記憶型ニューラルネットワ
ークを形成し、さらに、当該短期記憶型ニューラルネッ
トワークの出力ベクトルを入力ベクトルとして割り当て
ることにより、階層的な通常出力用の長期記憶型ニュー
ラルネットワーク群を順次形成するので、その長期記憶
型ニューラルネットワークシステムにより、情報の「重
要さ」や「魅力度」等に基づいた階層的な分類システム
を明瞭かつ容易に実現することができ、このため、与え
られたタスクに対して高い汎化特性(能力)(generali
zation performance)を実現することができる。
記憶型ニューラルネットワークとして、複数のラジアル
基底関数をニューロンとして持つ一般回帰型ニューラル
ネットワーク(GRNN)を用いているので、重みベク
トルに対する繰り返しの学習が全く必要とされず、与え
られたタスクに応じてネットワークを柔軟に構成するこ
とが可能である。
記憶型ニューラルネットワーク群内の全てのニューロン
のうち比較的発火の強いニューロンのパラメータを引き
継いで、短期記憶型ニューラルネットワークの出力ベク
トルが直接入力される直感型出力用の長期記憶型ニュー
ラルネットワークを形成しているので、ある特定の入力
パターンについて、直感型出力用の長期記憶型ニューラ
ルネットワーク内の幾つかのニューロンから「直感」的
な出力(直感型出力)が生じるようにネットワーク全体
を学習させることにより、脳の精神的な機能の一つであ
る「直感」のモデル化を実現することができる。
期記憶型ニューラルネットワーク群内の全てのニューロ
ンのうち比較的発火の強いニューロンのパラメータを短
期記憶型ニューラルネットワークのニューロンのパラメ
ータとしてフィードバックさせているので、通常出力用
の長期記憶型ニューラルネットワーク内のニューロンの
うち発火の強いニューロンが、入力パターンベクトルが
最初に入力される短期記憶型ニューラルネットワーク内
で強い影響を及ぼし、そのことによって、脳の精神的な
機能の一つである「意識」状態のモデル化を実現するこ
とができる。
ミングで、通常出力用の長期記憶型ニューラルネットワ
ーク群を再構築しているので、ネットワーク全体の汎化
能力をより高めることができる。なお、本発明によれ
ば、通常出力用の長期記憶型ニューラルネットワークの
出力を短期記憶型ニューラルネットワークの入力パター
ンベクトルとして再度入力することにより、通常出力用
の長期記憶型ニューラルネットワークを再構築している
ので、その再構築の処理をより効率的に行うことができ
る。
施の形態について説明する。本実施の形態は、階層的な
記憶システムとしての重構造化一般回帰型ニューラルネ
ットワーク(hierarchically arranged generalized re
gression neural networks (HA−GRNN))を入力
パターンベクトルに従って発展させることにより、脳の
精神的な機能である「直感」および「意識」状態を説明
および具現化するものである。
係る重構造化一般回帰型ニューラルネットワーク(HA
−GRNN)の前提となる一般回帰型ニューラルネット
ワーク(GRNN)について説明する。
と、Nh個の中間層ニューロンと、N o個の出力層ニュ
ーロンとを有する、多層一般回帰型ニューラルネットワ
ーク(multilayered generalized regression neural n
etworks (ML-GRNN))を示している。
ーロンxi(i=1,2,…,Ni)は入力ベクトルx
=[x1,x2,…,xNi]T(T:転置ベクトル)
の各要素に対応している。(以下、下線付きの英字はベ
クトル(数式中では太字でも表される)を表してい
る。) 中間層ニューロンhj(j=1,2,…,Nh)(Nh
は変数)はj番目のラジアル基底関数(radial basis f
unction (RBF))(以下「セントロイド」ともい
う。)を表している。
No)は次式(1)(2)により与えられる。
jはj番目のRBFと出力層ニューロンとの間の重みベ
クトルを示している。なお、‖…‖2 2は平方L2ノル
ムを表している。
構成は、中間層でRBFが用いられている点、および出
力層が線形関数である点を除いて、良く知られている多
層パーセプトロン型ニューラルネットワーク(multilay
ered perceptron neural network(MLP−NN))(文
献[7]参照)に類似している。
−NNに比較して、重みベクトルの繰り返しの学習が全
く必要とされない、という特徴を有している。すなわ
ち、他のRBF−NNと同様に、単純に入力ベクトルを
セントロイドベクトルに割り当て、かつRBFと出力層
との間の重みベクトルを対応する目的ベクトルに一致さ
せることにより、いかなる入出力マッピングにも対応す
ることが可能である。GRNNのこのような特徴は、逆
伝搬に基づいて重みを適合させる従来の良く用いられて
きたMLP−NNが、長い繰り返しの学習を必要とし、
かつその出力が局所極小(local minima)に留まる危険
性が常にある、という点から比較して、非常に有益であ
る。なお、この点は、学習用の入力ベクトルの組のサイ
ズが非常に大きいときに特に重大な問題となる。
スクに応じてネットワークを柔軟に構成することが可能
であり、また、c jおよびσjという2つのパラメータ
のみを調整するだけで学習が済んでしまうことから、実
際的なハードウェアの実装にとっても有益である。
唯一の欠点は、メモリ空間に全てのセントロイドベクト
ルを記憶させる必要があるということである。つまり、
しばしばGRNNが網羅的なものとなることを意味し、
従って、参照モード(すなわちテストモード)における
演算の煩雑さが生じる。しかしながら、GRNNはメモ
リベースのアーキテクチャを持った一素子とみなすこと
ができるので、上述したようなGRNNの有用性は、ニ
ューラルネットワークが実際の脳の機能に関連した「直
感」および「意識」といった機能の働きの解釈処理を助
けるツールとして用いられるのではないか、という考え
に結び付けられる。
ルxに対応する目的ベクトルt (x)は、特性関数の
ベクトルとして、次式(3)により与えられる。
て、上述したGRNNの特徴を利用して、w j=t
(x)とすれば、図1(b)に示すように、ネットワーク
の全体は、No個のサブネットワークと決定ユニットと
を有するネットワークと幾何学的に等価となる。なお、
以下において、「GRNN」という用語は、図1(b)に
示すニューラルネットワークを表すものとして用いる。
ワークの構築は、単純に次のようにして行われる。(な
お、ニューラルネットワークの分野では、このような構
築はしばしば「学習」とも呼ばれる。しかしながら、M
L−GRNNのネットワークは、重みベクトルの繰り返
しの調整等を伴うことなく、入力ベクトルを対応するR
BFに割り当てることにより拡張および縮小しているの
で、その意味は比較的限定的である。) ネットワークの拡張:c j=xと設定し、σjを固定
し、wjkhjの項を上式(2)に加える。目的ベクト
ルt(x)は従って、セントロイド(RBF)が属する
こととなるサブネットワークの番号を示すクラスの「ラ
ベル」として用いられる。このことは、図1(b)におい
て、j番目のRBFを、対応するk番目のサブネットに
加えることに等しい。
jkhjの項を削除する。
ステムが形成される(文献[8]参照)。また、このよう
なネットワークの構築により、本実施の形態に係る重構
造化一般回帰型ニューラルネットワーク(HA−GRN
N)を構築するための基礎が与えられる。
設計においては、半径の値の設定もまた重要な要素であ
り、このような決定は未だに未解決の問題である(例え
ば、文献[7]参照)。本実施の形態では、固定の半径の
値が用いられ、それは、次式(4)の設定に従って、ネ
ットワーク内の全てのセントロイドに対して同一に設定
される。
イドベクトル間の最大ユークリッド距離である。上式
(3)を適用することにより、学習のフェーズで形成さ
れる全体の超空間が徐々に(合理的に)セントロイドに
より覆われる。
イドの数やパラメータが変化したときに更新される。
図4により、本実施の形態に係る重構造化一般回帰型ニ
ューラルネットワーク(HA−GRNN)の構成につい
て説明する。
A−GRNN10は、短期記憶(short-term memory
(STM))モデルおよび長期記憶(long-term memory
(LTM))モデルという2つの記憶モデルを備えた階層
的な記憶システムとして実現されたものであり、短期記
憶(STM)モデルを実現するSTMネットワーク(短
期記憶型ニューラルネットワーク)11と、長期記憶
(LTM)モデルを実現するLTMネットワーク群(L
TMネット1〜L)(長期記憶型ニューラルネットワー
ク)12と、いわゆる「一人勝ち」方式に従う決定ユニ
ット13とを備えている。
10に入ってくる入力パターンベクトル、O STMはS
TMネットワーク11の出力ベクトル、O
LTM,i(i=1,2,…,L)はLTMネットワー
ク群12の出力、viはLTMネットワーク群12の出
力に対する重みの値、ONETはHA−GRNN10の
出力である。
号(A)の領域に表された「直感型出力」のためのもの
(LTMネット1)と、符号(B)の領域に表された
「通常出力」のためのもの(LTMネット2〜L)とに
分けられる。
示すGRNNと同一の構成を有している。これに対し、
STMネットワークおよびLTMネット1は、図1(b)
に示す通常のGRNNの構成とは異なっており、STM
ネットワークおよびLTMネット1はそれぞれ、図3お
よび図4に示すようにRBF−NNの構成を修正した構
成を有している。
STMネットワークおよびLTMネットワーク群(LT
Mネット1〜L)の構成の詳細について説明する。
ように、STMネットワークは、修正されたRBF−N
Nであり、セントロイドh1,h2,…hMの中から最
も発火(activation)の強いセントロイドを選択する選
択ユニットを有している。なお、RBF−NNの出力O
ST Mは、RBFの出力の合計として計算されるスカラ
ー値としてではなく、ベクトルとして与えられる。ま
た、STMネットワークは、後述されるLTMネットワ
ークと異なり、サブネットワークを有しておらず、セン
トロイドの最大数MST Mを持つ単層の構成に基づいて
いる。従って、STMネットワークは、ファクタである
MSTMにより長さの決まる、キューイングシステムに
類似した構成となる。
すそれぞれのLTMネットワークは、STMネットワー
クと同様に、セントロイドの最大数を有している。LT
Mネットワークは、LTMネット1を除いて、上記のよ
うなRBF−NNではなく、GRNNの構成を有してい
る。このため、それぞれのLTMネットワークは、LT
Mネット1を除いて、図1(b)に示すような、サブネッ
トワークと決定ユニットとを有している。これに対し、
LTMネット1は、図4に示すように、出力側に合計処
理を行うユニットを持たないセントロイドからなってい
る。図4において、LTMネット1の出力OLT M,1
は、いわゆる「一人勝ち」方式で選ばれる、最も発火の
強い(例えば、l番目の)セントロイドhl自体であ
る。LTMネット1におけるセントロイドの数は変化
し、その理由は以下に説明される。
るHA−GRNN10の発展プロセスについて説明す
る。
実際の脳における階層的な記憶システムについての生物
学的な研究により動機付けられたものである(文献
[9]、文献[14]〜文献[18]参照)。HA−GRNN10
における、STMネットワークの役割は、HA−GRN
N10に入ってくる入力パターンベクトルを、それがL
TMネットワーク群に記憶される前に一時的に記憶
(「バッファー」)することである。これに対し、LT
Mネットワーク群の役割は、LTMネット1〜Lを階層
的に構築することにより、情報の「重要さ」や「魅力
度」等に基づいた階層的な分類システムを実現すること
にある。
10を、STMネットワークおよびLTMネットワーク
群内の全てのセントロイドの発火の強さに基づいて、図
5に示す5つのフェーズ(ステップ101乃至105)
に従って構築する。
びLTMネット2)の形成>フェーズ1において、ST
Mネットワークは次のようにして形成される。
STMよりも小さい場合には、上式(2)で計算される
発火の強さhiと、そのセントロイドベクトルc i=x
とを持つRBFを、STMネットワークに加える。ST
Mネットワークの出力ベクトルO STMは、従ってxに
等しい。
理を行う。
イドの発火の強さ(例えば、j番目のhj)がhj<t
hSTMである場合には、それを、セントロイドベクト
ルがc j=xとなる、新しいものに置き換える。この場
合には、ネットワークの出力O STMは、x に等し
い。
STMは次式(5)により調整される。
ばk番目)のセントロイドベクトルであり、λは平滑化
ファクタ(smoothing factor)(0≦λ≦1)である。
クタλは、ネットワークに与えられる新たな入力パター
ンベクトルによりSTMネットワークがいかに速く発展
されるかを規制するために導入されたものである。言い
換えれば、このファクタの役割は、STMネットワーク
が、他のパターンに対してのフォーカスをいかに素早く
切り替えるかを決定するものである。このことは、特定
の事物に対する「選択的な注意」として把握される。例
えば、ファクタλが小さい場合には、出力O S TM は
よりxに近づくため、「不注意さ」の兆候を示している
といえる。逆に、ファクタλが大きい場合には、STM
ネットワークは特定のパターンに「執着」することとな
る。このことはまた、後述する「意識」状態のモデル化
にも関連している。
が上述したようにして形成されると、LTMネット2が
また、STMネットワークの出力ベクトルをLTMネッ
ト2のセントロイドに直接割り当てることにより、形成
される。言い換えれば、発展プロセスの初期段階(すな
わち、最も最初の入力パターンベクトルが入ってきてか
ら、LTMネット2が満たされるまで)においては、そ
れぞれのLTMネットワークがGRNNにより表現され
るので、LTMネット2内のセントロイドは、それぞれ
のセントロイドベクトルに関連したクラスの「ラベル」
(すなわち、これは、上式(3)に定義された一連の特
性関数からなる目的ベクトルにより与えられる。)に従
って、それぞれのサブネットワーク内に分散されてい
る。
i(i=1,2,…,Ncl、ここで、Nclはそれぞ
れのLTMネットワーク内のサブネットの数に等しいク
ラスの数である。)へのセントロイドの追加が、サブネ
ットi内のセントロイドの総数が最大数M
LTM 2,iに達するまで繰り返される。なお、この
ような追加ができなくなった場合には、サブネットi内
のセントロイドのうち最も発火の弱いセントロイドがL
TMネット3に移動する。なお、サブネットワークの数
は、LTMネット2〜Lにおいて同一となるよう固定さ
れている。
対応しており、次のようにしてまとめられる。(なお、
ここでは、出力ベクトルがクラスiに属するものと仮定
する。) <フェーズ2:LTMネットワーク群(LTMネット2
〜L)の形成> ステップ1:j−1からL−1まで、次のことを行う。
もし、LTMネットjのサブネットi内のセントロイド
の数がMLTM j,iに達したら、LTMネットjの
サブネットi内のセントロイドのうち最も発火の弱いセ
ントロイドをLTMネットj+1に移動する。
ネットi内のセントロイドの数がM LTM L,iに達し
たら(すなわち、LTMネット2〜L内の全てのi番目
のサブネットワークが満たされたら)、新しいSTMネ
ットワークの出力ベクトルを記憶する場所がないことと
なる。このため、次のことを行う。
ットi内のセントロイドのうち最も発火の弱いセントロ
イドを放棄する。
〜2のサブネットi内のセントロイドのうち最も発火の
弱い全てのセントロイドをそれぞれ、LTMネットL〜
3に順次移す。
クの出力ベクトルを、LTMネット2のサブネットiに
記憶する。
(first-in-last-out)型のキュー構造に類似した手順
を表している。
0のLTMネットワーク群が層構成(LTMネット2〜
L)をなしているという点に基づいたものである。な
お、HA−GRNN10の出力ONETは、決定ユニッ
ト13により、次式(6)のように、重み付けされたL
TMネットワーク群の出力OLTM,i(i=1,2,
…)の中で最も大きい値として選択される。
Mネット1の出力OLTM,1ための重みの値v1は、
次式(7)に示すように、他のものよりも比較的大きく
与えられているが、これは、HA−GRNN10からの
「直感型出力」を考慮したものである。
が形成された後、フェーズ3において、LTMネットワ
ーク群の再構築が行われる。このような再構築は、ある
特定の時間または一定の期間内、または特定の入力パタ
ーンベクトルの下での幾つかのLTMネットワーク内の
セントロイドの発火が強まったために行われる。なお、
LTMネットワーク群の再構築が行われている間は、入
ってくる入力パターンベクトルが処理されることは許さ
れない。
られる。
TMネット2〜L)の再構築(自己発展)> ステップ1:LTMネット2〜l(l<=L)内の全て
のセントロイドベクトルを集める。
ントロイドベクトルを、入ってくる入力パターンベクト
ルとして設定する。
NN10に与える。このプロセスはp回繰り返される。
(図2において、このステップの流れは、点線矢印21
で表されている。) ここで、フェーズ3は、LTMネット2〜L内のセント
ロイドにより張られるパターン空間を「整える(shape
up)」ために導入されたものである。
法としては、上述した事例ベースの処理(instance-bas
ed operation)以外にも、クラスタリングの技術を用い
て既存のLTMネットワークを圧縮することにより新た
なLTMネットワーク(セントロイドの組)を得るとい
う手法(文献[8]参照)を適用することもできる。しか
しながら、上述したクラスタリングの技術は、既に報告
されているとおり、代表ベクトル(representative vec
tors)の数が小さくなるにつれて、しばしば、パターン
空間を崩壊させてしまう可能性がある。
において、ある期間内で比較的発火の強いセントロイド
の幾つかがLTMネット1に移動される。LTMネット
1に新たに割り当てられたそれぞれのセントロイドは、
上述したとおり、最終的にRBF−NNを形成し、入力
ベクトルに対する直接的な接続を有する。
られる。
ワーク群の形成/再構築の間、入力パターンベクトルが
HA−GRNN10に与えられる度に、LTMネット2
〜L内のセントロイドの中で最も発火が強くなったセン
トロイドの発火回数が監視される。なお、発火回数は、
入ってくる入力パターンベクトルのクラスIDと最も発
火の強いセントロイドのそれとが一致するときにのみ増
加される。
(例えばq)に、LTMネット2〜L内のセントロイド
の全ての発火回数をリストアップし、最も大きい発火回
数を有するN個のセントロイドを得る。ここで、Nは次
式(8)の条件を満たすものである。
イドの総数が、MLTM 1−N(すなわち、M
LTM 1はLTMネット1内のセントロイドの最大数
を表し、N≦MLTM 1とみなす。)より小さいか、
またはそれに等しいならば、N個のセントロイドの全て
をLTMネット1に移動させる。そうでない場合には、
LTMネット1内の(MLTM 1−N)個のセントロ
イドはそのままの状態で残し、LTMネット1内の残り
のセントロイドをN個の新たに得られたセントロイドに
置き換える。
るそれぞれのセントロイドに対して、入力パターンベク
トルへの直接的な経路を作成する。(このプロセスは、
図2において太線矢印22で示されている。) 他のLTMネットワーク群(LTMネット2〜L)と異
なり、LTMネット1内のセントロイドの半径の値は発
展プロセスの間に変化してはならない。これは、その半
径の値によるセントロイドの強い発火がLTMネット1
に移された後も続くことが予期されるからである。
10の発展プロセスの基礎を与える。以下、HA−GR
NN10の発展プロセスにより、どのようにして、脳の
2つの精神的な機能(すなわち、「直感」および「意
識」)の働きが解釈されるのかを説明する。
> (HA−GRNNによる「直感」のモデル)日常の生活
において、我々はしばしば、『事物が正しいことは分か
るが、それがなぜであるかを説明することができず、ま
た、その証拠または証明を見出すことができない』、と
いうような場面に直面する。このことは、いわゆる「直
感」の働きとみなされている。
て、「直感」は、特定の入力パターンベクトルに対して
LTMネットワーク群内で異常に強い発火を有する、あ
る特定の組のセントロイドが存在すること、というよう
に解釈される。
内の神経の特定の活動に関連した情報処理に関して説明
されるという観点から引き出されたものである(例え
ば、文献[19]参照)。
くる入力パターンベクトルに対しては2つの経路があ
る。2つの経路を有するということは、HA−GRNN
の出力が、通常の入力パターンベクトルに対し、入力パ
ターンベクトルが2段階の記憶システム(すなわち、S
TMネットワークおよびLTMネットワーク群)に通さ
れた後で生成され、ある特定の入力パターンについて
は、LTMネット1内の幾つかのニューロンが、「直
感」的な出力(直感型出力)を生じるのに十分興奮する
ことにより生成される、ということを意味している。
という根拠は、上述したHA−GRNN10の発展プロ
セスに関して説明したように、LTMネット1が、LT
Mネット2〜L内のある特定の数のセントロイドに対し
て強い発火をもたらす入力パターンベクトルの比較的長
い間繰り返される提示を行った後に形成されている、と
いうことにある。言い換えれば、STMネットワークか
らLTMネット2〜Lへのセントロイドの移行は、通常
の学習プロセスとみなされ、LTMネット2〜LからL
TMネット1へのセントロイドの移行は後にHA−GR
NNの「直感」的な出力を生成する可能性を与えるもの
である。
い考えをひらめいた。』とか、『眠っているときに、恐
ろしい悪夢によって突然起きてしまった。』といったエ
ピソードを聞くことがある。これらもまた、直感と同
様、記憶の自己発展中に脳内で生じている現象として説
明される。HA−GRNN10の場合には、これは、L
TMネットワーク群の再構築フェーズ中に、LTMネッ
トワーク群内の幾つかのセントロイドがある特定のレベ
ルを十分に越える程発火する、というフェーズ3と関連
している。また、これらのセントロイドは、比較的長い
期間、または(ほとんど)永久的に(特に記憶に残る事
件の場合等にたとえられる)、LTMネットワーク群内
に残ることがある。このような解釈は、人が一旦ある振
る舞いの技能を修得したら、人は長い間それを忘れな
い、という生物学的な事実(文献[20]および文献[21]参
照)にも合致するものである。
デル)「意識」という言葉は具体的ではなく、それが本
来的に非常に広くかつ複雑な意味を内包していることか
ら、「意識」についての明確な定義というものは意に添
わないものになりがちである。このため、ここでは、自
己再帰性を使う解釈を認めることなく、HA−GRNN
の場合における「意識」という用語を限定的に用いるこ
とにする。
デル化の試みは、知能ロボティックスの開発の動機付け
となり、またその中で利用されている(文献[2]〜文献
[5]参照)。一つの具体化の例として、人工マウスによ
り迷路探索を実現するというモデルが考案されているが
(文献[5]および文献[24]参照)、その人工マウスの動
きは、「意識アーキテクチャ」と呼ばれる、階層的な概
念モデルにより制御される(文献[24]参照)。このモデ
ルにおいて、マウスは、経路探索の遂行に関して意識的
であるという状態を表す高階層のメモリを導入し、低階
層のメモリを実際の動きのために用いるとともに高階層
のメモリにより「意識」状態をコントロールすることに
より、迷路探索を続ける。
なモデルは、「意識」状態を表す「階層的」な構造を有
するという点において一致している。このため、次の推
定2が導かれる。
う状態は、STMネットワーク内のセントロイドによっ
て表現される。
ットワークからLTMネットワーク群へのセントロイド
の移行は「フィードフォワード」移行とみなされるの
で、フィードバック移行、すなわちLTMネットワーク
群からSTMネットワークへの移行についても当然考え
られる。このため、フェーズ2および3のフィードフォ
ワード移行処理と対照的な次のフェーズ5をHA−GR
NNの発展プロセスに追加することが好ましい(図5参
照)。
STMネットワークへのフィードバック(「意識」状態
の形成)> ステップ1:LTMネットワーク群内で発火した、ある
特定のクラスに対応するセントロイドの中から、過度に
発火した回数が最も大きいm個のセントロイドを集め
る。(つまり、この処理がHA−GRNNの「意識」状
態に対応している。) ステップ2:m個のセントロイドのコピーをSTMネッ
トワーク内のm個の最も発火の弱いセントロイドと置き
換えられる。(ここで、(MSTM−m)個の最も発火
の強いセントロイドはそのままの状態に保たれる。)こ
のようにして選ばれたm個のセントロイドは、それらの
セントロイドベクトルを変えることなく(ただし、半径
は変わる)、STMネットワーク内である一定の比較的
長期間残る。
残る他のセントロイドのパラメータは学習中に変わるの
で、上記のようにコピーされたm個のセントロイドの半
径の値も変わり得る。言い換えれば、m個のセントロイ
ドとSTMネットワーク内の残りの(MSTM−m)個
のセントロイドとの比率は「意識のレベル」を説明する
ものとして解釈される。このため、次の推定3が引き出
される。
トワーク群から選ばれたm個の最も発火の強いセントロ
イドの数と、STMネットワーク内の残りの(MSTM
−m)個のセントロイドの数との比率によって決定され
る。このことは「学習」プロセスの一部とみなされる。
為(文献[16]参照)(学習中に獲得された情報が徐々に
長期記憶に記憶される行為)についての神経物理学的な
証拠にも関連している。
てくる入力パターンベクトル(または一組のパターンベ
クトル)は脳への入力情報と比較されるものであり、バ
ッファの機能を果たすSTMネットワーク内に一時的に
記憶される。それから、発展プロセス中に、STMネッ
トワーク内のセントロイドにより表される情報は、フェ
ーズ1〜3に示すように、選択的にLTMネットワーク
群に移行される。反対に、(セントロイドを示してい
る)あるクラスについての「意識」は所定のタイミング
で生じるとされるので、LTMネットワーク群内の幾つ
かのセントロイドがSTMネットワークに一旦戻され
る。(このような相互作用は「学習」プロセスと比較さ
れる(文献[16]参照)。) HA−GRNN10の場合において、初期の段階で与え
られた発展プロセスは、厳密に言うと、偶発的なもので
はないので、与えられた問題に応じて、あらかじめ「意
識」状態をプログラムしておくこともできる。(しか
し、特定の応用問題における移行処理を適切に設定する
ことにより、HA−GRNN10を自律的に発展させる
こともまた可能である。)例えば、パターン分類タスク
の場合において、「HA−GRNNが総数Nmax個の
中でN個のクラスについてのみ意識的である」というよ
うに、クラスの数をN<Nmaxに限定するようにして
もよい。
ズ1および2において、入力パターンベクトルを一時的
に記憶するためのSTMネットワーク11を形成し、さ
らに、当該STMネットワーク11の出力ベクトルを入
力ベクトルとして割り当てることにより、階層的なLT
Mネットワーク群(LTMネット2〜L)を順次形成す
るので(フェーズ1および2)、長期記憶型ニューラル
ネットワーク群としてのLTMネット2〜Lにより、情
報の「重要さ」や「魅力度」等に基づいた階層的な分類
システムを明瞭かつ容易に実現することができ、このた
め、与えられたタスクに対して高い汎化能力を実現する
ことができる。
トワーク(LTMネット2〜L)の構成として、複数の
ラジアル基底関数をセントロイド(ニューロン)として
持つ一般回帰型ニューラルネットワーク(GRNN)を
用いているので、重みベクトルに対する繰り返しの学習
が全く必要とされず、与えられたタスクに応じてネット
ワークを柔軟に構成することが可能である。
において、LTMネットワーク群(LTMネット2〜
L)内の全てのセントロイドのうち比較的発火の強いセ
ントロイドのパラメータを引き継いで、STMネットワ
ークの出力ベクトルが直接入力される直感型出力用のL
TMネットワーク(LTMネット1)を形成しているの
で、ある特定の入力パターンについて、LTMネット1
内の幾つかのセントロイドから「直感」的な出力(直感
型出力)が生じるようにHA−GRNN10を学習させ
ることにより、脳の精神的な機能の一つである「直感」
のモデル化を実現することができる。
5において、LTMネットワーク群(LTMネット2〜
L)内のある特定のクラスに属するセントロイドのうち
比較的発火の強いセントロイドそのものをSTMネット
ワークのセントロイドとして戻して(フィードバックさ
せて)いるので、入力パターンベクトルが最初に入力さ
れるSTMネットワーク内の特定されたクラスに対する
汎化能力が高められる。このため、脳の精神的な機能の
一つである「意識」状態が人工的に造り出される。
ーズ3において、ある特定の時間または一定の期間内、
または特定の入力パターンベクトルの下での幾つかのL
TMネットワーク群内のセントロイドの発火の強さに起
因して、LTMネットワーク群(LTMネット2〜L)
を再構築しているので、ネットワーク全体の汎化能力を
より高めることができる。なお、本実施の形態によれ
ば、LTMネットワーク群(LTMネット2〜L)の出
力をSTMネットワークの入力パターンベクトルとして
再度入力することにより、LTMネットワーク群(LT
Mネット2〜L)を再構築しているので、その再構築の
処理をより効率的に行うことができる。
神的な機能をモデル化した人工ニューラルネットワーク
構造の形成方法は、例えば、図7に示すようなコンピュ
ータシステム40上で稼働するプログラムとして簡単に
実現することができる。ここで、コンピュータシステム
40は、バス48と、バス48に接続されたプロセッサ
41、メモリ42およびハードディスク43と、バス4
8に接続された周辺機器(キーボードやマウス等の入力
装置44、ディスプレイやプリンタ等の出力装置45、
FDドライブ46およびCD−ROMドライブ47)と
を備えている。そして、上述したようなプログラムは、
メモリ42やハードディスク43、フレキシブルディス
ク49およびCD−ROM50等のようなコンピュータ
読み取り可能な記録媒体に格納され、プロセッサ41か
ら逐次読み出されて実行されることにより上述したよう
な手順を実現することができる。
ついて述べる。なお、本実施例では、デジタル音声分類
タスクのための典型的なパターンセットを用いてHA−
GRNNを構築するシミュレーション実験を行い、脳の
精神的な機能である「直感」および「意識」状態のモデ
ル化の正当性を確かめた。
データベース(文献[25]参照)から抽出されるデータセ
ットを用いてHA−GRNNを構築した。SFSデータ
ベースは、パターン分類タスクのベンチマーク用のパブ
リックドメインのデータベースである。シミュレーショ
ン実験において、データセットは/ZERO/から/NINE/まで
の数字についての全部で900の発話からなっている。
各発話は、英語により9人の異なった話者(同数の女性
および男性の話者を含む)によって記録されたものであ
る。実験では、データセットを任意に2つの組に分け、
一つはHA−GRNNを構築するためのもの(すなわ
ち、入ってくるパターンセット)として用い、他はテス
トのためのものとした用いた。構築用のデータセットは
全部で540の発話サンプル(それぞれの数字について
等しく54のサンプルが選ばれた。)を含み、一方、テ
スト用のデータセットは全部で360のサンプル(それ
ぞれの数字について36のサンプル)からなっている。
両方のセットにおいて、それぞれの発話は20kHzで
サンプリングされ、良く知られているLPC−mel−
cepstral分析により得られた、正規化された2
56のデータポイントのセットを持つ特徴ベクトル(fe
ature vector)に変換された。このため、特徴ベクトル
がHA−GRNNの入力パターンベクトルとして用いら
れた。
定)表1に、シミュレーション実験で用いられたHA−
GRNNのネットワーク構築用のパラメータを示す。
LTM 3,i(i=1,2,…,10(クラスIDで
ある1,2,…,10のそれぞれに対応する))の値は
任意に選択されたものであり、Nclはクラス(すなわ
ち、10個の数字)の数に等しくなるように選択された
ものである。このような設定において、LTMネット1
〜3内のセントロイドの総数であるM
LTM,Totalは次式(9)に従って計算され、こ
こでは85となる。
STMネットワークの設計において、表1に示すよう
に、MSTM=30、γ=2(上式(4))を用いた。
これにより、STMネットワークは、構築中に10個の
全てのクラスを網羅的にかつ合理的にカバーし、LTM
ネットワーク群に対するバッファとして機能する。ま
た、上式(5)において、thS TM=0.1および平
滑化ファクタλ=0.6を用いた。予備的なシミュレー
ション実験では、λ=0.6の選択により、k平均クラ
スタリング手法(文献[27]参照)の場合に比べて、HA
−GRNNの比較的良好な汎化特性が経験的に得られ
た。
ット2〜Lの半径の設定に関して、γ=1/4(上式
(4))がHA−GRNNの発展プロセス中に良好な汎
化特性を維持するための合理的な選択であることが分か
った。また、LTMネット1からの「直感型出力」を励
起させるため、v1は2.0に固定され、vi(i=
2,3,…,L)は次式(10)のような線形減衰によ
り与えられた。
はシミュレーション実験の発展プロセスのスケジューリ
ングの一例を示す図である。図6において、tはHA−
GRNNにt番目に入ってくるパターンベクトルに対応
している。シミュレーション実験においては、フェーズ
1〜5の全てをカバーするよう、t1=200、t2=
201、t3=400と設定した。(なお、発展時間t
2後に生じるLTMネット1の形成は、上述したとお
り、入ってくる入力パターンベクトルの比較的長い提示
の後に生じるようスケジューリングされている。)シミ
ュレーション実験において、フェーズ3の再構築はt1
において生じる。発展プロセスは最終的にt=540
(すなわち、学習用に入ってくる全てのベクトルの数)
で止まる。シミュレーション実験において、HA−GR
NNの自己発展(t1で生じる)はp=2にスケジュー
リングされた。(すなわち、自己発展プロセスが2回行
われ、この設定は汎化能力に何ら影響を与えないことが
分かった。) (シミュレーション結果)HA−GRNNによるパター
ン認識能力を把握するため、発展プロセスが終了した
後、STMネットワークがバイパスされ、LTMネット
1〜Lのみを用いて、テスト中における汎化特性が評価
された。
GRNNを用いて得られたコンフュージョンマトリック
ス(confusion matrix)を示す。
れていない。これに対し、表3は、比較のため、HA−
GRNNと同一の数(すなわち、全部で85のセントロ
イドが用いられる。)のセントロイドをそれぞれのサブ
ネットに有する従来のGRNNを用いて得られたコンフ
ュージョンマトリックスを示している。
いるマックイーン(MacQueen)のk平均クラスタリング
手法(文献[27]参照)により求められている。公平な比
較をなすため、それぞれのサブネット内のセントロイド
は、k平均クラスタリング手法を、それぞれの数字(す
なわち、数字/ZERO/から数字/NINE/まで)ごとに54の
サンプルを含むそれぞれの(入ってくるパターンベクト
ルの)サブセットに対して適用することにより得た。
較して、表2に示すように、ほぼクラス全体を通してH
A−GRNNの汎化特性における優位性があり、それに
加えて、それぞれの数字に関しての汎化性能が、数字/N
INE/を除いて、比較的高い。これに対し、従来のGRN
Nでは、表3に示すように、数字ごとにその性能が変化
する。このことは、k平均クラスタリング手法により得
られたセントロイドにより張られるパターン空間が偏っ
ていることを示している。
セス中において、直感型出力が3回生成され、この3回
のうち2回は、数字/TWO/として、正しく分類された。
これに対し、テスト中においては、360個のうち16
個のパターンベクトルがLTMネット1からの直感型出
力の生成をもたらし、この16個のうち13個のパター
ンが正しく分類された。12個のパターンベクトルと、
クラスID(すなわち、数字番号)に対応するそれぞれ
のセントロイドベクトルとの間のユークリッド距離は比
較的小さく、最小に近い。(実際にも、パターン番号8
3および89と、数字/TWO/および/EIGHT/のセントロイ
ドとの間のユークリッド距離はそれぞれLTMネット1
において最小であった。)このような結果から、直感型
出力は、入ってくるパターンベクトルがLTMネット1
内のそれぞれのセントロイドベクトルと非常に近いとき
に生成されやすい、ということが分かる。
ュレーション)表2において、数字/FIVE/および/NINE/
の結果は比較的悪い。HA-GRNN内に「意識」状態
のモデルを持つことの有効性を評価するため、数字/FIV
E/および/NINE/の両方に対して意図的に「意識」状態を
持たせた。
STMネットワーク内の30個のセントロイドのうち1
0個のセントロイドが、t3の発展時間後、それぞれの
数字に固定された。また、数字/FIVE/および/NINE/に対
する悪い汎化特性は(おそらく)それらのクラスに対す
るセントロイドの数が不十分であることによるので、L
TMネット2および3内のセントロイドの最大の数M
LTM 2,i,MLT M 3,i(i=5および10)
をそれぞれ増加させた。
状態を持つHA−GRNNにより得られたコンフュージ
ョンマトリックスが示されている。
部で8個のセントロイド(すなわち、LTMネット2お
よび3のそれぞれに4個ずつ)(最初の8個の(4個で
はなく)の最も発火の強いものに対応するもの)が(フ
ェーズ4に続いて)選択され、LTMネット2および3
の両方のサブネット10に追加される(すなわち、LT
Mネット1〜3のセントロイドの総数は最終的に93ま
で増加する。)。表4において、数字/NINE/の汎化特性
は、表2に示す場合と比べて、61.1%まで改良され
た。なお、それに伴って、数字/ZERO/および/FIVE/の汎
化特性もまた改良されたことは非常に興味深い。
INE/の両方の「意識」状態を持つHA−GRNNにより
得られたコンフュージョンマトリックスを示している。
を持つ場合と同様に、2つの数字に対する合計で16個
のセントロイドがそれぞれサブネット6および10に追
加される。(このため、LTMネット1〜3内のセント
ロイドの総数は最終的に101まで増加する。)表2の
場合と比較して、数字/FIVE/に対する汎化特性は、数字
/ZERO/、/THREE/および/NINE/と同様に、劇的に改良さ
れた。
能の改良は両方とも期待されたものではなかったので、
数字/NINE/に対するパターン空間は他の数字に比べて完
全にカバーすることがより難しいことが分かる。
ション実験により、HA−GRNNの発展プロセスの正
当性がパターン分類タスクの範囲内で確かめられた。具
体的には、汎化特性の有効性が調査され、k平均クラス
タリング手法を用いた従来のGRNNに比べて優位性が
確認された。
`The brain as a computer,'' in Proc. Int. Conf. Br
ain Processes, Theories and Models, MIT Press: Cam
bridge, MA, 1995. [2] I. Aleksander, ``Impossible minds: my neurons,
my consciousness,'' Imperial College Press, 1996. [3] R. A. Brooks, ``From earwigs to humans,'' Pro
c. Int. Symp. ``Conceptformation, thinking, and th
eir development'', Int. Inst. Advanced Studies, Ky
oto, 1996. [4] R. A. Brooks, ``A robust layered control syste
m for a mobile robot,'' IEEE J. Robotics and Autom
ation, RA-2-1, pp. 14-23, 1986. [5] T. Kitamura, Y. Otsuka, and Y. Nakao, ``Imitat
ion of animal behaviorwith use of a model of consc
iousness - behavior relation for a small robot,''
Proc. 4th IEEE Int. Workshop on Robot and Human Co
mmunication, pp. 313-316, Tokyo, 1995. [6] D. F. Specht, ``A general regression neural ne
twork,'' IEEE Trans. Neural Networks, Vol. 2, No.
6, pp.568-576, Nov, 1991. [7] S. Haykin, ``Neural networks: a comprehensive
foundation'', Macmillan College Publishing Co. In
c., 1994. [8] T. Hoya and J. A. Chambers, ``Heuristic patter
n correction scheme using adaptively trained gener
alized regression neural networks,'' IEEE Trans. N
eural Networks, Vol. 12, No. 1, pp. 91-100, Jan. 2
001. [9] R. C. Atkinson and R. M. Shiffrin, ``Human mem
ory: a proposed systemand its control processes,''
in K. W. Spence and J. T. Spence (Eds.), The Psyc
hology of Learning and Motivation, Vol. 2, pp. 89-
195, New York:Academic Press, 1968. [10] D. A. Reynold and R. C. Rose, ``Robust text-i
ndependent speaker identification using Gaussian m
ixture speaker models,'' IEEE Trans. Speechand Aud
io Processing, Vol. 3, No. 1, Jan. 1995. [11] V. Vapnik, ``The nature of statistical learni
ng theory,'' SpringerVerlag, New York, 1995. [12] Papers in the proceedings of IEEE Internation
al Workshop on NeuralNetworks for Signal Processin
g. [13] P. D. Wasserman, ``Advanced methods in neural
computing - in Chapter 8, Radial-basis function n
etworks,'' pp. 147-176, Van Nostrand Reinhold, New
York, 1993. [14] J. G. Taylor, B. Horwitz, N. J. Shah, W. A. F
ellenz, H.-W. Mueller-Gaertner, and J. B. Krause,
``Decomposing memory: functional assignmentsand br
ain traffic in paired word associate learning,'' N
eural Networks,Vol. 13, No. 8-9, pp. 923-940, Oct.
/Nov. 2000. [15] M. S. Gazzaniga, R. B. Irvy, and G. R. Mangu
n, ``Cognitive neuroscience - the biology of the m
ind: Chapter 7: memory systems,'' W. W. Norton \&
Company, New York/London, 1998. [16] O. Hikosaka, S. Miyachi, K. Miyashita, and M.
K. Rand, ``Procedurallearning in monkeys - possib
le roles of the basal ganglia,'' in ``Perception,
memory and emotion: frontiers in neuroscience,'' p
p. 403-420, eds. T. Ono, B. L. McNaughton, S. Molo
tchnikoff, E. T. Rolls, andH. Nishijo, Elsevier, 1
996. [17] Y. Shigematsu, M. Ichikawa, and G. Matsumoto,
``Reconstitution studies on brain computing with
the neural network engineering,'' in ``Perception,
memory and emotion: frontiers in neuroscience,''
pp. 581-599, eds. T. Ono, B. L. McNaughton, S. Mol
otchnikoff, E. T. Rolls, andH. Nishijo, Elsevier,
1996. [18] L. R. Squire, ``Memory and brain,'' Oxford Un
iv. Press, New York/Oxford, 1987. [19] M. Minsky, ``Emotions and the Society of Min
d,'' in Emotions and Psychopathology, Manfred Clyn
es and Jack Panksepp, eds., Plenum Press, N.Y., 19
88. [20] C. I. Hovland, ``Human learning and retentio
n,'' in: Handbook of experimental psychology, pp.
613-689, S. S. Stevens (ed.), John Wiley, 1951. [21] P. A. Kolers, ``Reading a year later,'' J. Ex
p. Psychol.: Human learn. and memory, Vol. 2, pp.
554-565, 1976. [22] Sir J. Eccles, ``Evolution of consciousnes
s,'' in ``Brain mechanisms of perception and memor
y: from neuron to behavior,'' eds. T. Ono, L. R. S
quire, M. E. Raichle, D. I. Perrett, and M. Fukud
a, Oxford Univ. Press, 1993. [23] M. Jibu and K. Yasue, ``Quantum brain dynamic
s and consciousness: an introduction,'' John Benja
mins, Amsterdam, 1995. [24] N. Matsumoto, ``The brain and biophysics,'' K
yo-ritsu Shuppan Press, 1997 (in Japanese). [25] M. Huckvale, ``Speech Filing System Vs3.0 --
Computer Tools For Speech Research'', University C
ollege London, Mar. 1996. [26] J. R. Deller Jr, J. G. Proakis, and J. H. L.
Hansen, ``Discrete-Time Processing of Speech Signa
ls'', Macmillan, NJ, 1993. [27] J. B. MacQueen, ``Some Methods for Classifica
tion and Analysis of Multivariate Observations'',
in Proc. Symp. Matho. Stat. Prob., 5th ed. Berkele
y, CA: Univ. of Calif. Press, Vol. 1, pp. 281-297,
1967.
の精神的な機能である「直感」および「意識」状態を比
較的簡単な人工ニューラルネットワークモデル(既存の
ニューラルネットワーク素子等により表現可能なモデ
ル)を用いて具現化することができる。
型ニューラルネットワーク(HA−GRNN)の前提と
なる一般回帰型ニューラルネットワーク(GRNN)を
説明するための図。
型ニューラルネットワーク(HA−GRNN)の全体構
成を示す概念図。
クの詳細を示す図。
詳細を示す図。
型ニューラルネットワーク(HA−GRNN)の発展プ
ロセスを説明するためのフローチャート。
おける発展プロセスのスケジューリングの一例を示す
図。
タシステムの一例を示す図。
A−GRNN) 11 STMネットワーク 12 LTMネットワーク群 13 決定ユニット
Claims (7)
- 【請求項1】脳の精神的な機能をモデル化した人工ニュ
ーラルネットワーク構造の形成方法において、 入力パターンベクトルを一時的に記憶するための短期記
憶型ニューラルネットワークを形成するステップと、 前記短期記憶型ニューラルネットワークの出力ベクトル
に基づいて、通常出力用の長期記憶型ニューラルネット
ワークを形成するステップと、 前記通常出力用の長期記憶型ニューラルネットワーク内
のニューロンのパラメータを引き継いで、階層的な通常
出力用の長期記憶型ニューラルネットワーク群を順次形
成するステップとを含むことを特徴とする、人工ニュー
ラルネットワーク構造の形成方法。 - 【請求項2】前記通常出力用の長期記憶型ニューラルネ
ットワークは、複数のラジアル基底関数を前記ニューロ
ンとして持つ一般回帰型ニューラルネットワークである
ことを特徴とする、請求項1記載の人工ニューラルネッ
トワーク構造の形成方法。 - 【請求項3】前記通常出力用の長期記憶型ニューラルネ
ットワーク群内の全てのニューロンのうち比較的発火の
強いニューロンのパラメータを引き継いで、前記短期記
憶型ニューラルネットワークの出力ベクトルが直接入力
される直感型出力用の長期記憶型ニューラルネットワー
クを形成するステップをさらに含むことを特徴とする、
請求項1記載の人工ニューラルネットワーク構造の形成
方法。 - 【請求項4】前記通常出力用の長期記憶型ニューラルネ
ットワーク群内の全てのニューロンのうち比較的発火の
強いニューロンのパラメータを前記短期記憶型ニューラ
ルネットワークのニューロンのパラメータとしてフィー
ドバックさせるステップをさらに含むことを特徴とす
る、請求項1記載の人工ニューラルネットワーク構造の
形成方法。 - 【請求項5】所定のタイミングで、前記通常出力用の長
期記憶型ニューラルネットワーク群を再構築するステッ
プをさらに含むことを特徴とする、請求項1記載の人工
ニューラルネットワーク構造の形成方法。 - 【請求項6】前記通常出力用の長期記憶型ニューラルネ
ットワーク群の出力を前記短期記憶型ニューラルネット
ワークの入力パターンベクトルとして再度入力すること
により、前記通常出力用の長期記憶型ニューラルネット
ワーク群を再構築することを特徴とする、請求項5記載
の人工ニューラルネットワーク構造の形成方法。 - 【請求項7】請求項1乃至6のいずれか記載の方法をコ
ンピュータに対して実行させることを特徴とする、人工
ニューラルネットワーク構造の形成プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001291235A JP4925235B2 (ja) | 2001-09-25 | 2001-09-25 | 脳の精神的な機能をモデル化した人工ニューラルネットワーク構造の形成方法 |
US10/253,642 US7747549B2 (en) | 2001-09-25 | 2002-09-25 | Long-term memory neural network modeling memory-chaining functions of the brain wherein a pointer holds information about mutually related neurons and neurons are classified hierarchically by degree of activation |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001291235A JP4925235B2 (ja) | 2001-09-25 | 2001-09-25 | 脳の精神的な機能をモデル化した人工ニューラルネットワーク構造の形成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003099756A true JP2003099756A (ja) | 2003-04-04 |
JP4925235B2 JP4925235B2 (ja) | 2012-04-25 |
Family
ID=19113414
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001291235A Expired - Fee Related JP4925235B2 (ja) | 2001-09-25 | 2001-09-25 | 脳の精神的な機能をモデル化した人工ニューラルネットワーク構造の形成方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4925235B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008533615A (ja) * | 2005-03-14 | 2008-08-21 | エル ターラー、ステフエン | ニューラルネットワーク開発およびデータ解析ツール |
KR101081458B1 (ko) | 2009-11-20 | 2011-11-08 | 아주대학교산학협력단 | 개방형 시스템 및 역할을 동적으로 할당하는 방법 |
JP2013235548A (ja) * | 2012-05-08 | 2013-11-21 | Linfops Kk | 脳型感情表現ロボットの制御方法 |
KR101817016B1 (ko) | 2016-06-24 | 2018-01-09 | 고려대학교 산학협력단 | 실시간 폐회로 뇌-인공신경망 인터페이스 장치 및 그 방법 |
CN109661673A (zh) * | 2016-09-07 | 2019-04-19 | 罗伯特·博世有限公司 | 用于计算rbf模型的模型计算单元和控制设备 |
CN111047482A (zh) * | 2019-11-14 | 2020-04-21 | 华中师范大学 | 基于层次记忆网络的知识追踪***及方法 |
CN112083719A (zh) * | 2020-08-19 | 2020-12-15 | 东北大学秦皇岛分校 | 一种基于预设性能函数的有限时间车队控制方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105095966B (zh) * | 2015-07-16 | 2018-08-21 | 北京灵汐科技有限公司 | 人工神经网络和脉冲神经网络的混合计算*** |
-
2001
- 2001-09-25 JP JP2001291235A patent/JP4925235B2/ja not_active Expired - Fee Related
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008533615A (ja) * | 2005-03-14 | 2008-08-21 | エル ターラー、ステフエン | ニューラルネットワーク開発およびデータ解析ツール |
KR101081458B1 (ko) | 2009-11-20 | 2011-11-08 | 아주대학교산학협력단 | 개방형 시스템 및 역할을 동적으로 할당하는 방법 |
JP2013235548A (ja) * | 2012-05-08 | 2013-11-21 | Linfops Kk | 脳型感情表現ロボットの制御方法 |
KR101817016B1 (ko) | 2016-06-24 | 2018-01-09 | 고려대학교 산학협력단 | 실시간 폐회로 뇌-인공신경망 인터페이스 장치 및 그 방법 |
CN109661673A (zh) * | 2016-09-07 | 2019-04-19 | 罗伯特·博世有限公司 | 用于计算rbf模型的模型计算单元和控制设备 |
CN109661673B (zh) * | 2016-09-07 | 2023-05-26 | 罗伯特·博世有限公司 | 用于计算rbf模型的模型计算单元和控制设备 |
CN111047482A (zh) * | 2019-11-14 | 2020-04-21 | 华中师范大学 | 基于层次记忆网络的知识追踪***及方法 |
CN112083719A (zh) * | 2020-08-19 | 2020-12-15 | 东北大学秦皇岛分校 | 一种基于预设性能函数的有限时间车队控制方法 |
CN112083719B (zh) * | 2020-08-19 | 2022-04-01 | 东北大学秦皇岛分校 | 一种基于预设性能函数的有限时间车队控制方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4925235B2 (ja) | 2012-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Qolomany et al. | Parameters optimization of deep learning models using particle swarm optimization | |
Dietterich | Ensemble learning | |
US5050095A (en) | Neural network auto-associative memory with two rules for varying the weights | |
Rakesh et al. | An ensemble of kernel ridge regression for multi-class classification | |
US7747549B2 (en) | Long-term memory neural network modeling memory-chaining functions of the brain wherein a pointer holds information about mutually related neurons and neurons are classified hierarchically by degree of activation | |
Nguyen et al. | Neural network structure for spatio-temporal long-term memory | |
Wlodarczak et al. | Multimedia data mining using deep learning | |
CN114341891A (zh) | 神经网络剪枝 | |
Zhuang et al. | Better learning for bidirectional associative memory | |
US5469530A (en) | Unsupervised training method for a neural net and a neural net classifier device | |
Xiong et al. | Binary ant colony evolutionary algorithm | |
Froelich et al. | Predictive capabilities of adaptive and evolutionary fuzzy cognitive maps-a comparative study | |
JP2003099756A (ja) | 脳の精神的な機能をモデル化した人工ニューラルネットワーク構造の形成方法 | |
Hoya et al. | Heuristic pattern correction scheme using adaptively trained generalized regression neural networks | |
Lasfer et al. | Neural network design parameters for forecasting financial time series | |
Zhang et al. | Introduction to artificial neural network | |
Hoya | Notions of intuition and attention modeled by a hierarchically arranged generalized regression neural network | |
Huynh et al. | Training single hidden layer feedforward neural networks by singular value decomposition | |
Song et al. | Memristive neural network based reinforcement learning with reward shaping for path finding | |
Petritis | Thermodynamic formalism of neural computing | |
Zhao et al. | Particle swarm algorithm for classification rules generation | |
Starzyk et al. | Software simulation of a self-organizing learning array system | |
Owens et al. | A multi-output-layer perceptron | |
Valdez et al. | Neural network optimization with a hybrid evolutionary method that combines particle swarm and genetic algorithms with fuzzy rules | |
JPH0855098A (ja) | ニューラルネットワーク・クラシファイアおよびニューラルネットワークの構成法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080912 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110816 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111005 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111021 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120104 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120203 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150217 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |