JPH03189858A - ネットワーク構成データ処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔概要〕 ネットワーク構成データ処理装置とその学習処理方式に
関し、 出力信号としてアナログレベルを取り扱えるようにする
とともに、そのアナログレベルを扱うネットワーク構造
の内部状態値の学習を高速に実行できるようにすること
を目的とし、 出力層を構成する基本ユニットが直線変換処理を実行す
るよう構成し、あるいは、出力層を構成する基本ユニッ
トが閾値関数の直線領域上に写像される教師値に従って
学習された内部状態値を用いて閾値変換処理を実行する
よう構成することで、アナログレベルを取り扱えるネッ
トワーク構成データ処理装置を構成するとともに、 上下限値をとる教師値の個数が増加することでもたらさ
れるアナログレベルの教師値に関しての内部状態値の学
習時間の遅延の問題に対して、上下限値をとらないアナ
ログレベルの教師値から算出される内部状態値の学習の
更新量を増幅するよう処理することで内部状態値の学習
の高速化を実現する。

〔産業上の利用分野〕

本発明は、ネットワーク構造によるデータ変換処理機能
に従って適応的なデータ処理を実行するネットワーク構
成データ処理装置とそのネットワーク構造の重み値を学
習するための学習処理方式に関し、特に、アナログレベ
ルを取り扱えるネットワーク構成データ処理装置とその
ネットワーク構造の重み値の学習を高速に実行できるよ
うにする学習処理方式に関するものである。

従来の逐次処理コンピュータ（ノイマン型コンピュータ
）では、使用方法や環境の変化に応じてデータ処理機能
を調節することができないので、パターン認識や適応フ
ィルタ等の分野を中心に、新たに階層ネットワークによ
る並列分散処理方式に従う適応性を有するデータ処理装
置が提案されてきている。このネットワーク構成のデー
タ処理装置では、データ処理機能を規定するところのネ
ットワーク構造の重み値を学習処理により求めていく必
要がある。この学習処理方式として、特に、バンク・プ
ロパゲーション法と呼ばれる学習処理方式（Ｄ、Ｅ、Ｒ
ｕｍｅｌｈａｒｔ、　Ｇ、Ｅ、Ｈ４ｎｔｏｎ＋ａｎｄＲ
，Ｊ、１１ｉ１１ｉａＩＩｓ、　”Ｌｅａｒｎｉｎｇ　
Ｉｎｔｅｒｎａｌ　Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓｋ
ｙ　Ｅｒｒｏｒ　Ｐｒｏｐａｇａｔｉｏｎ　、　ＰＡＲ
ＡＬＬＥＬ　ＤＩＳＴＲＩＢｔｌＴＥＤ　ＰＲＯＣＥＳ
ＳＩＮＧ、　Ｖｏｌ、ｌ、　ｐｐ、３１８−３６４．　
Ｔｈｅ　ＭＩＴ　Ｐｒｅｓｓ、　１９８６）がその実用
性の高さから注目されている。

この階層ネットワーク構造をとるデータ処理装置では、
基本ユニットと呼ぶ一種のノードと、内部状態値に相当
する重み値を持つ内部結合とから階層ネットワークを構
成している。第１１図に、基本ユニット１の基本構成を
示す。この基本ユニント１は、多大カー出力系となって
おり、複数の入力に対し夫々の内部結合の重み値を乗算
する乗算処理部２と、それらの全乗算結果を加算する累
算処理部３と、この累算値に非線型の閾値処理を施して
一つの最終出力を出力する閾値処理部４とを備える。そ
して、このような構成の多数の基本ユニット１が、入力
信号値をそのまま分配して出力する入カニニット１”を
入力層として、第１２図に示すように階層的に接続され
ることで階層ネットワークが構成され、入力パターン（
入力信号）を対応する出力信号（出力パターン）に変換
するというデータ処理機能を発揮することになる。

この階層ネットワークに対して、バック・プロパゲーシ
ョン法では、学習用に用意された入力パターンに対して
出力される階層ネットワークからの出力パターンが教師
パターン（教師信号）となるべく、所定の学習アルゴリ
ズムに従ってｌＪｉネットワーク中の内部結合の重み値
を決定していくことになる。そして、この処理により重
み値が決定されると、想定していなかった入力信号が入
力されることになっても、この階層ネットワークから、
それらしい出力信号を出力するという“柔らかい゛デー
タ処理機能が実現されることになる。

このような構成のネットワーク構成データ処理装置を実
用的なものにしていくためには、アナログレベルの出力
パターンを取り扱えるようにしていく必要があるととも
に、そのようなアナログレベルの出力パターンを得られ
るようにする重み値の学習処理をより短時間で実現でき
るようにしていく必要がある。

〔従来の技術〕

階層ネットワーク構成をとるデータ処理装置では、ｈ層
を前段層としｉ層を後段層とすると、基本ユニット１の
累算処理部３では下記の（１）式の演算を実行し、閾値
処理部４では下記の（２）式の演算を実行する。

Ｘｅｉ”’Σ７ｐｈＷｔｈ　　　　　　　　　　　（１
）式７、ｔ＝　１　／　（１＋ｅｘｐ（−ｘ、ｔ＋θｉ
））　　（２）式但し、 ｈ　：ｈ層のユニット番号 ｊ　ｚｊ層のユニット番号 ｐ　：入力信号のパターン番号 θ、：ｉＪｉの１番ユニットの閾値 Ｗ１：ｈ−１層間の内部結合の重み値 ｘｐ、：Ｐ番目パターンの入力信号におけるｈ層の各ユ
ニットからｉ層の１番ユニッ トへの入力の積和 ｙｐｈＣＰ番巨パターンの入力信号に対するｈ層のｈ番
ユニットからの出力 ｙ２、：２番目パターンの入力信号に対するｉ層の１番
ユニットからの出力 バック・プロパゲーション法では、この重み値Ｗ、ｈと
閾値θ８とを誤差のフィードバックにより適応的に自動
羽部して学習することになる。この重み値Ｗ８、と閾値
θ、との調節は同時に実行される必要があるが、（１）
　（２）式から明らかなようにこの作業は相互に干渉す
る難しい作業となる。そこで、本出願人は、先に出願の
「特願昭６２−３３３４８４号（昭和６２年１２月２８
日出願、“ネットワーク構成データ処理装置１）」で開
示したように、入力側のｈ層に常に“１″を出力すると
ともにその出力に対して閾値θ直を重み値として割り付
ける基本ユニット１を設けることで、閾値θ直を重み値
Ｗｉｈの中に組み込んで閾値θ８を重み値として扱うよ
うにすることを提案した。このようにすることで、上述
の（１）弐及び（２）式は、 ｘｐ、＝ΣｙｐｈＷ、ｋ（３）式 ｙ　ｐｒ＝　１　／　（１＋　ｅｘｐ（ｘ　ｐ＋））　
　　　（４）式で表されることになる。

次に、この（３）　（４）式の記述形式ものに従って、
バンク・プロパゲーション法による重み値の学習処理の
従来技術について説明する。ここで、この従来技術の説
明は、第１２図に示すようなｈ層−１層−ｊ層という３
層構造の階層ネットワークをもって行うことにする。

（３）　（４）式からの類推によって次の式が得られる
。

すなわち、 Ｘ□＝ΣＹｐｉＷｊｉ　　　　　　　　　　（５）式ｙ
、Ｊ＝　１　／（１＋ｅｘｐ（ｘｐ＝））　　　　（６
）式但し、 ｊ　　： Ｗ、、： Ｘｐｊ： ｊ層のユニット番号 ｉ−ｊ層間の内部結合の重み値 ２番目パターンの人力信号に対する ｉ層の各ユニットからｊ層の３番ユ ニットへの入力の積和 ）’ｐｊｅＰ番目パターンの入力信号に対するｊ層の３
番ユニットからの出力 バック・プロパゲーション法では、下記の（７）式に従
って、出力層からの出力パターンと該出力パターンのと
るべき信号となる教師パターンとの誤差の二乗和である
誤差ベクトル成分Ｅ、を算出し、下記の（８）式に従っ
て、その誤差ベクトル成分Ｅｐの総和Ｅを階層ネットワ
ークのデータ処理機能の誤差として算出する。

Ｅ−＝　’ＡΣ（ｙ、Ｊ−ｄ、Ｊ）ｔ（７）式Ｅ＝ΣＥ
ｐ　　　　　　　　　　　　（８）式但し、 Ｅ、：２番目パターンの入力信号に対しての誤差ベクト
ル成分 Ｅ　：全パターンの人力信号に対しての誤差ベクトル成
分の総和 ｄｏｊｊＰ番目パターンの入力信号に対するｊＮｊ番目
ユニットへの教師信号 ここで、誤差ベクトル成分Ｅ、とｊ層からの出力信号ｙ
□との関係を求めるため、（７）式をｙ、１に関して偏
微分すると、 ＢＥ。

θｙＰｊ を得る。更に、誤差ベクトル成分Ｅ２と１層への入力Ｘ
ｐｊとの関係を求めるため、誤差ベクトル成分Ｅ、をＸ
ｐｊで偏微分すると、 ａＥｐ　　　　ＢＥ、　　　　ｅＶ□ θＸｐｊ　　　　θｙ、ｊ　　　θＸｐｊ−δｐ；Ｙｐ
；　（１ｙｐｉ） を得る。更に、誤差ベクトル成分Ｅ、とｉ−ｊ層間の重
み値Ｗ　ｊ　ｉとの関係を求めるため、誤差ベクトル成
分Ｅ２をＷｊ＋で偏微分すると、ａＥ１１　　　　　Ｂ
Ｅ、　　　　θＸ□θＷｊＩ　　　θＸｐｊ　　　　ａ
ＷＪ□−δｐ；Ｙｐｉ　（１）’ｐｊ）　）’ｐｉ＝−
αｐｉ　ｙ　ｐｔ　　　　　　　　（９）式の積和で表
される解を得る。ここで、 α、−−ｄｐｊ）’ｐ、（１）’ｐｊ）＝　（ｄｐｊ−
ｙｐ＝）［ｙｐＪ（１−ｙｐＪ）］（１０）式 と定義されるものである。以下、この「α２．」を第１
の更新係数と称するとともに、この第１の更新係数中の
［［ｙ２、（１ｙ　ｐａ）］　Ｊを誤差伝播係数と称す
ることにする。

次に、ｉ層の出力ｙｐＬに対する誤差ベクトル成分Ｅ２
の変化を求めると、 θｙ２．　　　　　θＸ□　　　　θｙｐｉ＝Σδ２、
ｙ、、（１ｙｐ□）Ｗｈ を得る。更に、ｉ層入カニニットへの総和Ｘｐｉの変化
に対する誤差ベクトル成分Ｅ、の変化を計算すると、 θＸ□　　　　　　θｙ□　　　　θｘ、。

θＥ、　　　　　θｙ２、 θｙ１　　　　θＸｐｉ ＝［Σδ、ＪｙｐＪ（１−ｙ□）Ｗｊｔｌ　Ｙｐｒ（１
）’ｐｉ）の積和で表される解を得る。更に、ｈ−ｉ層
間の重み値ｗｔｈの変化に対する誤差ベクトル成分Ｅ。

の変化の関係を求めると、 ＢＥ、　　　　　　ａＥ１１　　　　ａＸＩ、ＪθＥ、
　　　　　θＸｐｉ θｘ、ｔ　　　　　ａＷｔｂ ＝（Σδｐｒｙｐｊ（１）’ｐＪ）Ｗｊｔｌｙｐｔ（Ｉ
　　Ｙｐｒ＞Ｖｐｈ−−ｄｐｊ　ｙ　ｐｈ　　　　　　
　　　　　　（１１）式の積和で表される解を得る。こ
こで、 βｐｉ＝［Σδｐ；）’ｐｊ（１−ｙｐ；）Ｗに］　）
’ａｔ（１−Ｌｐ＋）＝ｙｐ＋（１）’ｐ＋）Σα、、
Ｗ、、　　　　（１２）式と定義される。以下、この「
β２．」を第２の更新係数と称することにする。

（９）式から、全入力パターンに対する階層ネットワー
クの誤差Ｅとｉ−ｊ層間の重み値Ｗ４．との関係を求め
ると、 θＷ５、 ＝−Σα１ｌｊｙｐ！ （１３）式 また、（１１）式から、全入力パターンに対する階層ネ
ットワークの誤差Ｅとｈ−４層間の重み値Ｗｌｋとの関
係を求めると、 ａＷｔｂ ＝−Σβｐｉ　）’　ｐｂ　　　　　　（１４）式％式
％ （１３）　（１４）式は、各層間の重み値の変化に対す
る階層ネットワークのデータ処理機能の誤差Ｅの変化率
を示していることから、この値が常に負になるように重
みを変化させると、公知の勾配法により階層ネットワー
クの誤差Ｅを漸近的にＯとすることができる。

そこで、バック・プロパゲーション法では、最初に、（
１０）　（１２）式に従って、第１の更新係数αｌ、ｊ
及び第２の更新係数β、。

αｐｊ＝　（ｄｐＪ）’ｐｊ）［）’ｐＪ　（１）’ｐ
＝）］βｐ五−７ｐ五（ｌｙｅム）Σ　α、、Ｗ、轟を
算出し、次に、この算出されたαｐｊ＋β、１を用いて
下記の（１５）　（１６）式に従って重み値の一回当た
りの更新量ΔＷ　ｊ　Ｉ　＋Δｗｚｈを算出し、（１５
）式 （１６）式 但し、ε（〉０）は学習定数 続いて、この算出した更新量に従って次の更新サイクル
のための重み値 ＷＪ、（ｔ）　＝Ｗｊｉ（ｔ−１）＋ΔＷｊｉ（ｔ）Ｗ
、ｈ（ｔ）　＝Ｗ、ｈ（ｔ−１）＋ΔＷ＋ｈ（ｔ）但し
、ｔは学習回数 を決定していく方法を繰り返していくことで、階層ネッ
トワークの誤差Ｅが極小値となる重み値Ｗ、、、Ｗ、、
を学習するよう処理している。

更に、バック・プロパゲーション法では、この極小値へ
の収束の加速を図るために、 ΔＷＪ＋（ｔ）　　＝εΣα、ｊｙｐｌ＋ζΔＷ　Ｊｉ
　（ｔ−１）（１５’）式 ％式％（１） （１６’）式 但し、ζ（〉０）はモーメンタム というように、（１５）　（１６）式により算出される
更新量に前回の更新サイクル時に決定された重み値の更
新量に係るデータ因子を付は加えるという更新規則を採
ることが行われている。

〔発明が解決しようとする課題〕

しかるに、出力層の基本ユニットｌから出力される出力
信号値ｙ２、は、上述の（６）式で説明するように、 ｙｐｊ＝　１　／（１＋ｅｘｐ（−χ２．））という閾
値関数であり、第１３図に示すような人出力特性を示す
ものである。この第１３１！Ｉから分かるように、出力
信号値ｙｐｊは、“１”と“０”との間の値をとり、か
つ入力信号値Ｘｐ＝が°“０゛。

をとる近傍領域でのみ“１”、“０”以外の値をとると
ともに、その領域での値は入力信号値χ２、に対して非
線形なものとなる性質を示すものである。

これから、従来のネットワーク構成のデータ処理装置で
は、出力パターンの出力値が“１”か“０”をという２
値レベルをとるものを処理対象とするデータ処理につい
ては、バック・プロパゲーション法でもって十分な精度
でネットワーク構造の重み値の学習を実行できるものの
、出力値が“１″から“０”の間の任意のアナログレベ
ルをとるものを処理対象とするデータ処理については、
十分な精度でネットワーク構造の重み値の学習を実行で
きないという問題点があった。すなわち、′ビ　ＩＩ　
Ｑ　ｎ以外の値については非線形な特性を示すことから
、重み値がなかなか安定したものに収束せず、これが為
に、従来のネットワーク構成データ処理装置では、出力
値がアナログレベルとなるデータ処理対象に対しては精
度がでないという問題点があった。

更に、従来のバック・プロパゲージロン法による重み値
の学習処理方式では、確率値を特性値とするものの分類
処理等にみられるような、学習の教師パターンのかなり
の数の教師値の値が閾値関数の出力する下限値である“
０″で、少ない数の教師値が“１”から“Ｏ′′の間の
アナログレベルをとるというものを扱うデータ処理に対
して、重み値の学習速度が著しく遅くなるという問題点
があった。すなわち、バック・プロパゲーション法では
、上述の（１５）　（１６）弐（あるいは、（１５°）
　（１６’　）式）により重み値の更新量を決定してい
くことになるが、例えば教師パターンの出力パターンが
１次元（出力層の基本ユニット数が１個ということ）で
その個数が４００個ある場合を想定してみるに、４００
個ある教師値のかなりな数が“０”であるとすると、重
み値の更新量が教師値“０”に関してのデータにより支
配されてしまうことになり、°“０”以外の教師値に関
してのデータが薄められてしまうことになる。これから
、“０″以外の教師値を出すべき入力パターンに対して
の出力パターンがなかなかその教師値に収束していかな
いという問題があったのである。この問題は、かなりの
数の教師値の値が閾値関数の出力する上限値である“１
″である場合にも起こる問題でもある。

本発明はかかる事情に鑑みてなされたものであって、ア
ナログレベルを取り扱える新たなネットワーク構成デー
タ処理装置を提供することを目的とするとともに、その
ネットワーク構造の重み値の学習を高速に実行できるよ
うにする新たな学習処理方式の提供を目的とするもので
ある。

〔課題を解決するための手段〕 第１図は、階層ネットワークの出力層の基本ユニット１
に直線関数を用いることで構成される本発明の第１の発
明の原理構成図である。図中、１０は本発明を構成する
ネットワーク構成データ処理装置であって、アナログレ
ベルの識別処理を取り扱えるもの、１１ａは第１の発明
の階層ネットワーク部であって、階層ネットワーク構造
を備えて該階層ネットワーク構造とその構造のもつ内部
状態値とにより規定されるデータ変換機能に従って入力
パターンに対応する出力パターンを算出して出力するも
の、１２は内部状態値格納部であって、階層ネットワー
ク部１１ａがデータ変換処理の実行時に必要とする内部
状態値を管理するもの、１３はリミッタであって、階層
ネットワーク部１１ａから出力される出力値を教師パタ
ーンの教師値の上下限値でもって制限するものである。

この第１の発明の階層ネットワーク部１１ａは、入力パ
ターンを受け取って出力する複数個の入カニニット１“
−ｈにより構成される入力層と、複数の入力とこれらの
入力に対して乗算されるべき内部状態値（重み値）とを
受け取って積和を得るとともに、この得られた積和値を
閾値関数によって変換して最終出力を得るよう処理する
基本ユニット１−ｉの複数個により構成されて１つ又は
複数段備えられる中間層と、複数の入力とこれらの入力
に対して乗算されるべき内部状態値とを受け取って積和
を得るとともに、この得られた積和値を直線関数によっ
て変換して最終出力を得るよう処理する基本ユニットｌ
−ｊの１つ又は複数個により構成される出力層とを備え
るとともに、入カユニット１’−ｈと基本ユニットｌ−
ｉとの間、基本ユニット１．−ｉの相互間、基本ユニッ
ト１−ｉと基本ユニット１−ｊとの間で接続がなされ、
かつ、この各接続に対応して設定される内部状態値に従
って階層ネットワーク構造が実現されることになる。

２０は本発明を構成する学習処理装置であって、バック
・プロパゲーション法に従って階層ネットワーク部１１
ａの内部状態値の学習処理を高速に実行するもの、２１
は学習パターン格納部であって、内部状態値の学習処理
のために必要となる学習パターンを格納するもの、２２
は学習パターン提示部であって、学習対象の学習パター
ン群を学習パターン格納部２１から読み出して、その内
の入力パターン群を階層ネットワーク部１１ａに提示す
るとともに、その内の教師パターン群を次に説明する更
新係数算出部２３に提示するもの、２３は更新係数算出
部であって、定数値に設定される誤差伝播係数を使い、
３層の階層ネットワーク構造で説明するならば上述の（
１０）式に従って第１の更新係数αｐＪを算出するとと
もに、この算出された第１の更新係数α２、を使って上
述の（１２）式に従って第２の更新係数β、量を算出す
るもの、２４は更新係数算出部２３が備える学習完了判
定部であって、階層ネットワーク部１１ａがらの出力パ
ターンｙ□が教師パターンｄｐｊに収束することを検出
することで内部状態値の学習の完了を検出するもの、２
５は更新量算出部であって、上述の（＋５）　（１６）
式等に従って内部状態値の更新量を算出するもの、２６
は内部状態値更新部であって、更新量算出部２５により
算出された更新量に従って内部状ａ値格納部１２の内部
状態値を更新するものである。

第２図は、階層ネットワークの出力層の基本ユニット１
の閾値関数の直線領域を利用することで構成される本発
明の第２の発明の原理構成図である。図中、第１図で説
明したものと同じものについては同一の記号で示しであ
る。１１ｂは第２の発明の階層ネットワーク部であって
、階層ネットワーク構造を備えて該階層ネットワーク構
造とその構造のもつ内部状態値とにより規定されるデー
夕変換機能に従って入力パターンに対応する出力パター
ンを算出して出力するもの、１４はリミッつてあって、
階層ネットワーク部１１ｂから出力される出力値を指定
領域値に変換された教師値の上下限値でもって制限する
もの、１５椿よ値域復元部であって、リミッタ１４の出
力値を変換前の教師値の値域に変換するものである。こ
の第２の発明の階層ネットワーク部１１ｂは、第１の発
明の階層ネットワーク部１１ａとは異なって、出力層の
基本ユニット１−ｊは、算出された積和値を閾値関数に
よって変換して最終出力を得るよう処理する。

２７は値域変換部であって、学習パターン提示部２２か
ら提示される教師パターンの教師値を閾値関数の直線領
域上の指定領域値に変換して更新係数算出部２３に提示
するものである。これから、第２の発明では、学習処理
装置２０は、値域変換部２７により変換された教師値を
もつ教師パターンに従って内部状態値の学習を実行する
よう処理する。

〔作用〕

本発明の第１の発明では、出力層の基本ユニット１ｊが
、上述の（６）式で示す ｙ□＝　１　／　（１＋ｅｘｐ（ｘ　ｐｊ））但し、　
　　Ｘ２、＝ΣＶ　１ｌｉＷｊｉに従って出力パターン
ｙ□を算出するのではなくて、直線変換処理を規定する ｙ、ｊ−Σｙｐ、Ｗ。

に従って出力パターンｙｐｊを算出して出力する構成を
とる。この構成により、出力値の上限値“１″（係数に
より任意の値に設定できる）と下限値”０”との間が線
形なものとなるので、バック・プロパゲーション法に従
い十分な精度でもって内部状態値の学習が実行できるよ
うになる。従って、出力値が１″や“０″以外の値とな
るアナログレベル値のデータ処理も扱えるようになる。

この構成を採ると、データ処理用の人カバターンが入力
されるときにおいて、出力パターンｙ、ｊの出力値が教
師パターンの教師値の上下限値を外れるという不都合が
生ずることが起こる。これに対応するために、リミッタ
１３が、出力パターンＶｐｉの各出力値が教師値の上下
限値内に収まるよう処理することになる。

バック・プロパゲージタン法による学習を行うときにお
いて、第１及び第２の更新係数α２．。

β２．の大きさを規定することになる誤差伝播係数［）
’　ｐｊ（１−Ｙ　ｐｊ）］の値は、第３図に示すよう
な双曲線を示すことになる。誤差伝播係数がこのような
双曲線を示すということは、アナログレベル値のデータ
処理を扱う場合、内部状態値の学習が教師値のアナログ
レベル値によって異なる速度でもって進行していくこと
を意味する。

この不都合を解消するために、本発明の更新係数算出部
２３は、誤差伝播係数の値を出力層の基本ユニット１−
ｊが閾値関数を用いるときの値と概略同一レベルとなる
正の定数値に設定して、第１の更新係数α、を算出する
とともに、この算出された第１の更新係数α、、を使っ
て第２の更新係数β２．を算出するよう処理することに
なる。この構成をとることで、学習処理装置２０は、１
”から“０”の間にあるアナログレベルをとる教師値に
対して均一な速度でもって内部状態値の学習を実行でき
るようになるので、ｌ　ＩＩ　、　ｌ“０°゛をとる教
師値に引きずられることなく内部状態値の学習をより高
速に実行できるようになる。また、誤差伝播係数の値が
正の定数に設定されることで、閾値関数を使用する場合
には起こらなかった誤差伝播係数が負の値（第３図の“
１”以上の領域と“０″゛以下の領域）をとることにな
るという不都合を解消することもできることになる。

本発明の第２の発明では、出力層の基本ユニット１−ｊ
が閾値関数に従って出力パターンｙ□を算出して出力す
る構成をとるときにあって、値域変換部２７により“１
”から°°０”の値をもつ教師値を例えば“０．８”か
ら００．２′の領域に変換して、この変換された教師値
に従って内部状態値の学習を実行するよう処理する。こ
の処理に従って、閾値関数の直線領域部分で出力パター
ンＹｐＪの算出処理が実行されることになる。これから
、出力値が“１″や°゛０″０″以外なるアナログレベ
ル値のデータを扱う内部状態値の学習が十分な精度でも
って実行できるようになり、そのようなアナログレベル
値のデータ処理も扱えるようになる。この構成を採ると
、データ処理用の入力パターンが人力されるときにおい
て、出力パターンＶｅｉの出力値が変換された直線領域
のものに区切られてしまうという不都合が生ずる。これ
に対応するために、リミフタ】４で出力パターンｙ１の
各出力値が教師値の上下限値内に収まるよう処理を実行
した後に、値域復元部１５で本来の値域に変換するよう
処理することになる。

そして、第１及び第２の発明にあって、更新係数算出部
２３は、教師パターンの教師値に該教師値の下限値若し
くは上限値のいずれか一方をとるものが多いときには、
その値をとらない教師値と対応の出力パターンの出力値
とから算出される誤差値を例えば５倍といったように増
幅することで第１の更新係数α１を増幅するよう処理す
る。この増幅処理に従って、その教師値に関しての内部
状態値の更新量が大きくなることから、多い数をとる下
限値若しくは上限値の教師値の方に引きずられることな
（内部状態値の学習をより高速に実行できるようになる
。

そして、第１及び第２の発明にあって、更新係数算出部
２３は、教師パターンの教師値の多くが下限値をとるも
のにおいて、該下限値を外れる出力パターンの出力値に
ついては誤差値をないものとして扱うことで第１の更新
係数α、ｊをないものとして扱い、一方、教師パターン
の教師値の多くが上限値をとるものにおいて、該上限値
を外れる出力パターンの出力値については誤差値をない
ものとして扱うことで第１の更新係数α、Ｊをないもの
として扱うよう処理する。下限（ｉ　（上限値）を外れ
るものがあっても、実際の処理のときはりミンク１３に
より制限されてしまうことから実際上問題となることは
ない。この処理はこのことを利用するもので、この処理
に従って無駄な学習が省かれ内部状態値の学習をより高
速に実行できるようになる。

〔実施例］ 以下、実施例に従って本発明の詳細な説明する。

第１図で説明したように、本発明では、階層ネットワー
クの出力層の基本ユニット１−ｊの入出力の変換関数と
して、従来から用いられている閾値関数に換えて直線関
数を用いるよう構成する。すなわち、出力層の基本ユニ
ット１−ｊは、Ｖｐｊ＝Σ７ｐｉＷｊｉ に従って出力パターンｙＰ、を算出して出力する構成を
とる。この構成により、出力パターンｙｐＪの値が線形
なものとなり教師値がアナログレベルをとる場合であっ
ても重み値を精度よく学習できることになるので、出力
値がアナログレベルとなるデータ処理を高精度でもって
実行できるようになるのである。

そして、第２図で説明したように、本発明では、出力層
の基本ユニットｉｊの変換関数として閾値関数を使用す
る場合において、その閾値関数の直線領域だけを使用す
るよう構成する。すなわち、教師値の値を例えば０．８
”から“０．２”に変換して重み値の学習を実行するこ
とで、第４図に示すように、出力パターンｙ１の値をこ
の“０．８”から“０．２１の範囲に制限するとともに
、実際のデータ処理にあたっては、この“０．８２から
“０．２”の範囲に制限された出力パターンＹｐｊＯ値
を本来の値域である“１”から“０”に戻すことで、閾
値関数の直線領域だけを使用するよう構成する。この構
成により、出力パターンｙ、ｊの値が概略線形なものと
なることで、教師値がアナログレベルをとる場合であっ
ても重み値を精度よく学習できることになり、出力値が
アナログレベルとなるデータ処理を高精度でもって実行
できるようになるものである。

更に、本発明では、誤差伝播係数の値が教師値のアナロ
グレベル値の大きさによって変動してしまうという不都
合を解決するために、誤差伝播係数１ｙｐｉ　（１ｙｐ
ｊ）］の値を、定数値とするとともに、従来のバック・
プロパゲーション法による学習との整合性をとるために
、この定数値を出力層の基本ユニット１−ｊが閾値関数
を用いるときの値と概略同一レベルの定数値に設定する
よう構成するものである。この定数値の値は、例えば、
第５図に示すように、誤差伝播係数［ｙｐ；Ｎ−ｙｐｊ
）ｌの平均値をとるということで、の値として設定され
ることになる。この値に設定されると、上述の（１０）
式で定義される第１の更新係数α２、は、 但し、Ｅｐｉ＝　（ｄ　ｐＪ−ｙｐＪ）と表されること
になる。

このようにして、出力値がアナログレベルとなるものの
データ処理を扱えるようになると、種々の新たな問題が
発生する。その１つに、確率値を特性値とするものの分
類処理等にみられるような、教師パターンのかなりの数
の教師値の値が下限値である“０”で、少ない数の教師
値が“１”から０°゛の間のアナログレベルをとるとい
うものを扱うデータ処理に関して、重み値の学習に時間
がかかり過ぎることになるという問題点がある。すなわ
ち、〔従来の技術〕の欄でも説明したように、このよう
な場合、重み値の更新量が教師値°°０”に関してのデ
ータにより支配されてしまうことになり、°“０”以外
の教師値に関してのデータが薄められてしまうことで”
　ｏ　”以外の教師値についての学習がなかなか収束し
ないということになる。

これに対して、本発明では、第６図（ａ）のフローチャ
ートに示すように、教師値ｄｐｉの値が“０°°でない
ときには、第１の更新係数α、４の大きさを規定するＥ
□をＮ倍することで、第１の更新係数αｐＪを実際のも
のより大きくするよう処理する。この処理に従って、０
゛”でない値をもつ少ない方の教師値に関しての更新量
が大きくなり、従って、その教師値に関しての重み値の
学習の遅延するのを防止できるようになる。そして、教
師値ｄｐｊの値が“０°°であって、かつ出力４ｆＬｙ
ｐ＝の値が負となる場合には、０”に戻すという無駄な
学習を防止するためにＥ、、Ｊの値を“０”に設定する
よう処理するのである。一方、教師値ｄｐｊＯ値が′０
“であって、かつ出力値ｙ２、の値が正となる場合には
、Ｅｐｊに係数を乗算することなく処理することになる
。この処理により、かなりの数の教師値の値が下限値で
ある０゛をとる場合に発生する重み値の学習の遅延の問
題を解決できるようになる。

これとは、逆に、かなりの数の教師値の値が上限値であ
る“１″をとる場合には、第６図（ｂ）のフローチャー
トに従って、第６図（ａ）のフローチャートと同等の処
理を実行することになる。

なお、閾値関数の直線領域を使用することでアナログレ
ベルを取り扱えるようにする構成をとるときにあっては
、第６図（ａ）のフローチャートにおける教師値ｄｐｊ
の値が“０”であるか否かの判断処理は、その直線領域
の下限値でもって実行され、また、第６図（ｂ）のフロ
ーチャートにおける教師値ｄｐｉの値が“１”であるか
否かの判断処理は、その直線領域の上限値でもって実行
されることになる。

次に、第８図ないし第１０図に示すシミュレーション結
果に従って、本発明がアナログレベルのデータ処理を高
精度で処理できるようになるとともに、そのための重み
値の学習を高速でもって行えるようになることを説明す
る。このシミュレーションは、階層ネットワークの構成
を入力層が２０ユニツト、中間層が１０ユニツト、出力
層が１ユニントのものとし、出力層のユニットが直線関
数に従って入出力変換を実行し、重み値の更新量として
（１５’　）　（１６”）式（但し、ε＝１．ぐ＝０．
４　＞を用い、誤差伝播係数の値を１７６に設定し、第
６図（ａ）のフローチャート（但し、Ｎ＝５）に従うも
のとし、教師パターンとして、第７図に示すｌＯＯパタ
ーンを用いることで行った。ここで、第７図の見方は、
例えば、ｓ＝２＋ｔ＝２０＋ｄｐ＝＝１．ＯＯの値をも
つ第２０番目の教師パターンは、入力層の２０ユニツト
の第２番目（Ｓの値）のユニットと第２０番目のユニッ
ト（ｔの値）に“１”が入力され、それ以外の入力層の
ユニットに“０”が入力されるときに、出力層のユニッ
トからの出力値が教師値である“１”となるべきことを
表している。この第７図の教師パターンから分かるよう
に、シミュレーションに用いた教師パターンの教師値の
ほとんどは°“０．００”である。

第８図に示すシミュレーションデータは、本発明と従来
のバンク・プロパゲーション法とで、教師パターンと出
力パターンとの間の誤差値が、学習の進行に伴ってどの
ように変化していくかをプロントしたものである。この
図から分かるように、本発明を用いることで、従来より
も誤差値を小さなものに収束させることが実現できると
ともに、そのための学習回数も大幅に低減できることが
確認された。

第９図に示すシミュレーションデータは、本発明と従来
のバック・プロパゲーション法とで、学習パターンの正
解率（学習用の入力パターンを入力したときの出力パタ
ーンの値が〔教師値±０．０１３に入るときを正解とす
る）が、学習の進行に伴ってどのように変化していくか
をプロットしたちのである。この図から分かるように、
本発明を用いることで、従来よりも高い正解率を少ない
学習回数でもって実現できることが確認された。

第１０図に示すシミュレーションデータは、本発明と従
来のバック・プロパゲーション法とで、学習用の第２０
番目の入力パターンを人力したときの出力パターンの値
が、学習の進行に伴ってどのように変化していくかをプ
ロットしたものである。この図から分かるように、本発
明を用いることで、従来よりも迅速に教師値の“１”に
収束させることができることが確認された。

図示実施例について説明したが、本発明はこれに限定さ
れるものではない。例えば、本出願人は、先に出願の［
特願昭６３−２２７８２５号（昭和６３年９月１２日出
願、“ネットワーク構成データ処理装置の学習処理方式
”）」で、バック・プロパゲーション法の改良を図って
より短時間で重み値の学習処理を実現できるようにする
発明を開示したが、本発明は、この学習方式をとるもの
に対してもそのまま適用できるのである。

〔発明の効果〕

以上説明したように、本発明によれば、適応性を有する
ネットワーク構成データ処理装置において、アナログレ
ベルを出力値とするデータ処理を高精度で実行できるよ
うになるとともに、そのネットワーク構造の重み値の学
習を高速に実行できるようになる。

【図面の簡単な説明】

第１図は本発明の第１の発明の原理構成図、第２図は本
発明の第２の発明の原理構成図、第３図は誤差伝播係数
の説明図、 第４図は本発明が使用する閾値関数の直線領域の説明図
、 第５図は定数値に設定される誤差伝播係数の説明図、 第６図は本発明が実行するフローチャート、第７図はシ
ミュレーションに用いた教師パターンの説明図、 第８図、第９図、第１０図はシミュレーションデータの
説明図、 第１１図は基本ユニットの基本、構成図、第１２図は階
層ネットワーフ抑の基本構成図、第１３図は閾値関数の
入出力特性の説明図である。 図中、■は基本ユニット、１”は入カニニット、２は乗
算処理部、３は累算処理部、４は閾値処理部、１０はネ
ットワーク構成データ処理装置、１１ａ及び１１ｂは階
層ネットワーク部、１２は内部状態値格納部、１３及び
１４はリミッタ、１５は値域復元部、２０は学習処理装
置、２１は学習パターン格納部、２２は学習パターン提
示部、２３は更新係数算出部、２４は学習完了判定部、
２５は更新量算出部、２６は内部状態値更新部、２７は
値域変換部である。

Claims (6)

【特許請求の範囲】
1. （１）前段層からの１つ又は複数の入力と該入力に対し
   て乗算されるべき内部状態値とを受取って積和を得ると
   ともに、該積和値を所定の規定関数によって変換して最
   終出力を得る基本ユニット（１）を基本単位とし、 入力パターンを受け取る入力層を用意し、かつ複数個の
   基本ユニット（１−ｉ）を中間層として１つ又は複数段
   の中間層を備え、かつ１つ又は複数個の基本ユニット（
   １−ｊ）を出力層とし、 入力層と最前段の中間層との間、中間層相互間及び最終
   段の中間層と出力層との間で内部状態値の設定される内
   部結合を構成する階層ネットワーク部（１１ａ）を備え
   るネットワーク構成データ処理装置（１０）であって、 中間層の基本ユニット（１−ｉ）が上記規定関数として
   閾値関数を用いるとともに、出力層の基本ユニット（１
   −ｊ）が上記規定関数として直線関数を用いるよう構成
   し、 かつ、出力層からの出力値を教師パターンの教師値の上
   下限値でもって制限するリミッタ（１３）を備えること
   を、 特徴とするネットワーク構成データ処理装置。
2. （２）請求項（１）記載のネットワーク構成データ処理
   装置（１０）と、 階層ネットワーク部（１１ａ）に提示される入力パター
   ンに応答して出力される出力パターンと対応の教師パタ
   ーンとの誤差値に基づいて内部状態値の更新量を算出し
   て、該更新量に従って内部状態値を順次更新していくこ
   とで内部状態値の学習を実行する学習処理装置（２０）
   とを備えるネットワーク構成データ処理装置の学習処理
   方式であって、上記学習処理装置（２０）は、内部状態
   値の更新量の大きさを決定する所の誤差伝播係数の値を
   、定数値であってかつ出力層の基本ユニット（１−ｊ）
   が上記規定関数として閾値関数を用いるときの値と概略
   同一レベルの値に設定して内部状態値の学習を実行する
   ことを、 特徴とするネットワーク構成データ処理装置の学習処理
   方式。
3. （３）前段層からの１つ又は複数の入力と該入力に対し
   て乗算されるべき内部状態値とを受取って積和を得ると
   ともに、該積和値を閾値関数によって変換して最終出力
   を得る基本ユニット（１）を基本単位とし、 入力パターンを受け取る入力層を用意し、かつ複数個の
   基本ユニット（１−ｉ）を中間層として１つ又は複数段
   の中間層を備え、かつ１つ又は複数個の基本ユニット（
   １−ｊ）を出力層とし、 入力層と最前段の中間層との間、中間層相互間及び最終
   段の中間層と出力層との間で内部状態値の設定される内
   部結合を構成する階層ネットワーク部（１１ｂ）を備え
   るネットワーク構成データ処理装置（１０）において、 内部状態値として、閾値関数の直線領域上の指定領域値
   に変換された教師値に従って学習された値を設定すると
   ともに、 出力層からの出力値を変換後の教師値の上下限値でもっ
   て制限するリミッタ（１４）と、 該リミッタ（１４）の出力値を変換前の教師値の値域に
   変換する値域復元部（１５）とを備えることを、特徴と
   するネットワーク構成データ処理装置。
4. （４）前段層からの１つ又は複数の入力と該入力に対し
   て乗算されるべき内部状態値とを受取って積和を得ると
   ともに、該積和値を閾値関数によって変換して最終出力
   を得る基本ユニット（１）を基本単位とし、入力パター
   ンを受け取る入力層を用意し、かつ複数個の基本ユニッ
   ト（１−ｉ）を中間層として１つ又は複数段の中間層を
   備え、かつ１つ又は複数個の基本ユニット（１−ｊ）を
   出力層とし、入力層と最前段の中間層との間、中間層相
   互間及び最終段の中間層と出力層との間で内部状態値の
   設定される内部結合を構成する階層ネットワーク部（１
   １ｂ）を備えるネットワーク構成データ処理装置（１０
   ）と、 階層ネットワーク部（１１ｂ）に提示される入力パター
   ンに応答して出力される出力パターンと対応の教師パタ
   ーンとの誤差値に基づいて内部状態値の更新量を算出し
   て、該更新量に従って内部状態値を順次更新していくこ
   とで内部状態値の学習を実行する学習処理装置（２０）
   とを備えるネットワーク構成データ処理装置の学習処理
   方式において、教師パターンの教師値を閾値関数の直線
   領域上の指定領域値に変換する値域変換部（２７）を備
   え、上記学習処理装置（２０）は、内部状態値の更新量
   の大きさを決定する所の誤差伝播係数の値を、定数値で
   あってかつ閾値関数使用時の値と概略同一レベルの値に
   設定するとともに、上記値域変換部（２７）により変換
   された教師値をもつ教師パターンを用いて内部状態値の
   学習を実行することを、特徴とするネットワーク構成デ
   ータ処理装置の学習処理方式。
5. （５）請求項（２）（４）記載のネットワーク構成デー
   タ処理装置の学習処理方式において、 教師パターンの教師値に該教師値の下限値若しくは上限
   値のいずれか一方をとるものが多いときにおいては、該
   値をとらない教師値と対応の出力パターンの出力値とか
   ら算出される誤差値を増幅して内部状態値の更新量を算
   出することを、特徴とするネットワーク構成データ処理
   装置の学習処理方式。
6. （６）請求項（５）記載のネットワーク構成データ処理
   装置の学習処理方式において、 教師パターンの教師値の多くが下限値をとるものにおい
   て、該下限値を外れる出力パターンの出力値については
   誤差値がないものとして扱い、一方、教師パターンの教
   師値の多くが上限値をとるものにおいて、該上限値を外
   れる出力パターンの出力値については誤差値がないもの
   として扱うよう処理することを、 特徴とするネットワーク構成データ処理装置の学習処理
   方式。