JP3389684B2 - ニューラルネットワークの学習方法 - Google Patents
ニューラルネットワークの学習方法Info
- Publication number
- JP3389684B2 JP3389684B2 JP16047094A JP16047094A JP3389684B2 JP 3389684 B2 JP3389684 B2 JP 3389684B2 JP 16047094 A JP16047094 A JP 16047094A JP 16047094 A JP16047094 A JP 16047094A JP 3389684 B2 JP3389684 B2 JP 3389684B2
- Authority
- JP
- Japan
- Prior art keywords
- teacher data
- unit
- output
- category
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
Description
【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、階層型のニューラルネ
ットワークに係り、特にパターン認識のための出力層構
成とバックプロパゲーションによる学習処理に関する。 【０００２】 【従来の技術】階層型ニューラルネットワークは、例え
ば、音声認識における音声データから音素列に変換する
処理を行い、この結果を使ってＤＴＷ（動的計画法、Ｄ
Ｐマッチング法）で単語識別を行うという離散単語認識
システムに利用される。従来の階層型ニューラルネット
ワークの例を図４に示す。 【０００３】ユニット（ニューロン）が入力層Ｓと中間
層Ａ及び出力層Ｒのそれぞれ独立な３層に分離される。
入力層Ｓは、多数個のニューロンモデルから成り、識別
しようとする入力パターンの数値情報を各ユニットの入
力とし、神経信号に変換する。 【０００４】中間層Ａは、多数個のニューロンモデルか
ら成り、入力層Ｓのすべてのユニットと結合荷重Ｗをも
って結合される。 【０００５】出力層Ｒは、識別するカテゴリに１対１に
対応する数のニューロンモデルから成り、中間層Ａのす
べてのユニットと結合荷重をもって結合される。 【０００６】この構成において、出力パターンには、そ
の入力パターンに対応する正解を得るため、入力パター
ンを与えたときの出力パターンが教師信号（期待出力）
と一致するようにネットワークの各結合荷重を変化させ
るパターン変換処理がなされる。 【０００７】このパターン変換処理において、出力パタ
ーンと教師信号との誤差を求め、出力層から入力層へ逆
方向へ誤差を伝播させ、この誤差に応じた量だけ各ユニ
ット間の荷重を調整し、再度に入力パターンを与えて出
力パターンと教師信号の誤差を求めるというバックプロ
パゲーション式学習を行う。 【０００８】 【発明が解決しようとする課題】従来のニューラルネッ
トワークにおいて、実用的な問題を取り扱う場合、カテ
ゴリー間のデータの境界があいまいであるとき、また、
カテゴリー内のデータの特徴のバラツキが大きいときな
ど、１ユニットで１つのカテゴリーを代表させることに
無理が生じることが多い。このため、音素識別など認識
対象が複雑化するに伴って認識率が低下する。 【０００９】本発明の目的は、複雑な認識対象に対する
認識能力を高めるニューラルネットワークの学習方法を
提供することにある。 【００１０】 【課題を解決するための手段】本発明は、前記課題の解
決を図るため、入力層と中間層及び出力層を有し、前記
出力層は１つの認識カテゴリーに対して複数のユニット
が設けられ、各層間は記憶装置に格納されている結合荷
重を有して結合される階層型のニューラルネットワーク
を、バックプロパゲーションの規則に基づいて前記結合
荷重と教師データから前記結合荷重の修正量を決定して
前記記憶装置に格納されている結合荷重を書き換えるこ
とによって学習させるニューラルネットワークの学習方
法であり、ある認識カテゴリーＸに設定しようとする教
師データが１か否かをチェックする手順と、前記チェッ
クで教師データが１でなければ当該認識カテゴリーＸの
ユニットに与える教師データを０とする手順と、教師デ
ータが１の認識カテゴリーのユニットのうち、最大出力
になるユニットか否かをチェックする手順と、最大出力
でないユニットにはその出力をそのまま教師データとす
る手順と、最大出力になるユニットには教師データを１
にする手順とを有することを特徴とする。 【００１１】 【作用】認識対象のカテゴリー毎に複数のユニットを用
意した多重化出力層構成とし、バックプロパゲーション
式学習に際して与える教師データは、入力パターンに対
して正解にならないカテゴリーの各ユニットに与える教
師データを０とし、入力パターンに対して正解になるカ
テゴリーの各ユニットのうち、最大値をもつユニットの
みに教師データを与え、他のユニットにはその出力をそ
のまま教師データとして与える。これにより、カテゴリ
ー間の境界を明確にした学習を可能にする。 【００１２】 【実施例】図１は、本発明の一実施例を示す階層型ネッ
トワーク構成図である。本実施例のネットワークが従来
の階層型ニューラルネットワークと異なる部分は、従来
の構成では出力層の各ユニットが認識対象のカテゴリー
に１対１で対応させるのに対し、本実施例では各カテゴ
リーＡ，Ｂ，Ｃ毎に複数（図示では３）のユニットを用
意する。 【００１３】これらユニット中、最大の出力値をもつユ
ニットに属するカテゴリーを認識結果とするのは従来と
同じ手法にされる。 【００１４】本実施例の構成において、ニューラルネッ
トの学習は、基本的にはバックプロパゲーション法によ
るが、多重化された出力ユニットに対してはユニットの
識別表現の分化が生じ易くするよう、誤差の計算プロセ
スを図２に示すアルゴリズムとする。 【００１５】図２において、破線ブロックは、各カテゴ
リーＡ，Ｂ，Ｃに対する教師データ変更処理を示す。あ
るカテゴリーＸに設定しようとする教師データが１か否
かをチェックし（ステップＳ１）、１でなければ当該カ
テゴリーＸのユニットに与える教師データを０とする
（ステップＳ２）。 【００１６】教師データが１のカテゴリーについては、
当該カテゴリーのユニットのうち、最大出力になるユニ
ットか否かをチェックし（ステップＳ３）、最大出力で
ないユニットにはその出力をそのまま教師データとする
（ステップＳ４）。カテゴリー内で最大出力のユニット
には教師データ１を与える（ステップＳ５）。すなわ
ち、学習を行わない。 【００１７】これら教師データの変更処理は、すべての
カテゴリーＡ，Ｂ，Ｃについて行われる。図３は、教師
データの変更例を示し、カテゴリーＡ，Ｂ，Ｃの出力値
がそれぞれ図示の値になり、また、教師データとしてカ
テゴリーＡに１を、他のカテゴリーＢ，Ｃに０を与える
場合を示す。 【００１８】カテゴリーＢ，Ｃについては教師データが
０になるため、ステップＳ１、Ｓ２の経路から、これら
のカテゴリーには教師データに０を与える。 【００１９】カテゴリーＡには教師データが１になるた
め、その３つのユニットのうちの最大出力にならないユ
ニットにはその出力０.１，０.５を教師データとし（ス
テップＳ３、Ｓ４）、最大出力になるユニットには１の
教師データを与える（ステップＳ３、Ｓ５）。 【００２０】図２に戻って、各カテゴリーのそれぞれの
ユニットに与える教師データの変更処理を終了した後、
これら教師データを使って通常のバックプロパゲーショ
ン学習アルゴリズムによる学習を行う（ステップＳ
６）。 【００２１】したがって、本実施例によれば、カテゴリ
ーを複数のユニットとする多重ユニット構成とし、学習
には入力カテゴリー以外のカテゴリーにはそのユニット
の教師データの全てを０にし、正解になるカテゴリーに
はその最大値になるユニットの教師データを１にし、他
のユニットは出力値を教師データとする。 【００２２】これにより、１つのカテゴリーに属してい
ながら他のカテゴリーとの境界があいまいで、識別が従
来難しかったケースでも、出力ユニットの多重化により
学習が無理なく進み、良好なパターン識別が期待でき
る。 【００２３】本実施例に基づく実験例として、ニューラ
ルネットにより音声データから音素識別を行い、この音
素識別結果を使ってＤＴＷで単語識別を行った結果、音
素識別能力及び単語識別能力も向上した。 【００２４】この実験に使用したニューラルネットは、
出力層を２３ユニット（多重出力では２３×２ユニット
とした）であり、その認識結果を従来型のものと対比さ
せて以下の表１に示す。 【００２５】 【表１】 【００２６】この表からも、従来型ニューラルネットが
誤認識しているカテゴリー１４番の音素データに対し、
本発明になる多重出力型では正しい結果を得ている。 【００２７】 【発明の効果】以上のとおり、本発明によれば、認識対
象のカテゴリー毎に複数のユニットを用意した多重化出
力層構成とし、バックプロパゲーション式学習に際して
与える教師データは、入力パターンに対して正解になら
ないカテゴリーの各ユニットに与える教師データを０と
し、入力パターンに対して正解になるカテゴリーの各ユ
ニットのうち、最大値をもつユニットのみに教師データ
を与え、他のユニットにはその出力をそのまま教師デー
タとして与えるようにしたため、カテゴリー間の境界を
明確にした学習を可能にし、複雑な識別対象にも良好な
パターン識別ができる効果がある。
ットワークに係り、特にパターン認識のための出力層構
成とバックプロパゲーションによる学習処理に関する。 【０００２】 【従来の技術】階層型ニューラルネットワークは、例え
ば、音声認識における音声データから音素列に変換する
処理を行い、この結果を使ってＤＴＷ（動的計画法、Ｄ
Ｐマッチング法）で単語識別を行うという離散単語認識
システムに利用される。従来の階層型ニューラルネット
ワークの例を図４に示す。 【０００３】ユニット（ニューロン）が入力層Ｓと中間
層Ａ及び出力層Ｒのそれぞれ独立な３層に分離される。
入力層Ｓは、多数個のニューロンモデルから成り、識別
しようとする入力パターンの数値情報を各ユニットの入
力とし、神経信号に変換する。 【０００４】中間層Ａは、多数個のニューロンモデルか
ら成り、入力層Ｓのすべてのユニットと結合荷重Ｗをも
って結合される。 【０００５】出力層Ｒは、識別するカテゴリに１対１に
対応する数のニューロンモデルから成り、中間層Ａのす
べてのユニットと結合荷重をもって結合される。 【０００６】この構成において、出力パターンには、そ
の入力パターンに対応する正解を得るため、入力パター
ンを与えたときの出力パターンが教師信号（期待出力）
と一致するようにネットワークの各結合荷重を変化させ
るパターン変換処理がなされる。 【０００７】このパターン変換処理において、出力パタ
ーンと教師信号との誤差を求め、出力層から入力層へ逆
方向へ誤差を伝播させ、この誤差に応じた量だけ各ユニ
ット間の荷重を調整し、再度に入力パターンを与えて出
力パターンと教師信号の誤差を求めるというバックプロ
パゲーション式学習を行う。 【０００８】 【発明が解決しようとする課題】従来のニューラルネッ
トワークにおいて、実用的な問題を取り扱う場合、カテ
ゴリー間のデータの境界があいまいであるとき、また、
カテゴリー内のデータの特徴のバラツキが大きいときな
ど、１ユニットで１つのカテゴリーを代表させることに
無理が生じることが多い。このため、音素識別など認識
対象が複雑化するに伴って認識率が低下する。 【０００９】本発明の目的は、複雑な認識対象に対する
認識能力を高めるニューラルネットワークの学習方法を
提供することにある。 【００１０】 【課題を解決するための手段】本発明は、前記課題の解
決を図るため、入力層と中間層及び出力層を有し、前記
出力層は１つの認識カテゴリーに対して複数のユニット
が設けられ、各層間は記憶装置に格納されている結合荷
重を有して結合される階層型のニューラルネットワーク
を、バックプロパゲーションの規則に基づいて前記結合
荷重と教師データから前記結合荷重の修正量を決定して
前記記憶装置に格納されている結合荷重を書き換えるこ
とによって学習させるニューラルネットワークの学習方
法であり、ある認識カテゴリーＸに設定しようとする教
師データが１か否かをチェックする手順と、前記チェッ
クで教師データが１でなければ当該認識カテゴリーＸの
ユニットに与える教師データを０とする手順と、教師デ
ータが１の認識カテゴリーのユニットのうち、最大出力
になるユニットか否かをチェックする手順と、最大出力
でないユニットにはその出力をそのまま教師データとす
る手順と、最大出力になるユニットには教師データを１
にする手順とを有することを特徴とする。 【００１１】 【作用】認識対象のカテゴリー毎に複数のユニットを用
意した多重化出力層構成とし、バックプロパゲーション
式学習に際して与える教師データは、入力パターンに対
して正解にならないカテゴリーの各ユニットに与える教
師データを０とし、入力パターンに対して正解になるカ
テゴリーの各ユニットのうち、最大値をもつユニットの
みに教師データを与え、他のユニットにはその出力をそ
のまま教師データとして与える。これにより、カテゴリ
ー間の境界を明確にした学習を可能にする。 【００１２】 【実施例】図１は、本発明の一実施例を示す階層型ネッ
トワーク構成図である。本実施例のネットワークが従来
の階層型ニューラルネットワークと異なる部分は、従来
の構成では出力層の各ユニットが認識対象のカテゴリー
に１対１で対応させるのに対し、本実施例では各カテゴ
リーＡ，Ｂ，Ｃ毎に複数（図示では３）のユニットを用
意する。 【００１３】これらユニット中、最大の出力値をもつユ
ニットに属するカテゴリーを認識結果とするのは従来と
同じ手法にされる。 【００１４】本実施例の構成において、ニューラルネッ
トの学習は、基本的にはバックプロパゲーション法によ
るが、多重化された出力ユニットに対してはユニットの
識別表現の分化が生じ易くするよう、誤差の計算プロセ
スを図２に示すアルゴリズムとする。 【００１５】図２において、破線ブロックは、各カテゴ
リーＡ，Ｂ，Ｃに対する教師データ変更処理を示す。あ
るカテゴリーＸに設定しようとする教師データが１か否
かをチェックし（ステップＳ１）、１でなければ当該カ
テゴリーＸのユニットに与える教師データを０とする
（ステップＳ２）。 【００１６】教師データが１のカテゴリーについては、
当該カテゴリーのユニットのうち、最大出力になるユニ
ットか否かをチェックし（ステップＳ３）、最大出力で
ないユニットにはその出力をそのまま教師データとする
（ステップＳ４）。カテゴリー内で最大出力のユニット
には教師データ１を与える（ステップＳ５）。すなわ
ち、学習を行わない。 【００１７】これら教師データの変更処理は、すべての
カテゴリーＡ，Ｂ，Ｃについて行われる。図３は、教師
データの変更例を示し、カテゴリーＡ，Ｂ，Ｃの出力値
がそれぞれ図示の値になり、また、教師データとしてカ
テゴリーＡに１を、他のカテゴリーＢ，Ｃに０を与える
場合を示す。 【００１８】カテゴリーＢ，Ｃについては教師データが
０になるため、ステップＳ１、Ｓ２の経路から、これら
のカテゴリーには教師データに０を与える。 【００１９】カテゴリーＡには教師データが１になるた
め、その３つのユニットのうちの最大出力にならないユ
ニットにはその出力０.１，０.５を教師データとし（ス
テップＳ３、Ｓ４）、最大出力になるユニットには１の
教師データを与える（ステップＳ３、Ｓ５）。 【００２０】図２に戻って、各カテゴリーのそれぞれの
ユニットに与える教師データの変更処理を終了した後、
これら教師データを使って通常のバックプロパゲーショ
ン学習アルゴリズムによる学習を行う（ステップＳ
６）。 【００２１】したがって、本実施例によれば、カテゴリ
ーを複数のユニットとする多重ユニット構成とし、学習
には入力カテゴリー以外のカテゴリーにはそのユニット
の教師データの全てを０にし、正解になるカテゴリーに
はその最大値になるユニットの教師データを１にし、他
のユニットは出力値を教師データとする。 【００２２】これにより、１つのカテゴリーに属してい
ながら他のカテゴリーとの境界があいまいで、識別が従
来難しかったケースでも、出力ユニットの多重化により
学習が無理なく進み、良好なパターン識別が期待でき
る。 【００２３】本実施例に基づく実験例として、ニューラ
ルネットにより音声データから音素識別を行い、この音
素識別結果を使ってＤＴＷで単語識別を行った結果、音
素識別能力及び単語識別能力も向上した。 【００２４】この実験に使用したニューラルネットは、
出力層を２３ユニット（多重出力では２３×２ユニット
とした）であり、その認識結果を従来型のものと対比さ
せて以下の表１に示す。 【００２５】 【表１】 【００２６】この表からも、従来型ニューラルネットが
誤認識しているカテゴリー１４番の音素データに対し、
本発明になる多重出力型では正しい結果を得ている。 【００２７】 【発明の効果】以上のとおり、本発明によれば、認識対
象のカテゴリー毎に複数のユニットを用意した多重化出
力層構成とし、バックプロパゲーション式学習に際して
与える教師データは、入力パターンに対して正解になら
ないカテゴリーの各ユニットに与える教師データを０と
し、入力パターンに対して正解になるカテゴリーの各ユ
ニットのうち、最大値をもつユニットのみに教師データ
を与え、他のユニットにはその出力をそのまま教師デー
タとして与えるようにしたため、カテゴリー間の境界を
明確にした学習を可能にし、複雑な識別対象にも良好な
パターン識別ができる効果がある。
【図面の簡単な説明】
【図１】本発明の一実施例を示すニューラルネットワー
ク構成図。 【図２】実施例における誤差の計算アルゴリズム。 【図３】実施例における教師データの与え方の例。 【図４】従来の階層型ニューラルネットワーク構成図。 【符号の説明】 Ｓ…入力層 Ａ…中間層 Ｒ…出力層
ク構成図。 【図２】実施例における誤差の計算アルゴリズム。 【図３】実施例における教師データの与え方の例。 【図４】従来の階層型ニューラルネットワーク構成図。 【符号の説明】 Ｓ…入力層 Ａ…中間層 Ｒ…出力層
フロントページの続き
(58)調査した分野(Int.Cl.7，ＤＢ名)
G06N 1/00 - 7/08
G06G 7/60
G06K 9/62 - 9/72
G06T 1/40
G06T 7/00 - 7/60
G10L 15/00 - 17/00
ＪＳＴファイル（ＪＯＩＳ)
ＣＳＤＢ（日本国特許庁)
ＩＮＳＰＥＣ（ＤＩＡＬＯＧ)
Claims (1)
- (57)【特許請求の範囲】 【請求項１】 入力層と中間層及び出力層を有し、前記
出力層は１つの認識カテゴリーに対して複数のユニット
が設けられ、各層間は記憶装置に格納されている結合荷
重を有して結合される階層型のニューラルネットワーク
を、バックプロパゲーションの規則に基づいて前記結合
荷重と教師データから前記結合荷重の修正量を決定して
前記記憶装置に格納されている結合荷重を書き換えるこ
とによって学習させるニューラルネットワークの学習方
法であり、 ある認識カテゴリーＸに設定しようとする教師データが
１か否かをチェックする手順と、 前記チェックで教師データが１でなければ当該認識カテ
ゴリーＸのユニットに与える教師データを０とする手順
と、 教師データが１の認識カテゴリーのユニットのうち、最
大出力になるユニットか否かをチェックする手順と、 最大出力でないユニットにはその出力をそのまま教師デ
ータとする手順と、 最大出力になるユニットには教師データを１にする手順
とを有することを特徴とするニューラルネットワークの
学習方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16047094A JP3389684B2 (ja) | 1994-07-13 | 1994-07-13 | ニューラルネットワークの学習方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16047094A JP3389684B2 (ja) | 1994-07-13 | 1994-07-13 | ニューラルネットワークの学習方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0830573A JPH0830573A (ja) | 1996-02-02 |
| JP3389684B2 true JP3389684B2 (ja) | 2003-03-24 |
Family
ID=15715652
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16047094A Expired - Fee Related JP3389684B2 (ja) | 1994-07-13 | 1994-07-13 | ニューラルネットワークの学習方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3389684B2 (ja) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0785013B2 (ja) * | 1991-05-14 | 1995-09-13 | 川崎製鉄株式会社 | 鋼板の表面等級判別方法 |
| JPH05135000A (ja) * | 1991-07-04 | 1993-06-01 | Fujitsu Ltd | パターン学習システム |
| JPH07120349B2 (ja) * | 1991-09-19 | 1995-12-20 | 株式会社エイ・ティ・アール視聴覚機構研究所 | 神経回路網学習法およびそれを用いた装置 |
-
1994
- 1994-07-13 JP JP16047094A patent/JP3389684B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0830573A (ja) | 1996-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5095443A (en) | Plural neural network system having a successive approximation learning method | |
| US5687286A (en) | Neural networks with subdivision | |
| Cumming et al. | Testing a positional model of the Hebb effect | |
| JPH08227408A (ja) | ニューラルネットワーク | |
| CN111428871B (zh) | 一种基于bp神经网络的手语翻译方法 | |
| JPH05158910A (ja) | ニューラルネットのトレイン方法及びニューラルネットの分類装置 | |
| US5519805A (en) | Signal processing arrangements | |
| JP3389684B2 (ja) | ニューラルネットワークの学習方法 | |
| US5201026A (en) | Method of architecting multiple neural network and system therefor | |
| JP2000172662A (ja) | ニューラルネットワークの学習方法 | |
| JP3303253B2 (ja) | パターンマッチング方法および装置 | |
| JPH08286922A (ja) | ファジィ・ニューラルネットワーク装置 | |
| JPH0652139A (ja) | ニューラルネットワークのデータ構造 | |
| JPH01232464A (ja) | ニューラルネット構成方法 | |
| JP3491317B2 (ja) | フィードフォワード型ニューラルネットワークの構築方法 | |
| JPH0652140A (ja) | ニューラルネットワークのデータ構造 | |
| JPH0752439B2 (ja) | ダイナミックプログラミング機能を有するニューラルネットワーク | |
| CN117711572A (zh) | 心理调节信息的确定方法、装置、存储介质及计算机设备 | |
| JPH0883261A (ja) | ニューロ演算装置 | |
| Kufudaki et al. | 43. ASSOCIATIVE NEURAL NETWORKS WITH THRESHOLD-CONTROLLED ATTENTION | |
| JPH0581226A (ja) | 神経回路網学習法およびそれを用いた装置 | |
| JPH0342767A (ja) | 神経回路網の学習方式 | |
| JP3343626B2 (ja) | ファジィ推論のためのニューラルネットワーク | |
| CN113609304A (zh) | 一种实体匹配方法和装置 | |
| JPH0744513A (ja) | 直列結合型リカレントニューラルネットワークの学習方式 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080117 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090117 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |