JPH0991264A

JPH0991264A - ニューラルネットワーク構造最適化装置ならびに方法

Info

Publication number: JPH0991264A
Application number: JP7266387A
Authority: JP
Inventors: Isao Horiba; 勇夫堀場; Naoko Hara; 直子原; Kenji Suzuki; 賢治鈴木; Tokuji Teramoto; 篤司寺本
Original assignee: Hitachi Medical Corp
Current assignee: Hitachi Healthcare Manufacturing Ltd
Priority date: 1995-09-20
Filing date: 1995-09-20
Publication date: 1997-04-04

Abstract

(57)【要約】【目的】階層型ニューラルネットワークでは各層ごとで
しか最適化を行えなかった。そこで、階層型ニューラル
ネットワークの任意の層における構造最適化装置および
方法を提供する。【構成】重要度算出部２によりニューラルネットワーク
部１の各ニューロンの重要度を算出し、この重要度に基
づいて変更するニューロンを判定し、この判定結果から
構造変更部３によりニューラルネットワーク部１の構造
を変更する。これにより、ニューラルネットワークの演
算時間の短縮や学習速度の向上などニューラルネットワ
ークの構造を最適化することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ニューロンを層状
に結合した階層型ニューラルネットワークに関し、特に
ニューラルネットワークの構造について、ニューロンの
構成の最適化をすると共に、ニューラルネットワークの
演算時間の短縮や学習速度の向上や汎化能力の向上や入
力情報の合理的選択やシステムの同定を行うニューラル
ネットの構築を行うことができるニューラルネットワー
クの構造最適化装置および方法に関する。

【０００２】

【従来の技術】従来、階層型のニューラルネットワーク
の構造最適化は、中間層ニューロン数の最適化及び入力
層ニューロンの最適化が一般的に知られている。中間層
ニューロン数の最適化は、中間層ニューロンの出力分散
を分散基準と定義し、また任意の２つの中間層ニューロ
ンの出力値の相関を相関基準と定義し、この分散基準及
び相関基準に基づきニューロンを削減するものである。
（押野隆弘，他：誤差逆伝搬学習における中間層ユニッ
トの逐次削減法，電子情報通信学会論文誌, D-II, Vol.
J76-D-II, No.7, pp.1414-1424 (1993)参照）。

【０００３】また、入力層ニューロンの最適化は、入力
層のあるニューロンと結合されている入力層−中間層間
の結合係数の絶対値の総和を重要度として定義し、この
重要度に基づきニューロンを削減するものである。（片
山洋志，他：人工ニューラルネットワークを用いたラッ
トの味覚神経系データの解析，電子情報通信学会論文
誌, D-II, Vol. J75-D-II, No.2, pp.395-401 (1992)参
照）。

【０００４】

【発明が解決しようとしている課題】しかし、このよう
な従来のニューラルネットワークの構造最適化方法にお
いては、ネットワーク内部の状態より分散基準や相関基
準や重要度を定義し、その基準に基づいてネットワーク
構造の最適化を行うものであるが、各層に限定して最適
化するため、最適化に限界があるものとなっていた。

【０００５】そこで本発明は、このような問題点に鑑
み、階層型ニューラルネットワークの構造について、任
意の層のニューロンの変更により最適化をする、つまり
ニューラルネットワークの演算時間の短縮や学習速度の
向上や汎化能力の向上や入力情報の合理的選択やシステ
ムの同定を行うニューラルネットの構築などを行うこと
ができるニューラルネットワークの構造最適化装置なら
びに方法を提供することを目的とする。

【０００６】

【課題を解決するための手段】上記目的を達成するため
に本発明の構造最適化装置は、ニューロンが層状に結合
された階層型構造のニューラルネットワークを持つニュ
ーラルネットワーク部と、該階層型のニューラルネット
ワーク部の各ニューロンに対して重要度を算出する重要
度算出部と、この重要度に基づいて前記ニューラルネッ
トワーク部の構造を変更する構造変更部とを有するもの
である。また、上記構造変更したニューラルネットワー
ク部に対して再学習を行う再学習部を備えてもよい。ま
た、上記重要度算出部は、各ニューロン間の結合係数及
び各ニューロンに対する入出力関数の微分値を用いるこ
とで重要度を算出するようにしてもよい。さらに、上記
ニューラルネットワーク部は、０を中心に略対象に分布
した範囲に規格化された入力信号により学習されたもの
であってもよい。

【０００７】また、本発明の構造最適化方法は、階層型
ニューラルネットワークの各ニューロンに対して重要度
を算出し、この重要度に基づいて前記ニューラルネット
ワークの構造を変更することにより行う。さらに、階層
型ニューラルネットワークの各ニューロンに対して各ニ
ューロン間の結合係数及び各ニューロンに対する入出力
関数の微分値により重要度を算出し、この重要度に基づ
いて変更するニューロンを判定し、前記ニューラルネッ
トワークの構造を変更し、構造を変更したニューラルネ
ットワークに対して再学習するようにしてもよい。

【０００８】

【発明の実施の形態】以下、本発明の一実施形態を添付
図面に基づいて詳細に説明する。図１は、本実施形態に
よるニューラルネットワークの構造最適化装置を示すブ
ロック図である。このニューラルネットワークの構造最
適化装置は、ニューラルネットワーク部１と、重要度算
出部２と、構造変更部３とにより構成される。ニューラ
ルネットワーク部１は、構造を最適化する対象となる階
層型のニューラルネットワークで、ニューロンを可塑性
を持つ結合により多数層状に結合したものである。この
ニューラルネットワーク部１は、バックプロパゲーショ
ン（誤差逆伝播学習）やヘブの学習則、相関学習、競合
学習などの任意の学習アルゴリズムによって、すでに所
定回数もしくは所定評価値まで学習が行われたものであ
る。

【０００９】ここで、ニューラルネットワーク部１の学
習に使用する入力信号は、通常０〜１で規格化される
が、入力層ニューロンの入出力関数のオフセット成分が
入力層ー中間層間の結合係数に入り込むのを防ぐため
に、０を中心に入力信号が対象に分布するように−１〜
１の範囲で規格化され、この規格化された入力信号を用
いて学習を行う。また、ニューラルネットワーク部１を
構成するニューロンと、階層型ニューラルネットワーク
を図２及び図３により説明する。まず、ニューロン１１
は生物の神経細胞素子の働きを模した多入力一出力の情
報処理素子で、入力Ｉi（Ｉ1〜ＩN）１２と結合係数Ｗj
i（Ｗj1〜ＷjN）１３の積和により出力Ｏj１４が決定さ
れる。すなわち、入出力関数ｆ（x）を用いて次式のよ
うに決定される。

【００１０】

【数１】

【００１１】ただし、θjはしきい値に相当する入出力
関数のオフセットであり、Nは入力の数である。

【００１２】次に、階層型ニューラルネットワークは、
複数のニューロン１１で構成された入力層及び中間層並
びに出力層の結合によりネットワークを構成し、信号処
理及び情報処理の機能を実現するように構成されてい
る。また、図３において、符号１５は入力層−中間層間
結合を示し、入力層の各ニューロン１１は中間層の全て
のニューロン１１とそれぞれ結合されている。また、符
号１６は中間層−出力層間結合を示し、中間層の各ニュ
ーロンモデル１１は出力層の全てのニューロン１１とそ
れぞれ結合されている。そして、入力層に供給される入
力情報を変換して出力層から出力情報として出力するよ
うになっている。ここで、上記入力層においては、入出
力関数として次式に示すような恒等関数が用いられてい
る。

【００１３】

【数２】

【００１４】これにより、入力がそのまま出力される。
なお、この恒等関数の代わりに他の関数を用いて入力情
報に変調をかけてもよい。また、上記中間層において
は、入出力関数としてシグモイド関数が用いられてい
る。もちろん、他の関数を用いることもできる。シグモ
イド関数は次式のように表現される。

【００１５】

【数３】

【００１６】ただし、Ｕ0は傾きを制御するパラメータ
である。また、上記出力層においては、入出力関数とし
て上述のシグモイド関数が用いられている。もちろん、
この入出力関数は出力が入力に対して直線的に増減する
リニア関数などの他の関数を用いることもできる。

【００１７】重要度算出部２は、ニューラルネットワー
ク部１のニューロン間の結合係数、及びニューロンの入
出力関数の微分値を用いて、各ニューロンの重要度を算
出するものである。構造変更部３は、重要度算出部２か
ら算出した各ニューロンの重要度に基づいてニューラル
ネットワーク部１の構造を変更するものである。

【００１８】次に、このように構成されたニューラルネ
ットワークの構造最適化装置の動作を説明する。まず、
階層型のニューラルネットワークでの最適化動作の前に
行われるバックプロパゲーション学習法による学習動作
を図３及び図４を用いて説明する。ニューラルネットワ
ーク部１では入力信号に対して所望の出力が出力される
ように学習が行なわれる。換言すると、まずニューラル
ネットワーク部１の入力層−中間層間結合１５及び中間
層−出力層間結合１６の結合係数の初期化が行われる。
次に、このニューラルネットワーク部１に入力信号が供
給され、その結果出力信号が出力される。そして、この
入力信号に対する理想的な出力である教師信号との誤差
が小さくなるように入力層−中間層間結合１５及び中間
層−出力層間結合１６の結合係数を変化させて、所望の
出力が得られるようにネットワークを自己組織化してい
く。以上により学習が行われ、ニューロン間の結合係数
が合理的に信号を伝達するように決定される。

【００１９】図４は、階層型のニューラルネットワーク
におけるバックプロパゲーション学習法を示した図であ
る。図４における個々の記号の意味は次のとおりであ
る。Ｉ；入力信号Ｏ（k）；第ｋ層のニューロンモデルの出力Ｗ（k）；第ｋ層と第ｋ＋１層間の結合係数 θ（k）；第ｋ層のニューロンモデルのオフセットＴ；教師信号 ηＷ；Ｗに対する学習定数 ηθ；θに対する学習定数 δ（k）；第ｋ−１層を修正するための誤差量ｆi；恒等関数ｆs；シグモイド関数

【００２０】なお、入力信号Ｉ、第k層のニューロンモ
デルの出力Ｏ（k）、第k層のニューロンモデルのオフセ
ットθ（k）、教師信号Ｔ、第k-1層を修正するための誤
差量δ（k）は１次元ベクトルで表されており、第k層と
第k+1層間の結合係数Ｗ（k）は２次元ベクトルで表され
ている。また、本実施形態のニューラルネットワーク部
１は３層のものであり、ｆiに相当する部分が入力層で
あり、θ（2）を出力するｆsに相当する部分が中間層で
あり、θ（3）を出力するｆsに相当する部分が出力層と
なっている。

【００２１】この学習アルゴリズムについて以下に説明
する。教師信号Ｔと出力層の出力Ｏ（3）との平均二乗
誤差Ｅは、

【００２２】

【数４】

【００２３】である。これが減少するように第k層と第k
+1層間の結合係数Ｗ（k）を修正量

【００２４】

【数５】

【００２５】によって修正する。ただし、Ｘj（k+1）は
k+1層j番目のニューロンモデルの入出力関数への入力で
ある。次式のようにδを定義すると、

【００２６】

【数６】

【００２７】中間層と出力層間の修正量を決めるδは、

【００２８】

【数７】

【００２９】である。よって、修正量は、

【００３０】

【数８】

【００３１】となる。また、入力層と出力層間の修正量
を決めるδは、

【００３２】

【数９】

【００３３】となり、修正量は、

【００３４】

【数１０】

【００３５】となる。オフセットθ（k）についても同
様に求めることにより、図６に示すアルゴリズムとな
る。なお、ここでは３層のニューラルネットワークにつ
いて例を示したが、中間層の数を増やすことによって３
層以上のニューラルネットワークが構成可能であり、そ
の場合の学習アルゴリズムは誤差量δを逆伝播させ、漸
化的に修正量を求めて上記同様に算出することができ
る。

【００３６】そして、重要度算出部２がこのように学習
されたニューラルネットワーク部１の各ニューロンに対
して重要度を算出する。このときの重要度の算出には、
各ニューロン間の結合係数と各ニューロンの入出力関数
の微分値を用いて行う。ここで、中間層のニューロンの
重要度の算出を図５により説明する。中間層のニューロ
ンの重要度Ｈjは、中間層ニューロンと出力層ニューロ
ンを結合している結合係数Ｖkj、及びオフセットθjに
おけるニューロンの入出力関数（例えばシグモイド関
数）の微分値ｆ'(θj)を用いて次式のように定義され
る。

【００３７】

【数１１】

【００３８】中間層の任意のニューロン２１の重要度を
算出する場合、数１１に示されるようにニューロン２１
の出力に結合しているいわゆる中間層−出力層の結合係
数の絶対値の総和と、オフセットにおけるシグモイド関
数の微分値との積により求められる。結合係数の絶対値
は、大きいほどニューロンとニューロンとの結合が強
く、信号伝達効率が高いことを示す。また、シグモイド
関数の微分値は、大きいほど信号伝達効率が高い。これ
は、図６に示すようにシグモイド関数の傾きが大きい、
つまり微分値が大きいほど信号の伝達効率が高いことを
示す。このことから、積が大きいほど信号伝達への寄与
が大きいつまり重要度が高く、逆に小さいほど重要度が
低いものとなる。ここで、中間層のニューロンの重要度
は、中間層−出力層の結合係数と、オフセットにおける
ニューロンの入出力関数の微分値の積で定義したが、和
や二乗和などの他の演算子を用いて定義してもよい。

【００３９】また、入力層のニューロンの重要度の算出
を図７により説明する。入力層のニューロンの重要度Ｉ
iは、入力層ニューロンと中間層ニューロンを結合して
いる結合係数Ｗji、及び上述の中間層ニューロンの重要
度Ｈjを用いて次式のように定義される。

【００４０】

【数１２】

【００４１】入力層の任意のニューロン２２の重要度を
算出する場合、数１２に示すようにニューロン２２の出
力に結合しているいわゆる入力層−中間層の結合係数の
絶対値と中間層ニューロンの重要度の積の総和により求
められる。入力層の重要度は、入力層ニューロンの入出
力関数が恒等関数であるため、オフセットと関数の傾き
を考慮する必要がない。また入力層ニューロンの重要度
の算出には、信号伝達効率の高いニューロンを表す中間
層ニューロンの重要度が考慮されている。ここで、入力
層のニューロンの重要度は、入力層−中間層の結合係数
と中間層ニューロンの重要度の積との総和で定義した
が、和や二乗和などの他の演算子を用いて定義してもよ
い。

【００４２】このようにして重要度算出部２では、ニュ
ーラルネットワーク部１の各ニューロンの重要度が算出
される。本実施形態では３層のニューラルネットワーク
について説明したが、３層以上のニューラルネットワー
クにおいても同様に重要度を算出することができる。す
なわち、図８に示すような任意の層の任意のニューロ
ン、つまり第k-1層のi番目のニューロンの重要度は一般
的に次式のように表される。

【００４３】

【数１３】

【００４４】ここで、Ｈj(k)は第k層j番目のニューロン
の重要度、Ｗji(k)は第k-1層と第k層間の結合係数を表
す。このように出力層側から漸化的にニューロンの重要
度は算出でき、任意の層数の階層型ニューラルネットワ
ークに対応可能である。各ニューロンの重要度の算出が
されたら、構造変更部３によりニューラルネットワーク
部１を任意の構造、例えば重要度の低いニューロンを優
先的に除去して、新たな構造のニューラルネットワーク
部１に変更する。

【００４５】このようなニューラルネットワークの構造
最適化をフローチャートにて説明する。まず、ニューラ
ルネットワークの各ニューロンの重要度を算出し（ステ
ップ３１）、算出した各ニューロンの重要度に基づいて
変更するニューロンを判定し（ステップ３２）、この判
定結果によりニューラルネットワークの構造を変更する
（ステップ３３）。ここで、ニューラルネットワークの
構造変更（ステップ３３）では、例えば重要度の小さい
ニューロンを除去すれば不要なニューロンを除去できる
など最適化の目的などに対応した様々な条件で変更が行
われる。

【００４６】以上のような構造最適化装置及び方法によ
れば、所望の構造への最適化、つまりニューラルネット
ワークの演算時間の短縮や学習速度の向上、汎化能力の
向上、入力情報の合理的選択、システムの同定を行うニ
ューラルネットワークの構築などを行うことができる。

【００４７】ここで、ニューラルネットワーク部１で予
め学習する際の入力信号は０を中心に対象に分布した範
囲に規格化しているが、厳密に０に対象でなくとも同様
の効果が得られる。

【００４８】次に、上述の構造変更したニューラルネッ
トワーク部１に対して再学習を行う再学習部を備えた構
造最適化装置の実施形態を図１０により説明する。本実
施形態において同一符号の説明は省略する。再学習部４
は、構造変更したニューラルネットワーク部１に対して
再学習を行い、構造変更したニューラルネットワーク部
１を再学習したときの評価値が基準評価値を下回らなけ
れば、再度重要度を算出しニューラルネットワーク部１
の構造を変更する。つまり、構造変更後のニューラルネ
ットワークに再学習を行い、再学習をしたニューラルネ
ットワークに対し評価値を算出し、この算出した評価値
と予め設定した基準評価値とを比較し、評価値が基準評
価値より下回ればこれ以上変更する必要がないと判断
し、また逆に下回らなければまだ構造を変更することが
できると判断する。ここで、再学習は上述に示した各種
学習アルゴリズムを用いてもよい。また、再学習は最適
化したニューラルネットワークの構造のみを生かし、結
合係数を初期値にしてから再学習してもよいし、結合係
数を継続してもよい。

【００４９】この再学習部４を含めた構造最適化をフロ
ーチャートにて説明する。まず、ニューラルネットワー
クの各ニューロンの重要度を算出し（ステップ３１）、
算出した各ニューロンの重要度に基づいて変更するニュ
ーロンを判定し（ステップ３２）、この判定結果により
ニューラルネットワークの構造を変更、例えば重要度の
小さいニューロンを除去し（ステップ３３）、ニューロ
ンを除去したニューラルネットワークに対して再学習を
行い（ステップ３４）、再学習されたニューラルネット
ワークの評価値を算出すると共に予め設定した基準評価
値と評価値を比較する（ステップ３５）。ここで、評価
値が基準評価値を下回らなければ、目的とする機能は達
成されているがさらに構造の単純化を図るために、ステ
ップ３１に戻り他のニューロンを除去することができる
かを再度判断する。そして、このステップ３１〜３５を
評価値が基準評価値を下回るまで繰り返す。

【００５０】以上のような構造最適化装置及び方法によ
れば、ニューラルネットワークの演算時間の短縮や学習
速度の向上、汎化能力の向上、入力情報の合理的選択、
システムの同定を行うニューラルネットワークの構築な
どを行うことができるると共に、さらに目的とする機能
の向上を図ることができる。

【００５１】ここで、ステップ３３では予め基準重要度
を設定しておき各ニューロンの重要度の中から基準重要
度以下の重要度を持つ全てのニューロンを変更ニューロ
ンと判定し、ステップ３４では全ての変更ニューロンを
除去すれば、ニューラルネットワークの構造の最適化を
より高速に行うこともできる。また、このニューラルネ
ットワークの構造の最適化は、入力層や中間層といった
意味づけを持ったニューロンの集団ごとに行ってもよ
い。また、評価値が基準評価値を下回ったときに終了し
たが、除去するニューロンが所定のニューロン数を越え
た時に終了するなど、別の終了条件を用いてもかまわな
い。

【００５２】

【発明の効果】本発明は階層型ニューラルネットワーク
の各ニューロンの重要度を算出し、この評価値からニュ
ーラルネットワークの構造を変更することにより、目的
に一致した構造の最適化、つまりニューラルネットワー
クの演算時間の短縮や学習速度の向上、汎化能力の向
上、入力情報の合理的選択あるいはシステムの同定を行
うニューラルネットの構築などを行うことができる。ま
た、所望の構造に変更したあと、再学習をさせること
で、上述の効果を得ることができると共に、目的の機能
の向上を図ることができる。

【図面の簡単な説明】

【図１】本発明の第一の実施形態を示すブロック図

【図２】ニューロンを示す説明図

【図３】階層型ニューラルネットワークを示す図

【図４】バックプロパゲーション学習法を示す図

【図５】中間層ニューロンの重要度の説明図

【図６】シグモイド関数とその信号伝達及びシグモイド
関数の微分値を示す図

【図７】入力層ニューロンの重要度の説明図

【図８】任意の層におけるニューロンの重要度の説明図

【図９】本発明の第一の実施形態におけるフローチャー
トを示す図

【図１０】本発明の第二の実施形態を示すブロック図

【図１１】本発明の第二の実施形態におけるフローチャ
ートを示す図

【符号の説明】

１ニューラルネットワーク部２重要度算出部３構造変更部１１ニューロン１２ニューロンへの入力１３結合係数１４ニューロンの出力１５入力層−中間層間結合１６中間層−出力層間結合

Claims

【特許請求の範囲】

【請求項１】ニューロンが層状に結合された階層型構造
のニューラルネットワークを持つニューラルネットワー
ク部と、該階層型のニューラルネットワーク部の各ニュ
ーロンに対して重要度を算出する重要度算出部と、この
重要度に基づいて前記ニューラルネットワーク部の構造
を変更する構造変更部とを有することを特徴とするニュ
ーラルネットワーク構造最適化装置。
【請求項２】上記構造変更したニューラルネットワーク
部に対して再学習を行う再学習部を備えた請求項１記載
のニューラルネットワーク構造最適化装置。
【請求項３】上記重要度算出部は、各ニューロン間の結
合係数及び各ニューロンに対する入出力関数の微分値を
用いることで重要度を算出することを特徴とする請求項
１あるいは２記載のニューラルネットワーク構造最適化
装置。
【請求項４】上記ニューラルネットワーク部は、０を中
心に略対象に分布した範囲に規格化された入力信号によ
り学習されたものであることを特徴とする請求項１ある
いは２に記載のニューラルネットワーク構造最適化装
置。
【請求項５】階層型ニューラルネットワークの各ニュー
ロンに対して重要度を算出し、この重要度に基づいて前
記ニューラルネットワークの構造を変更することを特徴
とするニューラルネットワーク構造最適化方法。
【請求項６】階層型ニューラルネットワークの各ニュー
ロンに対して各ニューロン間の結合係数及び各ニューロ
ンに対する入出力関数の微分値により重要度を算出し、
この重要度に基づいて変更するニューロンを判定し、前
記ニューラルネットワークの構造を変更し、構造を変更
したニューラルネットワークに対して再学習することを
特徴とするニューラルネットワーク構造最適化方法。