JPH08314880A - ニューラル・ネットワークの学習方法およびニューラル・ネットワーク・システム - Google Patents

Abstract

(57)【要約】 【目的】 ニューラル・ネットワークを用いて複数の特
徴量の中から有効特徴量を選択できるようにする。 【構成】 複数のノードを含む入力層と，複数のノード
を含む一層または複数層の中間層と，入力層と同数のノ
ードを含む出力層とからなるニューラル・ネットワーク
（ＮＮ）があらかじめ設けられている。入力される教師
データに基づいて複数の特徴量があらかじめ作成されて
いる。この教師データをＮＮに入力したときのＮＮの出
力が入力される教師データに等しくなるようにＮＮに学
習が行われる。ＮＮの中間層のノードの出力と特徴量と
の類似度に基づいて複数の特徴量の中から１つの特徴量
が有効特徴量として選択されるとともに，この有効特徴
量に対応する中間層のノードが有効特徴量を入力するた
めの入力ノードに置換えられる。教師データと有効特徴
量を用いたＮＮの学習と，有効特徴量の選択および入力
ノードへの置換とが繰返し行われる。

Description

【発明の詳細な説明】

【０００１】

【技術分野】この発明は，学習を高速に行うニューラル
・ネットワークの学習方法およびニューラル・ネットワ
ーク・システムに関する。

【０００２】

【従来技術とその問題点】一般に，制御システムにおい
ては，制御対象の状態がセンサによって検出され，その
センサ出力，またはセンサ出力に代えてもしくは加えて
センサ出力に基づいて作成される特徴量を用いて制御が
行なわれる。また，情報処理システムにおいても，入力
される処理すべき情報（データ），または入力情報に代
えてもしくは加えて入力情報に基づいて作成される特徴
量について処理が行われる。センサ出力，センサ出力に
基づく特徴量，入力情報および入力情報に基づく特徴量
を，以下単に特徴量という。

【０００３】方程式をベースにした算術的方法により表
現したシステムにおいては，そのシステムに入力すべき
特徴量は画一的に決定される。一方，エキスパート・シ
ステム，ファジィ・システム，ニューラル・ネットワー
ク・システム等の知的推論システムにおいては，そのシ
ステムに入力すべき特徴量の決定は確定的な指針はな
く，入力される特徴量（入力変数）がその知的推論シス
テムの性能に与える影響が大きい。このため，知的推論
システムの設計を行う際には，入力変数の決定（選択）
が重要となる。したがって，知的推論システムの設計
は，取扱う対象の専門家とその知的推論システムの専門
家とが共同で行っていた。

【０００４】しかしながら，このような知的推論システ
ムに入力すべき特徴量の選択が，対象の専門家と知的推
論システムの専門家とによって共同で行われるため，シ
ステムの構築に多大な労力と時間を必要とする。また，
対象の専門家とシステムの専門家との間に行違いが生じ
ることがあり，充分な推論性能をもつ知的推論システム
を構築できないことがある。このため，ニューラル・ネ
ットワークを用いて，複数の特徴量（これを特徴量候補
という）の中から有効な特徴量（これを有効特徴量とい
う）を選択する方法が提案されている。この有効特徴量
の選択方法には，たとえば次の２つの方法がある。

【０００５】その１つは，複数の特徴量の中からいくつ
かの有効特徴量を選択し，これらの有効特徴量をニュー
ラル・ネットワークに入力し，選択された有効特徴量の
一部を他の特徴量候補に入替えて特徴量の評価しながら
有効特徴量を模索するものである。しかしながら，実際
には一の有効特徴量と他の有効特徴量との相関関係が重
要であるが，相関関係が考慮されないことが多い。

【０００６】もう１つは，すべての特徴量候補をニュー
ラル・ネットワークに入力しセンサの出力または入力情
報を教師データとしてニューラル・ネットワークに学習
を行わせ，そのニューラル・ネットワークの各ノードに
ついて，後の層（出力層側）に与える影響が小さいノー
ドを削除することにより，最終的に残った入力層のノー
ドから入力される特徴量を有効特徴量として選択するも
のである。ノードの削除は，入力層のノードと中間層の
ノードとの結合度および中間層のノードと出力層のノー
ドとの結合度が０に近い結合（後の層に与える影響が小
さい結合）を削除し，前の層のノードとの結合がすべて
無くなったノードを削除するすることによって行われ
る。

【０００７】一方，ニューラル・ネットワークにおい
て，教師データに基づく誤差逆伝搬法により学習を行う
と，ノードの総数によってその学習の演算量が決る。入
力層のノード数が２倍に増えそれに応じて中間層のノー
ドが２倍に増えたと仮定すると，入力層のノードと中間
層のノードとの結合数は４倍になり，学習の演算量が４
倍に増えることになる。また，ニューラル・ネットワー
クの規模が大きくなる（層数とノード数が増える）と，
学習が収束するまでの学習回数も多くなり，たとえば入
力層のノード数が２倍になると，学習回数が２倍以上に
なることもある。したがって，入力層のノード数が増加
すると，学習が収束するまでに要する演算量は入力層の
ノード数の増加割合の３乗以上に比例することになる。
一般に，ニューラル・ネットワークの規模が大きくなる
ほどその冗長性が高くなり，大局的最適解に収束する前
に局所解に陥る可能性が高くなる。局所解に陥らないよ
うな学習方法があるが，それらは学習に多大の時間また
は演算を要する。

【０００８】しかしながら，このような従来の特徴量選
択装置においては，特徴量候補の数が増えると，それに
応じて入力層のノード数も増えるので，上述のように，
学習に多大な演算または時間を要することになる。特徴
量候補の数が増えるほど非効率である。また局所解に陥
る可能性も高くなり，これを回避するためにはニューラ
ル・ネットワークに関する専門的な知識を必要となる。

【０００９】

【発明の開示】この発明は，ニューラル・ネットワーク
の構造を簡素化しながらニューラル・ネットワークの学
習を行うことにより，ニューラル・ネットワークの学習
を高速に行えるようにすることを目的としている。

【００１０】この発明は，ニューラル・ネットワークを
用いて複数の特徴量の中から有効特徴量を選択できるよ
うにすることを目的としている。

【００１１】この発明は，教師データに基づくニューラ
ル・ネットワークの学習を行うと，中間層のノードの中
には出力層のノードの振舞いと同一でなくかつ相関性を
もつものが現れる。この中間層のノードの振舞いと類似
した振舞いをする特徴量が複数の特徴量の中から見付か
れば，その特徴量は有効特徴量であるということに基づ
いている。

【００１２】この発明によるニューラル・ネットワーク
の学習方法およびニューラル・ネットワーク・システム
について説明する。

【００１３】この発明によるニューラル・ネットワーク
の学習方法は，複数のノードを含む入力層と，複数のノ
ードを含む一層または複数層の中間層と，入力層と同数
のノードを含む出力層とからなるニューラル・ネットワ
ークを設け，入力される教師データに基づいて複数の特
徴量をあらかじめ作成しておき，上記教師データを上記
ニューラル・ネットワークの入力層に入力したときの上
記ニューラル・ネットワークの出力が上記教師データに
等しくなるように上記ニューラル・ネットワークに学習
を行わせ，上記ニューラル・ネットワークの中間層の各
ノードの出力と上記特徴量とがどの程度類似しているか
を表す類似度をそれぞれ算出し，これらの類似度に基づ
いて上記複数の特徴量の中から１つの特徴量を有効特徴
量として選択するとともに，この有効特徴量に対応する
中間層のノードを上記有効特徴量を入力するための入力
ノードに置換え，上記教師データを入力層に入力し，上
記有効特徴量を入力ノードに入力してニューラル・ネッ
トワークの学習と，有効特徴量の選択および入力ノード
への置換とを繰返し行うものである。

【００１４】この発明によるニューラル・ネットワーク
・システムは，複数のノードを含む入力層と，複数のノ
ードを含む一層または複数層の中間層と，入力層と同数
のノードを含む出力層とからなるニューラル・ネットワ
ーク，入力される教師データを上記ニューラル・ネット
ワークに入力したときの上記ニューラル・ネットワーク
の出力が上記教師データに等しくなるように上記ニュー
ラル・ネットワークに学習を行わせる学習手段，上記ニ
ューラル・ネットワークの中間層のノードの出力と，上
記教師データに基づいて作成された上記特徴量とがどの
程度類似しているかを表す類似度をそれぞれ算出し，こ
れらの類似度に基づいて上記複数の特徴量の中から１つ
の特徴量を有効特徴量として選択するとともに，この有
効特徴量に対応する中間層のノードを上記有効特徴量を
入力するための入力ノードに置換える構造変更手段，お
よび上記教師データと上記有効特徴量を用いたニューラ
ル・ネットワークの学習を上記学習手段に，有効特徴量
の選択および入力ノードの置換とを上記構造変更手段に
繰返し行わせる制御手段を備えている。

【００１５】この発明によると，複数のノードを含む入
力層と，複数のノードを含む一層または複数層の中間層
と，入力層と同数のノードを含む出力層とからなるニュ
ーラル・ネットワークがあらかじめ設けられている。入
力される教師データに基づいて複数の特徴量があらかじ
め作成される。この教師データをニューラル・ネットワ
ークに入力したときのニューラル・ネットワークの出力
が入力される教師データに等しくなるようにニューラル
・ネットワークに学習が行われる。ニューラル・ネット
ワークの中間層のノードの出力と特徴量とがどの程度類
似しているかを表す類似度がそれぞれ算出される。これ
らの類似度に基づいて複数の特徴量の中から１つの特徴
量が有効特徴量として選択されるとともに，この有効特
徴量に対応する中間層のノードが有効特徴量を入力する
ための入力ノードに置換えられる。中間層のノードが特
徴量の入力ノードに置換えられることによって，その入
力ノードとその前の層のノードとの結合が無くなり，ニ
ューラル・ネットワークの学習において演算量が少なく
なる。教師データと上記有効特徴量を用いたニューラル
・ネットワークの学習と，有効特徴量の選択および入力
ノードへの置換とが繰返し行われる。

【００１６】したがって，中間層のノードが有効特徴量
の入力ノードに置換えられることによって入力ノードと
その前の層のノードとの結合が無くなるので，その結合
が減少量に相当する学習の演算量が減るので，ニューラ
ル・ネットワークの学習を高速に行うことができる。ま
た複数の特徴量の中から有効な特徴量を自動的に選択す
ることができる。

【００１７】このようにして選択された有効特徴量は，
ファジィ・システム，ＧＡ（ジェネティック・アルゴリ
ズム），ニューラル・ネットワーク等を用いた知的推論
システムの入力として用いられる。

【００１８】この発明の一実施態様においては，入力層
の各ノードについてそのノードがどの程度その後の層に
寄与しているかを表す寄与度を算出し，これらの寄与度
のすべてが所定の閾値以下になったときに，上記ニュー
ラル・ネットワークの学習と有効特徴量の選択および入
力ノードへの置換とを終了する。

【００１９】この発明の好ましい実施態様においては，
有効特徴量として選択されるべき１または複数の特徴量
を入力するための入力ノードを上記ニューラル・ネット
ワークの中間層にあらかじめ設けられる。

【００２０】この実施態様によると，有効特徴量として
選択されるべき特徴量がニューラル・ネットワークにあ
らかじめ設けられるので，必要な有効特徴量を選択する
ことができる。

【００２１】この発明のさらに好ましい実施態様におい
ては，上記ニューラル・ネットワークの中間層のノード
について，そのノードがどの程度その後の層に寄与して
いるかを表す寄与度をそれぞれ算出し，この寄与度およ
び上記類似度に基づいて上記有効特徴量を選択するもの
である。

【００２２】この実施態様によると，寄与度と類似度に
基づいて有効特徴量が選択される。たとえば，寄与度が
大きいノードの中で類似度が最も大きい特徴量が有効特
徴量として選択される。

【００２３】

【実施例】図１は，ジャケット・タンクの温度制御シス
テムの全体的な構成を示すブロック図である。この温度
制御システムは，所定の品質の製品を生産するために，
タンク内の原料（生成された製品を含む）の温度を所定
の目標温度になるように制御するものである。

【００２４】生産を行うときには，原料Ｂをタンク１内
にあらかじめ投入しておき，その後原料Ａがタンク１内
に投入され，原料Ａと原料Ｂとが化学反応することによ
って製品Ｃが得られる。

【００２５】原料が投入されるタンク１には，それを取
巻くようにジャケット２が設けられ，そのジャケット２
内には冷水（常温），水蒸気または冷水と水蒸気を混合
した温水が流入する。またタンク１内が攪拌器７により
攪拌される。

【００２６】タンク１内の温度（これを内温という）
と，ジャケット２内の温度（これを外温という）とがそ
れぞれ，温度センサ（図示略）によって検出され，内温
を表す内温信号および外温を表す外温信号がコントロー
ラ６に入力される。バルブ開度信号がコントローラ６か
らバルブ３および４にそれぞれ出力されることにより，
冷水および水蒸気の流量がバルブ３および４によってそ
れぞれ調整される。冷水または水蒸気がジャケット２に
流入することによって，タンク１内の原料を冷却または
加熱することができる。

【００２７】またタンク１に投入される原料（これを原
料Ａという）の投入量がバルブ５により調整される。原
料Ａの投入量がセンサ（図示略）によって検出され，そ
の投入量を表す投入量信号がコントローラ６に入力され
る。さらに投入される原料Ａの温度が温度センサ（図示
略）によって検出され，その温度を表す原料温度がコン
トローラ６に入力される。

【００２８】ジャケット２の辺りの気温（外気温）もま
た温度センサ（図示略）によって検出され，その外気温
を表す外気温信号がコントローラ６に入力される。

【００２９】原料Ａと原料Ｂとの化学反応は発熱反応で
あり，この発熱によりタンク１内の温度が上がる。原料
Ａの投入量が多すぎると発熱量が大きくなりジャケット
２の冷却能力を超え，タンク１内の温度を目標温度に制
御することができなくなる。したがって，発熱量を少な
くするため原料Ａの投入量を制御する必要がある。

【００３０】図２は製品の一回の生産におけるタンク１
内の内温，ジャケット２内の外温および原料Ａの投入量
のグラフの一例を示している。原料Ａが投入されると原
料ＡとＢが化学反応を開始し内温が上がり始める。内温
を目標温度に保つため，すなわち，タンク１内を冷却す
るため，ジャケット２内に冷水が流入し外温が下がる。
ジャケット２に流入する冷水が最大になっても（冷却能
力が最大になっても）内温が上がるため，タンク１内の
発熱反応を抑えるように原料Ａの投入量が減らされ，内
温が目標温度に近づけるように制御される。その後，内
温が下がると再び原料Ａの投入量を増やし，反応を増大
させる。

【００３１】このように，内温を目標温度に制御するた
めには，タンク１内に投入する原料Ａの投入量と，ジャ
ケット２に流入する冷水および水蒸気の流量とをコント
ローラ６によって調整しなけれはならないが，タンク１
内がジャケット２により最大冷却されるため，外温（ジ
ャケット２内の温度）を必ずしも制御しなくてもよい。
したがって，上述のように，内温，外温，外気温，投入
量および原料温度がコントローラ６に入力されるが，こ
れらのすべてを制御に用いる必要はない。また内温を目
標温度に制御するためにはタンク１内の発熱反応を考慮
しなければならないため，内温，外温，外気温，投入量
および原料温度に基づいて制御のための特徴量を作成す
る必要がある。内温，外温，外気温，投入量および原料
温度に基づく特徴量には，たとえば次の50個が挙げられ
る。

【００３２】１）内温 ２）外温 ３）原料投入量 ４）〜９）内温の現在とＮ分前との差(N=1,2,5,10,20,5
0) 10）〜15）外温の現在とＮ分前との差(N=1,2,5,10,20,5
0) 16）〜21）投入量の現在とＮ分前との差(N=1,2,5,10,2
0,50) 22）反応開始からの経過時間 23）反応開始からの内温の積分値 24）反応開始からの投入量の積分値 25）〜28）反応開始からＮ分後から内温の積分値(N=10,
20,50,100) 29）〜32）反応開始からＮ分後から投入量の積分値(N=1
0,20,50,100) 33）〜36）Ｎ分前から現在の内温の積分値(N=10,20,50,
100) 37）〜40）Ｎ分後から現在の投入量の積分値(N=10,20,5
0,100) 41）〜44）内温が（目標温度-M度）を最初に越えるまで
の時間(M=5,10,15,20) 45）〜48）内温が（目標温度-M度）を越えてからの経過
時間(M=5,10,15,20) 49）原料Ａの投入前の原料温度 50）外気温

【００３３】これらの特徴量の中には制御に不要なもの
または冗長なものがあり，それらの特徴量の中から有効
な特徴量（これを有効特徴量という）を選択する。有効
特徴量は，以下説明するニューラル・ネットワークを用
いた特徴量選択装置により選択する。この特徴量選択装
置は，ニューラル・ネットワークの中間層のノード（ニ
ューロン）の振舞いが，入力層のノードの振舞いよりも
出力層のノードに対して圧縮された密度の高い情報をも
つことに着目したものである。

【００３４】センサによって検出されたセンサ出力（以
下，これをシステム出力という）を教師データ）として
これに基づくニューラル・ネットワークの学習を行う
と，中間層のノードの中には出力層のノードの振舞いと
同一でなくかつ相関性をもつものが現れる。この中間層
のノードの振舞いと類似した振舞いをする特徴量が特徴
量の候補の中から見付かれば，その特徴量は有効特徴量
である。

【００３５】図３は，ニューラル・ネットワークを用い
た特徴量選択装置の詳細な構成を示す機能ブロック図で
ある。特徴量選択装置は，ニューラル・ネットワーク
（ＮＮ）11，類似度算出処理12，寄与度算出処理13，特
徴量決定処理14およびニューラル・ネットワーク（Ｎ
Ｎ）構造変更処理15を含んでいる。

【００３６】この特徴量選択装置は，コンピュータとそ
の上で動作するソフトウェアとにより実現される。この
特徴量選択装置はまた，そのすべてをハードウェアによ
り実現することもできる。さらにこの特徴量選択装置の
一部をハードウェアにより実現し，その他の一部をソフ
トウェアにより実現することもできる。

【００３７】ＮＮ11はアーティフィシャル・ニューラル
・ネットワーク（以下，単にＮＮという）と，入力され
る教師データに基づくＮＮの学習を行う学習処理を含
む。

【００３８】図４はＮＮの構造の一例を示す。たとえば
ホップフィールド・タイプのＮＮである。ＮＮは入力
層，３層の中間層および出力層を含んでいる。入力層と
出力層はシステム出力の数と同じノード（ニューロン）
が設けられる。たとえば上述のシステムではシステム出
力は５である。中間層は各層が６個のノードをもつ。中
間層は３層に限られず，１層，２層または４層以上設け
てもよく，各層のノードの数も６個よりも少なくしても
よいし，多くしてもよい。中間層の数および各層のノー
ドの数は，学習の収束の速さおよびその安定性と，教師
データへの追従性とを考慮して，入力層のノードの数に
基づいて決定される。

【００３９】中間層を入力層側から順に第１中間層，第
２中間層および第３中間層とし，入力層から出力層まで
順に第ｉ(i=1〜5)層とする，すなわち，入力層，第１中
間層，第２中間層，第３中間層および出力層をそれぞ
れ，第１層，第２層，第３層，第４層および第５層とす
る。第ｉ層の第ｊ番のノードをＮ_i,j で表し，各層のノ
ード数をＪ_i で表す。第ｉ層の第ｋ番のノードＮ_i,k の
出力をＵ_i,k とし，第ｉ層の第ｊ番のノードＮ_i,j とそ
の後の第（ｉ＋１）層の第ｋ番のノードＮ_i+1,kとの結
合度をＷ_i+1,j,k とする。

【００４０】ＮＮ11に含まれる学習処理はたとえば誤差
逆伝搬法によるＮＮの学習を行う。学習処理はその他の
学習方法によりＮＮを学習してもよい。

【００４１】図５および図６は特徴量選択装置における
有効特徴量の選択処理の手順を示すフロー・チャートで
ある。

【００４２】ＮＮ11において，システム出力（教師デー
タ）のそれぞれを入力層のノードにそれぞれ入力すると
ともに，出力層の各ノードの出力が対応するシステム出
力に一致するように学習が行われる（ステップ21）。

【００４３】このＮＮの学習には，Ｇ組の教師データ
（システム出力）が用いられる。これらのシステム出力
に基づいて特徴量Ｖ_h （ｈ＝１〜Ｈ；Ｈは特徴量候補の
総数）がそれぞれ算出されている。第ｇ組の第ｈ番の特
徴量をＹ_h,g で表す。また，第ｇ組のシステム出力に基
づく学習の結果得られる第ｉ層の第ｊ番のノードＮ_i,j
の出力をＵ_i,j,g で表す。

【００４４】寄与度算出処理12において，中間層（ｉ＝
２〜４）の第ｊ番のノードＮ_i,j がその後の層（出力層
側）の第ｋ番のノードＮ_i+1,k にどの程度寄与している
かを表す寄与度Ｄ_i,j が，学習により最終的に得られた
結合度ｗ_i+1,j,k に基づいて次式により算出される（ス
テップ22）。

【００４５】

【数１】

【００４６】式(1) は結合度の自乗和を寄与度としてい
る。

【００４７】寄与度Ｄ_i,j は式(1) の代わりに，式(2)
または(3) のいずれか一方を用いてもよい。

【００４８】

【数２】

【００４９】

【数３】

【００５０】式(2) は結合度が最大のものを寄与度と
し，式(3) は結合度の自乗が最大のものを寄与度として
いる。

【００５１】類似度はその他の方法により算出すること
ができる。寄与度Ｄ_i,j は寄与度算出処理12から特徴量
決定処理14に与えられる。

【００５２】各中間層（ｉ＝２〜４）の第ｊ番のノード
Ｎ_i,j の出力Ｕ_i,j,g と，第ｈ番の特徴量候補Ｙ_h,g と
がどの程度類似しているかを表す類似度_h,i,j が類似度
算出処理13において次式により算出される（ステップ2
3）。

【００５３】

【数４】

【００５４】式(4) はＧ組のノードの出力と特徴量との
差の総和を表している。

【００５５】類似度はその他の方法により算出すること
ができる。類似度Ｃ_h,i,j は類似度算出処理13から特徴
量選択処理14に与えられる。

【００５６】特徴量選択処理14において，寄与度算出処
理12において算出された寄与度Ｄ_{i, j} と類似度算出処理
13において算出された類似度Ｃ_h,i,j とに基づいて，１
つの有効特徴量とこれを入力する中間層のノードとが次
のようにして選択される（ステップ24）。

【００５７】類似度Ｃ_h,i,j が一定値Ｔhc以上をもつノ
ードとこれに対応する特徴量とが見付け出される。それ
らのノードの中で寄与度Ｄ_i,j が最大のノードが選択さ
れ，そのノードの寄与度Ｄ_i,j が一定値Ｔhd以上であれ
ば，そのノードとこれに対応する特徴量が有効特徴量と
して選択される。

【００５８】類似度Ｃ_h,i,j が一定値Ｔhc以上をもつノ
ードと特徴量がなければ，寄与度が大きい順に所定数の
ノードが選択され，それらのノードの中で類似度が最大
のノードとこれに対応する特徴量が有効特徴量として選
択される。

【００５９】また上述の有効特徴量の選択に代えて，類
似度と特徴量とに基づく信頼度が最大となるノードとこ
れに対応する特徴量を有効特徴量として選択するように
してもよい。

【００６０】信頼度Ｃ_h,i,j は次式により算出される。

【００６１】 Ｃ_h,i,j ＝Ｌ_h,i,j ×Ｄ_i,j …(5)

【００６２】信頼度はまた，式(5) に代えて次式により
算出してもよい。

【００６３】

【数５】

【００６４】

【数６】

【００６５】

【数７】

【００６６】有効特徴量とこれに対応するノードはその
他の方法により選択してもよい。

【００６７】有効特徴量とこれに対応する中間層のノー
ドを表わすデータとが特徴量決定処理14からＮＮ更新処
理15に与えられる。

【００６８】ＮＮ更新処理15において，特徴量選択処理
14により選択された中間層のノードとその前の層のノー
ドとの結合がすべて削除され，そのノードがこれに対応
する有効特徴量を入力するための入力ノードとすること
により，ＮＮ11に含まれるＮＮの構造が変更される（ス
テップ25，26）。たとえば，図８は第２中間層（第３
層）の第１番のノードＮ_3,1 が有効特徴量Ｖ₁ を入力す
るための入力ノードに変更された様子を示している。

【００６９】入力層（ｉ＝１）の各ノードについて上記
式(1) にしたがって寄与度が算出され（ステップ27），
この寄与度に基づいて有効特徴量の組合わせが確定した
かどうかが判定される（ステップ28）。たとえば，寄与
度がすべて所定値以下になったかどうかによって有効特
徴量の組合わせが確定したかどうかが判定される。

【００７０】有効特徴量の組合わせが確定していないと
判定されると（ステップ28でNO），システム出力（教師
データ）を入力層に入力し，選択された有効特徴量をそ
の入力ノードに入力してニューラル・ネットワークの学
習が行われる（ステップ31）。その後ステップ22に戻
り，ステップ22〜28の処理が行われる。

【００７１】ステップ28において有効特徴量の組合わせ
が確定したと判定されると（ステップ28でYES ），入力
層のノードがすべて削除される（ステップ29）。入力層
のノードが削除されることによって，それらのノードと
次の中間層のノードとの結合がすべて削除される。さら
に第１中間層から第３中間層について前の層のノードか
らの結合が全くない中間層のノードが削除される（ステ
ップ30）。

【００７２】このようにして有効特徴量が選択される。
たとえば図８は４つの有効特徴量Ｖ₁,Ｖ₂,Ｖ₂₂およびＶ
₂₄が選択されている。

【００７３】有効特徴量として選択されるべき特徴量
（これを確定特徴量という）がある場合，この確定特徴
量を入力するための入力ノードがあらかじめ加わえられ
たＮＮを用いて有効特徴量を選択する処理手順を示すフ
ロー・チャートが図９，図10および図11に示されてい
る。図５および図６に示す処理と同一処理には同一符号
を付し詳細な説明を省略する。

【００７４】確定特徴量を入力するための入力ノードが
ＮＮに追加される（ステップ41）。図12は図４に示すＮ
Ｎの構造に確定特徴量Ｖ₁ を追加したＮＮの構造を示し
ている。

【００７５】ＮＮ11において，システム出力と確定特徴
量とを用いて確定特徴量が追加されたＮＮについて学習
が行われる（ステップ42）。

【００７６】各中間層の各ノードについて寄与度および
類似度が算出され（ステップ22，23），１つの有効特徴
量と入力ノードとが選択される（ステップ24）。中簡層
のノードが入力ノードに変更されることによりＮＮの構
造が変更され（ステップ25），その入力ノードとその前
の層のノードとの結合が削除される（ステップ26）。

【００７７】ＮＮ構造変更処理15において，ステップ26
において変更されたＮＮの構造が記憶される（ステップ
43）。このＮＮの構造を第１構造という。

【００７８】入力層のすべてのノードが削除され（ステ
ップ44），さらに前の層のノードからの結合がない中間
層のノードが削除される（ステップ45）。この入力層の
ノードと中間層のノードとが削除されたＮＮの構造を第
２構造という。

【００７９】第２構造について，システム出力に加えて
確定特徴量および有効特徴量を入力とし，システム出力
を教師データとしてＮＮの学習が行われる（ステップ4
6）。この学習は，有効特徴量を入力ノードから入力
し，ＮＮの各出力が対応する教師データに近づくように
行われる。

【００８０】ＮＮの出力とシステム出力との誤差が算出
され（ステップ47），その誤差が充分に小さいか，すな
わち誤差があらかじめ設定された充分小さい閾値ε以下
でかるかが判断される（ステップ48）。

【００８１】誤差が閾値ε以下であるときには（ステッ
プ48でYES ），有効特徴量の選択を終了することにな
る。

【００８２】誤差が閾値εを超えたときには（ステップ
48でNO），ＮＮの構造が第２構造からステップ41におい
て記憶されたＮＮの第１構造に戻され（ステップ49），
この第１構造のＮＮの結合度のうち，第２構造に対応す
る第１構造の結合の結合度がステップ46において学習さ
れた第２構造における結合度に変更される（ステップ5
3）。

【００８３】その後，システム出力，確定特徴量および
有効特徴量を入力とし，ＮＮの出力がシステム出力にな
るように，第１構造のＮＮの学習が行われ（ステップ5
1），ステップ22に戻り，ステップ22〜48の処理が繰返
し行われる。

【００８４】このようにして有効特徴量を選択すること
ができる。

【図面の簡単な説明】

【図１】ジャケット・タンクの温度制御システムの全体
的構成を示すブロック図である。

【図２】製品の一回の生産におけるタンク内の温度，ジ
ャケット内の温度および原料の投入量のグラフである。

【図３】特徴量選択装置の詳細な構成を示す機能ブロッ
ク図である。

【図４】ＮＮの構造の一例を示す。

【図５】有効特徴量の選択処理の手順を示すフロー・チ
ャートである。

【図６】有効特徴量の選択処理の手順を示すフロー・チ
ャートである。

【図７】１つの有効特徴量とこれを入力するための中間
層のノードが選択されたＮＮの構造を示す。

【図８】有効特徴量の組合わせが確定したＮＮの構造を
示す。

【図９】１つの確定特徴量をＮＮに追加した場合の有効
特徴量の選択処理の手順を示すフロー・チャートであ
る。

【図１０】１つの確定特徴量をＮＮに追加した場合の有
効特徴量の選択処理の手順を示すフロー・チャートであ
る。

【図１１】１つの確定特徴量をＮＮに追加した場合の有
効特徴量の選択処理の手順を示すフロー・チャートであ
る。

【図１２】１つの確定特徴量をＮＮに追加したＮＮの構
造の一例を示す。

【符号の説明】

11 ＮＮ 12 寄与度算出処理 13 類似度算出処理 14 特徴量選択処理 15 ＮＮ構造変更処理

Claims (5)

【特許請求の範囲】
1. 【請求項１】 複数のノードを含む入力層と，複数のノ
   ードを含む一層または複数層の中間層と，入力層と同数
   のノードを含む出力層とからなるニューラル・ネットワ
   ークを設け，入力される教師データに基づいて複数の特
   徴量をあらかじめ作成しておき，上記教師データを上記
   ニューラル・ネットワークの入力層に入力したときの上
   記ニューラル・ネットワークの出力が上記教師データに
   等しくなるように上記ニューラル・ネットワークに学習
   を行わせ，上記ニューラル・ネットワークの中間層の各
   ノードの出力と上記特徴量とがどの程度類似しているか
   を表す類似度をそれぞれ算出し，これらの類似度に基づ
   いて上記複数の特徴量の中から１つの特徴量を有効特徴
   量として選択するとともに，この有効特徴量に対応する
   中間層のノードを上記有効特徴量を入力するための入力
   ノードに置換え，上記教師データを入力層に入力し，上
   記有効特徴量を入力ノードに入力してニューラル・ネッ
   トワークの学習と，有効特徴量の選択および入力ノード
   への置換とを繰返し行う，ニューラル・ネットワークの
   学習方法。
2. 【請求項２】 入力層の各ノードについてそのノードが
   どの程度その後の層に寄与しているかを表す寄与度を算
   出し，これらの寄与度のすべてが所定の閾値以下になっ
   たときに，上記ニューラル・ネットワークの学習と有効
   特徴量の選択および入力ノードへの置換とを終了する，
   請求項１に記載のニューラル・ネットワークの学習方
   法。
3. 【請求項３】 有効特徴量として選択されるべき１また
   は複数の特徴量を入力するための入力ノードを上記ニュ
   ーラル・ネットワークの中間層にあらかじめ設ける，請
   求項１に記載のニューラル・ネットワークの学習方法。
4. 【請求項４】 上記ニューラル・ネットワークの中間層
   のノードについて，そのノードがどの程度その後の層に
   寄与しているかを表す寄与度をそれぞれ算出し，この寄
   与度および上記類似度に基づいて上記有効特徴量を選択
   する，請求項１から３のいずれか一項に記載のニューラ
   ル・ネットワークの学習方法。
5. 【請求項５】 複数のノードを含む入力層と，複数のノ
   ードを含む一層または複数層の中間層と，入力層と同数
   のノードを含む出力層とからなるニューラル・ネットワ
   ーク，入力される教師データを上記ニューラル・ネット
   ワークに入力したときの上記ニューラル・ネットワーク
   の出力が上記教師データに等しくなるように上記ニュー
   ラル・ネットワークに学習を行わせる学習手段，上記ニ
   ューラル・ネットワークの中間層のノードの出力と，上
   記教師データに基づいて作成された上記特徴量とがどの
   程度類似しているかを表す類似度をそれぞれ算出し，こ
   れらの類似度に基づいて上記複数の特徴量の中から１つ
   の特徴量を有効特徴量として選択するとともに，この有
   効特徴量に対応する中間層のノードを上記有効特徴量を
   入力するための入力ノードに置換える構造変更手段，お
   よび上記教師データと上記有効特徴量を用いたニューラ
   ル・ネットワークの学習を上記学習手段に，有効特徴量
   の選択および入力ノードの置換とを上記構造変更手段に
   繰返し行わせる制御手段，を備えたニューラル・ネット
   ワーク・システム。