JPH05242068A

JPH05242068A - ニューラルディジタルプロセッサ

Info

Publication number: JPH05242068A
Application number: JP4327924A
Authority: JP
Inventors: Deville Yannick; デヴィーユイヤニック
Original assignee: Philips Gloeilampenfabrieken NV; Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 1991-12-11
Filing date: 1992-12-08
Publication date: 1993-09-21
Anticipated expiration: 2017-08-19
Also published as: EP0546624B1; DE69223221T2; DE69223221D1; EP0546624A1; FR2685109A1; JP3315449B2; US5796925A

Abstract

(57)【要約】【目的】低コストで演算速度が速く、精度の高いニュ
ーラルディジタルプロセッサを提供する。【構成】このニューラルディジタルプロセッサは
非線形活性化関数NLF を近似する関数ANLFをニューラル
ポテンシャルに適用する手段(14)を具え、この手段(14)
は別の非線形活性化関数CNLFで演算する別のニューラル
プロセッサ(14)を具え、この関数CNLFは単純な関数例え
ばランプ関数である。近似関数ANLFを計算する手段(14)
は近似関数ANLFの導関数を計算する手段(75)と共通の要
素(36₁, 36 ₂, 64)を具えており、関数による非線形活性
化関数NLF の近似の精度はあらかじめ定められる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、ディジタルデータ
用第１入力手段と、入力データと、ニューロン同士間ま
たはニューロンと入力手段間接続に関係するシナプス係
数との作用に従ってニューロンポテンシャルを計算す
るニューラルユニットと、前記シナプス係数を蓄積す
る第２手段と、少なくとも１つのニューラル状態ＳＴＡ
Ｔを発生させるため少なくとも１つのニューラルポテ
ンシャルPOT をｎ個のセグメントにより形成される少な
くとも１つの近似非線形活性化関数に従わせる第３手段
と、を具えたニューラルディジタルプロセッサに関
するものである。

【０００２】本発明はさらに非線形制御およびかかる制
御のための非線形転送関数の創作に関するものである。

【０００３】

【従来の技術】ニューラルディジタルプロセッサは
ニューラルネットワークとして知られている全体シス
テムの一部を形成するものである。ニューラルネット
ワークは課題の識別用、特に物体の形状とか文字の認識
用、信号処理とか音声処理とか画像処理用、または情報
の圧縮用に使用される。

【０００４】ニューラルネットワークはシナプス係数
が割当てられるシナプスによって一般に相互接続される
非線形自動素子により形成される。それは通常の直列型
コンピュータでは解決するのが困難な問題の解決を可能
にする。

【０００５】ニューラルネットワークの２つの最も普
通の形はホップフィールド(Hopfield)ネットワークと称
されるすべてが接続されるネットワークと、層状のネッ
トワークで、後者ではニューロンが引続く層でグループ
を形成し、各ニューロンは次の層のすべてのニューロン
に接続され、情報は入力層から次の層（隠れた層）に出
力層に到達するまで進む。

【０００６】これらシステムは実例に従って学習を進め
たりそれらを組織化することが可能である。直列型コン
ピュータを使用する場合に非常に長い計算時間がかかる
のを、ほぼ並列演算が履行されて時間短縮され、それら
演算は学習フェーズや決定フェーズを具えるものであ
る。

【０００７】与えられた処理を実行するために、ニュー
ラルネットワークは前もって演算の手順を学習してお
かねばならない。このフェーズは学習フェーズと称せら
れ実例を使用するものである。多くのアルゴリズムにつ
いて、これら実例に基づいた出力に得られるべき結果は
前もって一般に知られている。初期には、ニューラルネ
ットワークは所望の作業に未だ適合されてなく正しい結
果を伝えていない。次に得られた結果と得られるべき結
果との間で誤差が決められ、適合判定基準に基づいてシ
ナプス係数がニューラルネットワークをして選択され
た実例を学習させるよう修正される。このステップはニ
ューラルネットワークによる十分な学習に必要と考え
られるすべての実例について繰返えされる。

【０００８】学習アルゴリズムの２つのカテゴリがあ
る：１つは、ニューロン“ｂ”をニューロン“ａ”に接
続するシナプス係数の修正がニューロン“ａ”と“ｂ”
により用意された情報にのみ依存するという局所的学
習、もう１つは、前記修正がそのネットワークを介して
進呈された情報に依存する局所的でない学習で、この学
習は例えば層状ネットワークにおける誤差逆伝播による
学習である。

【０００９】与えられたニューロンはかくてその上向性
に接続されたニューロンによりなされる寄与の組みを積
算する。次にそれはニューロンポテンシャルPOT を供
給する。出力には出力ニューロンと称せられる１つまた
は複数のニューロンが用意されるかもしれない。ニュー
ロンのニューラルポテンシャルPOT は一般にプロセッ
サが精確に決定されるよう非線形活性化関数ＮＬＦに支
配されるべきである。この活性化関数は与えられた判定
基準を満足すべきで、その最も重要なことは変数の絶対
値が増加する時それは飽和し、いかなる点でもその導関
数が計算できるものであるべきである。

【００１０】いくつかの活性化関数が現在では公知のニ
ューラルプロセッサに使用されている。最も普通の関
数はシグモイド(sigmoid) 関数で、その理由はこれら関
数が得られるべき最適な、特に学習ステップ間での収束
の速度について最適な、必要なら、例えばニューラル
プロセッサを所望の適用に適合させるのに最適な結果を
可能とするからである。

【００１１】ニューラルポテンシャルPOT を非線形活
性化関数ＮＬＦに従わせるには現在種々の方法が知られ
ている。これらの方法はプロセッサの内部か外部にある
演算を利用する。外部演算は計算機によるあらかじめ計
算された表からの読みとりにより実行される。（学習フ
ェーズ中の）シナプス係数または（決定フェーズ中の）
ニューラル状態用の計算精度は前記計算機または前記あ
らかじめ計算された表の計算ステップに全く依存する。
かくて特にあらかじめ計算された表の大きさについて、
または計算機による計算の持続についての制限が存在す
る。

【００１２】さらに、別の活性化関数との演算のための
表の再配列はよりゆっくりしたプロセスであるべきこと
が示されている。活性化関数Ｆ（ｘ／Ｔ）を修正させう
る“温度”パラメータと称されるパラメータＴを容易に
変えることはもはや不可能である。さらに活性化関数と
その導関数の計算は２つの異なった演算を構成する。

【００１３】さらに、外部の演算はニューラルプロセ
ッサからの初期のディジタルデータ（ニューラルポ
テンシャルPOT ）の抽出が必要で、次に処理されたディ
ジタルデータ（ニューラル状態STAT）のニューラル
プロセッサへの再導入が必要である。これら演算は集積
回路の形での実施なら好適に排除できる特殊なハードウ
ェア同様処理時間と転送時間とを必要とする。

【００１４】それ故計算手段をニューラルプロセッサ
に直接集積化し、選択化された非線形活性化関数の適用
を可能とすることが目標とされてきた。ハードウェア削
減が非線形関数の履行に必要とされる時は、簡単な非線
形関数のみが使用されるという制限が存在する。これら
のことは現今の適用に対して極めて容易に不正確になる
ことがわかってきた。

【００１５】十分小さなステップでシグモイド関数の計
算を実行するのは必ずしも容易ではないから、今やシグ
モイド関数を切片状線形関数で近似する方向へ向かいつ
つある。例えば文献ＧＢ第2,236,608 Ａ号は切片状線形
関数により形成された近似非線形関数を計算する手段を
具えたディジタルニューラルネットワークを開示し
ている。そして、その原理はパルスコード変調を有する
Ａ型の圧縮法則の適用に存する。

【００１６】

【発明が解決しようとする課題】しかしながら、引用し
た前記文献に述べているようなかく得られた近似は、不
完全でニューラルプロセッサの演算で誤差が生じてし
まう。それ故シグモイド関数のより厳密な近似が望まれ
る。そしてまたシグモイド関数以外の関数を近似するた
めに、近似非線形関数がすみやかに再プログラムされ得
ることが望まれるかもしれない。この変更は速やかに実
施されるべきであり、加うるに、上述の非常に速やかな
導入と同じように、非線形関数の温度修正が可能である
べきである。

【００１７】もう一方、学習フェーズの間に使用される
近似非線形関数の導関数の計算を必要とする学習アルゴ
リズムを利用することが可能である。それ故低コストで
演算のこのモードをまた実施し得ることがハードウェア
に望まれる。

【００１８】

【課題を解決するための手段】前述の目的を達成するた
め、冒頭に記載した本発明に係るニューラルディジタ
ルプロセッサは、前記近似非線形関数ＡＮＬＦを前記
ニューラルポテンシャルPOT に適用した結果を計算す
るため、前記第３手段が別のニューラルディジタル
プロセッサを具え、そのプロセッサが、Ｈ_jを１≦ｊ≦
ｎなる予め定められたシナプス係数、Ｔｈ_jをしきい値
とした時、ｎ個の組Ｍ_j＝Ｈ_j.POT ＋Ｔｈ_jを計算する
手段と、少なくとも１つの別の非線形関数ＣＮＬＦの組
合せＭ_jへの適用Ｓ_j＝Ｆ（Ｍ_j）を計算する手段と、
近似非線形関数ANLFの前記適用した結果を発生させるた
めシナプス係数Ｄ_jを有するｎ個の適用Ｆ（Ｍ_j）を線
形に組合わせる手段と、を具え、前記別の非線形関数CN
LFがｘを独立変数とした時、ｘが−ｘ_minとｘ_ma _xの間
に位置する時一定ではないセグメントＦ(x) とそれぞれ
ｘ≧ｘ_max及びｘ≦ｘ_minの時２つのセグメントＦ(x)
＝Ｆ_maxおよびＦ(x) ＝Ｆ_minとにより形成されること
を特徴とするものである。

【００１９】前記活性化関数ANLFはかくて別のニューラ
ルプロセッサにより魅力的に計算され、そのためそれ
は別の非線形関数CNLFが２つの飽和セグメント−Ｆ_min
とＦ _maxにより限定される与えられた間隔の中で単純に
定義されるという条件を満たしている。間隔（−
ｘ_min，ｘ_max）ではＦ(x) は近似的ANLFが求められる
非線形関数NLF に関係して選択される。シグモイドの近
似を得るために、一定でないセグメントＦ(x) は、例え
は３次の多項式またはランプ関数によって形成される関
数の一部であってもよい。この３次の多項式による変換
は、かなり数が制限された値のみしか蓄積しないが、そ
れでも小さなステップで非線形関数ANLFの計算が可能な
表によりハードウェアとし実現されるかもしれない。

【００２０】ランプ関数は非常に有利である。それは表
を省略することができ、必要とするハードウェア手段が
さらに削減されるからである。

【００２１】一定でないセグメントＦ(x) を構成する関
数の選択は近似が要求される非線形関数ＮＬＦに関して
左程厳密ではない。かくて、このセグメントの選択は実
施の容易さによって主として決まるかもしない。あらか
しめ定められたシナプス係数の順番Ｈ_jと値Ｄ_jが望ま
しいものとして選択される精度を有した非線形関数の近
似を可能とする。

【００２２】本発明は近似非線形関数ANLFの計算用に限
定されたハードウェアの使用を可能とする。かくてこの
削減されたハードウェアは非線形関数ANLFの導関数の計
算実行のため倍にされる。関数と導関数とはかくて同じ
方法で別々に処理される２つの関数と考えられる。

【００２３】ランプ関数の使用は関数ANLFとその導関数
の計算実行を可能とし、必要とするハードウェアを倍に
しなくてもすみ、ハードウェアの構成には有利である。

【００２４】非線形関数ANLFおよび／またはその導関数
の計算はニューラル形手段により実行されてきたが、こ
れらの手段はハードウェア手段を削減するため一般にニ
ューラルプロセッサの別のニューラル手段と組合わす
ことができる。

【００２５】本発明を他の観点からみてみると、本発明
はユニットによって受信された入力データに基づいてニ
ューラルポテンシャルを創作するユニットを有するニ
ューラルネットワークを機能的に具えたデータ処理シ
ステムにも関するもので、その積の各それぞれの１つが
入力データのそれぞれの１つにそれぞれのシプナス係数
をそれぞれ乗じた乗算を含む積の積算をそのニューラル
ポテンシャルが含むことを特徴とするデータ処理シス
テムである。そのニューラルネットワークはさらにニ
ューロン出力データを創作するため非線形関数をニュー
ラルポテンシャルに適用する非線形関数手段を具えて
いる。本発明によれば、この非線形関数手段は複数の別
のユニットを有する別のニューラルネットワークを機
能的に具えている。複数の別のユニットの各それぞれの
１つはニューラルポテンシャルにそれぞれの因子を乗
ずる乗算を含むそれぞれの別の積を創作すべく演算され
るとともに、それぞれの結果を創作すべくその別の積に
それぞれ別の非線形関数を適用している。非線形関数手
段はまた組合わせ手段を具え、それは前記ニューラルポ
テンシャルと関連したはじめに述べた非線形関数の値を
提供すべくそれぞれの結果を線形的に組合わせている。

【００２６】また、その別の非線形関数とニューラル
ネット（積の積算）の典型的な演算とははじめに述べた
非線形関数を創作する。非線形関数手段の簡易さとニュ
ーラルネットに対するその構造的類似性とは１つのニ
ューラルネット、特に唯１つのチップのニューラル
ネットでの実施という意味で本発明を非常に魅力あるも
のにしている。さらに好適には、各別の非線形関数は２
つの飽和値間のランプ関数で構成されている。

【００２７】本発明がニューラルネットの分野で有す
る価値とは別に、複数の非線形基本関数から非線形転送
機能を創作するこの方法は、より一般的な非線形制御の
分野、そこでは入力信号と出力信号が非線形の形態で関
係しあう分野で明らかに興味あるものである。例えばそ
の演算がファジイ(fuzzy) 論理に基づくファジイ制御が
ある。一般に非線形転送機能は計算に多大の処理時間を
必要とするのでルックアップテーブルで実施される。

【００２８】本発明はまた出力信号を創作すべく入力信
号に非線形転送機能を実施する非線形関数手段を具えた
データ処理システムにも関係する。本発明によれば、非
線形関数手段はそれぞれの結果を創作するため入力信号
へ複数のそれぞれの基本非線形関数を適用する基本手段
と、出力信号を発生するためそれぞれの結果を線形に組
合わせる組合せ手段とを機能的に具えている。

【００２９】

【実施例】以下添付図面を参照して実施例により本発明
を詳細に説明する。図１は所与の瞬間に少なくとも１つ
のニューラルポテンシャルPOT を供給するニューラルユ
ニット12を具える既知のニューラルプロセッサ10の線図
である。ニューラルユニット12は入力手段13からのデー
タＶ_bと手段16からのシナプス係数Ｃ_abを受信し、かつ
以下の式

【数１】のようにニューラルポテンシャルを計算する。

【００３０】関連する技術的適用の性質に依存して、ニ
ューラルユニット12は所与の瞬間にニューラルポテンシ
ャルPOT が決定されるいくつかのニューロンを有するこ
とができる。もし時間シーケンスが考慮されるなら、同
じニューロンに対してニューラルポテンシャルPOT のシ
ーケンスが現れる。これらのポテンシャルは一般に非線
形活性化関数NLF に個別に従わなければならない。その
計算がニューラルプロセッサで実行される場合、非線形
活性化関数NLF を近似する非線形活性化関数ANLFが適用
できる（ブロック14）。このようにニューラルポテンシ
ャルPOT はニューラル状態STATに変換され、それは大多
数のニューロンに対して、処理の間にニューラルユニッ
ト12に再導入される。

【００３１】シナプス係数Ｃ_abはメモリ16に蓄積され
る。それらは要素「ｂ」を要素「ａ」に接続する接続を
特徴付ける。それらは入力手段13のデータＶ_b、あるい
はニューラルユニット12のニューラルのいずれかの入力
であってよい。

【００３２】学習フェーズ（learning phase）の間に、
シナプス係数はメモリ16に負荷される（接続15）。決定
フェーズ（resolving phase)の間に、シナプス係数はメ
モリ16で読み取られる（接続17）。

【００３３】そのようなニューラルディジタルプロセッ
サの構造と演算は当業者に既知である。

【００３４】シグモイド(sigmoid) 関数（NLF)を近似す
る非線形関数ANLFは図２に示されている。一例として、
奇関数NLF が考慮され、それに対して非線形で平等に奇
関数ANLFが決定されよう。従って、このことは零である
しきい値Ｔ_bに対応する。それは横座標（ｘ₀,ｘ₁),
（ｘ₁,ｘ₂), （ｘ₂,ｘ₃), ....の間の直線セグメントか
らなるセグメントにより近似されている。本発明は図３
に示されたニューラルディジタルプロセッサ14によりこ
の種の近似の実行を提案する。それは入力ニューラルユ
ニット20、別の非線形関数CNLFを適用する手段22、出力
ニューラルユニット24、およびニューラルユニット20と
24用それぞれにシナプス係数Ｈ_jとＤ_jを蓄積する手段
26を具えている。入力ニューラルユニット20はニューラ
ルプロセッサ10のニューラルユニット12からデータ（ニ
ューラルポテンシャルPOT ）を受信する。出力ニューラ
ルユニット24は入力に到着する各ニューラルポテンシャ
ルPOT のニューラル状態STATを供給する。関数NLF が奇
でない場合には、２つのニューラルユニット20, 24はし
きい値Ｔ_hを受信し、しきい値Ｔ_hはニューロンの活性
化しきい値を修正するためにニューラルユニットの各ニ
ューロンに作用する。

【００３５】図４はニューラルプロセッサ14の詳細な線
図を示している。ニューラルユニット20はｎ個のニュー
ロン、30₁....30_j....30_nを具え、その各々はそれ自
身のシナプス係数Ｈ₁....Ｈ_j....Ｈ_nを受信し、かつ
その全ては非線形関数ANLFに従うべき同じニューラルポ
テンシャルPOT を受信する。近似非線形関数ANLFの同じ
象限（quadrant）に非零傾斜セグメントが存在するのと
同様に多くのニューロンが存在する。各ニューロンはニ
ューラルポテンシャルＭ₁....Ｍ_j....Ｍ_nを供給し、
ここで

【数２】であり、Ｔh₁....Ｔhj_j..Ｔhn_n関数NLF が奇である場
合には零である。

【００３６】ｎ個の組合せＭ_nは既に述べられているよ
うにｎ個のニューロンの層を介するか、あるいはｎ個の
組合せを供給するニューロンのいくつかの層を介するか
のいずれかで得ることができる。これらのニューラルポ
テンシャルは非線形関数CNLFに従う。

【００３７】関数CNLFを適用する手段22はユニット3
5₁...., 35_j...., 35_nにより形成され、その各々は
同じ関数CNLFを適用することが好ましい。ユニット35_n
は、Ｍ_nがｘ_maxより大きいか等しいかどうか、ｘ_min
より小さいか等しいかどうかを検出する例えば２個の比
較器36_1, 36₂により形成される。表37は比較器36₁, 36
₂が活性である場合にはそれらの比較器の出力による
か、あるいは比較器が活性でない場合にはＭ_nによるか
のいずれかでアドレスされる。表は値Ｆ(x),Ｆ_maxおよ
びＦ_minで前以て負荷される。各ポテンシャルＭ₁,...
，Ｍ_j, ....，Ｍ_nでは連続して演算する単一ユニッ
ト35のみを使用することが可能である。

【００３８】図５は非線形関数CNFLの例を示している。
間隔（−ｘ_min，ｘ_max）の外ではすべての関数はそれ
ぞれ−Ｆ_minとＦ_maxで飽和になる。

【００３９】間隔（−ｘ_min，ｘ_max）では、関数Ｆ
(x) はランプ関数（曲線Ｆ1 ）、三次多項式（曲線Ｆ2
）、さらに複雑な曲線（曲線Ｆ3 ）のいずれかによっ
て形成できる。

【００４０】本発明によると、ランプ関数は間隔（−ｘ
_min，ｘ_max）の間で使用されることが好ましい。この
関数は、ほんの僅かのハードウエアだけの使用しか必要
でないという利点を提供する。その導関数の関連計算が
限定された補助手段のみを必要とすることは追加の利点
である。

【００４１】図６はｎ次チャネルのランプ関数の場合の
例えば35_nのようなユニット35の一実施例を示してい
る。図面を簡単化するために、Ｆ_maxと−Ｆ_minの値は
＋１と−１でそれぞれ正規化され、ｘ_maxと−ｘ_minも
同様である。

【００４２】ニューラルポテンシャルＭ_nはＭ_n≧１か
Ｍ_n≦１かどうかをそれぞれ検出する２個の比較器3
6₁, 36₂に入る。Ｍ_n≧１の場合、出力61₁は活性
（状態Ｙ）である。それは次に出力Ｓ_nに値Ｆ_max＝＋
１を印加する要素63を活性化する。Ｍ_n≦１の場合、出
力621 は活性（状態Ｙ）である。それは次に出力Ｓ_nに
値Ｆ_min＝−１を印加する要素67を活性化する。−１＜
Ｍ_n＜＋１の場合、出力61₂と62₂は活性（状態Ｎ）で
ある。それらは出力Ｓ_nに各値Ｍ_nを転送する（バス3
8）転送ゲート65に作用するアンドゲート64に印加され
る。このようにしてニューラルポテンシャルＭ_nと状態
Ｓ_nの間に対応が存在する。

【００４３】図４のすべてのユニット35₁−35_nはすべ
てのポテンシャルＭ_jが同じ関数Ｆ(x) に従う場合には
同一である。異なる関数Ｆ(x) も選択できる。シナプス
係数Ｄ_jにより、以下の計算、

【数３】を実行するニューラルユニット24（図４）にすべての状
態（Ｓ₁−Ｓ_n）が到達する。

【００４４】ニューラルユニット24は活性化関数が必然
的に後続しない単一ニューロンにより形成される。ニュ
ーラルユニット20と24でそれぞれ使用されるようにメモ
リ26に蓄積された係数Ｈ_jとＤ_jは使用された非線形関
数NLF ，ANLFおよびCNLFの選択関数として、および受け
入れられた近似誤差の選択関数として予め決定されなけ
ればならない。CNLFがランプ関数である場合、計算方法
は以下のようになる。

【００４５】非線形活性化関数ANLFの決定非線形関数ANLF Ａ(x) は非線形関数NLF Ｔ(x) の近似
であり、ｘは独立変数である。異なる判定規準は関数AN
LF Ａ(x) の規定に使用できる。すなわち、 − 第１の判定規準は位置ｘにおける関数NLF とANLFの
間の差の上限を規定する誤差Ｅを事前に定義することか
らなっていよう。 − 第２の判定規準は関数NLF Ｔ(x) の近似Ａ(x) を創
作しようとする多数のセグメント（すなわち、ニューラ
ルユニット20により供給されたニューラルポテンシャル
Ｍj ）を事前に定義することからなっていよう。

【００４６】第１の判定規準によると、横座標ｘ₀＝０
（図２）から傾斜直線ｐ₀がプロットされ、かつ横座標
ｘ₁は上記の傾斜直線が関数NLF の曲線と出合う点につ
いて計算され、同時に直線セグメントと上記の曲線との
間の最大誤差は値Ｅ以下に留まることが保証される。こ
の計算は関数NLF の全曲線に関して点ｘ₁について繰り
返される等々である。この計算は最大誤差が値Ｅより小
さくなる場合に終了する。このように、その傾斜と端に
より規定される直線セグメントのシーケンスが得られ
る。ｘ_Kとｘ_K+1の間の次数ｋの直線セグメントの式
は、

【数４】であり、ここでｐ_kは傾斜であり、ｑ_kは原点における
縦座標である。

【００４７】Ａ(x) とＴ(x) がセグメントの端で一致す
るから、

【数５】が得られ、ここでｐ_n＝０である。というのは、最後の
セグメントは傾斜零を有し、かつ

【数６】であるからである。関数Ｔ(x) は凸（ｘ≧０）かつ奇で
あると仮定されている。計算はｘ≧０に関して行われ
る。

【００４８】２つの曲線Ｔ(x) とＡ(X) の間の誤差ｅ_k
(x) は、

【数７】のように書ける。

【００４９】上記の誤差ｅ_kが最大である点ｘ＝ｘ_k
^maxは、

【数８】により規定される。

【００５０】Ｔ(x) が双曲正接関数である場合には、非
零傾斜を有するセグメントに対して

【数９】が現れる。

【００５１】既知の増大するｋ，ｘ_kにより連続的に進
めることにより、かつｅ_k ^maxがＥに等しいと書くこと
により、次数ｋのラインの各セグメントに対してそのパ
ラメータ（ｘ_k+1，ｐ_kおよびｑ_k）が得られる。

【００５２】第２の判定規準によると、多数のセグメン
トは事前に固定される。セグメントの端は最後のセグメ
ントを含めて各セグメントの最大誤差が厳密に等しいよ
うに決定される。第１の判定規準について述べられた計
算方法は第２の判定規準に対して少々修正できる。この
演算は当業者にとって明白であろう。

【００５３】近似の精度は最大許容誤差の値Ｅあるいは
関数ANFLを形成するセグメントの数のいずれかを事前に
固定することにより予め決定できる。

【００５４】シナプス係数の決定近似非線形関数ANFLが決定されると、シナプス係数Ｈ_J
とＤ_J（１≦ｊ≦ｎ）はなお計算されるべきである。シ
ナプス係数の数ｎは非零傾斜を有しかつ第１象限で関数
ANFLを構成するセグメントの数に等しいことが好まし
い。セグメントの端と傾斜を係数Ｈ_JとＤ_Jに一致させ
ることにより、ランプ関数の場合に、一組の可能なシナ
プス係数は

【数１０】である。

【００５５】一例として、ランプ関数により形成された
非線形関数CNFLによる直線の15個のセグメントによる双
曲正接関数の近似の場合、10有効数字（10 significant
digits)の精度で以下のシナプス係数Ｈ_jとＤ_jが表
１，２に示されたように計算された。

【数１１】表１はシナプス係数Ｈ_jを示し、表２はシナプス係数Ｄ
_jを示している。

【００５６】上述の方法は関数CNFLがランプ関数を具え
る場合に実行される。この方法は関数CNFLがランプ関数
を具えないが、しかしもっと複雑な関数部を具える場合
に同様に適用できる。

【００５７】関数ANLFの導関数の決定ニューラルプロセッサ10を使用する間に、関数ANLFの導
関数の使用を必要とする学習アルゴリズムを適用する必
要があるかもしれない。第１の解決法はこの導関数を新
しい関数として考慮し、かつ上述のようにその近似を実
行することである。第２の解決法は所与のハードウエア
手段の無効な二重化が回避され、かつ関数ANLFの導関数
の近似計算が無しで済ますことのできるよう関数ANLFへ
のアプローチの使用からなっており、それとは逆に、関
数ANLFの第１の正確な導関数がその代わりに計算されて
いる。ランプかもしれないは特別に興味ある場合を現わ
している。

【００５８】既に

【数１２】が記述されており、ここでＲ( ．) はランプ関数であ
る。

【００５９】関数ANLFの導関数は実際にはＡの導関数の
計算であり、すなわち

【数１３】である。

【００６０】ランプ関数Ｒの導関数は、

【数１４】

【００６１】上に与えられた式（１）と（２）の比較に
より、Ａ(POT )とＡ′(POT) の間の差はランプ関数Ｒか
ら関数Ｈ_J．Ｒ′への変換からなっていることが見いだ
されている。

【００６２】導関数の計算は図７に示されるようなブロ
ック35を除いて、図４に示されるものと同一な形態によ
って実行できる。ニューラルポテンシャルＭ_J（１≦ｊ
≦ｎ）はＭ_J≧１かＭ_J≦−１かどうかを検出する比較
器36₁, 36₂に入る。出力61 ₂と62₂は−１＜Ｍ_J＜１
の場合に活性化される。出力61₂と62₂はは因数（inde
x ）ｊを有するポテンシャルＭ_jに対応するシナプス係
数Ｈ_Jを転送する転送ゲート70を活性化するアンドゲー
ト64に入る。

【００６３】条件−１＜Ｍ_j＜１が検証されない場合、
アンドゲート64は出力Ｓ_jに信号零を印加する要素71を
制御するインバータ72を活性化する。

【００６４】図６と図７の線図は、関数ANLFの計算、あ
るいはその導関数の計算のいずれかに連続的に使用され
るように組合せ可能である（図８）。この目的で、機能
信号FUNCT は１つのモードあるいは他のモードの選択を
可能にする。

【００６５】信号FUNCT が活性化されると、それは前に
述べられたブロック63, 65, 67を制御するアンドゲート
80, 82, 84を活性化する。非活性化信号FUNCT はこのよ
うに導関数の計算指令を構成する。この信号は前述のブ
ロック70, 71を制御するアンドゲート81, 83を活性化す
るインバータ85に印加される。

【００６６】このように、コンパクトなブロック35が得
られ、それは関数ANLFあるいは関数ANLFの正確な１次導
関数のいずれかの計算を可能にする。関数ANLFによる関
数NFL の近似は所望されるだけ高い所定の精度で得るこ
とができる。

【００６７】導関数は異なるやり方でも計算できる。既
に述べたように、転送ゲート70（図７と図８）は係数Ｈ
_jの値の伝ぱんに役立つ。ゲート70の入力を値１に設定
し、かつシナプス係数Ｄ_jで状態Ｓ_jを乗算し、かつシ
ナプス係数Ｈ_j（ここでｊは定数である）により同一の
結果を得ることができる。このことは、例えばメモリ26
（図３）にシナプス係数Ｄ_j．Ｈ_jを蓄積することによ
り実現される。ブロック22のアーキテクチャが、シナプ
ス係数Ｄ_j．Ｈ_jを使用する関数Ｆの計算から、シナプ
ス係数Ｈj とＤ_j．Ｈ_jによるその導関数Ｆ′の計算ま
での交換で修正されないことは魅力的である。

【００６８】図４に示された他のニューラルプロセッサ
14はニューラルプロセッサ10（図１）の別の手段とは無
関係なハードウエアにより形成できる。しかし、ニュー
ラルユニット12とニューラルプロセッサ10のメモリ16に
基づいて別のニューラルプロセッサ14を実現するのは魅
力的である。実際に、ニューラルポテンシャルPOT の計
算と活性化関数の適用は時間的に別の演算を構成してい
る。ニューラルユニット12のニューロンは第１期間にニ
ューラルポテンシャルPOT の計算を含み、その後で、そ
れらは非線形関数ANLFの適用によりニューラル状態STAT
の計算に使用できる。

【００６９】非線形関数の構成の実例実際に、ニューラルネットの範疇で、本発明は複数の単
純関数の線形の組合せにより非線形伝達関数（実質的に
ニューラルネットの演算である）を構成する優雅な態様
を与える。

【００７０】基本関数Ｓを使用する非線形伝達関数Ａの
構成は実例として図９−12に詳細に示されている。この
例で、非線形伝達関数Ａは複数の直線セグメントからな
る断片的線形関数であると仮定されている。伝達関数Ａ
はニューラルネット演算で通常採用されているような奇
のシグノイド関数の近似であると考えられている。伝達
関数Ａは各シナプス係数により加重されている特定のニ
ューロンへの各入力信号の和を含むニューラルポテンシ
ャルPOT に演算する。図９の線図はα，β，δで屈折点
（kink）を持つ４個の線形セグメントを含むことを示す
Ａの正の部分を例示している。

【００７１】基本関数として図10の線図に例示されたよ
うな以下の関数、

【数１５】が利用可能であるとさらに仮定されている。

【００７２】第１に、POT で演算す３個の線形関数Ｍ_j
（１≦ｊ≦３）が創作され、それは、

【００７３】

【数１６】である。これは図11の線図に示されている。Ｈ_jは以下
に明らかにされるように予め定められた定数である。

【００７４】次に、基本関数ＳはＳ_jを発生する各Ｍ_j
を演算し、それは図12の線図に示されたようなPOT の関
数

【数１７】である。これら３個のＳ_jは図９の非線形関数Ａを与え
るよう適当に組合わされるべきである。すなわち、以下
の表現

【数１８】で関数Ａ等しいように因数Ｄ₁，Ｄ₂，Ｄ₃が選ばれる
べきである。

【００７５】さて、POT ＝１／Ｈ_jを越えると、基本関
数Ｓ_jは１に等しいままであり、かつＨ₁＞Ｈ₂＞Ｈ₃
であることに注意されたい。それ故、POT のその値を越
えるＡ(POT )へのＳ_jの寄与は一定のままである。POT
＝１／Ｈ₃を越えると、Ｓ_jの寄与は一定である。１／
Ｈ₂≦POT ≦１／Ｈ₃では、Ｓ₁とＳ₂の寄与は一定で
あり、一方、Ｓ₃はＡに対して線形的に変化する寄与を
与える。１／Ｈ₁≦POT ≦１／Ｈ₂に対して、Ｓ₂とＳ
₃の寄与は線形的に変化し、そしてＳ₁は一定である。
０≦POT ≦１／Ｈ₁に対して、Ｓ₁，Ｓ₂およびＳ₃の
寄与はすべて線形的に変化する。

【００７６】従って、以下の式、

【数１９】が良好に保持される。

【００７７】１／Ｈ_jは伝達関数Ａが屈折点（α，βお
よびδ）を有し、かつ相互に異なるPOT の値に一致する
から、Ｄ_jは３個の未知数を含む３個の線形方程式のこ
の組から容易に決定される。現在示されることは、基本
関数Ｓ_jの適当な組合せが予め定められた非線形伝達関
数Ａの創作に使用できることである。実際の結末は、さ
らに複雑なニューラルネットの非線形関数演算を与える
ためにＭおよびＳ関数がかなり単純なニューラルネット
機能を使用して容易に実現できることである。

【００７８】非線形関数手段14とニューラルプロセッサ
10は同じチップに集積できることに注意されたい。非線
形関数手段14はニューラルプロセッサ10の部分を機能的
に形成するニューロンユニット（30₁−30_n）を有する
ことにも注意されたい。というのは、ニューロンプロセ
ッサ10の一部分としてのこれらユニットの演算サイクル
は非線形関数手段14の一部分としてのこれらユニットの
演算サイクルに先行するからである。

【００７９】高い複雑レベルの非線形関数の上述の構成
はニューラルネットに限定されるだけでなく、本質的演
算として非線形伝達関数を使用する非線形制御の分野に
も適用できる。例えば、そのような制御は制御すべきシ
ステムの現在の状態を規定する入力データを受信し、か
つ所望の状態に向かってシステムを導く制御データを供
給する。制御データは一般に入力データに非線形なやり
方で依存し、特に制御すべきシステムが所望の状態、例
えば平衡状態からはるかに離れたパラメータ領域に移動
する場合にそうである。非線形伝達関数を実現するため
に、非線形制御それ自身は単純関数の線形組合せを使用
する断片的線形伝達関数を発生する単純なニューラルネ
ットを含むことができる。

【００８０】たとえ上述の議論がディジタル的アプロー
チに主として関連していても、本発明はアナログ回路で
実現することもできる。しかし、上述の計算を実現する
アナログ回路の精度は雑音感受性あるいはパラメータの
広がりのために限定されることに注意すべきである。

【図面の簡単な説明】

【図１】図１は既知のニューラルプロセッサの一般的線
図を示している。

【図２】図２はシグノイド曲線の一部分と、第１象限に
おけるセグメント化された線形関数によるその近似を示
している。

【図３】図３は本発明によるニューラルプロセッサの一
般的線図を示している。

【図４】図４は本発明による別のニューラルディジタル
プロセッサのさらに詳しい線図を示している。

【図５】図５は本発明により使用できる曲線Ｆ(x) の別
の形状を示している。

【図６】図６は別の非線形関数CNLFがランプ関数である
場合に関連する線図を示している。

【図７】図７は別の非線形関数CNLFがランプ関数である
場合の関数ANLFの導関数の計算の線図を示している。

【図８】図８は別の非線形関数CNLFがランプ関数である
場合の関数ANLFとその導関数を計算する線図を示してい
る。

【図９】図９は各々が２つの飽和値の間でランプ関数を
有する非線形基本関数を使用する非線形伝達関数の形成
を例示している。

【図１０】図10は各々が２つの飽和値の間でランプ関数
を有する非線形基本関数を使用する非線形伝達関数の形
成を例示している。

【図１１】図11は各々が２つの飽和値の間でランプ関数
を有する非線形基本関数を使用する非線形伝達関数の形
成を例示している。

【図１２】図12は各々が２つの飽和値の間でランプ関数
を有する非線形基本関数を使用する非線形伝達関数の形
成を例示している。

【符号の説明】

10 ニューラルプロセッサ 12 ニューラルユニット 13 入力手段 14 ニューラルプロセッサあるいは非線形関数手段 15 接続 16 蓄積手段 17 接続 20 入力ニューラルユニット 22 手段 24 出力ニューラルユニット 26 蓄積手段 30 ニューロン（ユニット） 35 ユニット 36 比較器 37 表 38 バス 61 出力 62 出力 63 転送ゲート 64 アンドゲート 65 転送ゲート 67 転送ゲート 70 転送ゲート 71 転送ゲート 72 インバータ 75 ブロック 80 アンドゲート 81 アンドゲート 82 アンドゲート 83 アンドゲート 84 アンドゲート 85 インバータ

Claims

【特許請求の範囲】

【請求項１】ディジタルデータ用第１入力手段(13)
と、入力データと、ニューロン同士間またはニューロン
と入力手段間接続に関係するシナプス係数との作用に従
ってニューロンポテンシャルを計算するニューラル
ユニット(12)と、前記シナプス係数を蓄積する第２手段
(16)と、少なくとも１つのニューラル状態ＳＴＡＴを発
生させるため少なくとも１つのニューラルポテンシャ
ルPOTをｎ個のセグメントにより形成される少なくとも
１つの近似非線形活性化関数に従わせる第３手段(14)
と、を具えたニューラルディジタルプロセッサにお
いて、前記近似非線形関数ANLFを前記ニューラルポテンシャ
ルPOT に適用した結果を計算するため、前記第３手段(1
4)が別のニューラルディジタルプロセッサ(14)を具
え、そのプロセッサが、Ｈ_jを１≦ｊ≦ｎなる予め定め
られたシナプス係数、Ｔｈ_jをしきい値とした時、ｎ個
の組Ｍ_j＝Ｈ_j.POT ＋Ｔｈ_jを計算する手段(20)と、少
なくとも１つの別の非線形関数CNLFの組合せＭ_jへの適
用Ｓ_j＝Ｆ（Ｍ_j）を計算する手段(22)と、近似非線形
関数ANLFの前記適用した結果を発生させるためシナプス
係数Ｄ_jを有するｎ個の適用Ｆ（Ｍ_j）を線形に組合わ
せる手段(24)と、を具え、前記別の非線形関数CNLFがｘを独立変数とした時、ｘが
−ｘ_minとｘ_maxの間に位置する時一定ではないセグメ
ントＦ(x) と、それぞれｘ≧ｘ_max及びｘ≦ｘ _minの時
２つのセグメントＦ(x) ＝Ｆ_maxおよびＦ(x) ＝Ｆ_min
とにより形成されることを特徴とするニューラルディ
ジタルプロセッサ。
【請求項２】請求項１記載のプロセッサにおいて、適
用Ｆ（Ｍ_j) を計算する手段(22)）が、組合せＭ_jが−
ｘ_minとｘ_maxの間にあるかこの間隔の外にあるかを検
出する手段(36₁, 36₂，64）と、この間隔での値Ｆ（Ｍ
_j）を計算する手段(37)と、それぞれＭ_j≧ｘ_maxおよ
びＭ_j≦−ｘ_minの時Ｆ（Ｍ_j）にそれぞれ値Ｆ_maxお
よび−Ｆ_minを割当てる手段(37)と、を具えることを特
徴とするニューラルディジタルプロセッサ。
【請求項３】請求項２記載のプロセッサにおいて、手
段(37)が予め定められた値Ｆ（Ｍ_j）をアドレスＭ_jに
蓄積する表を具えることを特徴とするニューラルディ
ジタルプロセッサ。
【請求項４】請求項２記載のプロセッサにおいて、別
の非線形関数ＣＮＬＦがランプ関数で、手段(37)がニュ
ーラルポテンシャル値Ｍ_jをニューラル状態Ｓ_jに適
用する転送手段(38)により形成されることを特徴とする
ニューラルディジタルプロセッサ。
【請求項５】請求項１から４いずれか記載のプロセッ
サにおいて、別のニューラルディジタルプロセッサ
がまた非線形関数ANLFの導関数Ｆ′を計算する手段(75)
を具えることを特徴とするニューラルディジタルプ
ロセッサ。
【請求項６】請求項５記載のプロセッサにおいて、組
合せＭ_jが−ｘ_minとｘ_maxの間に位置しこの間隔の外
側で値が零である時、適用Ｓ′_j＝Ｆ′（Ｍ _j) の予め
定められた値を蓄積する少なくとも１つの表を具えるこ
とを特徴とするニューラルディジタルプロセッサ。
【請求項７】請求項６記載のプロセッサにおいて、別
の非線形関数CNLFがランプ関数で、表が各適用Ｓ′_j＝
Ｆ′（Ｍ_j) ごとに対応するシナプス係数Ｈ _jの値を複
写するブロック(70)により置換されることを特徴とする
ニューラルディジタルプロセッサ。
【請求項８】請求項６記載のプロセッサにおいて、別
の非線形関数CNLFがランプ関数で、手段(26)が非線形関
数ANLFの計算のため値Ｈ_jとＤ_jを蓄積し、その導関数
の計算のため表がその入力ユニットの値のデータを受信
するブロック(70)により置換されることを特徴とするニ
ューラルディジタルプロセッサ。
【請求項９】請求項１から８いずれか記載のプロセッ
サにおいて、手段(22)が非線形関数ＡＮＬＦとその導関
数とに従って順次に適用を計算するために使用されるこ
とを特徴とするニューラルディジタルプロセッサ。
【請求項１０】請求項１から９いずれか記載のプロセ
ッサにおいて、ニューラルユニット(12)と別のニュー
ラルプロセッサ(14)とが共通のニューロンを有するこ
とを特徴とするニューラルディジタルプロセッサ。
【請求項１１】受信入力データに基づいてニューラル
ポテンシャルを創作するユニットであって、かつ、入
力データのそれぞれの１つにそれぞれのシナプス係数を
乗じたそれぞれの乗算値をそれぞれ１つの積とするそれ
ら積の積算値を含むニューラルポテンシャルを創作す
るユニットと、ニューロン出力データを創作するため非線形関数をニュ
ーロンポテンシャルに適用する非線形関数手段と、を
有するニューラルネットワークを機能的に具えたデー
タ処理システムにおいて、その非線形関数手段が別のニューラルネットワークを
機能的に具え、その別のニューラルネットワークが複
数の別のユニットと組合せ手段とを有し、前記複数の別のユニットのそれぞれの１つがニューラル
ポテンシャルにそれぞれの因子を乗ずる乗算を含むそ
れぞれの別の積を創作すべく演算されるとともに、それ
ぞれの結果を創作すべくその別の積にそれぞれ別の非線
形関数を適用し、前記組合せ手段が前記ニューラルポテンシャルと関連
したはじめに述べた非線形関数の値を提供すべくそれぞ
れの結果を線形的に組合わせる組合せ手段である、こと
を特徴とするデータ処理システム。
【請求項１２】請求項11記載のシステムにおいて、前
記複数の別のユニットが各々２つの飽和値間ランプ関数
を具える別の非線形関数を適用すべく演算されることを
特徴とするデータ処理システム。
【請求項１３】請求項11または12記載のシステムにお
いて、そのシステムが唯１つのＩＣ素子に集積されるこ
とを特徴とするデータ処理システム。
【請求項１４】出力信号を創作すべく入力信号を演算
して非線形転送機能を履行すべく非線形関数手段を具え
たデータ処理システムにおいて、前記非線形関数手段が：それぞれの結果を創作するため
入力信号に複数のそれぞれの基本的非線形関数を適用す
る基本的手段と、出力信号を発生させるため複数のそれぞれの結果を線形
的に組合わせる組合せ手段と、を機能的に具えたことを
特徴とするデータ処理システム。