JPH05242068A - ニューラル ディジタル プロセッサ - Google Patents
ニューラル ディジタル プロセッサInfo
- Publication number
- JPH05242068A JPH05242068A JP4327924A JP32792492A JPH05242068A JP H05242068 A JPH05242068 A JP H05242068A JP 4327924 A JP4327924 A JP 4327924A JP 32792492 A JP32792492 A JP 32792492A JP H05242068 A JPH05242068 A JP H05242068A
- Authority
- JP
- Japan
- Prior art keywords
- neural
- function
- linear
- linear function
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Feedback Control In General (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 低コストで演算速度が速く、精度の高いニュ
ーラル ディジタル プロセッサを提供する。 【構成】 このニューラル ディジタル プロセッサは
非線形活性化関数NLF を近似する関数ANLFをニューラル
ポテンシャルに適用する手段(14)を具え、この手段(14)
は別の非線形活性化関数CNLFで演算する別のニューラル
プロセッサ(14)を具え、この関数CNLFは単純な関数例え
ばランプ関数である。近似関数ANLFを計算する手段(14)
は近似関数ANLFの導関数を計算する手段(75)と共通の要
素(361, 36 2, 64)を具えており、関数による非線形活性
化関数NLF の近似の精度はあらかじめ定められる。
ーラル ディジタル プロセッサを提供する。 【構成】 このニューラル ディジタル プロセッサは
非線形活性化関数NLF を近似する関数ANLFをニューラル
ポテンシャルに適用する手段(14)を具え、この手段(14)
は別の非線形活性化関数CNLFで演算する別のニューラル
プロセッサ(14)を具え、この関数CNLFは単純な関数例え
ばランプ関数である。近似関数ANLFを計算する手段(14)
は近似関数ANLFの導関数を計算する手段(75)と共通の要
素(361, 36 2, 64)を具えており、関数による非線形活性
化関数NLF の近似の精度はあらかじめ定められる。
Description
【0001】
【産業上の利用分野】この発明は、ディジタル データ
用第1入力手段と、入力データと、ニューロン同士間ま
たはニューロンと入力手段間接続に関係するシナプス係
数との作用に従ってニューロン ポテンシャルを計算す
るニューラル ユニットと、前記シナプス係数を蓄積す
る第2手段と、少なくとも1つのニューラル状態STA
Tを発生させるため少なくとも1つのニューラル ポテ
ンシャルPOT をn個のセグメントにより形成される少な
くとも1つの近似非線形活性化関数に従わせる第3手段
と、を具えたニューラル ディジタル プロセッサに関
するものである。
用第1入力手段と、入力データと、ニューロン同士間ま
たはニューロンと入力手段間接続に関係するシナプス係
数との作用に従ってニューロン ポテンシャルを計算す
るニューラル ユニットと、前記シナプス係数を蓄積す
る第2手段と、少なくとも1つのニューラル状態STA
Tを発生させるため少なくとも1つのニューラル ポテ
ンシャルPOT をn個のセグメントにより形成される少な
くとも1つの近似非線形活性化関数に従わせる第3手段
と、を具えたニューラル ディジタル プロセッサに関
するものである。
【0002】本発明はさらに非線形制御およびかかる制
御のための非線形転送関数の創作に関するものである。
御のための非線形転送関数の創作に関するものである。
【0003】
【従来の技術】ニューラル ディジタル プロセッサは
ニューラル ネットワークとして知られている全体シス
テムの一部を形成するものである。ニューラル ネット
ワークは課題の識別用、特に物体の形状とか文字の認識
用、信号処理とか音声処理とか画像処理用、または情報
の圧縮用に使用される。
ニューラル ネットワークとして知られている全体シス
テムの一部を形成するものである。ニューラル ネット
ワークは課題の識別用、特に物体の形状とか文字の認識
用、信号処理とか音声処理とか画像処理用、または情報
の圧縮用に使用される。
【0004】ニューラル ネットワークはシナプス係数
が割当てられるシナプスによって一般に相互接続される
非線形自動素子により形成される。それは通常の直列型
コンピュータでは解決するのが困難な問題の解決を可能
にする。
が割当てられるシナプスによって一般に相互接続される
非線形自動素子により形成される。それは通常の直列型
コンピュータでは解決するのが困難な問題の解決を可能
にする。
【0005】ニューラル ネットワークの2つの最も普
通の形はホップフィールド(Hopfield)ネットワークと称
されるすべてが接続されるネットワークと、層状のネッ
トワークで、後者ではニューロンが引続く層でグループ
を形成し、各ニューロンは次の層のすべてのニューロン
に接続され、情報は入力層から次の層(隠れた層)に出
力層に到達するまで進む。
通の形はホップフィールド(Hopfield)ネットワークと称
されるすべてが接続されるネットワークと、層状のネッ
トワークで、後者ではニューロンが引続く層でグループ
を形成し、各ニューロンは次の層のすべてのニューロン
に接続され、情報は入力層から次の層(隠れた層)に出
力層に到達するまで進む。
【0006】これらシステムは実例に従って学習を進め
たりそれらを組織化することが可能である。直列型コン
ピュータを使用する場合に非常に長い計算時間がかかる
のを、ほぼ並列演算が履行されて時間短縮され、それら
演算は学習フェーズや決定フェーズを具えるものであ
る。
たりそれらを組織化することが可能である。直列型コン
ピュータを使用する場合に非常に長い計算時間がかかる
のを、ほぼ並列演算が履行されて時間短縮され、それら
演算は学習フェーズや決定フェーズを具えるものであ
る。
【0007】与えられた処理を実行するために、ニュー
ラル ネットワークは前もって演算の手順を学習してお
かねばならない。このフェーズは学習フェーズと称せら
れ実例を使用するものである。多くのアルゴリズムにつ
いて、これら実例に基づいた出力に得られるべき結果は
前もって一般に知られている。初期には、ニューラルネ
ットワークは所望の作業に未だ適合されてなく正しい結
果を伝えていない。次に得られた結果と得られるべき結
果との間で誤差が決められ、適合判定基準に基づいてシ
ナプス係数がニューラル ネットワークをして選択され
た実例を学習させるよう修正される。このステップはニ
ューラル ネットワークによる十分な学習に必要と考え
られるすべての実例について繰返えされる。
ラル ネットワークは前もって演算の手順を学習してお
かねばならない。このフェーズは学習フェーズと称せら
れ実例を使用するものである。多くのアルゴリズムにつ
いて、これら実例に基づいた出力に得られるべき結果は
前もって一般に知られている。初期には、ニューラルネ
ットワークは所望の作業に未だ適合されてなく正しい結
果を伝えていない。次に得られた結果と得られるべき結
果との間で誤差が決められ、適合判定基準に基づいてシ
ナプス係数がニューラル ネットワークをして選択され
た実例を学習させるよう修正される。このステップはニ
ューラル ネットワークによる十分な学習に必要と考え
られるすべての実例について繰返えされる。
【0008】学習アルゴリズムの2つのカテゴリがあ
る:1つは、ニューロン“b”をニューロン“a”に接
続するシナプス係数の修正がニューロン“a”と“b”
により用意された情報にのみ依存するという局所的学
習、もう1つは、前記修正がそのネットワークを介して
進呈された情報に依存する局所的でない学習で、この学
習は例えば層状ネットワークにおける誤差逆伝播による
学習である。
る:1つは、ニューロン“b”をニューロン“a”に接
続するシナプス係数の修正がニューロン“a”と“b”
により用意された情報にのみ依存するという局所的学
習、もう1つは、前記修正がそのネットワークを介して
進呈された情報に依存する局所的でない学習で、この学
習は例えば層状ネットワークにおける誤差逆伝播による
学習である。
【0009】与えられたニューロンはかくてその上向性
に接続されたニューロンによりなされる寄与の組みを積
算する。次にそれはニューロン ポテンシャルPOT を供
給する。出力には出力ニューロンと称せられる1つまた
は複数のニューロンが用意されるかもしれない。ニュー
ロンのニューラル ポテンシャルPOT は一般にプロセッ
サが精確に決定されるよう非線形活性化関数NLFに支
配されるべきである。この活性化関数は与えられた判定
基準を満足すべきで、その最も重要なことは変数の絶対
値が増加する時それは飽和し、いかなる点でもその導関
数が計算できるものであるべきである。
に接続されたニューロンによりなされる寄与の組みを積
算する。次にそれはニューロン ポテンシャルPOT を供
給する。出力には出力ニューロンと称せられる1つまた
は複数のニューロンが用意されるかもしれない。ニュー
ロンのニューラル ポテンシャルPOT は一般にプロセッ
サが精確に決定されるよう非線形活性化関数NLFに支
配されるべきである。この活性化関数は与えられた判定
基準を満足すべきで、その最も重要なことは変数の絶対
値が増加する時それは飽和し、いかなる点でもその導関
数が計算できるものであるべきである。
【0010】いくつかの活性化関数が現在では公知のニ
ューラル プロセッサに使用されている。最も普通の関
数はシグモイド(sigmoid) 関数で、その理由はこれら関
数が得られるべき最適な、特に学習ステップ間での収束
の速度について最適な、必要なら、例えばニューラル
プロセッサを所望の適用に適合させるのに最適な結果を
可能とするからである。
ューラル プロセッサに使用されている。最も普通の関
数はシグモイド(sigmoid) 関数で、その理由はこれら関
数が得られるべき最適な、特に学習ステップ間での収束
の速度について最適な、必要なら、例えばニューラル
プロセッサを所望の適用に適合させるのに最適な結果を
可能とするからである。
【0011】ニューラル ポテンシャルPOT を非線形活
性化関数NLFに従わせるには現在種々の方法が知られ
ている。これらの方法はプロセッサの内部か外部にある
演算を利用する。外部演算は計算機によるあらかじめ計
算された表からの読みとりにより実行される。(学習フ
ェーズ中の)シナプス係数または(決定フェーズ中の)
ニューラル状態用の計算精度は前記計算機または前記あ
らかじめ計算された表の計算ステップに全く依存する。
かくて特にあらかじめ計算された表の大きさについて、
または計算機による計算の持続についての制限が存在す
る。
性化関数NLFに従わせるには現在種々の方法が知られ
ている。これらの方法はプロセッサの内部か外部にある
演算を利用する。外部演算は計算機によるあらかじめ計
算された表からの読みとりにより実行される。(学習フ
ェーズ中の)シナプス係数または(決定フェーズ中の)
ニューラル状態用の計算精度は前記計算機または前記あ
らかじめ計算された表の計算ステップに全く依存する。
かくて特にあらかじめ計算された表の大きさについて、
または計算機による計算の持続についての制限が存在す
る。
【0012】さらに、別の活性化関数との演算のための
表の再配列はよりゆっくりしたプロセスであるべきこと
が示されている。活性化関数F(x/T)を修正させう
る“温度”パラメータと称されるパラメータTを容易に
変えることはもはや不可能である。さらに活性化関数と
その導関数の計算は2つの異なった演算を構成する。
表の再配列はよりゆっくりしたプロセスであるべきこと
が示されている。活性化関数F(x/T)を修正させう
る“温度”パラメータと称されるパラメータTを容易に
変えることはもはや不可能である。さらに活性化関数と
その導関数の計算は2つの異なった演算を構成する。
【0013】さらに、外部の演算はニューラル プロセ
ッサからの初期のディジタル データ(ニューラル ポ
テンシャルPOT )の抽出が必要で、次に処理されたディ
ジタル データ(ニューラル状態STAT)のニューラル
プロセッサへの再導入が必要である。これら演算は集積
回路の形での実施なら好適に排除できる特殊なハードウ
ェア同様処理時間と転送時間とを必要とする。
ッサからの初期のディジタル データ(ニューラル ポ
テンシャルPOT )の抽出が必要で、次に処理されたディ
ジタル データ(ニューラル状態STAT)のニューラル
プロセッサへの再導入が必要である。これら演算は集積
回路の形での実施なら好適に排除できる特殊なハードウ
ェア同様処理時間と転送時間とを必要とする。
【0014】それ故計算手段をニューラル プロセッサ
に直接集積化し、選択化された非線形活性化関数の適用
を可能とすることが目標とされてきた。ハードウェア削
減が非線形関数の履行に必要とされる時は、簡単な非線
形関数のみが使用されるという制限が存在する。これら
のことは現今の適用に対して極めて容易に不正確になる
ことがわかってきた。
に直接集積化し、選択化された非線形活性化関数の適用
を可能とすることが目標とされてきた。ハードウェア削
減が非線形関数の履行に必要とされる時は、簡単な非線
形関数のみが使用されるという制限が存在する。これら
のことは現今の適用に対して極めて容易に不正確になる
ことがわかってきた。
【0015】十分小さなステップでシグモイド関数の計
算を実行するのは必ずしも容易ではないから、今やシグ
モイド関数を切片状線形関数で近似する方向へ向かいつ
つある。例えば文献GB第2,236,608 A号は切片状線形
関数により形成された近似非線形関数を計算する手段を
具えたディジタル ニューラル ネットワークを開示し
ている。そして、その原理はパルスコード変調を有する
A型の圧縮法則の適用に存する。
算を実行するのは必ずしも容易ではないから、今やシグ
モイド関数を切片状線形関数で近似する方向へ向かいつ
つある。例えば文献GB第2,236,608 A号は切片状線形
関数により形成された近似非線形関数を計算する手段を
具えたディジタル ニューラル ネットワークを開示し
ている。そして、その原理はパルスコード変調を有する
A型の圧縮法則の適用に存する。
【0016】
【発明が解決しようとする課題】しかしながら、引用し
た前記文献に述べているようなかく得られた近似は、不
完全でニューラル プロセッサの演算で誤差が生じてし
まう。それ故シグモイド関数のより厳密な近似が望まれ
る。そしてまたシグモイド関数以外の関数を近似するた
めに、近似非線形関数がすみやかに再プログラムされ得
ることが望まれるかもしれない。この変更は速やかに実
施されるべきであり、加うるに、上述の非常に速やかな
導入と同じように、非線形関数の温度修正が可能である
べきである。
た前記文献に述べているようなかく得られた近似は、不
完全でニューラル プロセッサの演算で誤差が生じてし
まう。それ故シグモイド関数のより厳密な近似が望まれ
る。そしてまたシグモイド関数以外の関数を近似するた
めに、近似非線形関数がすみやかに再プログラムされ得
ることが望まれるかもしれない。この変更は速やかに実
施されるべきであり、加うるに、上述の非常に速やかな
導入と同じように、非線形関数の温度修正が可能である
べきである。
【0017】もう一方、学習フェーズの間に使用される
近似非線形関数の導関数の計算を必要とする学習アルゴ
リズムを利用することが可能である。それ故低コストで
演算のこのモードをまた実施し得ることがハードウェア
に望まれる。
近似非線形関数の導関数の計算を必要とする学習アルゴ
リズムを利用することが可能である。それ故低コストで
演算のこのモードをまた実施し得ることがハードウェア
に望まれる。
【0018】
【課題を解決するための手段】前述の目的を達成するた
め、冒頭に記載した本発明に係るニューラル ディジタ
ル プロセッサは、前記近似非線形関数ANLFを前記
ニューラル ポテンシャルPOT に適用した結果を計算す
るため、前記第3手段が別のニューラル ディジタル
プロセッサを具え、そのプロセッサが、Hj を1≦j≦
nなる予め定められたシナプス係数、Thj をしきい値
とした時、n個の組Mj =Hj.POT +Thj を計算する
手段と、少なくとも1つの別の非線形関数CNLFの組
合せMjへの適用Sj =F(Mj )を計算する手段と、
近似非線形関数ANLFの前記適用した結果を発生させるた
めシナプス係数Dj を有するn個の適用F(Mj )を線
形に組合わせる手段と、を具え、前記別の非線形関数CN
LFがxを独立変数とした時、xが−xmin とxma x の間
に位置する時一定ではないセグメントF(x) とそれぞれ
x≧xmax 及びx≦xmin の時2つのセグメントF(x)
=Fmax およびF(x) =Fmin とにより形成されること
を特徴とするものである。
め、冒頭に記載した本発明に係るニューラル ディジタ
ル プロセッサは、前記近似非線形関数ANLFを前記
ニューラル ポテンシャルPOT に適用した結果を計算す
るため、前記第3手段が別のニューラル ディジタル
プロセッサを具え、そのプロセッサが、Hj を1≦j≦
nなる予め定められたシナプス係数、Thj をしきい値
とした時、n個の組Mj =Hj.POT +Thj を計算する
手段と、少なくとも1つの別の非線形関数CNLFの組
合せMjへの適用Sj =F(Mj )を計算する手段と、
近似非線形関数ANLFの前記適用した結果を発生させるた
めシナプス係数Dj を有するn個の適用F(Mj )を線
形に組合わせる手段と、を具え、前記別の非線形関数CN
LFがxを独立変数とした時、xが−xmin とxma x の間
に位置する時一定ではないセグメントF(x) とそれぞれ
x≧xmax 及びx≦xmin の時2つのセグメントF(x)
=Fmax およびF(x) =Fmin とにより形成されること
を特徴とするものである。
【0019】前記活性化関数ANLFはかくて別のニューラ
ル プロセッサにより魅力的に計算され、そのためそれ
は別の非線形関数CNLFが2つの飽和セグメント−Fmin
とF max により限定される与えられた間隔の中で単純に
定義されるという条件を満たしている。間隔(−
xmin ,xmax )ではF(x) は近似的ANLFが求められる
非線形関数NLF に関係して選択される。シグモイドの近
似を得るために、一定でないセグメントF(x) は、例え
は3次の多項式またはランプ関数によって形成される関
数の一部であってもよい。この3次の多項式による変換
は、かなり数が制限された値のみしか蓄積しないが、そ
れでも小さなステップで非線形関数ANLFの計算が可能な
表によりハードウェアとし実現されるかもしれない。
ル プロセッサにより魅力的に計算され、そのためそれ
は別の非線形関数CNLFが2つの飽和セグメント−Fmin
とF max により限定される与えられた間隔の中で単純に
定義されるという条件を満たしている。間隔(−
xmin ,xmax )ではF(x) は近似的ANLFが求められる
非線形関数NLF に関係して選択される。シグモイドの近
似を得るために、一定でないセグメントF(x) は、例え
は3次の多項式またはランプ関数によって形成される関
数の一部であってもよい。この3次の多項式による変換
は、かなり数が制限された値のみしか蓄積しないが、そ
れでも小さなステップで非線形関数ANLFの計算が可能な
表によりハードウェアとし実現されるかもしれない。
【0020】ランプ関数は非常に有利である。それは表
を省略することができ、必要とするハードウェア手段が
さらに削減されるからである。
を省略することができ、必要とするハードウェア手段が
さらに削減されるからである。
【0021】一定でないセグメントF(x) を構成する関
数の選択は近似が要求される非線形関数NLFに関して
左程厳密ではない。かくて、このセグメントの選択は実
施の容易さによって主として決まるかもしない。あらか
しめ定められたシナプス係数の順番Hj と値Dj が望ま
しいものとして選択される精度を有した非線形関数の近
似を可能とする。
数の選択は近似が要求される非線形関数NLFに関して
左程厳密ではない。かくて、このセグメントの選択は実
施の容易さによって主として決まるかもしない。あらか
しめ定められたシナプス係数の順番Hj と値Dj が望ま
しいものとして選択される精度を有した非線形関数の近
似を可能とする。
【0022】本発明は近似非線形関数ANLFの計算用に限
定されたハードウェアの使用を可能とする。かくてこの
削減されたハードウェアは非線形関数ANLFの導関数の計
算実行のため倍にされる。関数と導関数とはかくて同じ
方法で別々に処理される2つの関数と考えられる。
定されたハードウェアの使用を可能とする。かくてこの
削減されたハードウェアは非線形関数ANLFの導関数の計
算実行のため倍にされる。関数と導関数とはかくて同じ
方法で別々に処理される2つの関数と考えられる。
【0023】ランプ関数の使用は関数ANLFとその導関数
の計算実行を可能とし、必要とするハードウェアを倍に
しなくてもすみ、ハードウェアの構成には有利である。
の計算実行を可能とし、必要とするハードウェアを倍に
しなくてもすみ、ハードウェアの構成には有利である。
【0024】非線形関数ANLFおよび/またはその導関数
の計算はニューラル形手段により実行されてきたが、こ
れらの手段はハードウェア手段を削減するため一般にニ
ューラル プロセッサの別のニューラル手段と組合わす
ことができる。
の計算はニューラル形手段により実行されてきたが、こ
れらの手段はハードウェア手段を削減するため一般にニ
ューラル プロセッサの別のニューラル手段と組合わす
ことができる。
【0025】本発明を他の観点からみてみると、本発明
はユニットによって受信された入力データに基づいてニ
ューラル ポテンシャルを創作するユニットを有するニ
ューラル ネットワークを機能的に具えたデータ処理シ
ステムにも関するもので、その積の各それぞれの1つが
入力データのそれぞれの1つにそれぞれのシプナス係数
をそれぞれ乗じた乗算を含む積の積算をそのニューラル
ポテンシャルが含むことを特徴とするデータ処理シス
テムである。そのニューラル ネットワークはさらにニ
ューロン出力データを創作するため非線形関数をニュー
ラル ポテンシャルに適用する非線形関数手段を具えて
いる。本発明によれば、この非線形関数手段は複数の別
のユニットを有する別のニューラル ネットワークを機
能的に具えている。複数の別のユニットの各それぞれの
1つはニューラル ポテンシャルにそれぞれの因子を乗
ずる乗算を含むそれぞれの別の積を創作すべく演算され
るとともに、それぞれの結果を創作すべくその別の積に
それぞれ別の非線形関数を適用している。非線形関数手
段はまた組合わせ手段を具え、それは前記ニューラルポ
テンシャルと関連したはじめに述べた非線形関数の値を
提供すべくそれぞれの結果を線形的に組合わせている。
はユニットによって受信された入力データに基づいてニ
ューラル ポテンシャルを創作するユニットを有するニ
ューラル ネットワークを機能的に具えたデータ処理シ
ステムにも関するもので、その積の各それぞれの1つが
入力データのそれぞれの1つにそれぞれのシプナス係数
をそれぞれ乗じた乗算を含む積の積算をそのニューラル
ポテンシャルが含むことを特徴とするデータ処理シス
テムである。そのニューラル ネットワークはさらにニ
ューロン出力データを創作するため非線形関数をニュー
ラル ポテンシャルに適用する非線形関数手段を具えて
いる。本発明によれば、この非線形関数手段は複数の別
のユニットを有する別のニューラル ネットワークを機
能的に具えている。複数の別のユニットの各それぞれの
1つはニューラル ポテンシャルにそれぞれの因子を乗
ずる乗算を含むそれぞれの別の積を創作すべく演算され
るとともに、それぞれの結果を創作すべくその別の積に
それぞれ別の非線形関数を適用している。非線形関数手
段はまた組合わせ手段を具え、それは前記ニューラルポ
テンシャルと関連したはじめに述べた非線形関数の値を
提供すべくそれぞれの結果を線形的に組合わせている。
【0026】また、その別の非線形関数とニューラル
ネット(積の積算)の典型的な演算とははじめに述べた
非線形関数を創作する。非線形関数手段の簡易さとニュ
ーラル ネットに対するその構造的類似性とは1つのニ
ューラル ネット、特に唯1つのチップのニューラル
ネットでの実施という意味で本発明を非常に魅力あるも
のにしている。さらに好適には、各別の非線形関数は2
つの飽和値間のランプ関数で構成されている。
ネット(積の積算)の典型的な演算とははじめに述べた
非線形関数を創作する。非線形関数手段の簡易さとニュ
ーラル ネットに対するその構造的類似性とは1つのニ
ューラル ネット、特に唯1つのチップのニューラル
ネットでの実施という意味で本発明を非常に魅力あるも
のにしている。さらに好適には、各別の非線形関数は2
つの飽和値間のランプ関数で構成されている。
【0027】本発明がニューラル ネットの分野で有す
る価値とは別に、複数の非線形基本関数から非線形転送
機能を創作するこの方法は、より一般的な非線形制御の
分野、そこでは入力信号と出力信号が非線形の形態で関
係しあう分野で明らかに興味あるものである。例えばそ
の演算がファジイ(fuzzy) 論理に基づくファジイ制御が
ある。一般に非線形転送機能は計算に多大の処理時間を
必要とするのでルックアップテーブルで実施される。
る価値とは別に、複数の非線形基本関数から非線形転送
機能を創作するこの方法は、より一般的な非線形制御の
分野、そこでは入力信号と出力信号が非線形の形態で関
係しあう分野で明らかに興味あるものである。例えばそ
の演算がファジイ(fuzzy) 論理に基づくファジイ制御が
ある。一般に非線形転送機能は計算に多大の処理時間を
必要とするのでルックアップテーブルで実施される。
【0028】本発明はまた出力信号を創作すべく入力信
号に非線形転送機能を実施する非線形関数手段を具えた
データ処理システムにも関係する。本発明によれば、非
線形関数手段はそれぞれの結果を創作するため入力信号
へ複数のそれぞれの基本非線形関数を適用する基本手段
と、出力信号を発生するためそれぞれの結果を線形に組
合わせる組合せ手段とを機能的に具えている。
号に非線形転送機能を実施する非線形関数手段を具えた
データ処理システムにも関係する。本発明によれば、非
線形関数手段はそれぞれの結果を創作するため入力信号
へ複数のそれぞれの基本非線形関数を適用する基本手段
と、出力信号を発生するためそれぞれの結果を線形に組
合わせる組合せ手段とを機能的に具えている。
【0029】
【実施例】以下添付図面を参照して実施例により本発明
を詳細に説明する。図1は所与の瞬間に少なくとも1つ
のニューラルポテンシャルPOT を供給するニューラルユ
ニット12を具える既知のニューラルプロセッサ10の線図
である。ニューラルユニット12は入力手段13からのデー
タVb と手段16からのシナプス係数Cabを受信し、かつ
以下の式
を詳細に説明する。図1は所与の瞬間に少なくとも1つ
のニューラルポテンシャルPOT を供給するニューラルユ
ニット12を具える既知のニューラルプロセッサ10の線図
である。ニューラルユニット12は入力手段13からのデー
タVb と手段16からのシナプス係数Cabを受信し、かつ
以下の式
【数1】 のようにニューラルポテンシャルを計算する。
【0030】関連する技術的適用の性質に依存して、ニ
ューラルユニット12は所与の瞬間にニューラルポテンシ
ャルPOT が決定されるいくつかのニューロンを有するこ
とができる。もし時間シーケンスが考慮されるなら、同
じニューロンに対してニューラルポテンシャルPOT のシ
ーケンスが現れる。これらのポテンシャルは一般に非線
形活性化関数NLF に個別に従わなければならない。その
計算がニューラルプロセッサで実行される場合、非線形
活性化関数NLF を近似する非線形活性化関数ANLFが適用
できる(ブロック14)。このようにニューラルポテンシ
ャルPOT はニューラル状態STATに変換され、それは大多
数のニューロンに対して、処理の間にニューラルユニッ
ト12に再導入される。
ューラルユニット12は所与の瞬間にニューラルポテンシ
ャルPOT が決定されるいくつかのニューロンを有するこ
とができる。もし時間シーケンスが考慮されるなら、同
じニューロンに対してニューラルポテンシャルPOT のシ
ーケンスが現れる。これらのポテンシャルは一般に非線
形活性化関数NLF に個別に従わなければならない。その
計算がニューラルプロセッサで実行される場合、非線形
活性化関数NLF を近似する非線形活性化関数ANLFが適用
できる(ブロック14)。このようにニューラルポテンシ
ャルPOT はニューラル状態STATに変換され、それは大多
数のニューロンに対して、処理の間にニューラルユニッ
ト12に再導入される。
【0031】シナプス係数Cabはメモリ16に蓄積され
る。それらは要素「b」を要素「a」に接続する接続を
特徴付ける。それらは入力手段13のデータVb 、あるい
はニューラルユニット12のニューラルのいずれかの入力
であってよい。
る。それらは要素「b」を要素「a」に接続する接続を
特徴付ける。それらは入力手段13のデータVb 、あるい
はニューラルユニット12のニューラルのいずれかの入力
であってよい。
【0032】学習フェーズ(learning phase)の間に、
シナプス係数はメモリ16に負荷される(接続15)。決定
フェーズ(resolving phase)の間に、シナプス係数はメ
モリ16で読み取られる(接続17)。
シナプス係数はメモリ16に負荷される(接続15)。決定
フェーズ(resolving phase)の間に、シナプス係数はメ
モリ16で読み取られる(接続17)。
【0033】そのようなニューラルディジタルプロセッ
サの構造と演算は当業者に既知である。
サの構造と演算は当業者に既知である。
【0034】シグモイド(sigmoid) 関数(NLF)を近似す
る非線形関数ANLFは図2に示されている。一例として、
奇関数NLF が考慮され、それに対して非線形で平等に奇
関数ANLFが決定されよう。従って、このことは零である
しきい値Tb に対応する。それは横座標(x0,x1),
(x1,x2), (x2,x3), ....の間の直線セグメントか
らなるセグメントにより近似されている。本発明は図3
に示されたニューラルディジタルプロセッサ14によりこ
の種の近似の実行を提案する。それは入力ニューラルユ
ニット20、別の非線形関数CNLFを適用する手段22、出力
ニューラルユニット24、およびニューラルユニット20と
24用それぞれにシナプス係数Hj とDj を蓄積する手段
26を具えている。入力ニューラルユニット20はニューラ
ルプロセッサ10のニューラルユニット12からデータ(ニ
ューラルポテンシャルPOT )を受信する。出力ニューラ
ルユニット24は入力に到着する各ニューラルポテンシャ
ルPOT のニューラル状態STATを供給する。関数NLF が奇
でない場合には、2つのニューラルユニット20, 24はし
きい値Th を受信し、しきい値Th はニューロンの活性
化しきい値を修正するためにニューラルユニットの各ニ
ューロンに作用する。
る非線形関数ANLFは図2に示されている。一例として、
奇関数NLF が考慮され、それに対して非線形で平等に奇
関数ANLFが決定されよう。従って、このことは零である
しきい値Tb に対応する。それは横座標(x0,x1),
(x1,x2), (x2,x3), ....の間の直線セグメントか
らなるセグメントにより近似されている。本発明は図3
に示されたニューラルディジタルプロセッサ14によりこ
の種の近似の実行を提案する。それは入力ニューラルユ
ニット20、別の非線形関数CNLFを適用する手段22、出力
ニューラルユニット24、およびニューラルユニット20と
24用それぞれにシナプス係数Hj とDj を蓄積する手段
26を具えている。入力ニューラルユニット20はニューラ
ルプロセッサ10のニューラルユニット12からデータ(ニ
ューラルポテンシャルPOT )を受信する。出力ニューラ
ルユニット24は入力に到着する各ニューラルポテンシャ
ルPOT のニューラル状態STATを供給する。関数NLF が奇
でない場合には、2つのニューラルユニット20, 24はし
きい値Th を受信し、しきい値Th はニューロンの活性
化しきい値を修正するためにニューラルユニットの各ニ
ューロンに作用する。
【0035】図4はニューラルプロセッサ14の詳細な線
図を示している。ニューラルユニット20はn個のニュー
ロン、301 ....30j ....30n を具え、その各々はそれ自
身のシナプス係数H1 ....Hj ....Hn を受信し、かつ
その全ては非線形関数ANLFに従うべき同じニューラルポ
テンシャルPOT を受信する。近似非線形関数ANLFの同じ
象限(quadrant)に非零傾斜セグメントが存在するのと
同様に多くのニューロンが存在する。各ニューロンはニ
ューラルポテンシャルM1 ....Mj ....Mn を供給し、
ここで
図を示している。ニューラルユニット20はn個のニュー
ロン、301 ....30j ....30n を具え、その各々はそれ自
身のシナプス係数H1 ....Hj ....Hn を受信し、かつ
その全ては非線形関数ANLFに従うべき同じニューラルポ
テンシャルPOT を受信する。近似非線形関数ANLFの同じ
象限(quadrant)に非零傾斜セグメントが存在するのと
同様に多くのニューロンが存在する。各ニューロンはニ
ューラルポテンシャルM1 ....Mj ....Mn を供給し、
ここで
【数2】 であり、Th1....Thjj ..Thnn 関数NLF が奇である場
合には零である。
合には零である。
【0036】n個の組合せMn は既に述べられているよ
うにn個のニューロンの層を介するか、あるいはn個の
組合せを供給するニューロンのいくつかの層を介するか
のいずれかで得ることができる。これらのニューラルポ
テンシャルは非線形関数CNLFに従う。
うにn個のニューロンの層を介するか、あるいはn個の
組合せを供給するニューロンのいくつかの層を介するか
のいずれかで得ることができる。これらのニューラルポ
テンシャルは非線形関数CNLFに従う。
【0037】関数CNLFを適用する手段22はユニット3
51 ...., 35j ...., 35n により形成され、その各々は
同じ関数CNLFを適用することが好ましい。ユニット35n
は、Mnがxmax より大きいか等しいかどうか、xmin
より小さいか等しいかどうかを検出する例えば2個の比
較器361, 362により形成される。表37は比較器361 , 36
2が活性である場合にはそれらの比較器の出力による
か、あるいは比較器が活性でない場合にはMn によるか
のいずれかでアドレスされる。表は値F(x),Fmax およ
びFmin で前以て負荷される。各ポテンシャルM1,...
,Mj , ....,Mn では連続して演算する単一ユニッ
ト35のみを使用することが可能である。
51 ...., 35j ...., 35n により形成され、その各々は
同じ関数CNLFを適用することが好ましい。ユニット35n
は、Mnがxmax より大きいか等しいかどうか、xmin
より小さいか等しいかどうかを検出する例えば2個の比
較器361, 362により形成される。表37は比較器361 , 36
2が活性である場合にはそれらの比較器の出力による
か、あるいは比較器が活性でない場合にはMn によるか
のいずれかでアドレスされる。表は値F(x),Fmax およ
びFmin で前以て負荷される。各ポテンシャルM1,...
,Mj , ....,Mn では連続して演算する単一ユニッ
ト35のみを使用することが可能である。
【0038】図5は非線形関数CNFLの例を示している。
間隔(−xmin ,xmax )の外ではすべての関数はそれ
ぞれ−Fmin とFmax で飽和になる。
間隔(−xmin ,xmax )の外ではすべての関数はそれ
ぞれ−Fmin とFmax で飽和になる。
【0039】間隔(−xmin ,xmax )では、関数F
(x) はランプ関数(曲線F1 )、三次多項式(曲線F2
)、さらに複雑な曲線(曲線F3 )のいずれかによっ
て形成できる。
(x) はランプ関数(曲線F1 )、三次多項式(曲線F2
)、さらに複雑な曲線(曲線F3 )のいずれかによっ
て形成できる。
【0040】本発明によると、ランプ関数は間隔(−x
min ,xmax )の間で使用されることが好ましい。この
関数は、ほんの僅かのハードウエアだけの使用しか必要
でないという利点を提供する。その導関数の関連計算が
限定された補助手段のみを必要とすることは追加の利点
である。
min ,xmax )の間で使用されることが好ましい。この
関数は、ほんの僅かのハードウエアだけの使用しか必要
でないという利点を提供する。その導関数の関連計算が
限定された補助手段のみを必要とすることは追加の利点
である。
【0041】図6はn次チャネルのランプ関数の場合の
例えば35n のようなユニット35の一実施例を示してい
る。図面を簡単化するために、Fmax と−Fmin の値は
+1と−1でそれぞれ正規化され、xmax と−xmin も
同様である。
例えば35n のようなユニット35の一実施例を示してい
る。図面を簡単化するために、Fmax と−Fmin の値は
+1と−1でそれぞれ正規化され、xmax と−xmin も
同様である。
【0042】ニューラルポテンシャルMn はMn ≧1か
Mn ≦1かどうかをそれぞれ検出する2個の比較器3
61 , 362 に入る。Mn ≧1の場合、出力611 は活性
(状態Y)である。それは次に出力Sn に値Fmax =+
1を印加する要素63を活性化する。Mn ≦1の場合、出
力621 は活性(状態Y)である。それは次に出力Sn に
値Fmin =−1を印加する要素67を活性化する。−1<
Mn <+1の場合、出力612 と622 は活性(状態N)で
ある。それらは出力Sn に各値Mn を転送する(バス3
8)転送ゲート65に作用するアンドゲート64に印加され
る。このようにしてニューラルポテンシャルMn と状態
Sn の間に対応が存在する。
Mn ≦1かどうかをそれぞれ検出する2個の比較器3
61 , 362 に入る。Mn ≧1の場合、出力611 は活性
(状態Y)である。それは次に出力Sn に値Fmax =+
1を印加する要素63を活性化する。Mn ≦1の場合、出
力621 は活性(状態Y)である。それは次に出力Sn に
値Fmin =−1を印加する要素67を活性化する。−1<
Mn <+1の場合、出力612 と622 は活性(状態N)で
ある。それらは出力Sn に各値Mn を転送する(バス3
8)転送ゲート65に作用するアンドゲート64に印加され
る。このようにしてニューラルポテンシャルMn と状態
Sn の間に対応が存在する。
【0043】図4のすべてのユニット351 −35n はすべ
てのポテンシャルMj が同じ関数F(x) に従う場合には
同一である。異なる関数F(x) も選択できる。シナプス
係数Dj により、以下の計算、
てのポテンシャルMj が同じ関数F(x) に従う場合には
同一である。異なる関数F(x) も選択できる。シナプス
係数Dj により、以下の計算、
【数3】 を実行するニューラルユニット24(図4)にすべての状
態(S1 −Sn )が到達する。
態(S1 −Sn )が到達する。
【0044】ニューラルユニット24は活性化関数が必然
的に後続しない単一ニューロンにより形成される。ニュ
ーラルユニット20と24でそれぞれ使用されるようにメモ
リ26に蓄積された係数Hj とDj は使用された非線形関
数NLF ,ANLFおよびCNLFの選択関数として、および受け
入れられた近似誤差の選択関数として予め決定されなけ
ればならない。CNLFがランプ関数である場合、計算方法
は以下のようになる。
的に後続しない単一ニューロンにより形成される。ニュ
ーラルユニット20と24でそれぞれ使用されるようにメモ
リ26に蓄積された係数Hj とDj は使用された非線形関
数NLF ,ANLFおよびCNLFの選択関数として、および受け
入れられた近似誤差の選択関数として予め決定されなけ
ればならない。CNLFがランプ関数である場合、計算方法
は以下のようになる。
【0045】非線形活性化関数ANLFの決定 非線形関数ANLF A(x) は非線形関数NLF T(x) の近似
であり、xは独立変数である。異なる判定規準は関数AN
LF A(x) の規定に使用できる。すなわち、 − 第1の判定規準は位置xにおける関数NLF とANLFの
間の差の上限を規定する誤差Eを事前に定義することか
らなっていよう。 − 第2の判定規準は関数NLF T(x) の近似A(x) を創
作しようとする多数のセグメント(すなわち、ニューラ
ルユニット20により供給されたニューラルポテンシャル
Mj )を事前に定義することからなっていよう。
であり、xは独立変数である。異なる判定規準は関数AN
LF A(x) の規定に使用できる。すなわち、 − 第1の判定規準は位置xにおける関数NLF とANLFの
間の差の上限を規定する誤差Eを事前に定義することか
らなっていよう。 − 第2の判定規準は関数NLF T(x) の近似A(x) を創
作しようとする多数のセグメント(すなわち、ニューラ
ルユニット20により供給されたニューラルポテンシャル
Mj )を事前に定義することからなっていよう。
【0046】第1の判定規準によると、横座標x0 =0
(図2)から傾斜直線p0 がプロットされ、かつ横座標
x1 は上記の傾斜直線が関数NLF の曲線と出合う点につ
いて計算され、同時に直線セグメントと上記の曲線との
間の最大誤差は値E以下に留まることが保証される。こ
の計算は関数NLF の全曲線に関して点x1 について繰り
返される等々である。この計算は最大誤差が値Eより小
さくなる場合に終了する。このように、その傾斜と端に
より規定される直線セグメントのシーケンスが得られ
る。xK とxK+1 の間の次数kの直線セグメントの式
は、
(図2)から傾斜直線p0 がプロットされ、かつ横座標
x1 は上記の傾斜直線が関数NLF の曲線と出合う点につ
いて計算され、同時に直線セグメントと上記の曲線との
間の最大誤差は値E以下に留まることが保証される。こ
の計算は関数NLF の全曲線に関して点x1 について繰り
返される等々である。この計算は最大誤差が値Eより小
さくなる場合に終了する。このように、その傾斜と端に
より規定される直線セグメントのシーケンスが得られ
る。xK とxK+1 の間の次数kの直線セグメントの式
は、
【数4】 であり、ここでpk は傾斜であり、qk は原点における
縦座標である。
縦座標である。
【0047】A(x) とT(x) がセグメントの端で一致す
るから、
るから、
【数5】 が得られ、ここでpn =0である。というのは、最後の
セグメントは傾斜零を有し、かつ
セグメントは傾斜零を有し、かつ
【数6】 であるからである。関数T(x) は凸(x≧0)かつ奇で
あると仮定されている。計算はx≧0に関して行われ
る。
あると仮定されている。計算はx≧0に関して行われ
る。
【0048】2つの曲線T(x) とA(X) の間の誤差ek
(x) は、
(x) は、
【数7】 のように書ける。
【0049】上記の誤差ek が最大である点x=xk
max は、
max は、
【数8】 により規定される。
【0050】T(x) が双曲正接関数である場合には、非
零傾斜を有するセグメントに対して
零傾斜を有するセグメントに対して
【数9】 が現れる。
【0051】既知の増大するk,xk により連続的に進
めることにより、かつek max がEに等しいと書くこと
により、次数kのラインの各セグメントに対してそのパ
ラメータ(xk+1 ,pk およびqk )が得られる。
めることにより、かつek max がEに等しいと書くこと
により、次数kのラインの各セグメントに対してそのパ
ラメータ(xk+1 ,pk およびqk )が得られる。
【0052】第2の判定規準によると、多数のセグメン
トは事前に固定される。セグメントの端は最後のセグメ
ントを含めて各セグメントの最大誤差が厳密に等しいよ
うに決定される。第1の判定規準について述べられた計
算方法は第2の判定規準に対して少々修正できる。この
演算は当業者にとって明白であろう。
トは事前に固定される。セグメントの端は最後のセグメ
ントを含めて各セグメントの最大誤差が厳密に等しいよ
うに決定される。第1の判定規準について述べられた計
算方法は第2の判定規準に対して少々修正できる。この
演算は当業者にとって明白であろう。
【0053】近似の精度は最大許容誤差の値Eあるいは
関数ANFLを形成するセグメントの数のいずれかを事前に
固定することにより予め決定できる。
関数ANFLを形成するセグメントの数のいずれかを事前に
固定することにより予め決定できる。
【0054】シナプス係数の決定 近似非線形関数ANFLが決定されると、シナプス係数HJ
とDJ (1≦j≦n)はなお計算されるべきである。シ
ナプス係数の数nは非零傾斜を有しかつ第1象限で関数
ANFLを構成するセグメントの数に等しいことが好まし
い。セグメントの端と傾斜を係数HJ とDJ に一致させ
ることにより、ランプ関数の場合に、一組の可能なシナ
プス係数は
とDJ (1≦j≦n)はなお計算されるべきである。シ
ナプス係数の数nは非零傾斜を有しかつ第1象限で関数
ANFLを構成するセグメントの数に等しいことが好まし
い。セグメントの端と傾斜を係数HJ とDJ に一致させ
ることにより、ランプ関数の場合に、一組の可能なシナ
プス係数は
【数10】 である。
【0055】一例として、ランプ関数により形成された
非線形関数CNFLによる直線の15個のセグメントによる双
曲正接関数の近似の場合、10有効数字(10 significant
digits)の精度で以下のシナプス係数Hj とDj が表
1,2に示されたように計算された。
非線形関数CNFLによる直線の15個のセグメントによる双
曲正接関数の近似の場合、10有効数字(10 significant
digits)の精度で以下のシナプス係数Hj とDj が表
1,2に示されたように計算された。
【数11】 表1はシナプス係数Hj を示し、表2はシナプス係数D
j を示している。
j を示している。
【0056】上述の方法は関数CNFLがランプ関数を具え
る場合に実行される。この方法は関数CNFLがランプ関数
を具えないが、しかしもっと複雑な関数部を具える場合
に同様に適用できる。
る場合に実行される。この方法は関数CNFLがランプ関数
を具えないが、しかしもっと複雑な関数部を具える場合
に同様に適用できる。
【0057】関数ANLFの導関数の決定 ニューラルプロセッサ10を使用する間に、関数ANLFの導
関数の使用を必要とする学習アルゴリズムを適用する必
要があるかもしれない。第1の解決法はこの導関数を新
しい関数として考慮し、かつ上述のようにその近似を実
行することである。第2の解決法は所与のハードウエア
手段の無効な二重化が回避され、かつ関数ANLFの導関数
の近似計算が無しで済ますことのできるよう関数ANLFへ
のアプローチの使用からなっており、それとは逆に、関
数ANLFの第1の正確な導関数がその代わりに計算されて
いる。ランプかもしれないは特別に興味ある場合を現わ
している。
関数の使用を必要とする学習アルゴリズムを適用する必
要があるかもしれない。第1の解決法はこの導関数を新
しい関数として考慮し、かつ上述のようにその近似を実
行することである。第2の解決法は所与のハードウエア
手段の無効な二重化が回避され、かつ関数ANLFの導関数
の近似計算が無しで済ますことのできるよう関数ANLFへ
のアプローチの使用からなっており、それとは逆に、関
数ANLFの第1の正確な導関数がその代わりに計算されて
いる。ランプかもしれないは特別に興味ある場合を現わ
している。
【0058】既に
【数12】 が記述されており、ここでR( .) はランプ関数であ
る。
る。
【0059】関数ANLFの導関数は実際にはAの導関数の
計算であり、すなわち
計算であり、すなわち
【数13】 である。
【0060】ランプ関数Rの導関数は、
【数14】
【0061】上に与えられた式(1)と(2)の比較に
より、A(POT )とA′(POT) の間の差はランプ関数Rか
ら関数HJ .R′への変換からなっていることが見いだ
されている。
より、A(POT )とA′(POT) の間の差はランプ関数Rか
ら関数HJ .R′への変換からなっていることが見いだ
されている。
【0062】導関数の計算は図7に示されるようなブロ
ック35を除いて、図4に示されるものと同一な形態によ
って実行できる。ニューラルポテンシャルMJ (1≦j
≦n)はMJ ≧1かMJ ≦−1かどうかを検出する比較
器361 , 362 に入る。出力61 2 と622 は−1<MJ <1
の場合に活性化される。出力612 と622 はは因数(inde
x )jを有するポテンシャルMj に対応するシナプス係
数HJ を転送する転送ゲート70を活性化するアンドゲー
ト64に入る。
ック35を除いて、図4に示されるものと同一な形態によ
って実行できる。ニューラルポテンシャルMJ (1≦j
≦n)はMJ ≧1かMJ ≦−1かどうかを検出する比較
器361 , 362 に入る。出力61 2 と622 は−1<MJ <1
の場合に活性化される。出力612 と622 はは因数(inde
x )jを有するポテンシャルMj に対応するシナプス係
数HJ を転送する転送ゲート70を活性化するアンドゲー
ト64に入る。
【0063】条件−1<Mj <1が検証されない場合、
アンドゲート64は出力Sj に信号零を印加する要素71を
制御するインバータ72を活性化する。
アンドゲート64は出力Sj に信号零を印加する要素71を
制御するインバータ72を活性化する。
【0064】図6と図7の線図は、関数ANLFの計算、あ
るいはその導関数の計算のいずれかに連続的に使用され
るように組合せ可能である(図8)。この目的で、機能
信号FUNCT は1つのモードあるいは他のモードの選択を
可能にする。
るいはその導関数の計算のいずれかに連続的に使用され
るように組合せ可能である(図8)。この目的で、機能
信号FUNCT は1つのモードあるいは他のモードの選択を
可能にする。
【0065】信号FUNCT が活性化されると、それは前に
述べられたブロック63, 65, 67を制御するアンドゲート
80, 82, 84を活性化する。非活性化信号FUNCT はこのよ
うに導関数の計算指令を構成する。この信号は前述のブ
ロック70, 71を制御するアンドゲート81, 83を活性化す
るインバータ85に印加される。
述べられたブロック63, 65, 67を制御するアンドゲート
80, 82, 84を活性化する。非活性化信号FUNCT はこのよ
うに導関数の計算指令を構成する。この信号は前述のブ
ロック70, 71を制御するアンドゲート81, 83を活性化す
るインバータ85に印加される。
【0066】このように、コンパクトなブロック35が得
られ、それは関数ANLFあるいは関数ANLFの正確な1次導
関数のいずれかの計算を可能にする。関数ANLFによる関
数NFL の近似は所望されるだけ高い所定の精度で得るこ
とができる。
られ、それは関数ANLFあるいは関数ANLFの正確な1次導
関数のいずれかの計算を可能にする。関数ANLFによる関
数NFL の近似は所望されるだけ高い所定の精度で得るこ
とができる。
【0067】導関数は異なるやり方でも計算できる。既
に述べたように、転送ゲート70(図7と図8)は係数H
j の値の伝ぱんに役立つ。ゲート70の入力を値1に設定
し、かつシナプス係数Dj で状態Sj を乗算し、かつシ
ナプス係数Hj (ここでjは定数である)により同一の
結果を得ることができる。このことは、例えばメモリ26
(図3)にシナプス係数Dj .Hj を蓄積することによ
り実現される。ブロック22のアーキテクチャが、シナプ
ス係数Dj .Hj を使用する関数Fの計算から、シナプ
ス係数Hj とDj .Hj によるその導関数F′の計算ま
での交換で修正されないことは魅力的である。
に述べたように、転送ゲート70(図7と図8)は係数H
j の値の伝ぱんに役立つ。ゲート70の入力を値1に設定
し、かつシナプス係数Dj で状態Sj を乗算し、かつシ
ナプス係数Hj (ここでjは定数である)により同一の
結果を得ることができる。このことは、例えばメモリ26
(図3)にシナプス係数Dj .Hj を蓄積することによ
り実現される。ブロック22のアーキテクチャが、シナプ
ス係数Dj .Hj を使用する関数Fの計算から、シナプ
ス係数Hj とDj .Hj によるその導関数F′の計算ま
での交換で修正されないことは魅力的である。
【0068】図4に示された他のニューラルプロセッサ
14はニューラルプロセッサ10(図1)の別の手段とは無
関係なハードウエアにより形成できる。しかし、ニュー
ラルユニット12とニューラルプロセッサ10のメモリ16に
基づいて別のニューラルプロセッサ14を実現するのは魅
力的である。実際に、ニューラルポテンシャルPOT の計
算と活性化関数の適用は時間的に別の演算を構成してい
る。ニューラルユニット12のニューロンは第1期間にニ
ューラルポテンシャルPOT の計算を含み、その後で、そ
れらは非線形関数ANLFの適用によりニューラル状態STAT
の計算に使用できる。
14はニューラルプロセッサ10(図1)の別の手段とは無
関係なハードウエアにより形成できる。しかし、ニュー
ラルユニット12とニューラルプロセッサ10のメモリ16に
基づいて別のニューラルプロセッサ14を実現するのは魅
力的である。実際に、ニューラルポテンシャルPOT の計
算と活性化関数の適用は時間的に別の演算を構成してい
る。ニューラルユニット12のニューロンは第1期間にニ
ューラルポテンシャルPOT の計算を含み、その後で、そ
れらは非線形関数ANLFの適用によりニューラル状態STAT
の計算に使用できる。
【0069】非線形関数の構成の実例 実際に、ニューラルネットの範疇で、本発明は複数の単
純関数の線形の組合せにより非線形伝達関数(実質的に
ニューラルネットの演算である)を構成する優雅な態様
を与える。
純関数の線形の組合せにより非線形伝達関数(実質的に
ニューラルネットの演算である)を構成する優雅な態様
を与える。
【0070】基本関数Sを使用する非線形伝達関数Aの
構成は実例として図9−12に詳細に示されている。この
例で、非線形伝達関数Aは複数の直線セグメントからな
る断片的線形関数であると仮定されている。伝達関数A
はニューラルネット演算で通常採用されているような奇
のシグノイド関数の近似であると考えられている。伝達
関数Aは各シナプス係数により加重されている特定のニ
ューロンへの各入力信号の和を含むニューラルポテンシ
ャルPOT に演算する。図9の線図はα,β,δで屈折点
(kink)を持つ4個の線形セグメントを含むことを示す
Aの正の部分を例示している。
構成は実例として図9−12に詳細に示されている。この
例で、非線形伝達関数Aは複数の直線セグメントからな
る断片的線形関数であると仮定されている。伝達関数A
はニューラルネット演算で通常採用されているような奇
のシグノイド関数の近似であると考えられている。伝達
関数Aは各シナプス係数により加重されている特定のニ
ューロンへの各入力信号の和を含むニューラルポテンシ
ャルPOT に演算する。図9の線図はα,β,δで屈折点
(kink)を持つ4個の線形セグメントを含むことを示す
Aの正の部分を例示している。
【0071】基本関数として図10の線図に例示されたよ
うな以下の関数、
うな以下の関数、
【数15】 が利用可能であるとさらに仮定されている。
【0072】第1に、POT で演算す3個の線形関数Mj
(1≦j≦3)が創作され、それは、
(1≦j≦3)が創作され、それは、
【0073】
【数16】 である。これは図11の線図に示されている。Hj は以下
に明らかにされるように予め定められた定数である。
に明らかにされるように予め定められた定数である。
【0074】次に、基本関数SはSj を発生する各Mj
を演算し、それは図12の線図に示されたようなPOT の関
数
を演算し、それは図12の線図に示されたようなPOT の関
数
【数17】 である。これら3個のSj は図9の非線形関数Aを与え
るよう適当に組合わされるべきである。すなわち、以下
の表現
るよう適当に組合わされるべきである。すなわち、以下
の表現
【数18】 で関数A等しいように因数D1 ,D2 ,D3 が選ばれる
べきである。
べきである。
【0075】さて、POT =1/Hj を越えると、基本関
数Sj は1に等しいままであり、かつH1 >H2 >H3
であることに注意されたい。それ故、POT のその値を越
えるA(POT )へのSj の寄与は一定のままである。POT
=1/H3 を越えると、Sjの寄与は一定である。1/
H2 ≦POT ≦1/H3 では、S1 とS2 の寄与は一定で
あり、一方、S3 はAに対して線形的に変化する寄与を
与える。1/H1 ≦POT ≦1/H2 に対して、S2 とS
3 の寄与は線形的に変化し、そしてS1 は一定である。
0≦POT ≦1/H1 に対して、S1 ,S2 およびS3 の
寄与はすべて線形的に変化する。
数Sj は1に等しいままであり、かつH1 >H2 >H3
であることに注意されたい。それ故、POT のその値を越
えるA(POT )へのSj の寄与は一定のままである。POT
=1/H3 を越えると、Sjの寄与は一定である。1/
H2 ≦POT ≦1/H3 では、S1 とS2 の寄与は一定で
あり、一方、S3 はAに対して線形的に変化する寄与を
与える。1/H1 ≦POT ≦1/H2 に対して、S2 とS
3 の寄与は線形的に変化し、そしてS1 は一定である。
0≦POT ≦1/H1 に対して、S1 ,S2 およびS3 の
寄与はすべて線形的に変化する。
【0076】従って、以下の式、
【数19】 が良好に保持される。
【0077】1/Hj は伝達関数Aが屈折点(α,βお
よびδ)を有し、かつ相互に異なるPOT の値に一致する
から、Dj は3個の未知数を含む3個の線形方程式のこ
の組から容易に決定される。現在示されることは、基本
関数Sj の適当な組合せが予め定められた非線形伝達関
数Aの創作に使用できることである。実際の結末は、さ
らに複雑なニューラルネットの非線形関数演算を与える
ためにMおよびS関数がかなり単純なニューラルネット
機能を使用して容易に実現できることである。
よびδ)を有し、かつ相互に異なるPOT の値に一致する
から、Dj は3個の未知数を含む3個の線形方程式のこ
の組から容易に決定される。現在示されることは、基本
関数Sj の適当な組合せが予め定められた非線形伝達関
数Aの創作に使用できることである。実際の結末は、さ
らに複雑なニューラルネットの非線形関数演算を与える
ためにMおよびS関数がかなり単純なニューラルネット
機能を使用して容易に実現できることである。
【0078】非線形関数手段14とニューラルプロセッサ
10は同じチップに集積できることに注意されたい。非線
形関数手段14はニューラルプロセッサ10の部分を機能的
に形成するニューロンユニット(301 −30n )を有する
ことにも注意されたい。というのは、ニューロンプロセ
ッサ10の一部分としてのこれらユニットの演算サイクル
は非線形関数手段14の一部分としてのこれらユニットの
演算サイクルに先行するからである。
10は同じチップに集積できることに注意されたい。非線
形関数手段14はニューラルプロセッサ10の部分を機能的
に形成するニューロンユニット(301 −30n )を有する
ことにも注意されたい。というのは、ニューロンプロセ
ッサ10の一部分としてのこれらユニットの演算サイクル
は非線形関数手段14の一部分としてのこれらユニットの
演算サイクルに先行するからである。
【0079】高い複雑レベルの非線形関数の上述の構成
はニューラルネットに限定されるだけでなく、本質的演
算として非線形伝達関数を使用する非線形制御の分野に
も適用できる。例えば、そのような制御は制御すべきシ
ステムの現在の状態を規定する入力データを受信し、か
つ所望の状態に向かってシステムを導く制御データを供
給する。制御データは一般に入力データに非線形なやり
方で依存し、特に制御すべきシステムが所望の状態、例
えば平衡状態からはるかに離れたパラメータ領域に移動
する場合にそうである。非線形伝達関数を実現するため
に、非線形制御それ自身は単純関数の線形組合せを使用
する断片的線形伝達関数を発生する単純なニューラルネ
ットを含むことができる。
はニューラルネットに限定されるだけでなく、本質的演
算として非線形伝達関数を使用する非線形制御の分野に
も適用できる。例えば、そのような制御は制御すべきシ
ステムの現在の状態を規定する入力データを受信し、か
つ所望の状態に向かってシステムを導く制御データを供
給する。制御データは一般に入力データに非線形なやり
方で依存し、特に制御すべきシステムが所望の状態、例
えば平衡状態からはるかに離れたパラメータ領域に移動
する場合にそうである。非線形伝達関数を実現するため
に、非線形制御それ自身は単純関数の線形組合せを使用
する断片的線形伝達関数を発生する単純なニューラルネ
ットを含むことができる。
【0080】たとえ上述の議論がディジタル的アプロー
チに主として関連していても、本発明はアナログ回路で
実現することもできる。しかし、上述の計算を実現する
アナログ回路の精度は雑音感受性あるいはパラメータの
広がりのために限定されることに注意すべきである。
チに主として関連していても、本発明はアナログ回路で
実現することもできる。しかし、上述の計算を実現する
アナログ回路の精度は雑音感受性あるいはパラメータの
広がりのために限定されることに注意すべきである。
【図1】図1は既知のニューラルプロセッサの一般的線
図を示している。
図を示している。
【図2】図2はシグノイド曲線の一部分と、第1象限に
おけるセグメント化された線形関数によるその近似を示
している。
おけるセグメント化された線形関数によるその近似を示
している。
【図3】図3は本発明によるニューラルプロセッサの一
般的線図を示している。
般的線図を示している。
【図4】図4は本発明による別のニューラルディジタル
プロセッサのさらに詳しい線図を示している。
プロセッサのさらに詳しい線図を示している。
【図5】図5は本発明により使用できる曲線F(x) の別
の形状を示している。
の形状を示している。
【図6】図6は別の非線形関数CNLFがランプ関数である
場合に関連する線図を示している。
場合に関連する線図を示している。
【図7】図7は別の非線形関数CNLFがランプ関数である
場合の関数ANLFの導関数の計算の線図を示している。
場合の関数ANLFの導関数の計算の線図を示している。
【図8】図8は別の非線形関数CNLFがランプ関数である
場合の関数ANLFとその導関数を計算する線図を示してい
る。
場合の関数ANLFとその導関数を計算する線図を示してい
る。
【図9】図9は各々が2つの飽和値の間でランプ関数を
有する非線形基本関数を使用する非線形伝達関数の形成
を例示している。
有する非線形基本関数を使用する非線形伝達関数の形成
を例示している。
【図10】図10は各々が2つの飽和値の間でランプ関数
を有する非線形基本関数を使用する非線形伝達関数の形
成を例示している。
を有する非線形基本関数を使用する非線形伝達関数の形
成を例示している。
【図11】図11は各々が2つの飽和値の間でランプ関数
を有する非線形基本関数を使用する非線形伝達関数の形
成を例示している。
を有する非線形基本関数を使用する非線形伝達関数の形
成を例示している。
【図12】図12は各々が2つの飽和値の間でランプ関数
を有する非線形基本関数を使用する非線形伝達関数の形
成を例示している。
を有する非線形基本関数を使用する非線形伝達関数の形
成を例示している。
10 ニューラルプロセッサ 12 ニューラルユニット 13 入力手段 14 ニューラルプロセッサあるいは非線形関数手段 15 接続 16 蓄積手段 17 接続 20 入力ニューラルユニット 22 手段 24 出力ニューラルユニット 26 蓄積手段 30 ニューロン(ユニット) 35 ユニット 36 比較器 37 表 38 バス 61 出力 62 出力 63 転送ゲート 64 アンドゲート 65 転送ゲート 67 転送ゲート 70 転送ゲート 71 転送ゲート 72 インバータ 75 ブロック 80 アンドゲート 81 アンドゲート 82 アンドゲート 83 アンドゲート 84 アンドゲート 85 インバータ
Claims (14)
- 【請求項1】 ディジタル データ用第1入力手段(13)
と、入力データと、ニューロン同士間またはニューロン
と入力手段間接続に関係するシナプス係数との作用に従
ってニューロン ポテンシャルを計算するニューラル
ユニット(12)と、前記シナプス係数を蓄積する第2手段
(16)と、少なくとも1つのニューラル状態STATを発
生させるため少なくとも1つのニューラル ポテンシャ
ルPOTをn個のセグメントにより形成される少なくとも
1つの近似非線形活性化関数に従わせる第3手段(14)
と、を具えたニューラル ディジタル プロセッサにお
いて、 前記近似非線形関数ANLFを前記ニューラル ポテンシャ
ルPOT に適用した結果を計算するため、前記第3手段(1
4)が別のニューラル ディジタル プロセッサ(14)を具
え、そのプロセッサが、Hj を1≦j≦nなる予め定め
られたシナプス係数、Thj をしきい値とした時、n個
の組Mj =Hj.POT +Thj を計算する手段(20)と、少
なくとも1つの別の非線形関数CNLFの組合せMj への適
用Sj =F(Mj )を計算する手段(22)と、近似非線形
関数ANLFの前記適用した結果を発生させるためシナプス
係数Dj を有するn個の適用F(Mj )を線形に組合わ
せる手段(24)と、を具え、 前記別の非線形関数CNLFがxを独立変数とした時、xが
−xmin とxmax の間に位置する時一定ではないセグメ
ントF(x) と、それぞれx≧xmax 及びx≦x min の時
2つのセグメントF(x) =Fmax およびF(x) =Fmin
とにより形成されることを特徴とするニューラル ディ
ジタル プロセッサ。 - 【請求項2】 請求項1記載のプロセッサにおいて、適
用F(Mj ) を計算する手段(22))が、組合せMj が−
xmin とxmax の間にあるかこの間隔の外にあるかを検
出する手段(361, 362 ,64)と、この間隔での値F(M
j )を計算する手段(37)と、それぞれMj ≧xmax およ
びMj ≦−xmin の時F(Mj )にそれぞれ値Fmaxお
よび−Fmin を割当てる手段(37)と、を具えることを特
徴とするニューラル ディジタル プロセッサ。 - 【請求項3】 請求項2記載のプロセッサにおいて、手
段(37)が予め定められた値F(Mj )をアドレスMj に
蓄積する表を具えることを特徴とするニューラル ディ
ジタル プロセッサ。 - 【請求項4】 請求項2記載のプロセッサにおいて、別
の非線形関数CNLFがランプ関数で、手段(37)がニュ
ーラル ポテンシャル値Mj をニューラル状態Sj に適
用する転送手段(38)により形成されることを特徴とする
ニューラルディジタル プロセッサ。 - 【請求項5】 請求項1から4いずれか記載のプロセッ
サにおいて、別のニューラル ディジタル プロセッサ
がまた非線形関数ANLFの導関数F′を計算する手段(75)
を具えることを特徴とするニューラル ディジタル プ
ロセッサ。 - 【請求項6】 請求項5記載のプロセッサにおいて、組
合せMj が−xminとxmax の間に位置しこの間隔の外
側で値が零である時、適用S′j =F′(M j ) の予め
定められた値を蓄積する少なくとも1つの表を具えるこ
とを特徴とするニューラル ディジタル プロセッサ。 - 【請求項7】 請求項6記載のプロセッサにおいて、別
の非線形関数CNLFがランプ関数で、表が各適用S′j =
F′(Mj ) ごとに対応するシナプス係数H j の値を複
写するブロック(70)により置換されることを特徴とする
ニューラルディジタル プロセッサ。 - 【請求項8】 請求項6記載のプロセッサにおいて、別
の非線形関数CNLFがランプ関数で、手段(26)が非線形関
数ANLFの計算のため値Hj とDj を蓄積し、その導関数
の計算のため表がその入力ユニットの値のデータを受信
するブロック(70)により置換されることを特徴とするニ
ューラル ディジタル プロセッサ。 - 【請求項9】 請求項1から8いずれか記載のプロセッ
サにおいて、手段(22)が非線形関数ANLFとその導関
数とに従って順次に適用を計算するために使用されるこ
とを特徴とするニューラル ディジタル プロセッサ。 - 【請求項10】 請求項1から9いずれか記載のプロセ
ッサにおいて、ニューラル ユニット(12)と別のニュー
ラル プロセッサ(14)とが共通のニューロンを有するこ
とを特徴とするニューラル ディジタル プロセッサ。 - 【請求項11】 受信入力データに基づいてニューラル
ポテンシャルを創作するユニットであって、かつ、入
力データのそれぞれの1つにそれぞれのシナプス係数を
乗じたそれぞれの乗算値をそれぞれ1つの積とするそれ
ら積の積算値を含むニューラル ポテンシャルを創作す
るユニットと、 ニューロン出力データを創作するため非線形関数をニュ
ーロン ポテンシャルに適用する非線形関数手段と、を
有するニューラル ネットワークを機能的に具えたデー
タ処理システムにおいて、 その非線形関数手段が別のニューラル ネットワークを
機能的に具え、その別のニューラル ネットワークが複
数の別のユニットと組合せ手段とを有し、 前記複数の別のユニットのそれぞれの1つがニューラル
ポテンシャルにそれぞれの因子を乗ずる乗算を含むそ
れぞれの別の積を創作すべく演算されるとともに、それ
ぞれの結果を創作すべくその別の積にそれぞれ別の非線
形関数を適用し、 前記組合せ手段が前記ニューラル ポテンシャルと関連
したはじめに述べた非線形関数の値を提供すべくそれぞ
れの結果を線形的に組合わせる組合せ手段である、こと
を特徴とするデータ処理システム。 - 【請求項12】 請求項11記載のシステムにおいて、前
記複数の別のユニットが各々2つの飽和値間ランプ関数
を具える別の非線形関数を適用すべく演算されることを
特徴とするデータ処理システム。 - 【請求項13】 請求項11または12記載のシステムにお
いて、そのシステムが唯1つのIC素子に集積されるこ
とを特徴とするデータ処理システム。 - 【請求項14】 出力信号を創作すべく入力信号を演算
して非線形転送機能を履行すべく非線形関数手段を具え
たデータ処理システムにおいて、 前記非線形関数手段が:それぞれの結果を創作するため
入力信号に複数のそれぞれの基本的非線形関数を適用す
る基本的手段と、 出力信号を発生させるため複数のそれぞれの結果を線形
的に組合わせる組合せ手段と、を機能的に具えたことを
特徴とするデータ処理システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR9115373 | 1991-12-11 | ||
FR9115373A FR2685109A1 (fr) | 1991-12-11 | 1991-12-11 | Processeur numerique neuronal operant avec une approximation d'une fonction d'activation non lineaire. |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH05242068A true JPH05242068A (ja) | 1993-09-21 |
JP3315449B2 JP3315449B2 (ja) | 2002-08-19 |
Family
ID=9419921
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP32792492A Expired - Fee Related JP3315449B2 (ja) | 1991-12-11 | 1992-12-08 | ニューラルディジタルプロセッサ |
Country Status (5)
Country | Link |
---|---|
US (1) | US5796925A (ja) |
EP (1) | EP0546624B1 (ja) |
JP (1) | JP3315449B2 (ja) |
DE (1) | DE69223221T2 (ja) |
FR (1) | FR2685109A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018100920A1 (ja) * | 2016-12-01 | 2018-06-07 | ソニーセミコンダクタソリューションズ株式会社 | 演算装置、演算方法及びコンピュータプログラム |
CN111433791A (zh) * | 2017-12-08 | 2020-07-17 | 超威半导体公司 | 用于电子装置的激活函数功能块 |
US11522671B2 (en) | 2017-11-27 | 2022-12-06 | Mitsubishi Electric Corporation | Homomorphic inference device, homomorphic inference method, computer readable medium, and privacy-preserving information processing system |
KR20230082587A (ko) * | 2021-12-01 | 2023-06-08 | 주식회사 딥엑스 | 프로그램된 활성화 함수 실행 유닛을 포함하는 신경 프로세싱 유닛 |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0683462A3 (fr) * | 1994-03-31 | 1996-01-17 | Philips Electronique Lab | Procédé et processeur pour construire une fonction linéaire par morceaux avec discontinuités éventuelles. |
FR2724027A1 (fr) * | 1994-11-25 | 1996-03-01 | France Telecom | Operateur neuronal |
US7433097B2 (en) * | 2003-04-18 | 2008-10-07 | Hewlett-Packard Development Company, L.P. | Optical image scanner with moveable calibration target |
DE102006046204B3 (de) * | 2006-09-29 | 2008-07-17 | Siemens Ag | Verfahren und Vorrichtung zur neuronalen Steuerung und/oder Regelung |
US20140143191A1 (en) | 2012-11-20 | 2014-05-22 | Qualcomm Incorporated | Piecewise linear neuron modeling |
US10049326B1 (en) * | 2013-02-01 | 2018-08-14 | The United States of America as Represented by the Admin of National Aeronautics and Space Administration | Systems and methods for transfer function estimation using membership functions |
EP2821183B1 (en) | 2013-07-05 | 2017-06-21 | Black & Decker Inc. | Hammer Drill |
CN105893159B (zh) * | 2016-06-21 | 2018-06-19 | 北京百度网讯科技有限公司 | 数据处理方法和装置 |
US11544545B2 (en) | 2017-04-04 | 2023-01-03 | Hailo Technologies Ltd. | Structured activation based sparsity in an artificial neural network |
US11238334B2 (en) | 2017-04-04 | 2022-02-01 | Hailo Technologies Ltd. | System and method of input alignment for efficient vector operations in an artificial neural network |
US11615297B2 (en) | 2017-04-04 | 2023-03-28 | Hailo Technologies Ltd. | Structured weight based sparsity in an artificial neural network compiler |
US11551028B2 (en) | 2017-04-04 | 2023-01-10 | Hailo Technologies Ltd. | Structured weight based sparsity in an artificial neural network |
US10387298B2 (en) | 2017-04-04 | 2019-08-20 | Hailo Technologies Ltd | Artificial neural network incorporating emphasis and focus techniques |
US10872290B2 (en) | 2017-09-21 | 2020-12-22 | Raytheon Company | Neural network processor with direct memory access and hardware acceleration circuits |
US11468332B2 (en) | 2017-11-13 | 2022-10-11 | Raytheon Company | Deep neural network processor with interleaved backpropagation |
RU182699U1 (ru) * | 2018-05-31 | 2018-08-28 | Федеральное государственное бюджетное образовательное учреждение высшего образования "МИРЭА - Российский технологический университет" | Импульсный блок расчета активационной функции искусственной нейронной сети |
US11775805B2 (en) * | 2018-06-29 | 2023-10-03 | Intel Coroporation | Deep neural network architecture using piecewise linear approximation |
CN110688088B (zh) * | 2019-09-30 | 2023-03-28 | 南京大学 | 一种面向神经网络的通用非线性激活函数计算装置和方法 |
US11263077B1 (en) | 2020-09-29 | 2022-03-01 | Hailo Technologies Ltd. | Neural network intermediate results safety mechanism in an artificial neural network processor |
US11237894B1 (en) | 2020-09-29 | 2022-02-01 | Hailo Technologies Ltd. | Layer control unit instruction addressing safety mechanism in an artificial neural network processor |
US11811421B2 (en) | 2020-09-29 | 2023-11-07 | Hailo Technologies Ltd. | Weights safety mechanism in an artificial neural network processor |
US11874900B2 (en) | 2020-09-29 | 2024-01-16 | Hailo Technologies Ltd. | Cluster interlayer safety mechanism in an artificial neural network processor |
US11221929B1 (en) | 2020-09-29 | 2022-01-11 | Hailo Technologies Ltd. | Data stream fault detection mechanism in an artificial neural network processor |
CN113935480B (zh) * | 2021-11-12 | 2022-10-18 | 成都甄识科技有限公司 | 面向神经网络在线学习的激活函数加速处理单元 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3601811A (en) * | 1967-12-18 | 1971-08-24 | Matsushita Electric Ind Co Ltd | Learning machine |
FR2625347B1 (fr) * | 1987-12-23 | 1990-05-04 | Labo Electronique Physique | Structure de reseau de neurones et circuit et arrangement de reseaux de neurones |
US4979126A (en) * | 1988-03-30 | 1990-12-18 | Ai Ware Incorporated | Neural network with non-linear transformations |
US5131072A (en) * | 1988-08-31 | 1992-07-14 | Fujitsu, Ltd. | Neurocomputer with analog signal bus |
FR2639736B1 (fr) * | 1988-11-25 | 1991-03-15 | Labo Electronique Physique | Procede de retropropagation du gradient et structure de reseau de neurones |
FR2639739B1 (fr) * | 1988-11-25 | 1991-03-15 | Labo Electronique Physique | Procede et dispositif de compression de donnees d'image utilisant un reseau de neurones |
US5293459A (en) * | 1988-12-23 | 1994-03-08 | U.S. Philips Corporation | Neural integrated circuit comprising learning means |
US5107442A (en) * | 1989-01-12 | 1992-04-21 | Recognition Equipment Incorporated | Adaptive neural network image processing system |
FR2648253B1 (fr) * | 1989-06-09 | 1991-09-13 | Labo Electronique Physique | Procede de traitement et structure de reseau de neurones mettant en oeuvre le procede |
US5109351A (en) * | 1989-08-21 | 1992-04-28 | Texas Instruments Incorporated | Learning device and method |
GB2236608B (en) * | 1989-10-06 | 1993-08-18 | British Telecomm | Digital neural networks |
US5067095A (en) * | 1990-01-09 | 1991-11-19 | Motorola Inc. | Spann: sequence processing artificial neural network |
JP2785155B2 (ja) * | 1990-09-10 | 1998-08-13 | 富士通株式会社 | ニューロコンピュータの非同期制御方式 |
US5097141A (en) * | 1990-12-12 | 1992-03-17 | Motorola, Inc. | Simple distance neuron |
US5228113A (en) * | 1991-06-17 | 1993-07-13 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Accelerated training apparatus for back propagation networks |
-
1991
- 1991-12-11 FR FR9115373A patent/FR2685109A1/fr not_active Withdrawn
-
1992
- 1992-12-04 DE DE69223221T patent/DE69223221T2/de not_active Expired - Fee Related
- 1992-12-04 EP EP92203774A patent/EP0546624B1/fr not_active Expired - Lifetime
- 1992-12-08 JP JP32792492A patent/JP3315449B2/ja not_active Expired - Fee Related
-
1995
- 1995-02-06 US US08/384,191 patent/US5796925A/en not_active Expired - Fee Related
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018100920A1 (ja) * | 2016-12-01 | 2018-06-07 | ソニーセミコンダクタソリューションズ株式会社 | 演算装置、演算方法及びコンピュータプログラム |
US11522671B2 (en) | 2017-11-27 | 2022-12-06 | Mitsubishi Electric Corporation | Homomorphic inference device, homomorphic inference method, computer readable medium, and privacy-preserving information processing system |
CN111433791A (zh) * | 2017-12-08 | 2020-07-17 | 超威半导体公司 | 用于电子装置的激活函数功能块 |
JP2021506020A (ja) * | 2017-12-08 | 2021-02-18 | アドバンスト・マイクロ・ディバイシズ・インコーポレイテッドAdvanced Micro Devices Incorporated | 電子デバイスの活性化関数機能ブロック |
CN111433791B (zh) * | 2017-12-08 | 2024-04-12 | 超威半导体公司 | 用于电子装置的激活函数功能块 |
KR20230082587A (ko) * | 2021-12-01 | 2023-06-08 | 주식회사 딥엑스 | 프로그램된 활성화 함수 실행 유닛을 포함하는 신경 프로세싱 유닛 |
Also Published As
Publication number | Publication date |
---|---|
EP0546624B1 (fr) | 1997-11-19 |
DE69223221T2 (de) | 1998-05-14 |
DE69223221D1 (de) | 1998-01-02 |
EP0546624A1 (fr) | 1993-06-16 |
FR2685109A1 (fr) | 1993-06-18 |
JP3315449B2 (ja) | 2002-08-19 |
US5796925A (en) | 1998-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH05242068A (ja) | ニューラル ディジタル プロセッサ | |
US11003736B2 (en) | Reduced dot product computation circuit | |
Dayhoff | Neural network architectures: an introduction | |
US9367797B2 (en) | Methods and apparatus for spiking neural computation | |
AU2020274862B2 (en) | Training of artificial neural networks | |
US20130204814A1 (en) | Methods and apparatus for spiking neural computation | |
US11562220B2 (en) | Neural processing unit capable of reusing data and method thereof | |
US20200293855A1 (en) | Training of artificial neural networks | |
US11704556B2 (en) | Optimization methods for quantization of neural network models | |
CN112085198A (zh) | 基于全局反馈以及局部突触可塑的脉冲神经网络优化方法 | |
WO2019222724A1 (en) | Deep neural networks with no multiplications and no floating point operations | |
US5630020A (en) | Learning method and neural network structure | |
JPH07271748A (ja) | データを正規化する手段を含むニューラル・プロセッサ | |
US11977982B2 (en) | Training of oscillatory neural networks | |
CN113269313A (zh) | 突触权重训练方法、电子设备和计算机可读介质 | |
Sorheim | A combined network architecture using ART2 and back propagation for adaptive estimation of dynamical processes | |
JPH05159087A (ja) | ニューロプロセッサ | |
FI103304B (fi) | Assosiatiivinen neuroni | |
Noyes | Training and generalization | |
US5590243A (en) | Neural network system with sampling data | |
CN113239077B (zh) | 一种基于神经网络的搜索方法、***和计算机可读存储介质 | |
JPH05128285A (ja) | ニユーロプロセツサ | |
JPH09138786A (ja) | ニューラルネットワークの学習装置 | |
KR20230086584A (ko) | 시스톨릭 어레이 기반의 신경망 가속기를 이용한 순환 신경망 데이터 처리 방법 및 신경망 가속기 | |
KR20220076271A (ko) | 간소화된 시그모이드 함수 회로 및 이를 포함하는 뉴로모픽 프로세서 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
LAPS | Cancellation because of no payment of annual fees |