JP3315449B2 - ニューラルディジタルプロセッサ - Google Patents

ニューラルディジタルプロセッサ

Info

Publication number
JP3315449B2
JP3315449B2 JP32792492A JP32792492A JP3315449B2 JP 3315449 B2 JP3315449 B2 JP 3315449B2 JP 32792492 A JP32792492 A JP 32792492A JP 32792492 A JP32792492 A JP 32792492A JP 3315449 B2 JP3315449 B2 JP 3315449B2
Authority
JP
Japan
Prior art keywords
neural
function
processor
digital processor
nonlinear
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP32792492A
Other languages
English (en)
Other versions
JPH05242068A (ja
Inventor
デヴィーユ イヤニック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JPH05242068A publication Critical patent/JPH05242068A/ja
Application granted granted Critical
Publication of JP3315449B2 publication Critical patent/JP3315449B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Feedback Control In General (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】この発明は、ディジタル データ
用第１入力手段と；入力データおよびニューロン同士間
またはニューロンと入力手段間接続に関係するシナプス
係数の作用に従ってニューロン ポテンシャルを計算す
るニューラル ユニットと；前記シナプス係数を蓄積す
る第２手段と；少なくとも１つのニューラル状態ＳＴＡ
Ｔを発生させるため少なくとも１つのニューラル ポテ
ンシャルをｎ個のセグメントにより形成される少なくと
も１つの近似非線形活性化関数に従わせる第３手段と；
を具えたニューラル ディジタル プロセッサに関する
ものである。
【０００２】本発明はさらに非線形制御およびかかる制
御のための非線形転送関数の創作に関するものである。
【０００３】
【従来の技術】ニューラル ディジタル プロセッサは
ニューラル ネットワークとして知られている全体シス
テムの一部を形成するものである。ニューラル ネット
ワークは課題の識別用、特に物体の形状とか文字の認識
用、信号処理とか音声処理とか画像処理用、または情報
の圧縮用に使用される。
【０００４】ニューラル ネットワークはシナプス係数
が割当てられるシナプスによって一般に相互接続される
非線形自動素子により形成される。それは通常の直列型
コンピュータでは解決するのが困難な問題の解決を可能
にする。
【０００５】ニューラル ネットワークの２つの最も普
通の形はホップフィールド(Hopfield)ネットワークと称
されるすべてが接続されるネットワークと、層状のネッ
トワークで、後者ではニューロンが引続く層でグループ
を形成し、各ニューロンは次の層のすべてのニューロン
に接続され、情報は入力層から次の層（隠れた層）に出
力層に到達するまで進む。
【０００６】これらシステムは実例に従って学習を進め
たりそれらを組織化することが可能である。直列型コン
ピュータを使用する場合に非常に長い計算時間がかかる
のを、ほぼ並列演算が履行されて時間短縮され、それら
演算は学習フェーズや決定フェーズを具えるものであ
る。
【０００７】与えられた処理を実行するために、ニュー
ラル ネットワークは前もって演算の手順を学習してお
かねばならない。このフェーズは学習フェーズと称せら
れ実例を使用するものである。多くのアルゴリズムにつ
いて、これら実例に基づいた出力に得られるべき結果は
前もって一般に知られている。初期には、ニューラルネ
ットワークは所望の作業に未だ適合されてなく正しい結
果を伝えていない。次に得られた結果と得られるべき結
果との間で誤差が決められ、適合判定基準に基づいてシ
ナプス係数がニューラル ネットワークをして選択され
た実例を学習させるよう修正される。このステップはニ
ューラル ネットワークによる十分な学習に必要と考え
られるすべての実例について繰返えされる。
【０００８】学習アルゴリズムの２つのカテゴリがあ
る：１つは、ニューロン“ｂ”をニューロン“ａ”に接
続するシナプス係数の修正がニューロン“ａ”と“ｂ”
により用意された情報にのみ依存するという局所的学
習、もう１つは、前記修正がそのネットワークを介して
進呈された情報に依存する局所的でない学習で、この学
習は例えば層状ネットワークにおける誤差逆伝播による
学習である。
【０００９】与えられたニューロンはかくてその上流に
接続されたニューロンによりなされる寄与の組みを積算
する。次にそれはニューロン ポテンシャルPOT を供給
する。出力には出力ニューロンと称せられる１つまたは
複数のニューロンが用意されるかもしれない。ニューロ
ンのニューラル ポテンシャルPOT は一般にプロセッサ
が精確に決定されるよう非線形活性化関数ＮＬＦに支配
されるべきものである。この活性化関数は与えられた判
定基準を満足すべきで、その最も重要なことは変数の絶
対値が増加する時それは飽和し、いかなる点でもその導
関数が計算できるものであるべきである。
【００１０】いくつかの活性化関数が現在では公知のニ
ューラル プロセッサに使用されている。最も普通の関
数はシグモイド(sigmoid) 関数で、その理由はこれら関
数が得られるべき最適な、特に学習ステップ間での収束
の速度について最適な、必要なら、例えばニューラル
プロセッサを所望の計算式（アプリケーション）に適合
させるのに最適な結果を可能とするからである。
【００１１】ニューラル ポテンシャルPOT を非線形活
性化関数ＮＬＦに従わせるには現在種々の方法が知られ
ている。これらの方法はプロセッサの内部か外部にある
演算を利用する。外部演算は計算機によるあらかじめ計
算された表からの読みとりにより実行される。（学習フ
ェーズ中の）シナプス係数または（決定フェーズ中の）
ニューラル状態用の計算精度は前記計算機または前記あ
らかじめ計算された表の計算ステップに全く依存する。
かくて特にあらかじめ計算された表の大きさについて、
または計算機による計算の持続期間についての制限が存
在する。
【００１２】さらに、別の活性化関数との演算のための
表の再配列はよりゆっくりしたプロセスであるべきこと
が示されている。活性化関数Ｆ（ｘ／Ｔ）を修正させう
る“温度”パラメータと称されるパラメータＴを容易に
変えることはもはや不可能である。さらに活性化関数と
その導関数の計算は２つの異なった演算を構成する。
【００１３】さらに、外部の演算はニューラル プロセ
ッサからの初期のディジタル データ（ニューラル ポ
テンシャルPOT ）の抽出が必要で、次に処理されたディ
ジタル データ（ニューラル状態STAT）のニューラル
プロセッサへの再導入が必要である。これら演算は特殊
なハードウェア同様集積回路の形での実施なら好適に排
除できる処理時間と転送時間とを必要とする。
【００１４】それ故計算手段をニューラル プロセッサ
に直接集中化し、選択された非線形活性化関数の適用を
可能とすることが目標とされてきた。ハードウェア削減
が非線形関数の履行に必要とされる時は、簡単な非線形
関数のみが使用されるという制限が存在する。これらの
ことは現在の所極めて容易に不正確になることがわかっ
てきた。
【００１５】十分小さなステップでシグモイド関数の計
算を実行するのは必ずしも容易ではないから、今やシグ
モイド関数を切片状線形関数で近似する方向へ向かいつ
つある。例えば文献ＧＢ第2,236,608 Ａ号は切片状線形
関数により形成された近似非線形関数を計算する手段を
具えたディジタル ニューラル ネットワークを開示し
ている。そして、その原理はパルスコード変調を有する
Ａ型の圧縮法則の適用に存する。
【００１６】
【発明が解決しようとする課題】しかしながら、引用し
た前記文献に述べているようなかく得られた近似は、不
完全でニューラル プロセッサの演算で誤差が生じてし
まう。それ故シグモイド関数のより厳密な近似が望まれ
る。そしてまたシグモイド関数以外の関数を近似するた
めに、近似非線形関数がすみやかに再プログラムされ得
ることが望まれるかもしれない。この変更は速やかに実
施されるべきであり、加うるに、上述の非常に速やかな
導入と同じように、非線形関数の温度修正が可能である
べきである。
【００１７】もう一方、学習フェーズの間に使用される
近似非線形関数の導関数の計算を必要とする学習アルゴ
リズムを利用することも可能である。それ故低コストで
演算のこのモードをまた実施し得ることがハードウェア
に望まれる。
【００１８】
【課題を解決するための手段】前述の目的を達成するた
め、冒頭に記載した本発明に係るニューラル ディジタ
ル プロセッサは、ディジタル データ用第１入力手段
(13)と；入力データおよびニューロン同士間またはニュ
ーロンと入力手段間接続に関係するシナプス係数の作用
に従ってニューロン ポテンシャルを計算するニューラ
ルユニット(12)と；前記シナプス係数を蓄積する第２手
段(16)と；少なくとも１つのニューラル状態ＳＴＡＴを
発生させるため少なくとも１つのニューラル ポテンシ
ャルPOT をｎ個のセグメントにより形成される少なくと
も１つの近似非線形活性化関数ANLFに従わせる第３手段
(14)と；を具えたニューラル ディジタル プロセッサ
（10）において、前記近似非線形活性化関数ANLFを前記
ニューラル ポテンシャルPOT に適用した結果を計算す
るため、前記第３手段(14)は別のニューラル ディジタ
ル プロセッサ(14)を具え、その別のニューラル ディ
ジタル プロセッサは：Ｈj を１≦ｊ≦ｎなる予め定め
られたシナプス係数、Ｔｈj をしきい値とした時、ｎ個
の組Ｍj ＝Ｈj.POT ＋Ｔｈj を計算する手段(20)と；少
なくとも１つの別の非線形関数CNLFの組合せＭj の計算
式Ｓj ＝Ｆ（Ｍj ）を計算する手段(22)と；近似非線形
活性化関数ANLFの前記適用した結果を発生させるためシ
ナプス係数Ｄj を有するｎ個の式Ｆ（Ｍj ）を線形に組
合わせる手段(24)と；を具え前記別の非線形関数CNLFは
ｘを独立変数とした時、ｘが−ｘmin とｘmax の間に位
置する時一定ではないセグメントＦ(x) と、それぞれｘ
≧ｘmax 及びｘ≦−ｘmin の時２つのセグメントＦ(x)
＝Ｆmax およびＦ(x) ＝−Ｆmin とにより形成されるこ
とを特徴とするものである。
【００１９】前記活性化関数ANLFはかくて別のニューラ
ル プロセッサにより魅力的に計算され、そのためそれ
は別の非線形関数CNLFが２つの飽和セグメント−Ｆmin
とＦmax により限定される与えられた間隔の中で単純に
定義されるという条件を満たしている。間隔（−ｘ
min ，ｘmax ）ではＦ(x) は近似的ANLFが求められる非
線形関数NLF に関係して選択される。シグモイドの近似
を得るために、一定でないセグメントＦ(x) は、例えは
３次の多項式またはランプ関数によって形成される関数
の一部であってもよい。この３次の多項式による変換
は、かなり制限された数の値のみしか蓄積を必要としな
いが、それでも小さなステップで非線形関数ANLFの計算
が可能な表によりハードウェアとし実現されるかもしれ
ない。
【００２０】ランプ関数は非常に有利である。それは表
を省略することができ、必要とするハードウェア手段が
さらに削減されるからである。
【００２１】一定でないセグメントＦ(x) を構成する関
数の選択は近似が要求される非線形関数ＮＬＦと左程厳
密には関係しない。かくて、このセグメントの選択は実
施の容易さによって主として決まるかもしない。あらか
しめ定められたシナプス係数の数Ｈj と値Ｄj が望まし
いものとして選択される精度を有した非線形関数の近似
を可能とする。
【００２２】本発明は近似非線形関数ANLFの計算用に限
定されたハードウェアの使用を可能とする。かくてこの
削減されたハードウェアは非線形関数ANLFの導関数の計
算実行のため倍にされる。関数と導関数とはかくて同じ
方法で別々に処理される２つの関数と考えられる。
【００２３】ランプ関数の使用は関数ANLFとその導関数
の計算実行を可能とし、必要とするハードウェアを倍に
しなくてもすみ、ハードウェアの構成には有利である。
【００２４】非線形関数ANLFおよび／またはその導関数
の計算はニューラル形手段により実行されてきたが、こ
れらの手段はハードウェア手段を削減するため一般にニ
ューラル プロセッサの別のニューラル手段と組合わす
ことができる。
【００２５】本発明を他の観点からみてみると、本発明
は受信入力データに基づいてニューラルポテンシャルを
創作するユニットであって、かつ、そのニューラルポテ
ンシャルが入力データのそれぞれの１つにそれぞれのシ
プナス係数を乗じたそれぞれの乗算値をそれぞれ１つの
積とするそれら積の積算値を含むユニットを有するニュ
ーラルネットワークを機能的に具えたデータ処理システ
ムを備えている。前記ニューラル ネットワークはさら
にニューロン出力データを創作するため非線形関数をニ
ューラル ポテンシャルに適用する非線形関数手段を具
えている。本発明によれば、この非線形関数手段は複数
の別のユニットを有する別のニューラルネットワークを
機能的に具えている。複数の別のユニットのそれぞれの
１つはニューラル ポテンシャルにそれぞれの因子を乗
ずる乗算を含むそれぞれの別の積を創作すべく演算され
るとともに、それぞれの結果を創作すべくその別の積に
それぞれ別の非線形関数を適用している。非線形関数手
段はまた組合わせ手段を具え、それは前記ニューラルポ
テンシャルと関連したはじめに述べた非線形関数の値を
提供すべくそれぞれの結果を線形的に組合わせている。
【００２６】また、その別の非線形関数とニューラル
ネット（積の積算）の典型的な演算とははじめに述べた
非線形関数を創作する。非線形関数手段の簡易さとニュ
ーラル ネットに対するその構造的類似性とは１つのニ
ューラル ネット、特に唯１つのチップのニューラル
ネットでの実施という意味で本発明を非常に魅力あるも
のにしている。さらに好適には、各別の非線形関数は２
つの飽和値間のランプ関数で構成されている。
【００２７】本発明がニューラル ネットの分野で有す
る価値とは別に、複数の非線形基本関数から非線形転送
機能を創作するこの方法は、より一般的な非線形制御の
分野、そこでは入力信号と出力信号が非線形の形態で関
係しあう分野で明らかに興味あるものである。例えばそ
の演算がファジイ(fuzzy) 論理に基づくファジイ制御が
ある。一般に非線形転送機能は計算に多大の処理時間を
必要とするのでルックアップテーブルで実施される。
【００２８】それ故本発明はまた出力信号を創作すべく
入力信号に非線形転送機能を実施する非線形関数手段を
具えたデータ処理システムにも関係する。本発明によれ
ば、非線形関数手段はそれぞれの結果を創作するため入
力信号へ複数のそれぞれの基本非線形関数を適用する基
本手段と、出力信号を発生するためそれぞれの結果を線
形に組合わせる組合せ手段とを機能的に具えている。
【００２９】
【実施例】以下添付図面を参照して実施例により本発明
を詳細に説明する。図１は所与の瞬間に少なくとも１つ
のニューラルポテンシャルPOT を供給するニューラルユ
ニット12を具える既知のニューラルプロセッサ10の線図
である。ニューラルユニット12は入力手段13からのデー
タＶb と手段16からのシナプス係数Ｃabを受信し、かつ
以下の式
【数１】 のようにニューラルポテンシャルを計算する。
【００３０】関連する技術的適用の性質に依存して、ニ
ューラルユニット12は所与の瞬間にニューラルポテンシ
ャルPOT が決定されるいくつかのニューロンを有するこ
とができる。もし時間シーケンスが考慮されるなら、同
じニューロンに対してニューラルポテンシャルPOT のシ
ーケンスが現れる。これらのポテンシャルは一般に非線
形活性化関数NLF に個別に従わなければならない。その
計算がニューラルプロセッサで実行される場合、非線形
活性化関数NLF を近似する非線形活性化関数ANLFが適用
できる（ブロック14）。このようにニューラルポテンシ
ャルPOT はニューラル状態STATに変換され、それは大多
数のニューロンに対して、処理の間にニューラルユニッ
ト12に再導入される。
【００３１】シナプス係数Ｃabはメモリ16に蓄積されて
いる。それらは要素「ｂ」を要素「ａ」に接続する接続
を特徴付ける。それらは入力手段13のデータＶb 、ある
いはニューラルユニット12のニューロンのいずれかの入
力であってよい。
【００３２】学習フェーズ（learning phase）の間に、
シナプス係数はメモリ16に負荷される（接続15）。決定
フェーズ（resolving phase)の間に、シナプス係数はメ
モリ16で読み取られる（接続17）。
【００３３】そのようなニューラルディジタルプロセッ
サの構造と演算は当業者に既知である。
【００３４】シグモイド(sigmoid) 関数（NLF)を近似す
る非線形関数ANLFは図２に示されている。一例として、
奇関数NLF が考慮され、それに対して非線形で等しく奇
関数ANLFが決定されよう。従って、このことは零である
しきい値Ｔh に対応する。それは横座標（ｘ0,ｘ1),
（ｘ1,ｘ2), （ｘ2,ｘ3), ....の間の直線セグメントか
らなるセグメントにより近似されている。本発明は図３
に示されたニューラルディジタルプロセッサ14によりこ
の種の近似の実行を提案する。それは入力ニューラルユ
ニット20、別の非線形関数CNLFを適用する手段22、出力
ニューラルユニット24、およびニューラルユニット20と
24用それぞれにシナプス係数Ｈj とＤj を蓄積する手段
26を具えている。入力ニューラルユニット20はニューラ
ルプロセッサ10のニューラルユニット12からデータ（ニ
ューラルポテンシャルPOT ）を受信する。出力ニューラ
ルユニット24は入力に到着する各ニューラルポテンシャ
ルPOT のニューラル状態STATを供給する。関数NLF が奇
でない場合には、２つのニューラルユニット20, 24はし
きい値Ｔh を受信し、しきい値Ｔh はニューロンの活性
化しきい値を修正するためにニューラルユニットの各ニ
ューロンに作用する。
【００３５】図４はニューラルプロセッサ14の詳細な線
図を示している。ニューラルユニット20はｎ個のニュー
ロン、301 ....30j ....30n を具え、その各々はそれ自
身のシナプス係数Ｈ1 ....Ｈj ....Ｈn を受信し、かつ
その全ては非線形関数ANLFに従うべき同じニューラルポ
テンシャルPOT を受信する。近似非線形関数ANLFの同じ
象限（quadrant）に非零傾斜セグメントが存在するのと
同様に多くのニューロンが存在する。各ニューロンはニ
ューラルポテンシャルＭ1 ....Ｍj ....Ｍn を供給し、
ここで
【数２】 であり、Ｔh1....Ｔhjj ..Ｔhnn は関数NLF が奇である
場合には零である。
【００３６】ｎ個の組合せＭn は既に述べられているよ
うにｎ個のニューロンの層を介するか、あるいはｎ個の
組合せを供給するニューロンのいくつかの層を介するか
のいずれかで得ることができる。これらのニューラルポ
テンシャルは非線形関数CNLFに従う。
【００３７】関数CNLFを適用する手段22はユニット35
1 ...., 35j ...., 35n により形成され、その各々は同
じ関数CNLFを適用することが好ましい。ユニット35n
は、Ｍnがｘmax より大きいか等しいかどうか、ｘmin
より小さいか等しいかどうかを検出する例えば２個の比
較器361, 362により形成される。表37は比較器361 , 36
2が活性である場合にはそれらの比較器の出力による
か、あるいは比較器が活性でない場合にはＭn によるか
のいずれかでアドレスされる。表は値Ｆ(x),Ｆmax およ
び−Ｆmin で前以て負荷される。各ポテンシャル
Ｍ1,... ，Ｍj , ....，Ｍnでは連続して演算する単一
ユニット35のみを使用することが可能である。
【００３８】図５は非線形関数CNLFの例を示している。
間隔（−ｘmin ，ｘmax ）の外ではすべての関数はそれ
ぞれ−Ｆmin とＦmax で飽和になる。
【００３９】間隔（−ｘmin ，ｘmax ）では、関数Ｆ
(x) はランプ関数（曲線Ｆ1 ）、三次多項式（曲線Ｆ2
）、さらに複雑な曲線（曲線Ｆ3 ）のいずれかによっ
て形成できる。
【００４０】本発明によると、ランプ関数は間隔（−ｘ
min ，ｘmax ）の間で使用されることが好ましい。この
関数は、ほんの僅かのハードウエアだけの使用しか必要
でないという利点を提供する。その導関数の関連計算が
限定された補助手段のみを必要とすることは追加の利点
である。
【００４１】図６はｎ次チャネルのランプ関数の場合の
例えば35n のようなユニット35の一実施例を示してい
る。図面を簡単化するために、Ｆmax と−Ｆmin の値は
＋１と−１でそれぞれ正規化され、ｘmax と−ｘmin も
同様である。
【００４２】ニューラルポテンシャルＭn はＭn ≧１か
Ｍn ≦１かどうかをそれぞれ検出する２個の比較器36
1 , 362 に入る。Ｍn ≧１の場合、出力621 は活性（状
態Ｙ）である。それは次に出力Ｓn に値Ｆmax ＝＋１を
印加する要素63を活性化する。Ｍn ≦−１の場合、出力
621 は活性（状態Ｙ）である。それは次に出力Ｓn に値
Ｆmin ＝−１を印加する要素67を活性化する。−１＜Ｍ
n ＜＋１の場合、出力612 と622 は活性（状態Ｎ）であ
る。それらは出力Ｓn に各値Ｍn を転送する（バス38）
転送ゲート65に作用するアンドゲート64に印加される。
このようにしてニューラルポテンシャルＭn と状態Ｓn
の間に対応が存在する。
【００４３】図４のすべてのユニット351 −35n はすべ
てのポテンシャルＭj が同じ関数Ｆ(x) に従う場合には
同一である。異なる関数Ｆ(x) も選択できる。シナプス
係数Ｄj により、以下の計算、
【数３】 を実行するニューラルユニット24（図４）にすべての状
態（Ｓ1 −Ｓn ）が到達する。
【００４４】ニューラルユニット24は活性化関数が必ず
しも後続しない単一ニューロンにより形成される。ニュ
ーラルユニット20と24でそれぞれ使用されるようにメモ
リ26に蓄積された係数Ｈj とＤj は使用された非線形関
数NLF ，ANLFおよびCNLFの選択関数として、および受け
入れられた近似誤差の選択関数として予め決定されなけ
ればならない。CNLFがランプ関数である場合、計算方法
は以下のようになる。
【００４５】非線形活性化関数ANLFの決定 非線形関数ANLF Ａ(x) は非線形関数NLF Ｔ(x) の近似
であり、ｘは独立変数である。異なる判定規準は関数AN
LF Ａ(x) の規定に使用できる。すなわち、− 第１の
判定規準は位置ｘにおける関数NLF とANLFの間の差の上
限を特定する誤差Ｅを事前に規定することからなってい
てもよい。− 第２の判定規準は関数NLF Ｔ(x) の近似
Ａ(x) を創作しようとする多数のセグメント（すなわ
ち、ニューラルユニット20により供給されたニューラル
ポテンシャルＭj ）を事前に規定することからなってい
てもよい。
【００４６】第１の判定規準によると、横座標ｘ0 ＝０
（図２）から傾斜直線ｐ0 がプロットされ、かつ横座標
ｘ1 は上記の傾斜直線が関数NLF の曲線と出合う点につ
いて計算され、同時に直線セグメントと上記の曲線との
間の最大誤差は値Ｅ以下に留まることが保証される。こ
の計算は関数NLF の全曲線に関して点ｘ1 について繰り
返される等々である。この計算は最大誤差が値Ｅより小
さくなる場合に終了する。このように、その傾斜と端に
より規定される直線セグメントのシーケンスが得られ
る。ｘK とｘK+1 の間の次数ｋの直線セグメントの式
は、
【数４】 であり、ここでｐk は傾斜であり、ｑk は原点における
縦座標である。
【００４７】Ａ(x) とＴ(x) がセグメントの端で一致す
るから、
【数５】 が得られ、ここでｐn ＝０である。というのは、最後の
セグメントは傾斜零を有し、かつ
【数６】 であるからである。関数Ｔ(x) は凸（ｘ≧０）かつ奇で
あると仮定されている。計算はｘ≧０に関して行われ
る。
【００４８】２つの曲線Ｔ(x) とＡ(X) の間の誤差ｅk
(x) は、
【数７】 のように書ける。
【００４９】上記の誤差ｅk が最大である点ｘ＝ｘk
max は、
【数８】 により規定される。
【００５０】Ｔ(x) が双曲線正接関数である場合には、
非零傾斜を有するセグメントに対して
【数９】 が現れる。
【００５１】既知の増大するｋ，ｘk により連続的に進
めることにより、かつｅk max がＥに等しいと書くこと
により、次数ｋのラインの各セグメントに対してそのパ
ラメータ（ｘk+1 ，ｐk およびｑk ）が得られる。
【００５２】第２の判定規準によると、多数のセグメン
トは事前に固定される。セグメントの端は最後のセグメ
ントの最大誤差を含めて各セグメントの最大誤差が厳密
に等しいように決定される。第１の判定規準について述
べられた計算方法は第２の判定規準に対して少々修正で
きる。この演算は当業者にとって明白であろう。
【００５３】近似の精度は最大許容誤差の値Ｅあるいは
関数ANLFを形成するセグメントの数のいずれかを事前に
固定することにより予め決定できる。
【００５４】シナプス係数の決定 近似非線形関数ANLFが決定されると、シナプス係数ＨJ
とＤJ （１≦ｊ≦ｎ）はなお計算されるべきである。シ
ナプス係数の数ｎは非零傾斜を有しかつ第１象限で関数
ANLFを構成するセグメントの数に等しいことが好まし
い。セグメントの端と傾斜を係数ＨJ とＤJ に一致させ
ることにより、ランプ関数の場合に、一組の可能なシナ
プス係数は
【数１０】 である。
【００５５】一例として、ランプ関数により形成された
非線形関数CNLFによる直線の15個のセグメントによる双
曲線正接関数の近似の場合、10有効数字（10 significa
nt digits)の精度で以下のシナプス係数Ｈj とＤj が表
１，２に示されるように計算された。
【数１１】 表１はシナプス係数Ｈj を示し、表２はシナプス係数Ｄ
j を示している。
【００５６】上述の方法は関数CNLFがランプ関数を具え
る場合に実行される。この方法は関数CNLFがランプ関数
を具えないが、しかしもっと複雑な関数部を具える場合
に同様に適用できる。
【００５７】関数ANLFの導関数の決定 ニューラルプロセッサ10を使用する間に、関数ANLFの導
関数の使用を必要とする学習アルゴリズムを適用する必
要があるかもしれない。第１の解決法はこの導関数を新
しい関数として考慮し、かつ上述のようにその近似を実
行することである。第２の解決法は所与のハードウエア
手段の無効な二重化が回避され、かつ関数ANLFの導関数
の近似計算が無しで済ますことのできるよう関数ANLFへ
のアプローチの使用からなっており、それとは逆に、関
数ANLFの第１の正確な導関数がその代わりに計算されて
いる。ランプ関数は特別に興味ある場合を現わしてい
る。
【００５８】既に
【数１２】 が記述されており、ここでＲ( ．) はランプ関数であ
る。
【００５９】関数ANLFの導関数は実際にはＡの導関数の
計算であり、すなわち
【数１３】 である。
【００６０】ランプ関数Ｒの導関数は、
【数１４】
【００６１】上に与えられた式（１）と（２）の比較に
より、Ａ(POT )とＡ′(POT) の間の差はランプ関数Ｒか
ら関数ＨJ ．Ｒ′への変換からなっていることが見いだ
されている。
【００６２】導関数の計算は図７に示されるようなブロ
ック35を除いて、図４に示されるものと同一な形態によ
って実行できる。ニューラルポテンシャルＭJ （１≦ｊ
≦ｎ）はＭJ ≧１かＭJ ≦−１かどうかを検出する比較
器361 , 362 に入る。出力612 と622 は−１＜ＭJ ＜１
の場合に活性化される。出力612 と622 はは因数（inde
x ）ｊを有するポテンシャルＭj に対応するシナプス係
数ＨJ を転送する転送ゲート70を活性化するアンドゲー
ト64に入る。
【００６３】条件−１＜Ｍj ＜１が検証されない場合、
アンドゲート64は出力Ｓj に信号零を印加する要素71を
制御するインバータ72を活性化する。
【００６４】図６と図７の線図は、関数ANLFの計算、あ
るいはその導関数の計算のいずれかに連続的に使用され
るように組合せ可能である（図８）。この目的で、機能
信号FUNCT は１つのモードあるいは他のモードの選択を
可能にする。
【００６５】信号FUNCT が活性化されると、それは前に
述べられたブロック63, 65, 67を制御するアンドゲート
80, 82, 84を活性化する。非活性化信号FUNCT はこのよ
うに導関数の計算指令を構成する。この信号は前述のブ
ロック70, 71を制御するアンドゲート81, 83を活性化す
るインバータ85に印加される。
【００６６】このように、コンパクトなブロック35が得
られ、それは関数ANLFあるいは関数ANLFの正確な１次導
関数のいずれかの計算を可能にする。関数ANLFによる関
数NFL の近似は所望されるだけ高い所定の精度で得るこ
とができる。
【００６７】導関数は異なるやり方でも計算できる。既
に述べたように、転送ゲート70（図７と図８）は係数Ｈ
j の値の伝ぱんに役立つ。ゲート70の入力を値１に設定
し、かつシナプス係数Ｄj およびシプナス係数Ｈj で状
態Ｓj を乗算（ここでｊは定数である）することにより
同一の結果を得ることができる。このことは、例えばメ
モリ26（図３）にシナプス係数Ｄj ．Ｈj を蓄積するこ
とにより実現される。ブロック22のかかる構成が、シナ
プス係数Ｈj とＤj を使用する関数Ｆの計算から、シナ
プス係数Ｈj とＤj ．Ｈj を有するその導関数Ｆ′の計
算への変更についてかく魅力的に修正されないのには利
点がある。
【００６８】図４に示された別のニューラルプロセッサ
14はニューラルプロセッサ10（図１）の別の手段とは無
関係なハードウエアにより形成できる。しかし、ニュー
ラルユニット12とニューラルプロセッサ10のメモリ16に
基づいて別のニューラルプロセッサ14を実現するのは魅
力的である。実際に、ニューラルポテンシャルPOT の計
算と活性化関数の適用は時間的に別の演算を構成してい
る。ニューラルユニット12のニューロンは第１期間にニ
ューラルポテンシャルPOT の計算を含み、その後で、そ
れらは非線形関数ANLFの適用によりニューラル状態STAT
の計算に使用できる。
【００６９】非線形関数の構成の実例 実際に、ニューラルネットの範疇で、本発明は複数の単
純関数の線形の組合せにより非線形伝達関数（実質的に
ニューラルネットの演算である）を構成する優雅な態様
を与える。
【００７０】基本関数Ｓを使用する非線形伝達関数Ａの
構成は実例として図９−12に詳細に示されている。この
例で、非線形伝達関数Ａは複数の直線セグメントからな
る断片的線形関数であると仮定されている。伝達関数Ａ
はニューラルネット演算で通常採用されているような奇
のシグモイド関数の近似であると考えられている。伝達
関数Ａは各シナプス係数により加重されている特定のニ
ューロンへの各入力信号の和を含むニューラルポテンシ
ャルPOT に演算する。図９の線図はα，β，δで屈折点
（kink）を持つ４個の線形セグメントを含むことを示す
Ａの正の部分を例示している。
【００７１】基本関数として図10の線図に例示されたよ
うな以下の関数、
【数１５】 が利用可能であるとさらに仮定されている。
【００７２】第１に、POT で演算す３個の線形関数Ｍj
（１≦ｊ≦３）が創作され、それは、
【００７３】
【数１６】 である。これは図11の線図に示されている。Ｈj は以下
に明らかにされるように予め定められた定数である。
【００７４】次に、基本関数ＳはＳj を発生する各Ｍj
について演算し、それは図12の線図に示されたようなPO
T の関数
【数１７】 である。これら３個のＳj は図９の非線形関数Ａを与え
るよう適当に組合わされるべきである。すなわち、以下
の表現
【数１８】 で関数Ａに等しいように因数Ｄ1 ，Ｄ2 ，Ｄ3 が選ばれ
るべきである。
【００７５】さて、POT ＝１／Ｈj を越えると、基本関
数Ｓj は１に等しいままであり、かつＨ1 ＞Ｈ2 ＞Ｈ3
であることに注意されたい。それ故、POT のその値を越
えるＡ(POT )へのＳj の寄与は一定のままである。POT
＝１／Ｈ3 を越えると、Ｓjへの寄与は一定である。１
／Ｈ2 ≦POT ≦１／Ｈ3 では、Ｓ1 とＳ2 の寄与は一定
であり、一方、Ｓ3 はＡに対して線形的に変化する寄与
を与える。１／Ｈ1 ≦POT ≦１／Ｈ2 に対して、Ｓ2 と
Ｓ3 の寄与は線形的に変化し、そしてＳ1 は一定であ
る。０≦POT ≦１／Ｈ1 に対して、Ｓ1 ，Ｓ2 およびＳ
3 の寄与はすべて線形的に変化する。
【００７６】従って、以下の式、
【数１９】 が良好に保持される。
【００７７】１／Ｈj は伝達関数Ａが屈折点（α，βお
よびδ）を有し、かつ相互に異なるPOT の値に一致する
から、Ｄj は３個の未知数を含む３個の線形方程式のこ
の組から容易に決定される。現在示されることは、基本
関数Ｓj の適当な組合せが予め定められた非線形伝達関
数Ａの創作に使用できることである。実際の結末は、さ
らに複雑なニューラルネットの非線形関数演算を与える
ためにＭおよびＳ関数がかなり単純なニューラルネット
機能を使用して容易に実現できることである。
【００７８】非線形関数手段14とニューラルプロセッサ
10は同じチップに集積できることに注意されたい。非線
形関数手段14はニューラルプロセッサ10の部分を機能的
に形成するニューロンユニット（301 −30n ）を有する
ことにも注意されたい。というのは、ニューロンプロセ
ッサ10の一部分としてのこれらユニットの演算サイクル
は非線形関数手段14の一部分としてのこれらユニットの
演算サイクルに先行するからである。
【００７９】高い複雑レベルの非線形関数の上述の構成
はニューラルネットに限定されるだけでなく、本質的演
算として非線形伝達関数を使用する非線形制御の分野に
も適用できる。例えば、そのような制御は制御すべきシ
ステムの現在の状態を規定する入力データを受信し、か
つ所望の状態に向かってシステムを導く制御データを供
給する。制御データは一般に入力データに非線形なやり
方で依存し、特に制御すべきシステムが所望の状態、例
えば平衡状態からはるかに離れたパラメータ領域に移動
する場合にそうである。非線形伝達関数を実現するため
に、非線形制御それ自身は単純関数の線形組合せを使用
する断片的線形伝達関数を発生する単純なニューラルネ
ットを含むことができる。
【００８０】たとえ上述の議論がディジタル的アプロー
チに主として関連していても、本発明はアナログ回路で
実現することもできる。しかし、上述の計算を実現する
アナログ回路の精度は雑音感受性あるいはパラメータの
広がりのために限定されることに注意すべきである。
【図面の簡単な説明】
【図１】 図１は既知のニューラルプロセッサの一般的
線図を示している。
【図２】 図２はシグモイド曲線の一部分と、第１象限
におけるセグメント化された線形関数によるその近似を
示している。
【図３】 図３は本発明によるニューラルプロセッサの
一般的線図を示している。
【図４】 図４は本発明による別のニューラルディジタ
ルプロセッサのさらに詳しい線図を示している。
【図５】 図５は本発明により使用できる曲線Ｆ(x) の
別の形状を示している。
【図６】 図６は別の非線形関数CNLFがランプ関数であ
る場合に関連する線図を示している。
【図７】 図７は別の非線形関数CNLFがランプ関数であ
る場合の関数ANLFの導関数の計算の線図を示している。
【図８】 図８は別の非線形関数CNLFがランプ関数であ
る場合の関数ANLFとその導関数を計算する線図を示して
いる。
【図９】 図９は各々が２つの飽和値の間でランプ関数
を有する非線形基本関数を使用する非線形伝達関数の形
成を例示している。
【図１０】 図10は各々が２つの飽和値の間でランプ関
数を有する非線形基本関数を使用する非線形伝達関数の
形成を例示している。
【図１１】 図11は各々が２つの飽和値の間でランプ関
数を有する非線形基本関数を使用する非線形伝達関数の
形成を例示している。
【図１２】 図12は各々が２つの飽和値の間でランプ関
数を有する非線形基本関数を使用する非線形伝達関数の
形成を例示している。
【符号の説明】
10 ニューラルプロセッサ 12 ニューラルユニット 13 入力手段 14 ニューラルプロセッサあるいは非線形関数手段 15 接続 16 蓄積手段 17 接続 20 入力ニューラルユニット 22 手段 24 出力ニューラルユニット 26 蓄積手段 30 ニューロン（ユニット） 35 ユニット 36 比較器 37 表 38 バス 61 出力 62 出力 63 転送ゲート 64 アンドゲート 65 転送ゲート 67 転送ゲート 70 転送ゲート 71 転送ゲート 72 インバータ 75 ブロック 80 アンドゲート 81 アンドゲート 82 アンドゲート 83 アンドゲート 84 アンドゲート 85 インバータ
───────────────────────────────────────────────────── フロントページの続き (73)特許権者 590000248 Ｇｒｏｅｎｅｗｏｕｄｓｅｗｅｇ １, 5621 ＢＡ Ｅｉｎｄｈｏｖｅｎ， Ｔ ｈｅ Ｎｅｔｈｅｒｌａｎｄｓ (58)調査した分野(Int.Cl.7，ＤＢ名) G06N 1/00 - 7/08 G06G 7/60

Claims (10)

    (57)【特許請求の範囲】
  1. 【請求項１】 ディジタル データ用第１入力手段(13)
    と； 入力データおよびニューロン同士間またはニューロンと
    入力手段間接続に関係するシナプス係数の作用に従って
    ニューロン ポテンシャルを計算するニューラルユニッ
    ト(12)と； 前記シナプス係数を蓄積する第２手段(16)と； 少なくとも１つのニューラル状態ＳＴＡＴを発生させる
    ため少なくとも１つのニューラル ポテンシャルPOT を
    ｎ個のセグメントにより形成される少なくとも１つの近
    似非線形活性化関数ANLFに従わせる第３手段(14)と； を具えたニューラル ディジタル プロセッサ（10）に
    おいて、 前記近似非線形活性化関数ANLFを前記ニューラル ポテ
    ンシャルPOT に適用した結果を計算するため、前記第３
    手段(14)は別のニューラル ディジタル プロセッサ(1
    4)を具え、その別のニューラル ディジタル プロセッ
    サは： Ｈj を１≦ｊ≦ｎなる予め定められたシナプス係数、Ｔ
    ｈj をしきい値とした時、ｎ個の組Ｍj ＝Ｈj.POT ＋Ｔ
    ｈj を計算する手段(20)と； 少なくとも１つの別の非線形関数CNLFの組合せＭj の計
    算式Ｓj ＝Ｆ（Ｍj ）を計算する手段(22)と； 近似非線形活性化関数ANLFの前記適用した結果を発生さ
    せるためシナプス係数Ｄj を有するｎ個の式Ｆ（Ｍj ）
    を線形に組合わせる手段(24)と；を具え前記別の非線形
    関数CNLFはｘを独立変数とした時、ｘが−ｘmin とｘ
    max の間に位置する時一定ではないセグメントＦ(x)
    と、それぞれｘ≧ｘmax 及びｘ≦−ｘmin の時２つのセ
    グメントＦ(x) ＝Ｆmax およびＦ(x) ＝−Ｆmin とによ
    り形成されることを特徴とするニューラル ディジタル
    プロセッサ。
  2. 【請求項２】 請求項１記載のプロセッサにおいて、式
    Ｆ（Ｍj ) を計算する手段(22)は： 組合せＭj が−ｘmin とｘmax の間にあるかこの間の外
    にあるかを検出する手段(361, 362 ，64）と； この間での値Ｆ（Ｍj ）を計算する手段(37)と； それぞれＭj ≧ｘmax およびＭj ≦−ｘmin の時Ｆ（Ｍ
    j ）にそれぞれ値Ｆma x および−Ｆmin を割当てる手段
    (37)と； を具えることを特徴とするニューラル ディジタル プ
    ロセッサ。
  3. 【請求項３】 請求項２記載のプロセッサにおいて、手
    段(37)は予め定められた値Ｆ（Ｍj ）をアドレスＭj に
    蓄積する表を具えることを特徴とするニューラルディジ
    タル プロセッサ。
  4. 【請求項４】 請求項２記載のプロセッサにおいて、別
    の非線形関数ＣＮＬＦがランプ関数で、手段(37)はニュ
    ーラル ポテンシャル値Ｍj をニューラル状態Ｓj に適
    用する転送手段(38,65) により形成されることを特徴と
    するニューラルディジタル プロセッサ。
  5. 【請求項５】 請求項１から４いずれか記載のプロセッ
    サにおいて、別のニューラル ディジタル プロセッサ
    はまた近似非線形活性化関数ANLFの導関数Ｆ′を計算す
    る手段(75)を具えることを特徴とするニューラル ディ
    ジタル プロセッサ。
  6. 【請求項６】 請求項５記載のプロセッサにおいて、手
    段(75)は組合せＭj が−ｘmin とｘmax の間に位置しこ
    の外側で値が零である時、その計算式Ｓ′j ＝Ｆ′（Ｍ
    j ) の予め定められた値を蓄積する少なくとも１つの表
    を具えることを特徴とするニューラル ディジタル プ
    ロセッサ。
  7. 【請求項７】 請求項６記載のプロセッサにおいて、別
    の非線形関数CNLFはランプ関数で、その表は各計算式
    Ｓ′j ＝Ｆ′（Ｍj ) ごとに対応するシナプス係数Ｈj
    の値を複写するブロック(70)により置換されることを特
    徴とするニューラルディジタル プロセッサ。
  8. 【請求項８】 請求項６記載のプロセッサにおいて、別
    の非線形関数CNLFはランプ関数で、手段(26)は近似非線
    形活性化関数ANLFの計算のため値Ｈj とＤj を蓄積し、
    その導関数の計算のため値ＨｊとＤｊ. Ｈｊを蓄積し、
    表はその入力でユニット値のデータを受信するブロック
    (70)により置換されることを特徴とするニューラル デ
    ィジタル プロセッサ。
  9. 【請求項９】 請求項１から８いずれか記載のプロセッ
    サにおいて、手段(22)は近似非線形活性化関数ANLFとそ
    の導関数とに従って順次に式を計算するために使用され
    ることを特徴とするニューラル ディジタル プロセッ
    サ。
  10. 【請求項１０】 請求項１から９いずれか記載のプロセ
    ッサにおいて、ニューラル ユニット(12)および別のニ
    ューラル プロセッサ(14)は共通のニューロンを有する
    ことを特徴とするニューラル ディジタル プロセッ
    サ。
JP32792492A 1991-12-11 1992-12-08 ニューラルディジタルプロセッサ Expired - Fee Related JP3315449B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR9115373 1991-12-11
FR9115373A FR2685109A1 (fr) 1991-12-11 1991-12-11 Processeur numerique neuronal operant avec une approximation d'une fonction d'activation non lineaire.

Publications (2)

Publication Number Publication Date
JPH05242068A JPH05242068A (ja) 1993-09-21
JP3315449B2 true JP3315449B2 (ja) 2002-08-19

Family

ID=9419921

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32792492A Expired - Fee Related JP3315449B2 (ja) 1991-12-11 1992-12-08 ニューラルディジタルプロセッサ

Country Status (5)

Country Link
US (1) US5796925A (ja)
EP (1) EP0546624B1 (ja)
JP (1) JP3315449B2 (ja)
DE (1) DE69223221T2 (ja)
FR (1) FR2685109A1 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0683462A3 (fr) * 1994-03-31 1996-01-17 Philips Electronique Lab Procédé et processeur pour construire une fonction linéaire par morceaux avec discontinuités éventuelles.
FR2724027A1 (fr) * 1994-11-25 1996-03-01 France Telecom Operateur neuronal
US7433097B2 (en) * 2003-04-18 2008-10-07 Hewlett-Packard Development Company, L.P. Optical image scanner with moveable calibration target
DE102006046204B3 (de) * 2006-09-29 2008-07-17 Siemens Ag Verfahren und Vorrichtung zur neuronalen Steuerung und/oder Regelung
US20140143191A1 (en) 2012-11-20 2014-05-22 Qualcomm Incorporated Piecewise linear neuron modeling
US10049326B1 (en) * 2013-02-01 2018-08-14 The United States of America as Represented by the Admin of National Aeronautics and Space Administration Systems and methods for transfer function estimation using membership functions
EP2821183B1 (en) 2013-07-05 2017-06-21 Black & Decker Inc. Hammer Drill
CN105893159B (zh) * 2016-06-21 2018-06-19 北京百度网讯科技有限公司 数据处理方法和装置
JP2018092294A (ja) * 2016-12-01 2018-06-14 ソニーセミコンダクタソリューションズ株式会社 演算装置、演算方法及びコンピュータプログラム
US11544545B2 (en) 2017-04-04 2023-01-03 Hailo Technologies Ltd. Structured activation based sparsity in an artificial neural network
US11238334B2 (en) 2017-04-04 2022-02-01 Hailo Technologies Ltd. System and method of input alignment for efficient vector operations in an artificial neural network
US11615297B2 (en) 2017-04-04 2023-03-28 Hailo Technologies Ltd. Structured weight based sparsity in an artificial neural network compiler
US11551028B2 (en) 2017-04-04 2023-01-10 Hailo Technologies Ltd. Structured weight based sparsity in an artificial neural network
US10387298B2 (en) 2017-04-04 2019-08-20 Hailo Technologies Ltd Artificial neural network incorporating emphasis and focus techniques
US10872290B2 (en) 2017-09-21 2020-12-22 Raytheon Company Neural network processor with direct memory access and hardware acceleration circuits
US11468332B2 (en) 2017-11-13 2022-10-11 Raytheon Company Deep neural network processor with interleaved backpropagation
JP6391900B1 (ja) 2017-11-27 2018-09-19 三菱電機株式会社 準同型推論装置、準同型推論方法、準同型推論プログラム及び秘匿情報処理システム
US11475305B2 (en) * 2017-12-08 2022-10-18 Advanced Micro Devices, Inc. Activation function functional block for electronic devices
RU182699U1 (ru) * 2018-05-31 2018-08-28 Федеральное государственное бюджетное образовательное учреждение высшего образования "МИРЭА - Российский технологический университет" Импульсный блок расчета активационной функции искусственной нейронной сети
US11775805B2 (en) * 2018-06-29 2023-10-03 Intel Coroporation Deep neural network architecture using piecewise linear approximation
CN110688088B (zh) * 2019-09-30 2023-03-28 南京大学 一种面向神经网络的通用非线性激活函数计算装置和方法
US11263077B1 (en) 2020-09-29 2022-03-01 Hailo Technologies Ltd. Neural network intermediate results safety mechanism in an artificial neural network processor
US11237894B1 (en) 2020-09-29 2022-02-01 Hailo Technologies Ltd. Layer control unit instruction addressing safety mechanism in an artificial neural network processor
US11811421B2 (en) 2020-09-29 2023-11-07 Hailo Technologies Ltd. Weights safety mechanism in an artificial neural network processor
US11874900B2 (en) 2020-09-29 2024-01-16 Hailo Technologies Ltd. Cluster interlayer safety mechanism in an artificial neural network processor
US11221929B1 (en) 2020-09-29 2022-01-11 Hailo Technologies Ltd. Data stream fault detection mechanism in an artificial neural network processor
CN113935480B (zh) * 2021-11-12 2022-10-18 成都甄识科技有限公司 面向神经网络在线学习的激活函数加速处理单元
KR102651560B1 (ko) * 2021-12-01 2024-03-26 주식회사 딥엑스 프로그램된 활성화 함수 실행 유닛을 포함하는 신경 프로세싱 유닛

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3601811A (en) * 1967-12-18 1971-08-24 Matsushita Electric Ind Co Ltd Learning machine
FR2625347B1 (fr) * 1987-12-23 1990-05-04 Labo Electronique Physique Structure de reseau de neurones et circuit et arrangement de reseaux de neurones
US4979126A (en) * 1988-03-30 1990-12-18 Ai Ware Incorporated Neural network with non-linear transformations
US5131072A (en) * 1988-08-31 1992-07-14 Fujitsu, Ltd. Neurocomputer with analog signal bus
FR2639736B1 (fr) * 1988-11-25 1991-03-15 Labo Electronique Physique Procede de retropropagation du gradient et structure de reseau de neurones
FR2639739B1 (fr) * 1988-11-25 1991-03-15 Labo Electronique Physique Procede et dispositif de compression de donnees d'image utilisant un reseau de neurones
US5293459A (en) * 1988-12-23 1994-03-08 U.S. Philips Corporation Neural integrated circuit comprising learning means
US5107442A (en) * 1989-01-12 1992-04-21 Recognition Equipment Incorporated Adaptive neural network image processing system
FR2648253B1 (fr) * 1989-06-09 1991-09-13 Labo Electronique Physique Procede de traitement et structure de reseau de neurones mettant en oeuvre le procede
US5109351A (en) * 1989-08-21 1992-04-28 Texas Instruments Incorporated Learning device and method
GB2236608B (en) * 1989-10-06 1993-08-18 British Telecomm Digital neural networks
US5067095A (en) * 1990-01-09 1991-11-19 Motorola Inc. Spann: sequence processing artificial neural network
JP2785155B2 (ja) * 1990-09-10 1998-08-13 富士通株式会社 ニューロコンピュータの非同期制御方式
US5097141A (en) * 1990-12-12 1992-03-17 Motorola, Inc. Simple distance neuron
US5228113A (en) * 1991-06-17 1993-07-13 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Accelerated training apparatus for back propagation networks

Also Published As

Publication number Publication date
JPH05242068A (ja) 1993-09-21
EP0546624B1 (fr) 1997-11-19
DE69223221T2 (de) 1998-05-14
DE69223221D1 (de) 1998-01-02
EP0546624A1 (fr) 1993-06-16
FR2685109A1 (fr) 1993-06-18
US5796925A (en) 1998-08-18

Similar Documents

Publication Publication Date Title
JP3315449B2 (ja) ニューラルディジタルプロセッサ
US4866645A (en) Neural network with dynamic refresh capability
US4979126A (en) Neural network with non-linear transformations
US4874963A (en) Neuromorphic learning networks
US6151594A (en) Artificial neuron and method of using same
EP0357016B1 (en) Neuron architecture
EP0333798A1 (en) Apparatus for pattern recognition
US5075868A (en) Memory modification of artificial neural networks
WO1994001823A1 (en) A tree-like perceptron and a method for parallel distributed training of such perceptrons
JPH02193251A (ja) エラー後方伝ぱん法と神経網システム
EP0722587A1 (en) Learning neural network and methods thereof
US5103496A (en) Artificial neural network system for memory modification
US4901271A (en) Computational network
JPH07271748A (ja) データを正規化する手段を含むニューラル・プロセッサ
JPH0363870A (ja) 学習方法及びニューラル　ネットワーク構造
Ghobakhlou et al. Adaptive speech recognition with evolving connectionist systems
Sorheim A combined network architecture using ART2 and back propagation for adaptive estimation of dynamical processes
FI103304B (fi) Assosiatiivinen neuroni
CN113269313A (zh) 突触权重训练方法、电子设备和计算机可读介质
JP3729868B2 (ja) 連想ニューラル・ネットワーク
JPH04237388A (ja) ニューロプロセッサ
JPH09138786A (ja) ニューラルネットワークの学習装置
JPH0981535A (ja) ニューラルネットワークの学習方法
KR20230086584A (ko) 시스톨릭 어레이 기반의 신경망 가속기를 이용한 순환 신경망 데이터 처리 방법 및 신경망 가속기
KR20220076271A (ko) 간소화된 시그모이드 함수 회로 및 이를 포함하는 뉴로모픽 프로세서

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees