JP3096387B2 - 数値演算処理装置 - Google Patents

数値演算処理装置

Info

Publication number
JP3096387B2
JP3096387B2 JP06008777A JP877794A JP3096387B2 JP 3096387 B2 JP3096387 B2 JP 3096387B2 JP 06008777 A JP06008777 A JP 06008777A JP 877794 A JP877794 A JP 877794A JP 3096387 B2 JP3096387 B2 JP 3096387B2
Authority
JP
Japan
Prior art keywords
address
numerical
data
processing
numerical data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP06008777A
Other languages
English (en)
Other versions
JPH07219919A (ja
Inventor
由和 近藤
裕 有馬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP06008777A priority Critical patent/JP3096387B2/ja
Priority to US08/306,300 priority patent/US5532938A/en
Publication of JPH07219919A publication Critical patent/JPH07219919A/ja
Application granted granted Critical
Publication of JP3096387B2 publication Critical patent/JP3096387B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3885—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/80—Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors
    • G06F15/8007—Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors single instruction multiple data [SIMD] multiprocessors
    • G06F15/8015—One dimensional arrays, e.g. rings, linear arrays, buses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3885—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units
    • G06F9/3887—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units controlled by a single instruction for multiple data lanes [SIMD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Complex Calculations (AREA)
  • Image Processing (AREA)

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】この発明は数値データを処理する
ための数値演算処理装置に関し、特に、膨大な量の数値
演算を高速で処理するための装置に関する。より特定的
には、たとえば神経回路網数理モデルで用いられる積和
演算および荷重値更新処理など膨大な量の演算処理を繰
返し実行することが要求される数値演算処理を高速かつ
効率的に行なうための数値演算処理装置に関する。
【０００２】
【従来の技術】
〔発明の背景〕半導体集積回路製造技術の進歩に伴って
数値演算処理装置は、その処理速度が高速化されてきて
いる。すなわち、素子および素子を電気的に相互接続す
る配線の微細加工技術の進展に伴って、半導体集積回路
の高集積化および高速化が実現されることにより、数値
演算処理装置が高速化されてきている。しかしながら、
半導体素子の微細化も、物理的限界に近づいてきてお
り、今後さらに飛躍的に半導体集積回路の高集積化およ
び高速化をこのような加工技術のみによって実現するの
が極めて困難になってきている。
【０００３】そこで、最近、演算処理を並列に実行する
ことにより全体の演算処理を高速化する手法が注目され
てきている。
【０００４】一般に、従来の並列化処理手法において
は、直列逐次処理手続の形式で記述されているプログラ
ムから並列に処理可能な処理だけを抽出して複数の演算
処理装置を分配する方法がとられる。複数の演算処理装
置への並列処理可能な処理の分配手法としては、処理内
容が互いに異なる複数の処理をそれぞれ演算処理装置に
分配して並列処理するＭＩＭＤ（マルチ・インストラク
ション・マルチ・データ・ストリーム：Multi Instruct
ion Multi Data stream)方式および処理内容が共通であ
る多くの処理を複数の演算処理装置に分配して並列に処
理するＳＩＭＤ（シングル・インストラクション・マル
チ・データ・ストリーム：Single Instruction Multi D
ata stream) 方式などが開発されている。
【０００５】ＭＩＭＤ方式は、多様な応用に対し平均的
な効果を期待することができ、また処理手続の記述方法
による並列化効率の変動が少なくプログラム記述が容易
であるという利点を有するものの、一般に、並列化効率
が低い。処理内容が異なる処理を並列に処理するため、
並列に実行することのできる処理を数多く抽出するのは
困難であり、複数の演算処理装置のうち実際に並列に動
作する演算処理装置の数（並列化効率）が低くなる。
【０００６】一方、ＳＩＭＤ方式は、共通の命令を複数
の演算処理装置が実行するためハードウェア構成が比較
的単純でありしたがって設計が容易となる利点を有する
ものの、処理の内容によって並列化効率が大きく左右さ
れる。並列に処理されるデータの組を効率的に準備でき
るかどうかにより並列化効率が決定されるためである。
しかしながら自然現象のシミュレーションおよび神経回
路網の数理モデル表現に従う処理などでは、膨大な数の
数値を繰返し演算する（同一演算を繰返し実行する）こ
とが必要とされるため、このような分野においては、Ｓ
ＩＭＤ方式による処理分散の割付が容易でありかつ有効
であり、高い並列化効率を実現することができる。この
ような膨大な数値演算処理を高速に実行する装置は、今
後多くの高度情報処理分野の発展に必要不可欠であり、
このため、ＳＩＭＤ方式の並列演算処理装置の高性能化
が期待されている。
【０００７】一方、ニューラルネットワーク（神経回路
網の数理モデル表現）は、生体神経細胞の動作原理を模
倣した情報処理手法として注目されている。ニューラル
ネットワークを利用すると、従来のプログラム方式情報
処理システムでは実現が困難であった柔軟かつ耐故障性
の高いシステムを構築することが可能である。特に、ニ
ューラルネットワークは、プログラム記述が困難な画
像、文字、および音声などの認識システムや多自由度制
御システム等において高い効力を発揮する。しかしなが
らニューラルネットワークの実現技術は、未だ発展過程
にあり、多くのニューラルネットワーク利用者は汎用マ
イクロコンピュータを利用した低速かつ小規模なシステ
ムの実現にとどまっている。そのため、高速かつ大規模
なニューラルネットワークに対応する並列プロセッサア
ーキテクチャが望まれていた。
【０００８】この流れの中で、ＳＩＭＤ方式の並列処理
技術は、ニューラルネットワークに最も適したアーキテ
クチャと言える。その理由は、ニューラルネットワーク
の演算構造にある。
【０００９】すなわち、ニューラルネットワークにおい
ては、全演算要素（ニューロン）が、後にその内容につ
いては説明するが、荷重平均処理および非線形処理を行
なう。各演算要素における被処理データ（シナプス荷重
値およびニューロン状態出力値など）が異なる。したが
って、すべての演算要素（ニューロン）に対し共通に命
令を与えることができる。この条件は、ＳＩＭＤ方式の
要件である単一命令性および多重データ性に合致してい
る。
【００１０】〔先行技術の説明〕図５２は、ニューラル
ネットワークにおいて用いられる演算要素、すなわちニ
ューロンの概念的構成を示す図である。図５２におい
て、ニューロン９５０は、他のニューロンから与えられ
る出力状態値Ｓｐ、Ｓｑ、…、Ｓｒに対し所定の重み
（シナプス荷重値）を重み付けするシナプス荷重部９５
２と、シナプス荷重部９５２から与えられる荷重信号の
総和を求める総和部９５４と、総和部９５４の出力を非
線形処理する非線形変換部９５６を含む。
【００１１】シナプス荷重部９５２は、関連のニューロ
ンそれぞれに対して重み値Ｗｉａ（ａ＝ｐ、ｑ、…、
ｒ）を格納しており、与えられた出力状態値Ｓｐ、Ｓ
ｑ、…、Ｓｒを対応の荷重値Ｗｉａにより重み付けして
総和部９５４へ与える。このシナプス荷重Ｗｉａは、ニ
ューロンａとニューロン９５０（ニューロンｉ）との結
合強度を示す。
【００１２】総和部９５４は、シナプス荷重部９５２か
ら与えられた荷重状態値Ｗｉａ・Ｓａの総和を求める。
総和部９５４が出力する総和値ΣＷｉａ・Ｓａは、この
ニューロン９５０（ニューロンｉ）の膜電位ｕｉを与え
る。ここで総和Σは、関連のニューロンユニットａすべ
てに対して実行される。
【００１３】非線形変換部９５６は、総和部９５４から
与えられた膜電位ｕｉに所定の非線形関数ｆを適用して
ニューロン９５０の出力状態値Ｓｉ（＝ｆ（ｕｉ））を
生成する。非線形変換部９５６で用いられる非線形関数
ｆ（）としては、ステップ関数およびシグモイド関数な
どの単調非減少関数が用いられることが多い。
【００１４】ニューラルネットワークにおいては、図５
２に示す機能を備えるニューロンが複数個用いられる。
階層型ニューラルネットワークでは、これらの複数のニ
ューロンがグループ化され、各グループが層をなし、ニ
ューラルネットワークが階層構造を有するようにニュー
ロンが接続される。
【００１５】図５３に３層ニューラルネットワークの構
成の一例を示す。階層構造ニューラルネットワークは、
入力層、中間層（隠れ層）および出力層を含む。中間層
に含まれる層の数は任意である。図５３においては、Ｉ
層、Ｊ層およびＫ層を示す。これらの層Ｉ、ＪおよびＫ
層は、ニューラルネットワークにおける隣接する層とい
う条件を満足する任意の層である。Ｉ層は、ニューロン
Ｘ１、Ｘ２、Ｘ３およびＸ４を含み、Ｊ層は、ニューロ
ンＹ１、Ｙ２、Ｙ３およびＹ４を含み、Ｋ層は、ニュー
ロンＺ１、Ｚ２およびＺ３を含む。Ｉ層のニューロンＸ
ａ（ａ＝１〜４）とＪ層のニューロンＹｂ（ｂ＝１〜
４）は重みＷｂａｊで結合される。Ｊ層のニューロンＹ
ｂとＫ層のニューロンＺｃ（ｃ＝１〜３）とは重みＷｃ
ｂｋで結合される。
【００１６】ニューラルネットワークの特徴の１つは、
ニューロン間の結合強度を示す重みを「学習」により最
適値に設定することができることである。このような学
習の方法の１つに「バックプロパゲーション法」と呼ば
れる教師付学習方法がある。このバックプロパゲーショ
ン法について以下に簡単に説明する。
【００１７】まず、ある入力パターンＰが与えられる
と、この入力パターンＰに従って各ニューロンは非同期
的に動作してその出力状態値を変化させていく。階層構
造ニューラルネットワークにおいては、入力層→中間層
→出力層という順序でニューロン出力状態値が伝達され
る（フィードフォアード構成）。すなわち、Ｉ層のニュ
ーロンＸ１〜Ｘ４の出力状態値Ｘａ（便宜のため、ニュ
ーロンと対応の出力状態値とを同一符号で示す）が出力
されると、Ｊ層のニューロンＹｂの膜電位ｕｂは ｕｂ＝ΣＷｂａｊ・Ｘａ となり、その出力状態値Ｙｂは、 Ｙｂ＝ｆ（ｕｂ） となる。このＪ層のニューロンＹ１〜Ｙ４の出力状態値
がＫ層のニューロンＺ１〜Ｚ３へ伝達されると、Ｋ層の
ニューロンＺｃの膜電位ｕｃは、 ｕｃ＝ΣＷｃｂｋ・Ｙｂ となり、その出力状態値Ｚｃは、 Ｚｃ＝ｆ（ｕｃ） となる。ここで、総和Σは、下位層に含まれるニューロ
ンのすべてに対して行なわれる。
【００１８】学習時においては、出力層ニューロンから
出力される出力パターンＳ（Ｓ１〜Ｓｋ：ｋは出力層に
含まれるニューロンの数）と教師パターンとの誤差が求
められる。教師パターンは、入力パターンＰに対して期
待される出力パターンを示す。今、図５３に示すＫ層を
出力層とすると、ニューロンＺｃの出力状態値の誤差ｅ
ｋは、 ｅｋ＝Ｔ−Ｓ（＝Ｔｃ−Ｚｃ） で与えられる。この誤差ｅｋから効（有効）誤差δｋが
次式により求められる。
【００１９】δｋ＝ｅｋ・ｄ（Ｚｃ）／ｄｕｃ ここで、ｄ（）／ｄｕｃは、ニューロンＺｃの出力状態
値の膜電位ｕｃによる微分を示す。この効果誤差δｋが
Ｊ層のニューロンＹｂへ伝達され、Ｊ層のニューロンＹ
ｂの出力状態値の誤差ｅｂが次式に従って求められる。
【００２０】ｅｂ＝ΣＷｃｂｋ・δｃ ここで総和ΣはＫ層のニューロンすべてに対して行なわ
れる。誤差ｅｂから、Ｊ層のニューロンＹｂに対する効
果誤差δｂが次式に従って求められる。
【００２１】δｂ＝ｅｂ・ｄ（Ｙｂ）／ｄｕｂ 誤差ｅが上位層から下位層へ順次伝搬され、この誤差に
従ってニューロン間の結合強度を示す重みＷの修正が行
なわれる。Ｊ層のニューロンＺｃとＫ層のニューロンＹ
ｂとの間の重みＷｃｂｋは、 ΔＷｃｂｋ＝α・ΔＷｃｂｋ（ｔ−１）＋η・δｃ・Ｙ
ｂ Ｗｃｂｋ＝ΔＷｃｂｋ＋Ｗｃｂｋ（ｔ−１） に従って修正される。ここで、ΔＷｃｂｋ（ｔ−１）お
よびＷｃｂｋ（ｔ−１）は、前の重み修正サイクルによ
り得られた重み修正量および重み値を示し、αおよびη
は、所定の係数である。同様に、Ｉ層のニューロンＸａ
とＪ層のニューロンＹｂとの間の結合強度を示す重みＷ
ｂａｊは次式に従って修正される。
【００２２】ΔＷｂａｊ＝α・ΔＷｂａｋ（ｔ−１）＋
η・δｂ・Ｘａ Ｗｂａｊ＝ΔＷｂａｊ＋Ｗｂａｊ（ｔ−１） バックプロパゲーション法においては、誤差が上位層か
ら下位層へ順次伝搬されてこの誤差に従って各層のニュ
ーロンの重みの修正が実行される。教師パターンＴに対
する誤差が最小となるように重みＷの修正が繰返し実行
される。
【００２３】このようなニューラルネットワークにおい
ては、入力パターン識別動作時においては、出力状態値
が下位層から上位層へ順次伝達される。このとき、各ニ
ューロンにおいて膜電位の算出および出力状態値の算出
が行なわれる。これはそれぞれ荷重平均処理および非線
形変換処理に対応する。また重み修正動作時において
も、各ニューロンにおいて重みの修正のために同じ演算
処理が実行される。重み修正動作時においては、教師パ
ターンと出力パターンとの誤差が最小値または所定のし
きい値以下となるまで繰返し上述のフィードフォアード
処理および誤差逆伝搬処理および重み修正処理が実行さ
れる。したがってこれらの処理に対しては、ニューロン
を演算要素（単位）としてＳＩＭＤ方式に従って並列に
処理を実行することができる。
【００２４】図５４に、従来のＳＩＭＤ方式演算処理装
置の構成の一例を示す。図５４に示す構成は、たとえ
ば、プロシーディングズ・オブ・ＩＣＮＮ（神経回路網
国際会議）’８８、ＩＥＥＥ、第ＩＩ巻の第１６５頁な
いし第１７２頁における「人工神経回路網のための並列
アーキテクチャ（Parallel Architectures for Artific
ial Neural Nets ）」と題されたＳ・Ｙ・カング（Kun
g) 等による論文に示されている。
【００２５】図５４において、並列処理装置は、３つの
処理ユニットＰ♯１〜Ｐ♯３を含む。処理ユニットＰ♯
１〜Ｐ♯３は同じ構成を備え、重みデータを格納するロ
ーカルメモリＬＭ１〜ＬＭ３と、処理されるべき数値デ
ータ（出力状態値）を格納するためのレジスタＲ１〜Ｒ
３と、ローカルメモリＬＭ１〜ＬＭ３から読出された重
みデータとレジスタＲ１〜Ｒ３に格納された数値データ
とに対し、コントロールバスＣＢを介して与えられる命
令により決定される演算を実行する演算部ＡＵ１〜ＡＵ
３を含む。
【００２６】レジスタＲ１〜Ｒ３はカスケード接続さ
れ、レジスタＲ３の出力部はレジスタＲ４を介してレジ
スタＲ１の入力部に接続される。レジスタＲ１〜Ｒ４は
データ転送機能を備えており、リングレジスタを構成す
る。
【００２７】この処理ユニットＰ♯１〜Ｐ♯３へは、図
示しないコントローラからローカルメモリＬＭ１〜ＬＭ
３のアドレス指定のためのアドレス信号がアドレスバス
ＡＢを介して共通に与えられる。また図示しないコント
ローラから実行すべき演算処理を指定する命令がコント
ロールバスＣＢを介して処理ユニットＰ♯１〜Ｐ♯３へ
与えられる。図５４においては、コントロールバスＣＢ
を介して与えられる命令は演算部ＡＵ１〜ＡＵ３へ与え
られるように示される。したがって、図５４に示す構成
においては、ローカルメモリＬＭ１〜ＬＭ３は同じアド
レス位置が指定され、処理ユニットＰ♯１〜Ｐ♯３と同
じ命令を実行する。
【００２８】この図５４に示す演算処理装置は図５３に
示すＫ層のニューロンＺ１、Ｚ２およびＺ３を等価的に
表現する。処理ユニットＰ♯１〜Ｐ♯３がニューロンＺ
１〜Ｚ３に対応する。ローカルメモリＬＭ１〜ＬＭ３に
は、それぞれ重みデータが所定の順序で格納される。レ
ジスタＲ１〜Ｒ３に格納される出力状態値が順次シフト
されるため、それに合わせてローカルメモリＬＭ１〜Ｌ
Ｍ３に格納される重みデータの格納位置も調整される
（同一アドレスが指定されるため）。次に動作について
説明する。
【００２９】図５５に第１サイクルの状態を示す。図５
５において、レジスタＲ１〜Ｒ３に出力状態値Ｓ１〜Ｓ
３がそれぞれ格納される。ローカルメモリＬＭ１〜ＬＭ
３からは重みデータＷ１１、Ｗ２２およびＷ３３がそれ
ぞれ読出される。演算部ＡＵ１〜ＡＵ３は対応のローカ
ルメモリから読出された重みデータと対応のレジスタに
格納された出力状態値との積演算を実行する。したがっ
て、演算部ＡＵ１〜ＡＵ３は、それぞれ荷重値Ｗ１１・
Ｓ１、Ｗ２２・Ｓ２、およびＷ３３・Ｓ３が生成する。
演算部ＡＵ１〜ＡＵ３により算出された荷重値は図示し
ない内部のレジスタに格納される。
【００３０】図５３に第２サイクルの状態を示す。第２
サイクルにおいては、レジスタＲ１〜Ｒ４に格納された
出力状態値Ｓ１〜Ｓ４が反時計方向にシフトされる。し
たがってレジスタＲ１〜Ｒ３には出力状態値Ｓ２〜Ｓ４
がそれぞれ格納される。アドレスバスＡＢに与えられる
アドレスが１増分され、ローカルメモリＬＭ１〜ＬＭ３
からは次の重みデータＷ１２、Ｗ２３およびＷ３４が読
出される。演算部ＡＵ１〜ＡＵ３においては、荷重値Ｗ
１２・Ｓ２、Ｗ２３・Ｓ３、およびＷ３４・Ｓ４が算出
されて先に算出された荷重値に加算される。この動作を
第３サイクルにおいても繰返し行ない、第４サイクルに
おいては、図５７に示す様にレジスタＲ１〜Ｒ４には出
力状態値Ｓ４、Ｓ１およびＳ２が格納される。ローカル
メモリＬＭ１〜ＬＭ３からは重みデータＷ１４、Ｗ２１
およびＷ３２が読出される。演算部ＡＵ１、ＡＵ２およ
びＡＵ３は荷重値Ｗ１４・Ｓ４、Ｗ２１・Ｓ１、および
Ｗ３２・Ｓ２を算出し、それまでのサイクルで算出され
た荷重値の和に累算する。これにより、第４サイクル完
了後、先に図５４に示したように、演算部ＡＵ１、ＡＵ
２およびＡＵ３においては、膜電位ΣＷ１ｊ・Ｓｊ、Σ
Ｗ２ｊ・Ｓｊ、ΣＷ３ｊ・Ｓｊが算出される。
【００３１】上述の処理は、ニューラルネットワークの
各ニューロンに対し実行する。各ニューロンに対し求め
られた膜電位ｕに非線形変換処理を施すことによりこの
１つの層におけるニューロンの出力状態値が決定され
る。上述の動作をニューラルネットワークの各層に対し
繰返し実行することによりニューロンのすべての出力状
態値が決定される。出力層の出力状態値が決定された
後、学習時には誤差を逆伝搬して各ニューロンの重みデ
ータを修正する必要がある。重みデータの修正のために
用いられる誤差の伝搬は以下のようにして行なわれる。
【００３２】まず上位層のニューロンユニットに対する
誤差δが計算されてそれぞれが演算部ＡＵ１〜ＡＵ３へ
与えられる。第１サイクルにおいては、図５８に示すよ
うにローカルメモリＬＭ１〜ＬＭ３から重みデータＷ１
１、Ｗ２２およびＷ３３が読出される。演算部ＡＵ１〜
ＡＵ３においては、積演算Ｗ１１・δ１、Ｗ２２・δ
２、およびＷ３３・δ３が行なわれる。この積結果は対
応のレジスタＲ１〜Ｒ３へ伝達される。これにより誤差
ｅ１〜ｅ３の１つの項が求められる。
【００３３】次のサイクルにおいては、図５９に示す様
に、レジスタＲ１〜Ｒ４に格納された誤差成分を反時計
方向にシフトさせる。これと同期して、ローカルメモリ
から次の重みデータＷ１２、Ｗ２３およびＷ３４を読出
す。演算部ＡＵ１〜ＡＵ３において積演算が行なわれ、
Ｗ１２・δ１、Ｗ２３・δ２およびＷ３４・δ３が求め
られ、この求められた積は対応のレジスタＲ１〜Ｒ３に
格納された誤差成分と加算されて再び対応のレジスタＲ
１〜Ｒ３へ格納される。これにより誤差の次の成分が求
められる。第４サイクルにおいて、図６０に示すよう
に、ローカルメモリＬＭ１〜ＬＭ３から読出された重み
データＷ１４、Ｗ２１およびＷ３２を用いて演算部ＡＵ
１〜ＡＵ３において積演算を行ない、Ｗ１４・δ１、Ｗ
２１・δ２、およびＷ３２・δ３を求める。この求めた
積結果を対応のレジスタＲ１〜Ｒ３に格納されている誤
差成分に加算し、再び対応のレジスタＲ１〜Ｒ３に格納
する。４つのサイクルが完了すると、図６１に示すよう
に、レジスタＲ１〜Ｒ４には、ΣＷｊ１・δｊ、ΣＷｊ
２・δｊ、ΣＷｊ３・δｊ、およびΣＷｊ４・δｊが格
納される。各総和は添字ｊについて行なわれる。これに
より下位層のニューロンに対する誤差ｅ１、ｅ２、ｅ３
およびｅ４が求められる。この誤差を用いて効果誤差
（有効誤差）を算出し、ニューロンのシナプス荷重値、
すなわち重みデータの修正を前述の重み修正を示す式に
従って修正する。
【００３４】このような従来のＳＩＭＤ方式の演算処理
装置においては、コントロールバスＣＢに１つの命令を
与え、処理ユニットＰ♯１、Ｐ♯２およびＰ♯３で同一
の演算処理を行なうことにより、ニューロンの膜電位の
算出および荷重修正量の算出を並列に行なう。処理ユニ
ットＰ♯１〜Ｐ♯３は各演算サイクルにおいてすべて動
作しており、効率的に演算を実行することができる。
【００３５】
【発明が解決しようとする課題】従来から提案されてい
る処理方式および／または処理機構では、与えられた資
源（演算処理装置）の使用効率をいかに高くするかに重
点をおいて様々な工夫がなされているが、実行される演
算処理の内容を考慮せず、すべての演算処理を実行する
ことが前提とされている。たとえば、上で説明した並列
演算処理装置では、処理ユニットＰ♯に共通にローカル
メモリアドレスが与えられて重みデータが読出され、す
べての出力状態値Ｓおよびすべての有効誤差δに対して
演算が実行されている。したがって、従来の並列化方法
では、すべての資源が並列に動作するときの処理能力を
示すいわゆる「ピーク性能」を超える高速処理が原理的
に不可能である。
【００３６】このような個々の演算処理の内容に対する
非依存性は、処理内容の汎用性を保証するとともに、ま
た、処理機構の規格化による設計容易性を確保するため
にも必要とされていた。
【００３７】しかしながら、演算処理の内容がある程度
予測できる場合には、個々の処理内容において有効に処
理効率を改善するための工夫を施せる場合がある。ここ
で、「処理内容」はたとえば「全ニューロンの膜電位の
算出」のような「１つのまとまった処理の内容」を意味
し、「演算処理内容」は、たとえば膜電位算出における
１つの重みデータ（シナプス荷重値）と出力状態値の積
における個々の入力データおよび演算結果データのよう
な「ある処理において実行される個々の演算の内容」を
意味する。
【００３８】すなわち、予測された演算処理内容がその
処理において無視できる影響しか持たないことが判別で
きたときには、この演算処理およびその演算処理結果を
利用する演算処理を省略することができ、処理時間を短
縮することができる。しかしながら、個々の演算処理内
容を考慮して処理における以後の手続を変更する構成は
未だ実現されていない。
【００３９】たとえば、図５４に示す先行技術におい
て、出力状態値Ｓおよび有効誤差δはリングレジスタに
格納されて順次シフトされて演算処理が実行されてい
る。ある出力状態値Ｓｉまたはある有効誤差δｉが膜電
位算出および誤差算出に影響を及ぼさない微小値であれ
ば、これらの数値データに関連する演算処理を省略する
ことにより演算処理回数を低減して処理時間を短縮する
ことができる。しかしながら、この先行技術の構成にお
いては、ローカルメモリに対し共通にアドレスが与えら
れて順次重みデータが読出されている。したがって、リ
ングレジスタに微小な数値データを省略して格納した場
合、リングレジスタに格納された数値データに対応して
ローカルメモリから重みデータを読出すことができず、
正確な演算処理を行なうことができない。またこの先行
技術においては、このような出力状態値または有効誤差
が処理過程において微小値となった場合にそのような微
小値データを省略して演算する構成については何ら考察
していない。
【００４０】それゆえ、この発明の目的は、高い処理効
率を有する数値演算処理装置を提供することである。
【００４１】この発明の他の目的は、処理時間を短縮す
ることのできる数値演算処理装置を提供することであ
る。
【００４２】この発明のさらに他の目的は、演算処理内
容を考慮して以後の処理手続を変更することのできる数
値演算処理装置を提供することである。
【００４３】この発明のさらに他の目的は、高い処理効
率および短い処理時間を有するＳＩＭＤ方式数値演算処
理装置を提供することである。
【００４４】
【課題を解決するための手段】請求項１に係る数値演算
処理装置は、数値データを格納する格納手段と、この格
納手段から読出された数値データの数値に従ってこの数
値データ読出に続いて実行されるべき処理を設定する設
定手段とを含む。
【００４５】記憶手段は、好ましくは、各々が数値デー
タとして数値部分と、この数値部分に対して実行される
べき処理を指定する数値コード部分とをリンクして格納
する複数のエントリを含む。
【００４６】数値コード部分は、好ましくは、関連の数
値部分が演算処理されるべきデータであるのか、次に実
行されるべき処理を指定するものであるのかを指定す
る。
【００４７】設定手段は、好ましくは、この数値コード
部分に従って次に実行される処理を設定する手段を含
む。
【００４８】数値コード部分は、また好ましくは、関連
の数値部分が処理されるべき数値データであるのか、次
に格納手段から数値データを読出すエントリの位置を示
すアドレスであるのかを指定する。
【００４９】請求項２に係る数値演算処理装置は、請求
項１の設定手段が、数値コード部分が、対応の数値部分
が演算処理されるべきデータであることを示すとき、格
納手段のエントリの位置を示すアドレスを１増分しかつ
数値コード部分が対応の数値部分が格納手段のアドレス
を示すとき、対応の数値部分に対する実行手段による演
算処理を無効化しかつ対応の数値部分を格納手段の次に
読出されるべきエントリ位置を示すアドレスとして設定
する手段を含む。実行手段は、この設定されたアドレス
に従って、格納手段をアクセスして対応の数値データを
読出す手段を含む。
【００５０】請求項３に係る数値演算処理装置は、格納
手段が第１のアドレスのエントリに第１の数値データを
格納し、かつ第１のアドレスに連続して隣接する第２の
アドレスに第２の数値データを格納する。設定手段はこ
の第２の数値データの数値コード部分の値に従って次に
実行されるべき処理を設定する。
【００５１】請求項４に係る数値演算処理装置において
は、実行手段が２入力演算手段を含む。設定手段は、格
納手段の第１のアドレスのエントリから読出された第１
の数値データを保持しかつ演算手段の一方入力に与える
第１の保持手段と、この第１のアドレスに隣接する第２
のアドレスのエントリから読出された第２の数値データ
を保持する第２の保持手段と、第２の数値データの数値
コード部分の数値に従って、第２の保持手段の保持する
数値データおよび予め定められた定数の一方を演算手段
の他方入力へ与える選択手段とを備える。
【００５２】
【００５３】請求項５に係る数値演算処理装置は、請求
項４の２入力演算手段の出力を第１のアドレスのエント
リへ書込む手段をさらに備える。請求項６に係る数値演
算処理装置は、格納手段が第１のアドレスに第１の数値
データを格納し、かつ第１のアドレスに連続して隣接す
る第２のアドレスに第１のアドレスに格納された第１の
数値データに加算すべき数値データまたは加算を行なわ
ずに次にアクセスすべき格納手段のアドレスを示すジャ
ンプ先アドレスのいずれかを格納する。数値コード部分
は、この第２のアドレスの第２の数値データがジャンプ
先アドレスであるのか第２の数値データであるのかを特
定する。
【００５４】請求項７に係る数値演算処理装置は、請求
項６の設定手段が、第２のアドレスから読出された数値
データが所定値以下のとき、この第２のアドレスに、次
にアクセスすべきエントリを示すジャンプ先アドレスを
生成して対応の第２のアドレスに格納し、かつ対応の数
値コード部分を第２の数値データに代えてジャンプ先ア
ドレスが格納されたことを示す値に設定する。
【００５５】請求項８に係る数値演算処理装置は、請求
項１の装置が、さらに、現サイクルで読出されている数
値データを格納するエントリを示す現アドレスを格納す
る第１のレジスタと、最も最近演算処理を受けた数値デ
ータを格納するエントリを示すアドレスの次のアドレス
を前アドレスとして格納する第２のレジスタと、最も最
近処理された数値データが所定の処理と異なる処理を受
けたか否かを示す第１のフラグを生成する第１のフラグ
生成手段と、現サイクルで読出された数値データが所定
の処理と異なる処理を受けたか否かを示す第２のフラグ
を生成する第２のフラグ生成手段と、第２のレジスタに
格納された前アドレスと第１のレジスタに格納された現
アドレスの差が１より大きいか否かを示す第３のフラグ
を生成する第３のフラグ生成手段と、第１のフラグ、第
２のフラグ、現アドレス、前アドレスおよび外部から与
えられるアドレス飛び越し指示信号に従って、数値デー
タを書込むアドレスを決定するアドレス決定手段をさら
に備える。
【００５６】請求項９の数値演算処理装置は、請求項８
のアドレス決定手段が、第１および第２のフラグに従っ
て、（ａ）最も最近および現サイクルにおいてアクセス
された数値データが共に所定の演算処理を受けたこと、
（ｂ）現サイクルにアクセスされた数値データの処理が
所定の演算と異なりかつ最も最近アクセスされた数値デ
ータが所定の演算処理を受けたこと、および（ｃ）現サ
イクルの数値データが所定の演算処理を受けかつ最も最
近アクセスされた数値データが所定の演算と異なる処理
を受けたことの３状態のいずれの状態であるかを判定す
る状態判定手段と、この状態判定手段の前記状態（ａ）
の判定に従って、現アドレスを格納手段の前アドレスが
示すエントリへ格納する第１の書込手段と、この状態判
定手段の状態（ｂ）の判定に従ってアドレス飛び越し信
号と第３のフラグとに従って現アドレスと前アドレスの
一方を第４のレジスタに格納する手段と、状態判定手段
の状態（ｃ）の判定に従って現アドレスを第４のレジス
タに格納されたアドレスが示す格納手段のエントリへ格
納する第２の書込手段とを含む。
【００５７】請求項１０の数値演算処理装置は、請求項
１の装置が、次に所定の演算処理を受ける数値データが
格納されるエントリの位置を示す飛び越し先アドレスを
格納する第１のレジスタと、最も最近所定の演算処理を
受けた数値データが格納されているエントリの位置を示
す前アドレスと現在アクセスされている数値データのエ
ントリの位置を示す現アドレスとの差が１より大きいこ
とを示す第１のフラグを生成する第１のフラグ生成手段
と、外部から与えられるアドレス生成指示信号に応答し
て格納手段のアドレスに対する飛び越しが行なわれてい
ることを示す第２のフラグを生成する第２のフラグ生成
手段と、格納手段から読出された数値データのコード部
分に従ってこの読出された数値データが所定の演算を受
けるべき数値データであるか否かを示す第３のフラグを
生成する第３のフラグ生成手段と、数値データ書込時、
所定の演算処理を受ける数値データを書込むべきか所定
の演算処理と異なる処理を受ける数値データを書込むべ
きかを示す第４のフラグを生成する第４のフラグ生成手
段と、前の演算実行サイクルにおける第４のフラグを現
演算実行サイクルの書込制御を示す第５のフラグとして
出力する第５のフラグ生成手段と、前の演算実行サイク
ルの第１のフラグを現演算実行サイクルの書込禁止を示
す第６のフラグとして出力する第６のフラグ生成手段
と、現アドレスが所定のアドレスに到達したか否かに従
って格納手段に対する数値データの書込動作が完了した
ことを示す第７のフラグを生成する第７フラグ生成手段
をさらに備える。
【００５８】請求項１１に係る数値演算処理装置は、請
求項１０の装置が、さらに、外部から与えられる制御信
号をデコードし、そのデコード結果に従って第１ないし
第７のフラグ生成手段が生成するフラグの更新タイミン
グを設定するデコード手段を備える。
【００５９】
【００６０】請求項１２に係る数値演算処理装置は、請
求項１の装置が、さらに、外部から与えられる制御信号
に応答して格納手段へのアクセス禁止を強制的に解除さ
せる手段を備える。
【００６１】請求項１３に係る数値演算処理装置は、請
求項１の装置が、内部演算処理不実行を示す制御信号に
応答して、この格納手段へのアクセスを強制的に禁止す
る手段をさらに備える。
【００６２】請求項１４に係る数値演算処理装置は、請
求項１の装置が、さらに、格納手段へのアクセスの中止
を示す中止フラグを生成する中止フラグ生成手段と、格
納手段へのアクセスの完了を示す完了フラグを生成する
完了フラグ生成手段と、中止フラグおよび完了フラグに
応答して、格納手段へのアクセス可能を示す信号を生成
して外部へ出力する手段をさらに備える。
【００６３】請求項１５に係る数値演算処理装置は、各
々が、演算器と、この演算器に利用される数値データを
格納するローカルメモリと、数値データが所定の条件を
満足するとき数値データに対する演算処理を省略するよ
うに演算器の演算処理を制御する制御手段とを含み、か
つ互いに並列に設けられる複数の演算ユニットと、これ
ら複数の演算ユニットに共通に設けられ、複数の演算ユ
ニットに対し共通の命令を発行して複数の演算ユニット
に共通の命令を並列に実行させるための制御ユニット
と、これら複数の演算ユニットの出力を受けて順次非線
形処理を施す非線形処理ユニットとを含む。複数の演算
ユニットの各々は、演算器の演算結果出力を格納するた
めの演算結果格納レジスタと、この演算結果出力が複数
の可能な状態のうちのどの状態にあるかを示すステータ
スフラグを格納する状態レジスタと、このステータスフ
ラグに従って演算結果格納レジスタへの演算器の演算結
果出力の格納を制御する手段を備える。請求項１５に係
る数値演算処理装置は、さらに、複数の演算ユニットの
各々が、入出力ポートとしては、少なくとも２つの数値
情報入力ポートと、少なくとも２つの数値情報出力ポー
トを含む。複数の演算ユニットはカスケード接続され
る。
【００６４】請求項１６に係る数値演算処理装置は、請
求項１５の複数の演算ユニットの各々は、少なくとも２
つの数値情報入力ポートと、少なくとも２つの数値情報
出力ポートとを含む。複数の演算ユニットはカスケード
接続される。
【００６５】請求項１６に係る数値演算処理装置は、請
求項１５の少なくとも２つの数値情報入力ポートは、ロ
ーカルメモリのアドレスを指定するアドレスデータを入
力するアドレス入力ポートと、演算ユニットにより演算
処理されるべき数値データを入力するデータ入力ポート
とを含む。少なくとも２つの出力ポートは、アドレスデ
ータ出力ポートと、数値データ出力ポートとを含む。
【００６６】請求項１７に係る数値演算処理装置は、請
求項１５の数値演算処理装置が、複数の演算ユニットに
共通に設けられ、制御ユニットからのローカルメモリに
対するアドレスデータおよび数値データを複数のユニッ
トへ同時に伝達するための共通バスをさらに備える。
【００６７】請求項１８に係る数値演算処理装置は、請
求項１５の数値演算処理装置において、カスケード接続
の特定の演算ユニットの出力ポートとそのカスケード接
続における特定の演算ユニットに隣接する演算ユニット
の入力ポートとの間に設けられ、特定の演算ユニットの
出力と非線形処理ユニットの出力の一方を選択して隣接
する演算ユニットの入力ポートに伝達するための選択手
段をさらに含む。
【００６８】請求項１９に係る数値演算処理装置は、請
求項１５の複数の演算ユニットの入力ポートおよび出力
ポートは、複数の演算ユニットがリング状に相互接続さ
れるように順次接続される。
【００６９】請求項２０に係る数値演算処理装置は、請
求項１５の装置において、カスケード接続の初段の演算
ユニットの入力ポートに設けられ、与えられた数値デー
タを初段の演算ユニットの入力ポートと制御ユニットの
入力ポートの一方へ伝達する入力手段と、カスケード接
続の最終段の出力ポートに設けられ、この最終段の演算
ユニットの出力と制御ユニットからの数値データの一方
を伝達する出力手段とをさらに備える。
【００７０】
【００７１】請求項２１に係る数値演算処理装置は、請
求項１５の装置のステータスフラグがマルチビットフラ
グであり、複数の演算ユニットの各々は、対応の状態レ
ジスタに格納されたマルチビットフラグの特定のビット
を選択して制御ユニットへ通報する手段をさらに備え
る。
【００７２】請求項２２に係る数値演算処理装置は、請
求項１５の数値演算処理装置において１つの半導体チッ
プ上に集積化され、複数の演算ユニットは制御ユニット
および非線形変換ユニットを挟むようにチップ上に配置
されかつ複数の演算ユニットにおいてローカルメモリが
制御ユニットから離れたチップ外側に配置される。
【００７３】請求項２３に係る並列演算処理装置は、各
々が（ｉ）数値データを格納するためのメモリと、（ｉ
ｉ）このメモリから読出された数値データの数値に従っ
て予め設定された複数の処理から実行すべき処理を選択
する手段を備え、かつ互いに並列に与えられた命令に従
って動作する複数の演算ユニットと、これら複数の演算
ユニットに対して同時に共通の命令を与え、この共通の
命令に従って複数の演算ユニットを並列に動作させる制
御ユニットとを含む。
【００７４】
【００７５】
【００７６】
【００７７】
【作用】請求項１の装置においては、数値コード部分が
関連の数値部分が演算処理されるべきデータであるの
か、次にアクセスされる数値データの格納位置を示すア
ドレスであるのかを示しており、この数値コードにより
演算処理の不必要な数値データを飛び越して処理を進め
ることができ、処理時間が短縮される。
【００７８】請求項２の装置においては、設定手段が数
値コード部分に従って格納手段に対するアドレスの値を
決定しており、所定の演算処理を受けるべき数値データ
のみに対し演算処理を行なうことができ、処理時間を短
縮することができる。
【００７９】
【００８０】請求項３の装置においては、第２のアドレ
ス位置の数値データの数値のみに従って次に実行すべき
処理過程を設定しているため、第１および第２のアドレ
スの数値データに対する演算処理の内容を第２のアドレ
スの数値データの数値に従って変更することができ、容
易に２入力演算処理の内容を変更することができる。
【００８１】請求項４の装置においては、選択手段が、
第２の保持手段の保持する数値データおよび定数の一方
と第１の保持手段の保持する数値データとの加算を第２
の数値データの数値コードに従って決定しており、演算
処理されるべき数値のみに対し演算処理を行なうことが
でき、処理効率が改善される。
【００８２】請求項５の装置においては、演算結果が元
のアドレスに格納されるため、同一処理を繰返し正確に
実行することができる。
【００８３】請求項６および７の発明においては、格納
手段の連続するエントリの一方に、数値データまたはジ
ャンプ先アドレスが格納され、数値コードが、ジャンプ
先アドレスであるのか演算処理すべき数値データである
のかを示しており、同一エントリに、アドレスおよび数
値データを格納することができ、格納手段の容量増加を
防止することができ、またジャンプ先アドレスにより、
不要な数値データの演算処理を省略することができ、処
理効率が改善される。
【００８４】請求項８の装置においては、第１および第
２のフラグ、現アドレス、前アドレスならびにアドレス
飛び越し指示信号に従って飛び越し開始アドレスおよび
ジャンプ先アドレスを決定して格納手段へジャンプ先ア
ドレスを書込んでおり、不必要な数値データに対する演
算処理を確実に省略することができる。
【００８５】請求項９の装置においては、状態判定手段
が処理の進行状態を判定し、この状態判定手段の判定結
果に従って次に演算処理するべき数値データのアドレス
およびそのアドレスの格納位置を決定して格納手段に書
込んでいるため、正確に演算処理すべき数値データを識
別して必要な数値データに対してのみ演算処理を行なう
ことができ、処理時間を大幅に短縮することができる。
【００８６】請求項１０の装置においては、第１ないし
第７のフラグを生成し、これらのフラグに従って演算ユ
ニットにおける処理の進行状況を把握して格納手段への
数値データの書込動作の制御および省略すべき数値デー
タを識別することができる。
【００８７】請求項１１の装置においては、第１ないし
第７のフラグ生成手段のフラグの更新タイミングは、外
部制御信号により与えられており、所望のフラグのみを
更新することができる。
【００８８】請求項１２の装置においては、外部から格
納手段へのアクセス禁止を強制的に解除させることがで
き、演算ユニットにおける数値データの数値を変更する
ことなく外部から必要なデータを所望のタイミングで格
納手段へ書込むことができる。
【００８９】請求項１３の装置においては、演算処理不
実行時に格納手段へのアクセスを禁止しているため、不
必要な数値データの更新を確実に防止することができ
る。
【００９０】請求項１４の装置においては、アクセス中
止フラグおよびアクセス完了フラグに従ってアクセス可
能フラグを生成して外部へ出力しているため、外部制御
装置は、演算ユニットの処理動作と衝突することなく格
納手段へアクセスすることができる。
【００９１】請求項１５の装置においては、複数の演算
ユニットが数値データの数値に従って処理を省略してお
り、制御ユニットは共通の命令を複数の演算ユニットへ
与えており、また非線形処理ユニットが複数の演算ユニ
ットの出力を非線形変換処理しており、不必要な演算処
理を省略して演算処理を行なうことのできる高効率かつ
高速で処理を実行することのできるＳＩＭＤ方式ニュー
ラルネットワークを実現することができる。
【００９２】また、この請求項１５の装置においては、
複数の演算ユニットの各々が、ステータスフラグに従っ
て結果レジスタに演算ユニットの演算結果出力を格納す
るように構成しているため、たとえば最大または最小の
ような特定の条件を満足する演算結果出力を容易に求め
ることができる。また、演算ユニットの各々は、少なく
とも２つの数値情報入力ポートおよび少なくとも２つの
数値情報出力ポートを含んでおり、かつカスケード接続
されており、これら複数の演算ユニットの各々において
利用される数値データは相互関連性を有することなく必
要な数値データのみを用いて演算ユニットへ与えること
ができ、効率的に処理を実行することができる。
【００９３】請求項１６の装置においては、入力ポート
および出力ポートはともに処理データを受ける入力ポー
トとアドレスデータを受けるアドレスデータ入力ポート
とを有しており、演算ユニットの格納手段に対するアド
レスはそれぞれ独立にこのアドレスポートから与えられ
るアドレスにより設定することができ、必要な処理デー
タのみを演算ユニットへ与えて格納手段から対応の数値
データを読出して演算処理を行なうことができ、不必要
な数値データに対する演算処理を省略することができ
る。
【００９４】請求項１７の装置においては、複数の演算
ユニットへ同時にアドレスデータおよび処理データを通
報するため、共通の処理データを容易にすべての演算ユ
ニットのメモリへ書込むことができる。
【００９５】請求項１８の装置においては、特定の演算
ユニットの出力と非線形処理ユニットの出力の一方が選
択手段により選択されて隣接演算ユニットへ伝達される
ため、ニューラルネットワーク動作時において出力状態
値算出時に必要とされるときのみ非線形処理ユニットを
演算ユニットのリング接続に挿入することができ、効率
的に処理を行なうことができる。
【００９６】請求項１９の装置においては、演算処理ユ
ニットはリング状に接続されるため、順次数値データを
演算ユニット間をシフトさせて効率的に処理を実行する
ことができる。
【００９７】請求項２０の装置においては、入出力手段
により演算ユニットをバイパスして制御ユニットが入力
数値データを授受することができ、制御ユニットは入力
数値データに必要な加工を行なうことができる。また、
装置を複数個カスケード接続した場合には、複数の制御
ユニット間で数値データを伝達することができ、必要な
数値データを制御ユニット間で伝達して必要な加工を行
なうことができる。
【００９８】請求項２１の装置においては、マルチビッ
トのステータスフラグに従って結果レジスタに演算結果
出力が格納されるため、たとえば最大または最小のよう
な特定の条件を満足する演算結果出力を求めることがで
きる。
【００９９】請求項２２の装置においては、ステータス
フラグの特定のビットが選択されて各演算ユニットから
制御ユニットへ通報されているため、制御ユニットは複
数の演算ユニットの演算結果出力から特定の条件を満足
する演算結果出力を選択することができる。このときま
た、特定のビットのみが選択されて通報されているた
め、この特定の条件を満足する演算結果出力選択のため
に必要とされるフラグビットの伝達信号線の数を少なく
することができ、配線占有面積を低減することができ
る。
【０１００】請求項２２の装置においでは、制御ユニッ
トおよび非線形処理ユニットを間に挟むように演算ユニ
ットが半導体チップ上に配置されているため、制御ユニ
ットと演算ユニットの間の配線の長さを最小とすること
ができ、高速で信号を伝達することができ、高速動作が
可能となる。また、演算ユニットにおいては、メモリが
チップ外周側に配置されるため、演算ユニット内の演算
器群およびレジスタと制御ユニットとの間の配線長を最
小とすることができ、高速で信号を伝搬させることがで
きる。また、メモリをチップ外周側に配置することによ
り、該演算ユニット内の配線レイアウトを複雑化するこ
となくメモリと演算器群／レジスタ群との間の信号伝搬
を高速で行なうことができる。
【０１０１】請求項２３の装置においては、複数の演算
ユニットの各々は、数値データの数値に従って実行され
るべき処理過程の内容を選択する機能を備え、かつ互い
に並列に制御ユニットから与えられる共通の命令に従っ
て動作しており、複数の演算ユニットの各々は、必要な
数値データに対してのみ演算処理を行なうことができ、
効率的に処理を行なうことのできるＳＩＭＤ方式の演算
処理装置を実現することができる。
【０１０２】
【実施例】
〔動作原理〕まず、本発明が依拠する動作原理につい
て、ニューラルネットワークを１つの適用例として説明
する。
【０１０３】神経回路網の数理モデル表現であるニュー
ラルネットワークにおいては、演算処理内容に次のよう
な特徴がある。
【０１０４】（ａ） 階層型ニューラルネットワークに
おいて、中間層のニューロンの発火率は学習が進むにつ
れてスパースになる。すなわち、階層型ニューラルネッ
トワークにおいては、学習が進むにつれて、各ニューロ
ンの出力状態値がそれぞれ期待されるべき状態に近づ
く。出力層のニューロンの出力状態は期待パターン（教
師信号）により決定される状態に近づき、一方、中間層
においては発火状態のニューロンの数が少なくなる（一
般に、学習の繰返し回数の対数に比例して中間層のニュ
ーロンの発火率は低下する）。
【０１０５】（ｂ） 相互結合型ニューラルネットワー
クにおいては、入力パターン印加時の初期状態から時間
が経過するとニューラルネットワーク全体のエネルギー
が極小値をとるような状態に各ニューロンの出力状態が
近づく。すなわち、時間の経過とともにニューロンの出
力状態値の変動が小さくなる。
【０１０６】（ｃ） 誤差逆伝搬学習（エラーバックプ
ロパゲーション法学習）においては、学習が進むに従っ
て各荷重値の修正量は微小量に収束する。
【０１０７】これらの特徴（ａ）〜（ｃ）から以下に述
べる演算処理を省略することができる可能性が生じる。
すなわち、演算処理内容または演算処理結果を考慮し
て、処理手続を変更することにより全体の処理に対し影
響のない演算処理を省略し、これにより全体の処理時間
を短くすることができる。
【０１０８】（１） 上記特徴（ａ）および（ｂ）か
ら、出力状態値が変化しないニューロンの伝達演算を省
略することができる。すなわち、膜電位ｕｊ（ｔ）の演
算： ｕｊ（ｔ）＝ｕｊ（ｔ−１）−ΣＷｊｉ（ｔ）・ΔＳｉ
（ｔ） において、ΔＳｉ（ｔ）＝０に関する積を省略すること
ができる。ここで、ｕｊ（ｔ）は時刻ｔにおける膜電位
を示し、ｕｊ（ｔ−１）は前のサイクルにおける膜電位
を示し、Ｗｊｉ（ｔ）は時刻ｔにおけるシナプス荷重値
（重み）を示し、ΔＳｉ（ｔ）＝（Ｓｉ（ｔ）−Ｓｉ
（ｔ−１））は、出力状態値Ｓｉの変化量を示す。また
総和Σは添字ｉに関して行なわれる。
【０１０９】（２） 上記特徴（ａ）から、階層型ニュ
ーラルネットワークにおいては、出力状態値Ｓｉが０で
ある演算を省略することができる。すなわち、膜電位ｕ
ｊ（ｔ）の演算、 ｕｊ（ｔ）＝ΣＷｊｉ（ｔ）・Ｓｉ（ｔ） の演算処理において、Ｓｉ（ｔ）＝０に関する積算を省
略することができる。
【０１１０】（３） 上記特徴（ｃ）から誤差逆伝搬学
習時の荷重修正処理において、荷重値修正量ΔＷｊｉが
０の荷重値更新処理を省略することができる。すなわ
ち、 ΔＷｊｉ（ｔ）＝α・ΔＷｊｉ（ｔ−１）＋η・ｅｊ
（ｔ）・（ｄＳｊ（ｔ）／ｄｕｊ）・Ｓｉ＝０の場合に
は、Ｗｊｉ（ｔ）＝Ｗｊｉ（ｔ−１）＋ΔＷｊｉ（ｔ）
という重み更新処理を省略することができる。ここで、
ｅｊ（ｔ）は、ニューロンｊへの逆伝搬誤差を示し、α
は慣性係数を示し、ηは学習係数を示す。
【０１１１】上述の説明においては、それぞれの演算処
理を省略する条件を理想状態、すなわち変動量０（ΔＳ
ｉ（ｔ）＝０、Ｓｉ（ｔ）＝０、およびΔＷｊｉ（ｔ）
＝０）としている。しかしながら現実的には、それぞれ
の省略条件を微小値ε以下とすることも可能であり（Δ
Ｓｉ（ｔ）≦εａ、Ｓｉ（ｔ）≦εｂ、ΔＷｊｉ（ｔ）
≦εｃ）、それぞれの省略条件、すなわちしきい値ε
ａ、εｂ、およびεｃの値を適当に調整することによ
り、省略される演算処理の比率、すなわち処理全体の高
速化と許容される演算精度とを設定することが可能であ
る。これにより、効率的に処理を実行する数値演算処理
装置、特にＳＩＭＤ方式の数値演算処理装置を実現する
ことができる。以下、本発明の数値演算処理装置の構成
について、全体の構成、概略動作、各部分の詳細構成の
順に説明する。
【０１１２】［全体の構成］図１は、この発明の一実施
例である数値演算処理装置の全体の構成を概略的に示す
図である。図１において、数値演算処理装置は、互いに
並列に動作する複数個（図１においてはｎ個）の演算ユ
ニット１０−１〜１０−ｎと、これら複数の演算ユニッ
ト１０−１〜１０−ｎに共通に命令を与える制御ユニッ
ト２０と、複数の演算ユニット１０−１〜１０−ｎが出
力する処理結果データに非線形変換処理を施す非線形変
換ユニット３０を含む。
【０１１３】演算ユニット１０−１〜１０−ｎの各々
は、与えられた数値データの演算処理を行なうための複
数の演算器を有する演算器群１２と、処理動作時に必要
とされる数値データおよびステータスフラグなどの一時
的に利用されるデータを格納する複数のレジスタを含む
レジスタ群１３と、演算器群１２の演算処理に必要とさ
れる数値データなどの処理データを格納するローカルメ
モリ１１とを含む。
【０１１４】演算ユニット１０−１〜１０−ｎの各々
は、さらに、数値データを入力するための２つの入力ポ
ート１４および１５、ならびに数値データを出力するた
めの２つの出力ポート１６および１７を含む。入力ポー
ト１４は、処理されるべき数値を含むデータを入力し、
入力ポート１５は、ローカルメモリ１１のアドレスを指
定するアドレスデータを入力する構成とすることができ
る。以下の説明においては、処理されるべき数値を含む
データを「処理データ」と称し、また「数値データ」は
アドレスデータおよび処理データ両者を含むものとして
用いる。
【０１１５】出力ポート１６は、処理データを出力し、
出力ポート１７は、アドレスデータを出力する構成とす
ることができる。図１においては、演算ユニット１０
（演算ユニット１０−１〜１０−ｎを総称的に示す）は
２つの入力ポート１４および１５ならびに２つの出力ポ
ート１６および１７を有するように示される。入力ポー
トおよび出力ポートの数は３以上であってもよい。
【０１１６】演算ユニット１０−１〜１０−ｎはカスケ
ード接続される。すなわち、演算ユニット１０−ｉ（ｉ
＝１〜ｎ−１）の出力ポート１６および１７は、次段の
演算ユニット１０−（ｉ＋１）の入力ポート１４および
１５に接続される。カスケード接続の最終段の演算ユニ
ット１０−ｎのアドレスデータ出力ポート１７は、カス
ケード接続の初段の演算ユニット１０−１の入力ポート
１５に環状通信経路１９ａを介して接続される。演算ユ
ニット１０−ｎの処理データ出力ポート１６は、非線形
変換ユニット３０の入力ポート３１に接続されるととも
に２入力１出力のセレクタ３３の一方入力に接続され
る。セレクタ３３の他方入力は非線形変換ユニット３０
の出力ポート３２に接続され、セレクタ３３の出力は環
状通信経路１９ｂを介して演算ユニット１０−１の処理
データ入力ポート１４に接続される。
【０１１７】セレクタ３３は、制御ユニット２０の制御
（この制御経路は図示せず）の下に、演算ユニット１０
−ｎの出力ポート１６から出力される処理データを非線
形変換ユニット３０から出力ポート３２を介して出力さ
れる処理データの一方を選択して環状通信経路１９ｂ上
に出力する。したがって、セレクタ３３の入力選択状況
に応じて、演算ユニット１０−ｎがリング状に接続され
るかまたは演算ユニット１０−１〜１０−ｎおよび非線
形変換ユニット３０がリング状に接続される。環状通信
経路１９ａおよび１９ｂは演算ユニット１０を相互接続
する経路を含む。
【０１１８】制御ユニット２０は、演算ユニット１０−
１〜１０−ｎに共通に接続される命令ブロードキャスト
バス２１を介して演算ユニット１０−１〜１０−ｎに共
通の命令を通報する。演算ユニット１０−１〜１０−ｎ
は、この命令ブロードキャストバス２１を介して与えら
れる命令に従って演算処理を実行する。したがって、こ
の図１に示す配置により、ＳＩＭＤ方式処理装置に要求
される１制御部／多演算部という要件が満たされ、さら
にニューラルネットワークに不可欠な非線形変換処理を
取り込んだ並列数値演算処理装置を実現することができ
る。
【０１１９】演算ユニット１０−１〜１０−ｎに共通
に、さらにアドレスブロードキャストバス２２およびデ
ータブロードキャストバス２３が設けられる。制御ユニ
ット２０は、アドレスブロードキャストバス２２および
データブロードキャストバス２３を介して演算ユニット
１０−１〜１０−ｎに同時にアドレスデータおよび処理
データ（または定数データ）を通報することにより、演
算ユニット１０−１〜１０−ｎのローカルメモリ１１の
同一アドレス位置または特定のレジスタに同じ処理デー
タ（または定数データ）を書込むことができる。
【０１２０】図２は、演算ユニットの内部構成を概略的
に示す図である。図２において、演算ユニット１０は、
命令ブロードキャストバス２１を介して与えられる命令
を入力する命令入力ポート１８ａと、アドレスブロード
キャストバス２２およびデータブロードキャストバス２
３を介して与えられるアドレスデータおよび処理データ
（または定数データ）を入力する入力ポート１８ｂおよ
び１８ｃと、入力ポート１８ａを介して与えられた命令
に従って演算ユニット１０における必要な動作を実行す
るシーケンスコントローラ２５と、シーケンスコントロ
ーラ２５の制御の下に入力ポート１４および１５または
入力ポート１８ｂおよび１８ｃ上に与えられた数値デー
タを内部バス２８ｂに伝達するバス接続回路２６と、シ
ーケンスコントローラ２５の制御の下に、内部バス２８
ｂ上の数値データを出力ポート１６および１７へ伝達す
るバス接続回路２７を含む。
【０１２１】シーケンスコントローラ２５は、ローカル
メモリ１１、演算器群１２およびレジスタ群１３と内部
バス２８ａとの接続、ローカルメモリ１１、演算器群１
２およびレジスタ群１３への数値データの書込および読
出などのアクセス動作など演算ユニット１０において行
なわれる動作の制御を行なう制御回路およびそれらの動
作を実行する書込／読出回路、セレクタなどをすべて含
む。
【０１２２】図２に概念的に示す演算ユニット１０の構
成は、積和演算を高速に実行するディジタルシグナルプ
ロセッサ（ＤＳＰ）において利用されているものと類似
する。しかしながらこの図２に示す演算ユニット１０に
おいては、シーケンスコントローラ２５に含まれる回路
（その構成については後に詳細に説明する）は、数値デ
ータの数値に従って以後の処理手続を変更する機能を備
える。
【０１２３】すなわち、図３に示すように、シーケンス
コントローラ２５は、制御ユニットから与えられた命令
をデコードし、その命令に従って必要な制御信号を発生
して命令実行に必要な制御信号を発生するとともに、各
演算ユニット内の各構成要素とバス接続などを実行する
制御部２５ａと、演算処理実行時に与えられた数値デー
タの数値を識別する数値識別部２５ｂと、この数値識別
部２５ｂにより識別された数値に従って以後の処理手順
を変更すべきか否かを判定する処理手順変更判定部２５
ｃと、この処理手順変更判定部２５ｃの判定結果に従っ
て以後の演算処理の処理過程を設定して設定された演算
処理を実行する演算処理制御部２５ｄを含む。
【０１２４】演算処理制御部２５ｄへは、制御部２５ａ
から制御信号が与えられるように示される。演算処理制
御部２５ｄは、ローカルメモリ１１、演算器群１２また
はレジスタ群１３に対するアクセス制御および数値デー
タの伝達などを実行する。ここで、取扱かわれる数値デ
ータは、一般にプロセッサにおいて用いられるステータ
スフラグと異なり、演算処理されるべき処理データであ
り、演算器群で演算処理される処理データと同じく演算
処理部（たとえば演算器群）へ与えられるデータであ
る。
【０１２５】この数値データの数値に従って以後の処理
手順を変更する機能を設けることにより、不必要な演算
処理を省略することができ、効率的に処理を実行するこ
とができる。これらの処理手順変更の具体的構成につい
ては後に詳細に説明する。
【０１２６】図４は、図１に示す制御ユニットの概略構
成を示す図である。図４において、制御ユニット２０
は、命令発行／実行部２０ａと、演算器群２０ｂと、メ
モリ群２０ｃと、入出力選択回路２０ｄを含む。命令発
行／実行部２０ａは、命令メモリを含み、処理の進行に
従って命令メモリに格納された命令を順次入出力選択回
路２０ｄを介して命令ブロードキャストバス２１へ伝達
するとともに、命令を実行して、必要な処理データまた
は定数データを生成して入出力選択回路２０ｄを介して
アドレスブロードキャストバス２２およびデータブロー
ドキャストバス２３上へ伝達する機能を備える。命令発
行／実行部２０ａは、さらに命令メモリに格納された命
令に従って、演算器群２０ｂおよびメモリ群２０ｃを利
用して必要な演算処理を行なう機能を備える。この命令
発行／実行部２０ａは、また入出力選択回路２０ｄを介
して環状通信経路１９ａおよび１９ｂ（または演算ユニ
ット１０の入力ポート１４および１５）と双方向的にデ
ータの通信を行なうことができる。
【０１２７】図１を再び参照して、前述のように、演算
ユニット１０−１〜１０−ｎはそれぞれ処理データ入力
ポート１４およびアドレスデータ入力ポート１５を含
む。隣接する演算ユニット間で、入力ポート１４および
１５と出力ポート１６および１７が相互接続される。し
たがって、演算ユニット１０−１〜１０−ｎそれぞれに
おける、ローカルメモリ１１に対するアドレスはそのと
きに同時に与えられる処理データに従って別々に設定す
ることができる。この構成は、ニューラルネットワーク
が要求する積和演算ｕｊ＝ΣＷｊｉ・Ｓｉを高速に実行
することができるだけでなく、後に詳細に説明する無駄
演算削除機能の実現にも役立つ。まずニューラルネット
ワークにおける膜電位を算出する積和演算がどのように
実現されるかについて説明する。
【０１２８】図５に示すように、Ｉ層のニューロンから
の出力状態値Ｓ０〜Ｓ３に従って、Ｊ層のニューロンＮ
０〜Ｎ３が生成する膜電位ｕ０〜ｕ３を算出する動作に
ついて説明する。ニューロンＮ１〜Ｎ４をそれぞれ１つ
の演算ユニットに対応させる。
【０１２９】図６に、膜電位ｕｊ算出のための積和演算
実行時における数値データの配置を示す。図６におい
て、４つの演算ユニット１０−１〜１０−４がリング状
に相互接続される。演算ユニット１０−１〜１０−４各
々において、処理データ入力ポート１４はレジスタ４１
に結合され、アドレスデータ入力ポート１５はレジスタ
４２に結合される。レジスタ４１および４２は、またそ
の格納データが処理データ出力ポート１６およびアドレ
スデータ出力ポート１７に伝達されるように接続され
る。この接続形態により、演算ユニット１０−１〜１０
−４のレジスタ４１および４２がリング状に接続され
る。演算ユニット１０−１〜１０−４各々においてレジ
スタ４１にはニューロンの出力状態値Ｓｉ（ｉ＝０〜
３）が格納され、レジスタ４２に、レジスタ４１に格納
された出力状態値を生成するニューロンを識別するアド
レスｉが格納される。
【０１３０】演算ユニット１０−１〜１０−４各々にお
いて、ローカルメモリ１１には、出力状態値Ｓｉを生成
するニューロン識別アドレスｉと対応するアドレス位置
に対応の重みデータ（シナプス荷重値）Ｗｊｉが格納さ
れる。すなわち、演算ユニット１０−１のローカルメモ
リ１１には、アドレスｉにシナプス荷重値Ｗ０ｉが格納
される。演算ユニット１０−２のローカルメモリ１１に
おいては、アドレスｉにシナプス荷重値Ｗ１ｉが格納さ
れる。演算ユニット１０−３においては、ローカルメモ
リ１１のアドレスｉにシナプス荷重値Ｗ２ｉが格納され
る。演算ユニット１０−４においては、ローカルメモリ
１１のアドレスｉにシナプス荷重値Ｗ３ｉが格納され
る。演算ユニット１０−１〜１０−４各々において、レ
ジスタ４２が保持するアドレスデータはまたローカルメ
モリ１１に設けられたアドレスデコーダ４５へ与えられ
る。演算ユニット１０−１〜１０−４各々において、ロ
ーカルメモリ１１から読出されたシナプス荷重値Ｗｊｉ
は、対応のレジスタ４１に格納された出力状態値Ｓｉと
ともに図示しない演算部へ伝達されて積演算が実行さ
れ、その積結果が累算される。
【０１３１】図６に示す接続形態は、図２に示すシーケ
ンスコントローラ２５が積演算開始命令に従って確立す
る。出力状態値および対応のアドレスデータのレジスタ
への格納は、制御ユニット２０から順次伝達されてもよ
く、また図示しない外部の制御装置から順次ロードされ
る構成が利用されてもよい。図６に示す状態を初期状態
として、１サイクルごとにレジスタ４１および４２の保
持する数値データを時計方向にシフトさせて順次隣接す
る演算ユニットのレジスタ４１および４２へ伝達する。
【０１３２】次の状態では、図７に示すように、演算ユ
ニット１０−１においては、出力状態値Ｓ３およびアド
レス３が与えられ、演算ユニット１０−２においては、
出力状態値Ｓ０およびアドレス０が与えられ、演算ユニ
ット１０−３においては、出力状態値Ｓ１およびアドレ
ス１が与えられ、演算ユニット１０−４においては、出
力状態値Ｓ２およびアドレス２が与えられる。それぞれ
のアドレスに従って対応のローカルメモリからシナプス
荷重値を読出し、積演算および加算演算を実行する。こ
れにより、演算ユニット１０−１〜１０−４それぞれに
おいて２つの積項の加算が行なわれて格納される。
【０１３３】図８に示すように、３回シフト動作を実行
すると、演算ユニット１０−１においては、出力状態値
Ｓ１およびアドレス１が格納され、演算ユニット１０−
２においては、出力状態値Ｓ２およびアドレス２が与え
られ、演算ユニット１０−３においては、出力状態値Ｓ
３およびアドレス３が与えられ、演算ユニット１０−４
においては、出力状態値Ｓ０およびアドレス０が与えら
れる。これらのアドレスに従って、演算ユニット１０−
１〜１０−４においてローカルメモリ１１から対応のシ
ナプス荷重値を読出し、出力状態値Ｓ１との積演算を行
ない、累算する。演算ユニット１０−１においては、
（シナプス荷重値、出力状態値）の組として、（Ｗ０
０，Ｓ０）、（Ｗ０１，Ｓ１）、（Ｗ０２，Ｓ２）、
（Ｗ０３，Ｓ３）が順次供給されて積和演算が実行され
る。演算ユニット１０−２においては、（Ｗ１１，Ｓ
１）、（Ｗ１２，Ｓ２）、（Ｗ１３，Ｓ３）、（Ｗ１
０，Ｓ０）という処理データ対が順次供給されて積和演
算が実行される。
【０１３４】演算ユニット１０−３においては、（Ｗ２
２，Ｓ２）、（Ｗ２３，Ｓ３）、（Ｗ２０，Ｓ０）、お
よび（Ｗ２１，Ｓ１）の処理データ対による積和演算が
順次実行される。演算ユニット１０−４においては、
（Ｗ３３，Ｓ３）、（Ｗ３０，Ｓ０）、（Ｗ３１，Ｓ
１）、および（Ｗ３２，Ｓ２）の処理データ対が順次供
給されて積和演算が実行される。したがって、これらの
サイクル完了後、演算ユニット１０−１〜１０−４それ
ぞれにおいては、膜電位ｕｊが算出されて格納される。
演算ユニット１０−１〜１０−４はいずれのクロックサ
イクルにおいても、出力状態値およびアドレスが与えら
れており積和演算を実行する。したがって演算ユニット
１０−１〜１０−４すべてがアイドル状態となることな
く演算処理を実行しており、高速で処理を完了すること
ができる。
【０１３５】また出力状態値とこの出力状態値を出力す
るニューロンを識別するアドレスｉをともに与えること
により、ローカルメモリ１１においては、従来の構成と
異なりニューロン識別アドレス位置に対応のシナプス荷
重値データを格納するだけでよく、出力状態値の循環サ
イクルを考慮してシナプス荷重値を格納する必要がな
く、容易にシナプス荷重値をローカルメモリ内に格納す
ることができる。
【０１３６】また、演算ユニット１０の数および処理デ
ータ（シナプス荷重値）が増加しても、上述の動作特性
はそのまま維持されるため、数百〜数千要素（ニューロ
ン）の処理を要求する大規模なニューラルネットワーク
においても容易に拡張して対応することができ、効率的
に演算処理を実行することができる。この出力状態値と
対応のアドレスとをともに伝達することにより演算ユニ
ットそれぞれにおいてローカルメモリに異なったアドレ
ス指定を行なう構成は、上述のようなネットワークの拡
張の容易性（シナプス荷重値の格納順序や出力状態値の
伝達順序に応じて変更する必要がないこと等による）を
もたらすとともに、０または微小値の乗算というような
無駄演算を容易に削除することができる。このような無
駄演算は、後に具体的に説明するが、非線形処理後のニ
ューロンの出力状態値に多数発生する。特に、動作の最
終局面においては、８０ないし９０％の出力状態値が計
算不要になることが珍しくない。したがって、このよう
な無駄演算要素を演算ユニット１０へ供給しなければ、
無駄な演算が省略されるため、より高速で処理を実行す
ることができる。以下、この無駄演算処理の構成につい
て説明する。
【０１３７】今、４つの演算ユニット１０−１〜１０−
４を用いて０≦ｉ≦７の範囲の積和演算ｕｊ＝ΣＷｊｉ
・Ｓｉを並列実行する場合に、４つのニューロンの出力
状態値Ｓ２、Ｓ３、Ｓ５およびＳ７が０または微小値に
なったと仮定する。従来の装置においては、ニューロン
の出力状態値がＳ０〜Ｓ７と８個存在するため、８クロ
ックサイクル（演算サイクル）が必要とされる。
【０１３８】一方、本発明においては、図９に示すよう
に、演算処理が必要とされる出力状態値Ｓ０、Ｓ１、Ｓ
４およびＳ６のみを演算ユニット１０−１〜１０−４に
供給する。このとき出力状態値Ｓ０、Ｓ１、Ｓ４および
Ｓ６それぞれに対応してアドレス０、１、４および６を
演算ユニット１０−１〜１０−４へ供給する。演算ユニ
ット１０−１〜１０−４それぞれにおいて、ローカルメ
モリ１１から読出されるシナプス荷重値はレジスタ４２
に格納されたアドレスが指定する格納位置に格納された
シナプス荷重値である。したがって、４クロックサイク
ル（演算サイクル）で積和演算が終了する。
【０１３９】すなわち、演算ユニット１０−１において
は、処理データ（Ｗ００，Ｓ０）、（Ｗ０１，Ｓ１）、
（Ｗ０４，Ｓ４）、および（Ｗ０６，Ｓ６）に対する積
和演算が実行される。演算ユニット１０−２において
は、処理データ（Ｗ１１，Ｓ１）、（Ｗ１４，Ｓ４）、
（Ｗ１６，Ｓ６）、および（Ｗ１０，Ｓ０）が順次供給
されて積和演算が実行される。
【０１４０】演算ユニット１０−３においては、処理デ
ータ（Ｗ２４，Ｓ４）、（Ｗ２６，Ｓ６）、（Ｗ２０，
Ｓ０）、および（Ｗ２１，Ｓ１）が順次供給されて積和
演算が実行される。演算ユニット１０−４においては、
処理データ（Ｗ３６，Ｓ６）、（Ｗ３０，Ｓ０）、（Ｗ
３１，Ｓ１）、および（Ｗ３４，Ｓ４）が順次供給され
て積和演算が実行される。
【０１４１】すなわち、無駄演算を発生させる４つの出
力状態値Ｓ２、Ｓ３、Ｓ５およびＳ７に関連する処理デ
ータについての演算は実行されないため、高速で演算処
理を行なうことができる。このような無駄演算削減機能
は、１つの入出力用ポートのみを有する従来の装置また
はそれぞれの演算ユニットに対し共通にローカルメモリ
１１のアドレス情報を与える構成では得られない性質で
ある。次にこの無駄演算削減による処理効率の向上につ
いてシミュレーションにより求めた結果について具体的
に説明する。
【０１４２】［無駄演算省略のシミュレーション結果］
図１０は、階層型ニューラルネットワークにおける誤差
逆伝搬法に従った学習時のシナプス荷重値修正量、総二
乗誤差およびシナプス荷重値の学習繰返し回数による変
化をソフトウェアを用いたシミュレーションにより求め
た結果を示す図である。ニューラルネットワークは、入
力層Ｉ、中間層Ｈおよび出力層Ｏの３層構造を備える。
入力層Ｉ、隠れ層Ｈ、および出力層Ｏは、それぞれ１
６、８、および１６のニューロンを含む。学習係数ηは
０．３であり、慣性係数αは０．８である。図１０の横
軸は学習繰返し回数を示し、縦軸は学習曲線（単位は任
意）を示す。
【０１４３】Ｗ（Ｉ−Ｈ）は入力層ニューロンと隠れ層
ニューロンの間のシナプス荷重値Ｗｈｉの絶対値の平均
値〈｜Ｗｈｉ｜〉を示し、Ｗ（Ｈ−Ｏ）は隠れ層ニュー
ロンと出力層ニューロンの間のシナプス荷重値Ｗｏｈの
絶対値の平均値〈｜Ｗｏｈ｜〉を示す。ΔＷ（Ｉ−Ｈ）
は、入力層ニューロンと隠れ層ニューロンの間のシナプ
ス荷重値の修正量の絶対値の平均値〈｜ΔＷｈｉ｜〉を
示し、ΔＷ（Ｈ−Ｏ）は隠れ層ニューロンと出力層ニュ
ーロンの間のシナプス荷重値の修正量の絶対値の平均値
〈｜ΔＷｏｈ｜〉を示す。総二乗誤差は、すべてのニュ
ーロンの誤差ｅの総和Σｅ2 を示す。図１０に示すシミ
ュレーション結果においては、演算は省略せずにすべて
行なわれている。学習が進むにつれて、パラメータＷ
（Ｉ−Ｈ）、Ｗ（Ｈ−Ｏ）、ΔＷ（Ｉ−Ｈ）、ΔＷ（Ｈ
−Ｏ）およびΣｅ2 の変化量が小さくなっているのが見
られる。
【０１４４】図１１は、階層型ニューラルネットワーク
における誤差逆伝搬法に従った学習時のシナプス荷重
値、シナプス荷重値修正量、および総二乗誤差の学習繰
返し回数による変化をソフトウェアを用いたシミュレー
ションにより求めた結果を示す図である。図１１に示す
シミュレーションでは、入力層、隠れ層、および出力層
は２５６、６４および２５６のニューロンをそれぞれ含
む。学習係数ηおよび慣性係数αはそれぞれ０．３およ
び０．８である。図１１に示す各パラメータの定義は、
図１０に示すものと同じである。図１１に示すシミュレ
ーションにおいても、すべての演算処理が実行されてい
る。用いられたサンプル数は２５６である。この図１１
に示すシミュレーション結果においても、学習が進むに
つれて、各パラメータの変化量は少なくなっている。
【０１４５】図１２は、誤差逆伝搬法による学習時にお
ける入力層ニューロンと隠れ層ニューロン間の、しきい
値ε（ΔＷ）より大きいシナプス荷重値修正量の割合の
変化を示す図である。
【０１４６】図１２においては、しきい値ε（ΔＷ）と
して２・１０-5を用いる。学習係数ηおよび慣性係数α
はそれぞれ０．３および０．８である。また図１２にお
いては、入力層Ｉ、隠れ層Ｈおよび出力層Ｏのニューロ
ン数が１６、８および１６のニューラルネットワーク、
６４、３２および６４のニューラルネットワーク、およ
び２５６、６４および２５６のニューラルネットワーク
各々についての有効重み修正量（しきい値ε（ΔＷ）以
上のシナプス荷重値修正量を有するニューロンの数／シ
ナプス荷重値の修正を受けるニューロンの数）を縦軸で
パーセントで示し、横軸に学習繰返し回数を示す。図１
２から見られるように、いずれのニューラルネットワー
クの構成においても、学習が進むにつれて、有効重み修
正が小さくなっている。すなわち学習が進むにつれて、
シナプス荷重値修正量ΔＷｈｉがしきい値ε（ΔＷ）よ
り小さくなるニューロンの数が増大している。
【０１４７】図１３は、３層ニューラルネットワークに
おける誤差逆伝搬法による学習時の隠れ層ニューロンお
よび出力層ニューロン間の有効重み修正を示す図であ
る。図１３に示す有効重み修正（図１３に縦軸でパーセ
ントで示す）は、図１２に示す有効重み修正を求める場
合と同様の条件を用いてソフトウェアにより求められて
いる。図１３の横軸に学習繰返し回数（単位は任意）を
示す。隠れ層ニューロンと出力層ニューロン間のシナプ
ス荷重値修正演算処理においても、学習が進むにつれて
（繰返し回数が増大するにつれて）、シナプス荷重値修
正量ΔＷｏｈがしきい値ε（ΔＷ）よりも大きいニュー
ロンの数が少なくなっている。
【０１４８】図１４は、最終学習誤差と処理される演算
数との関係をソフトウェアシミュレーションにより求め
た結果を示す図である。図１４における学習の条件は、
図１２および図１３に示すシミュレーションに用いられ
たものと同じである。横軸に最終学習誤差Ｅｆｉｎ（出
力パターンと教師パターンとの誤差）を示し、縦軸に省
略される演算数の全演算数に対する割合（パーセント）
を示す。最終学習誤差Ｅｆｉｎすなわち許容される演算
誤差が大きい場合には、学習が十分に行なわれない状態
で学習が終了するため（学習繰返し回数が小さい状
態）、シナプス荷重値Ｗおよびシナプス荷重値修正量が
比較的大きい状態であり、省略できる演算（しきい値ε
（ΔＷ）より小さなシナプス荷重値修正量が関係する演
算）の数は小さくなる。
【０１４９】一方、最終学習誤差Ｅｆｉｎが小さい場合
には、シナプス荷重値Ｗおよびシナプス荷重値修正量の
値は小さくなり、すなわち有効重み修正が小さくなる。
したがって最終学習誤差Ｅｆｉｎが小さくなると、省略
できる演算の数が増大し、処理速度が増大する。たとえ
ば入力層、隠れ層、および出力層のニューロン数が２５
６、６４および２５６のニューラルネットワークにおい
ては、最終学習誤差Ｅｆｉｎが２-8の場合には、約７０
％の演算処理を省略することができる。
【０１５０】図１４から明らかなように、本発明のよう
に、入力ポートおよび出力ポートを２つ設け、それぞれ
に処理データおよびアドレスデータを与えて各演算ユニ
ットで別々のアドレス指定を行なえる構成とすることに
より、不必要な演算処理を省略することができ、処理速
度を大幅に改善することができる。シナプス荷重値修正
量ΔＷに対するしきい値ε（ΔＷ）のみならず、出力状
態値Ｓおよび出力状態値変化量ΔＳそれぞれに対しても
しきい値ε（Ｓ）およびε（ΔＳ）を設けることにより
処理精度および処理速度を調整してもよい。
【０１５１】図１に示す構成は上述の演算処理削減効果
に加えて、以下の利点を与える。図１に示すように、演
算ユニット１０−１〜１０−ｎは共通にアドレスブロー
ドキャストバス２２およびデータブロードキャストバス
２３に接続され、制御ユニット２０は、これらのバス２
２および２３を介して演算ユニット１０−１〜１０−ｎ
に対し同時にアドレスデータおよび処理データまたは定
数データを通報することができる。すなわち演算ユニッ
ト１０−１〜１０−ｎが共通に必要とする定数データお
よびアドレスは制御ユニット２０から演算ユニット１０
−１〜１０−ｎすべてに対して通報することができる。
制御ユニット２０においてのみ演算ユニット１０−１〜
１０−ｎすべてが共通に必要とする数値データ（たとえ
ば定数データ）を格納しておき、必要に応じて制御ユニ
ット２０から演算ユニット１０−１〜１０−ｎへ共通数
値データを通報する。演算ユニット１０−１〜１０−ｎ
個々にこのような共通数値データを常時格納する必要が
なく、演算ユニット１０−１〜１０−ｎにおけるローカ
ルメモリ１１の記憶容量の低減およびアドレス情報保持
用レジスタの節約を実現することができ、装置規模を低
減することができる。
【０１５２】またセレクタ３３により、必要なときのみ
非線形変換ユニット３０を環状通信経路１９ｂに挿入す
ることができる。非線形変換ユニット３０は、複雑な非
線形変換処理を行なうため、一般に装置規模は大きい。
セレクタ３３を設けることにより、１つの非線形変換ユ
ニット３０を演算ユニット１０−１〜１０−ｎすべてが
共通に利用することができる。演算ユニット１０−１〜
１０−ｎすべてに非線形変換ユニットを設ける必要がな
く、小占有面積の装置を実現することができる。非線形
変換Ｓｊ＝ｆ（ｕｊ）の処理はたとえば以下のように実
行される。
【０１５３】演算ユニット１０−１〜１０−ｎ各々にお
いて積和演算ΣＷｊｉ・Ｓｉより求められた膜電位ｕｊ
を、データ入力ポート１４およびデータ出力ポート１６
に接続されたレジスタ４１内に格納する（図６参照）。
続いて、セレクタ３３の接続経路を切換えて、非線形変
換ユニット３０を環状通信経路１９ｂに挿入する。積和
演算値と同様にして、クロックに従ってレジスタ４１に
格納された膜電位ｕｊを環状通信経路１９ｂに移動させ
る。非線形変換ユニット３０は、各クロックごとに入力
ポート３１に与えられた膜電位ｕｊに非線形変換処理を
施して出力ポート３２を介してセレクタ３３へ与える。
演算ユニット１０−ｎに格納された膜電位ｕｎから順次
非線形変換処理されてセレクタ３３および環状通信経路
１９ｂを介して初段の演算ユニット１０−１のレジスタ
４１へ非線形変換後の出力状態値Ｓｎが格納される。演
算ユニット１０−１〜１０−ｎの数と等しい数のクロッ
クを与えて各演算ユニット１０−１〜１０−ｎ内のレジ
スタ４１の格納データをシフトさせることにより、演算
ユニット１０−１〜１０−ｎのレジスタ４１内に出力状
態値Ｓｉが格納される。
【０１５４】また、非線形変換ユニット３０内に出力状
態値Ｓｊを逐次加工する機能を設けることもできる。た
とえば、出力状態値Ｓｊがしきい値Δε（Ｓ）以上であ
るか否かを比較器を用いて非線形変換処理後に判定し、
０または微小値の出力状態値Ｓｊの環状通信経路１９ｂ
への送出を防止することができ、また演算を省略するこ
とができる。
【０１５５】［変更例１］図１５は、この発明による数
値演算処理装置の変更例の構成を示す図である。図１５
に示す配置においては、環状通信経路１９ａおよび１９
ｂにセレクタ５０および５１が挿入される。セレクタ５
０は、演算ユニット１０−ｎの出力ポート１７からの出
力データと入力端子５３ａから与えられるデータ（数値
データとは限らない）の一方を選択して環状通信経路１
９ａを介して演算ユニット１０−１の入力ポート１５へ
与える。セレクタ５１は、演算ユニット１０−ｎの出力
ポート１６から与えられる出力データと入力端子５３ｂ
を介して与えられるデータの一方を選択して環状通信経
路１９ｂを介して演算ユニット１０−１の入力ポート１
４へ与える。演算ユニット１０−ｎの出力ポート１６お
よび１７は、また出力端子５２ｂおよび５２ａに接続さ
れる。入力端子５３ａ、５３ｂ、および出力端子５２ａ
および５２ｂは、この数値演算処理装置が形成される半
導体チップに設けられる信号（データ）入出力用端子で
ある。
【０１５６】セレクタ５０および５１の接続経路の設定
は外部から行なわれるか（特定のピン端子の電位を制御
する）またはチップ上の特定のパッドを固定的に所定電
位に接続することにより行なうのが好ましい。セレクタ
５０および５１は、後に説明するように、主としてこの
図１に示す数値演算処理装置が形成されたチップを複数
個相互接続してニューラルネットワークの規模を拡張す
るために用いられるためである。ニューラルネットワー
クが１つの数値演算処理装置（チップ）で構成される場
合には、セレクタ５０および５１は制御ユニット２０
（図１参照）の制御の下にその接続経路が確立されるよ
うに構成されてもよい（外部から処理すべきデータをロ
ードするときに都合がよい）。
【０１５７】次にセレクタ５０および５１を用いたニュ
ーラルネットワークの規模の拡張について説明する。
【０１５８】通常、現在の利用可能な製造技術の制約か
ら１つの半導体チップ上に集積することのできる演算ユ
ニットの数は１制御ユニットに対し数個ないし数十個に
とどまっている（Griffin M. et al.,“An 11-Million
Transistor Neural NetworkExecution Engine”，ISSCC
Digest of Technical Papers, 1991, pp.180-181参照)
。したがって、数百ないし数千個の演算ユニットを相
互接続した大規模のニューラルネットワークを構成する
ためには、複数の半導体チップ（各チップに数値演算処
理装置が形成されている）を相互接続することが必要と
なる。セレクタ５０および５１を設けることにより、半
導体チップを相互接続して大規模ニューラルネットワー
クを容易に実現することができる。
【０１５９】図１６にｍ（ｍ≧２の整数）個の半導体チ
ップを相互接続した接続態様を示す。半導体チップ５４
−１ないし５４−ｍの各々は同一構造を有し、図１に示
す構成と同様制御ユニット２０、非線形変換ユニット３
０、および演算ユニット１０−１〜１０−ｎを含む。セ
レクタ５０および５１は示していないが、入力端子５３
ａおよび５３ｂに与えられたデータを選択する状態に設
定される。半導体チップ５４−ｋ（ｋ＝１〜ｍ−１）の
出力端子５２ａおよび５２ｂは次段の半導体チップ５４
−（ｋ＋１）の入力端子５３ａおよび５３ｂに接続され
る。半導体チップ５４−ｍの出力端子５２ａおよび５３
ｂは環状通信経路５５ａおよび５５ｂを介して半導体チ
ップ５４−１の入力端子５３ａおよび５３ｂに接続され
る。したがってｎ・ｍ個の演算ユニットをリング状に接
続する大きな環状通信経路が作成され、大規模なニュー
ラルネットワークが実現される。
【０１６０】半導体チップ５４−１〜５４−ｍ各々にお
いて、処理動作時には、演算ユニット１０−１〜１０−
ｎへは、出力状態値を示す処理データと対応のニューロ
ンを示すアドレスが与えられる。したがって、この大き
な環状通信経路５５ａおよび５５ｂを介して出力状態値
が順次伝達される場合においても、各演算ユニットにお
いて対応のシナプス荷重値データを読出すことができる
ため、演算ユニット各々において、ローカルメモリ内に
は、その実現されるニューラルネットワークに含まれる
ニューロンを識別するアドレスとこのアドレスに対応し
てシナプス荷重値データを格納しておけばよいため、容
易に先の無駄演算削減機能を有する大規模ニューラルネ
ットワークを実現することができる。
【０１６１】また半導体チップ５４−１〜５４−ｍ各々
において非線形変換ユニット３０が設けられているた
め、半導体チップ５４−１〜５４−ｍそれぞれにおいて
非線形変換処理を並列に実行することができる。図１５
に示すセレクタ５０の次段に図１に示すセレクタ３３を
設けることにより、半導体チップ５４−１〜５４−ｍそ
れぞれにおいて、そこに含まれる演算ユニット１０−１
〜１０−ｎが表現するニューロンの出力状態値を算出
し、その算出結果をそれぞれの半導体チップ内に保持す
ることができるとともに隣接チップへ転送することがで
きる。
【０１６２】［変更例２］図４に示すように、制御ユニ
ット２０は、演算ユニットの入力ポート１４および１５
とデータの授受を行なうことができる。この場合、さら
に半導体チップ内において入出力端子とデータの授受を
行なうように構成を拡張することができる。
【０１６３】図１７は、この発明における数値演算処理
装置の他の変更例の構成を示す図である。図１７におい
ては、１つの半導体チップ５４に形成された数値演算処
理装置の構成を概略的に示す。図１７に示す構成におい
て、制御ユニット２０は、入出力端子５３ａおよび５３
ｂに与えられたデータを入力経路８１ａおよび８１ｂを
介して受ける入力ポート２０ｅと、出力端子５２ａおよ
び５２ｂへデータを出力経路８２ａおよび８２ｂを介し
て伝達する出力ポート２０ｆを含む。入力ポート２０ｅ
および出力ポート２０ｆはそれぞれ図４に示す入出力選
択回路の拡張構成として含まれる。
【０１６４】図１７に示す構成においては、制御ユニッ
ト２０は入力端子５３ａおよび５３ｂへ与えられたデー
タを入力経路８１（８１ａおよび８１ｂ）を介して入力
ポート２０ｅに受け、さらに必要な加工を施して出力ポ
ート２０ｆから出力経路８２を介して出力端子５２ａお
よび５２ｂへ伝達することができる。この構成は、演算
ユニット１０−１〜１０−ｎによる処理を受ける必要の
ないデータの処理を制御ユニット２０で行なうことがで
きるとともに、以下の利点を与える。なお、図１７に示
す配置においては、図１５に示すセレクタ５０および５
１が設けられており、入力経路８１および出力経路８２
は、たとえば、これらのセレクタ５０および５１の入力
部前段に設けられ、制御ユニット２０は、入力端子５３
ａおよび５３ｂならびに出力端子５２ａおよび５２ｂへ
セレクタ５０および５１を介さずにデータの伝達を行な
う。伝達経路を切換えるセレクタが設けられてもよい。
【０１６５】図１８に図１７に示す半導体チップ５４を
複数個（ｍ個）リング状に接続した状態を示す。図１８
において、半導体チップ５４−１〜５４−ｍ各々におい
て、入力端子５３ａおよび５３ｂは入力経路８１を介し
て制御ユニット２０の入力ポート（図１８には示さず）
に接続され、出力端子５２ａおよび５２ｂは制御ユニッ
ト２０の出力ポート（図１８には示さず）に接続され
る。したがって、入力経路８１、出力経路８２および環
状通信経路５５ａおよび５５ｂを介して制御ユニット２
０がリング状に接続され、制御ユニット間の通信が可能
となる。隣接半導体チップ５４−ｋおよび５４−（ｋ＋
１）に含まれる制御ユニット２０の間の通信には１クロ
ックサイクルが必要とされるだけであり、演算ユニット
１０−１〜１０−ｎのレジスタ４１および４２（たとえ
ば図９参照）を用いた通信に比べて高速でデータ転送を
行なうことができる。すなわち、１クロックサイクルに
おいて、制御ユニット２０に含まれる任意のレジスタ
（図４に示す制御ユニットの構成において明確には示し
ているように制御ユニットは、必要なレジスタ群を含ん
でおり、演算処理に必要なデータを一時的に格納してい
る）の内容を出力経路８２を介して出力端子５２ａおよ
び／または５２ｂに転送するとともに、入力端子５３ａ
および／または５３ｂに与えられる隣接する半導体チッ
プ内の制御ユニット２０から与えられたデータを入力経
路８１を介して取込む。これにより、１クロックサイク
ルで隣接する半導体チップ内の制御ユニットへデータを
転送することができる。さらに離れた半導体チップに含
まれる制御ユニットへは、上述の動作を複数クロックサ
イクル繰返すことによりデータを転送することができ
る。
【０１６６】以上のように、図１７に示すように、入出
力端子を制御ユニットへ接続する経路を設けることによ
り、高速の制御ユニット間通信を実現することができ
る。
【０１６７】［変更例３］演算ユニット１０は、図２に
示すように、演算器群１２およびレジスタ群１３を含ん
でおり、シーケンスコントローラ２５の制御の下に様々
な演算を実行する。ある種のニューラルネットワーク
（ＬＶＱモデル：学習ベクトル量子化モデル）において
は、最大の出力状態値を出力する出力ニューロンを識別
する必要がある。レジスタ群１３に含まれるレジスタを
利用して演算を実行することにより、このような最大値
検出処理は容易に実現することができる。以下に、演算
結果を参照して演算結果格納用レジスタの演算結果デー
タ格納動作を制御する演算処理（状態レジスタ参照演
算）の方法について説明する。
【０１６８】図１９は、演算ユニットにおける状態レジ
スタ参照演算を行なうための配置を示す図である。図１
９においては、演算結果データを格納するための演算結
果格納用レジスタ６８と、ローカルメモリ１１から読出
された数値データＷｉ（ｉ＝０〜４）と演算結果格納用
レジスタ６８に格納された演算結果データの減算器６９
と、減算器６９の演算結果の状態を反映するステータス
ビット（負Ｎ、０Ｚおよび桁溢れＣ等）を格納する状態
レジスタ６１と、状態レジスタ６１に格納された負ビッ
トＮに従ってクロック信号６６を通過させるゲート回路
６７を含む。減算器６９は、図２に示す配置において演
算器群１２に含まれており、演算結果格納用レジスタ６
８および状態レジスタ６１は、レジスタ群１３に含まれ
る。ゲート回路６７は、動作制御の構成要素であり、図
２に示すシーケンスコントローラ２５の構成要素として
含まれる。演算結果格納用レジスタ６８は、ゲート回路
６７からクロック信号が与えられたときにローカルメモ
リ１１から読出された数値データを格納する。ローカル
メモリ１１に格納される数値データＷｉは、最大値検出
処理を受けるべき数値データであり、たとえば出力状態
値である。
【０１６９】状態レジスタ６１において、減算器６９の
減算結果が負の場合には負ビットＮがアサートされ、０
の場合には０ビットＺがアサートされる。桁溢れが生じ
た場合には桁溢れビットＣがアサートされる。この状態
レジスタ６１からは負ビットＮの状態を表わす信号６５
が取出されてゲート回路６７へ与えられる。ゲート回路
６７は、この信号６５が負状態を示すとき、すなわち負
ビットＮがアサートされたときにクロック信号６６を通
過させる。状態レジスタ６１は、減算器６９の演算結果
の符号ビット６２の値に従ってビットＮ、ＺおよびＣの
いずれかをアサートする。状態レジスタ６１は、その出
力信号６５が負ビットＮの状態を表現する信号であるた
め、この場合特にビットＺおよびＣは利用する必要はな
く、減算器６９の演算結果の符号ビット６２のみを用い
ることにより最大値検出を行なう。ここで、減算器６９
はレジスタ６８の保持データからローカルメモリ１１か
ら読出された数値データの減算を行なう。
【０１７０】上述の構成において、ローカルメモリ１１
へ与えられるアドレス情報７０を増加させながらデコー
ダ４５へ与え、ローカルメモリ１１から数値データＷｉ
を順次読出し、減算器６９の負入力へ与えるとともに、
クロック信号６６をゲート回路６７へ与えることによ
り、演算結果格納用レジスタ６８は、最終的にローカル
メモリ１１に格納された数値データＷｉのうちの最大値
を与える数値データを格納する。レジスタ６８の内容が
書換えられるのは、ゲート回路６７からクロック信号が
与えられたときである。ゲート回路６７は、状態レジス
タ６１に格納された負ビットＮがアサートされたときに
クロック信号をレジスタ６８へ与える。負ビットＮがア
サートされるのは、減算器６９の演算結果が負であり、
符号ビット６２が負状態を示すときである。すなわちロ
ーカルメモリ１１から与えられた数値データが状態レジ
スタ６８に保持された数値データよりも大きい場合であ
る。したがって、演算ユニット１０において、ローカル
メモリ１１に格納された数値データＷｉの最大値を検出
することができる。この上述の動作は後に全体の装置に
おける最大値検出動作を示すフロー図において詳細に説
明するが、以下に述べるＣ言語記述と等価である。
【０１７１】 ｒｅｇ＝０； ｆｏｒ（ｉ＝０；ｉ＜ＭＡＸＡＲＲＡＹ；ｉ＋＋）｛ ｓｒｅｇ＝ｓｇｎ（ｗ［ｉ］−ｒｅｇ）； ｒｅｇ＝ｓｒｅｇ？ｗ［ｉ］：ｒｅｇ； ｝ 上述のＣ言語記述において、変数ｓｒｅｇは、状態レジ
スタ６１を示し、変数ｒｅｇは演算結果を格納するレジ
スタ６８を示し、配列ｗ［ｉ］はローカルメモリ１１に
格納された数値データＷｉを示す。定数ＭＡＸＡＲＲＡ
Ｙは、ローカルメモリ１１に格納された数値データの数
（図１９においては５個）を示す。関数ｓｇｎ（）は減
算器６９からの演算結果の符号ビットを与える関数であ
る。このＣ言語記述の内容は、以下のとおりである。ま
ず変数ｒｅｇを０に初期設定する。次いでｉを０に初期
設定し、次いでｉを定数ＭＡＸＡＲＲＡＹまで順次１ず
つ増分して以下の動作を実行する。配列ｗ［ｉ］と変数
ｒｅｇの差の符号を求め、その符号を変数ｓｒｅｇとす
る。変数ｓｒｅｇの値に従って配列ｗ［ｉ］および変数
ｒｅｇの一方を選択して新たに変数ｒｅｇとする。した
がって、このｉが定数ＭＡＸＡＲＲＡＹまで到達したと
きには演算ユニット１０においてローカルメモリ１１に
格納された数値データのうちの最大値が求められる。
【０１７２】数値演算処理装置においては、演算ユニッ
トが複数個設けられている。したがって演算ユニット１
０のレジスタ６８に格納された数値データは最大値の候
補である。次に、複数の演算ユニットのそれぞれのレジ
スタ６８に格納された数値データから最大値を求める動
作について説明する。
【０１７３】図２０は、最大値を求める際の１つの演算
ユニット内部の接続形態を示す図である。図２０におい
て、演算ユニット１０においては、（入力ポート１４と
出力ポート１６の間にデータレジスタ４４が接続され
る。残りの演算部の構成は図１９に示すものと同じであ
る。レジスタ４４に格納された数値データが減算器６９
およびレジスタ６８へ与えられる。この図２０に示す接
続配置は、図２に示すシーケンスコントローラ２５の制
御の下に実現される。データレジスタ４４には、演算結
果格納用レジスタ６８に格納された最大値候補の数値デ
ータが格納される。動作時においては、データレジスタ
４４に格納された数値データが演算結果格納用レジスタ
６８に格納された数値データよりも大きい場合に、演算
結果格納用レジスタ６８にはデータレジスタ４４に格納
された数値データが格納される。データレジスタ４４に
格納された数値データを順次隣接演算ユニットへ伝達し
て減算および格納動作を実行する。これは、次のＣ言語
記述と等価である。
【０１７４】 ｆｏｒ（ｉ＝０；ｉ＜ＭＡＸＰＵ；ｉ＋＋）｛ ｓｒｅｇ＝ｓｇｎ（ｄｒｅｇ−ｒｅｇ）； ｒｅｇ＝ｓｒｅｇ？ｄｒｅｇ：ｒｅｇ； ｝ 新しい変数ｄｒｅｇは、データ入力ポート１４およびデ
ータ出力ポート１６に接続されたデータレジスタ４４を
示し、定数ＭＡＸＰＵは、環状通信経路に接続される演
算ユニットの数である。レジスタ４４に格納された最大
値候補は環状通信経路を順次転送されて各演算ユニット
における最大値候補と比較される。最終的には、演算ユ
ニット１０のレジスタ６８（ｒｅｇ）には最大値候補か
ら選ばれた最終的な最大値が共通に保持され、またデー
タレジスタ４４（ｄｒｅｇ）に保持された最大値候補は
対応の演算ユニット内に戻る。この一連の動作について
具体的に以下に説明する。
【０１７５】今図２１（ａ）に示すように、４つの演算
ユニットに格納された数値データＡ０〜Ａ３のうちの最
大値を求める動作について考える。数値データＡ０〜Ａ
３は、Ａ０＜Ａ１＜Ａ２＜Ａ３の関係を満足するものと
する。第１サイクルにおいては、レジスタ４４−１〜４
４−４においては、数値データＡ３、Ａ０、Ａ１、およ
びＡ２が格納される。対応のレジスタ６８−１〜６８−
４には、数値データＡ０、Ａ１、Ａ２およびＡ３が格納
される。減算処理を行なうと、数値データＡ３は数値デ
ータＡ０より大きいため、レジスタ６８−１の保持デー
タが数値データＡ０から数値データＡ３に変わる。残り
のレジスタ６８−２〜６８−４においては保持データは
更新されない。
【０１７６】次の演算サイクルにおいては、図２１
（ｂ）に示すように、データレジスタ４４−１〜４４−
４に、数値データＡ２、Ａ３、Ａ０およびＡ１がそれぞ
れ格納される。減算処理を実行すると、レジスタ６８−
２に格納された数値データＡ１がレジスタ４４−２に格
納された数値データＡ３で置換えられる。他のレジスタ
６８−１、６８−３および６８−４においては、その保
持データの更新は行なわれない。
【０１７７】次の演算サイクルにおいては、図２１
（ｃ）に示すように、データレジスタ４４−１〜４４−
４の保持データが１つシフトされており、数値データＡ
１、Ａ２、Ａ３およびＡ０がそれぞれ格納される。レジ
スタ４４−３に格納された数値データＡ３によりレジス
タ６８−３に格納された数値データＡ２が更新される。
残りのレジスタ６８−１、６８−２、および６８−４に
おいてはその保持データの更新は行なわれない。
【０１７８】したがって、次の演算サイクルにおいて
は、図２１（ｄ）に示すように、レジスタ４４−１〜４
４−４に最初の数値データＡ０〜Ａ３がそれぞれ格納さ
れると、レジスタ６８−１〜６８−４には、数値データ
Ａ３が共通に格納される。これにより最大値を検出する
ことができる。この図２１（ｄ）に示す状態において、
レジスタ４４−１〜４４−４と対応のレジスタ６８−１
〜６８−４の保持データの減算を行なう。最大の数値デ
ータＡ３を格納するデータレジスタ４４−４に対応する
演算ユニットにおいてのみ減算器の符号ビットが０であ
り、残りの演算ユニットにおいては符号ビットは正とな
る。したがってこの符号ビットを状態レジスタ６１（図
２０参照）に格納することによりいずれの演算ユニット
が最大値を生成したかを識別することができる。
【０１７９】ここで、減算器６９の出力する符号ビット
６２は、正および負の場合に負ビットＮをアサートし、
正の場合には符号ビット６２は負ビット６１をデアサー
トする。減算器６９の演算結果が正または０のときにそ
の符号ビットが０であり、減算器６９の演算結果が負の
ときのみその符号ビットが１となるような数値データの
表示が用いられる場合には、０ビットＺを観察してもよ
い。０ビットＺの生成は、減算器６９の演算結果の全ビ
ットのＮＡＮＤをとることにより生成することができ
る。またこれに代えて、最終段階の演算においては、減
算器６９は、データレジスタ４４の保持データからレジ
スタ６８の保持データを減算するように構成されてもよ
い。いずれの場合であっても、数値データの表示形態に
応じてその演算処理形態を適当に調節することにより最
大値を生成する演算ユニットにおける状態レジスタ６１
の特定のビットを残りの演算ユニットにおける状態レジ
スタに対応の状態ビットの値と異ならせることができ
る。
【０１８０】この最終的に行なわれる操作は以下のＣ言
語記述に対応する。 ｓｒｅｇ＝ｓｇｎ（ｄｒｅｇ−ｒｅｇ）； 図２２に上述の最大値検出動作のフロー図を示す。図２
２に示すフロー図の詳細説明は説明が重複するため省略
するが、処理ステップ群（ａ）は、１つの演算ユニット
内において最大値候補を求める演算処理動作に対応す
る。処理ステップ群（ｂ）は演算ユニットのレジスタ６
８内の保持データを最大値の保持データに更新する演算
処理ステップ（図２０参照）に対応する。処理ステップ
（ｃ）は最大の数値データを生成して演算ユニットを識
別する処理ステップに対応する。
【０１８１】最大の数値データを生成した演算ユニット
の識別は制御ユニット２０において行なわれる。演算ユ
ニット各々から状態レジスタ６１の全ビットを制御ユニ
ット２０へ通報すると、信号配線の本数が増大し、配線
占有面積が増大するため、集積化の観点から好ましくな
い。
【０１８２】そこで、図２３に示すように、演算ユニッ
ト１０−１〜１０−ｎ各々において、状態レジスタ６１
の特定のビットのみを信号線７３を介して並列に制御ユ
ニット２０へ伝達する。演算ユニット１０−１〜１０−
ｎは制御ユニット２０からの命令に従って並列に動作し
ている。セレクタ７２は、図２に示すシーケンスコント
ローラ２５の制御の下に状態レジスタ６１の特定のステ
ータスビット（最大値検出の場合にはたとえば負ビット
Ｎ）を選択して信号線７３を介して制御ユニット２０へ
与える。演算ユニット１０−１〜１０−ｎからは１ビッ
トのステータスビットが信号線７３を介して制御ユニッ
ト２０へ与えられるため、配線本数を低減することがで
きるとともに、制御ユニット２０が参照するビット数を
大幅に圧縮することができ、制御ユニット２０における
検出処理に関係する回路部分の設計を簡単化することが
できる。
【０１８３】なお、上述の状態レジスタ参照演算におい
ては、最大値検出動作について説明したが、これは最小
値検出処理動作であってもよく、また他の処理動作であ
ってもよい。特定の条件を満足する数値データを生成す
る演算ユニットを識別する処理動作であればよい。また
制御ユニット２０においては、この信号線７３は、図１
４に示す入出力選択回路２０ｄへ付加的に与えられても
よく、また他の専用のポートが利用される構成が利用さ
れてもよい。
【０１８４】［チップレイアウト］図２４は、この発明
による数値演算処理装置のチップ上のレイアウトを示す
図である。図２４において、半導体チップ５４の中央部
に制御ユニット２０および非線形変換ユニット３０が配
置される。これら制御ユニット２０および非線形変換部
３０を挟むように、半導体チップ５４の外周部に演算ユ
ニット１０が配置される。この演算ユニットの数は特に
限定されないが、図２４においては１２個の演算ユニッ
ト１０を例示的に示す。制御ユニット２０は、すべての
演算ユニット１０に対し命令、アドレスデータおよび数
値データを伝達する。すなわち制御ユニット２０はすべ
ての演算ユニット１０と通報する。したがって制御ユニ
ット２０をチップ５４の中央部に配置しこの制御ユニッ
ト２０を囲むように演算ユニット１０を配置することに
より、制御ユニット２０と演算ユニット１０それぞれの
間の信号配線の長さを短くすることができるとともに信
号配線が容易となる（信号配線が錯綜することはなくな
る）。信号配線が短くなると、この信号配線における信
号伝搬遅延を小さくすることができ、高速で信号を伝搬
させることができ、高速動作が可能になる。
【０１８５】制御ユニット２０と非線形変換ユニット３
０を隣接してチップ５４中央部に配置するのは、制御ユ
ニット２０と非線形変換ユニット３０とでまた相互に信
号の授受が行なわれるためである。制御ユニット２０
は、非線形変換ユニットにおける変換処理動作の制御を
行なうための命令を発行して非線形変換ユニット３０へ
与える。非線形変換ユニット３０が、たとえば前述のご
とく無駄演算削減のための所定の条件を満足する演算処
理結果を省略する機能を有する場合、このような処理結
果は制御ユニット２０へ通報される。制御ユニット２０
および非線形変換ユニット３０の間では比較的相互作用
が強く命令および数値データの授受が行なわれるため、
両者を近接して配置することにより、信号配線の容易化
および信号伝搬遅延の低減を図る。
【０１８６】非線形変換ユニット３０を挟んで演算ユニ
ット１０を配置することにより、演算ユニット１０すべ
てを環状通信経路を介して接続する場合と環状通信経路
内に非線形変換ユニット３０を挿入する接続とを容易に
実現することができる。たとえば図２４において半導体
チップ５４の右外周部に図１に示すセレクタ３３を配置
することにより、容易に環状通信経路の接続形態を変更
することができ、信号配線の容易化を図ることができ
る。
【０１８７】また半導体チップ５４の両辺に沿って演算
ユニット１０を配置することにより、チップを相互接続
して大規模ニューラルネットワークを構築する場合、チ
ップ相互接続が容易となる。たとえば図２４において、
半導体チップ５４の左側の上下の演算ユニット１０に対
し入力端子および出力端子を設け、同様に半導体チップ
５４の右側の上部の演算ユニット１０に対応してそれぞ
れ出力端子および入力端子を設ける。半導体チップ単体
で用いる場合は、一方側の入出力端子を相互接続するこ
とにより環状通信経路を容易に接続することができる。
複数の半導体チップ５４を相互接続する場合には、一方
の入力端子および出力端子を隣接半導体チップ間で相互
接続する。これにより複数の半導体チップ５４にわたっ
て演算ユニット１０が相互接続される大規模な環状通信
経路５５ａおよび５５ｂを形成することができる。制御
ユニットおよび非線形変換ユニット各々に対応して入出
力端子が設けられてもよい。
【０１８８】演算ユニット１０においては、ローカルメ
モリ１１が半導体チップ５４の外周側に設けられる。演
算ユニット１０における演算器群およびレジスタ群と制
御ユニット２０との間のデータ通信を高速で行なうため
に、これらの間の信号配線を短くするとともに、両者の
配線を容易にするためである。
【０１８９】また演算ユニット１０においてローカルメ
モリ１１を半導体チップ５４の外周部に配置することに
より、演算ユニット１０内における演算器群およびレジ
スタ群（図２参照）とローカルメモリ１１の間の配線レ
イアウトが容易となるとともに、これらの演算器群およ
びレジスタ群とローカルメモリ１１との間の配線長を短
くすることができる（ローカルメモリを演算器群とレジ
スタ群の間に配置すると演算器群とレジスタ群の間での
直接のデータの授受を行なうための配線が錯綜する）。
【０１９０】［演算省略のための具体的構成］次に無駄
演算を省略するための具体的構成すなわち演算ユニット
内の具体的構成について説明する。無駄演算を省略する
方法としては実行される処理に応じて種々存在する。以
下、各演算処理内容に応じて順次演算制御ウニまたはユ
ニット内において実現される構成について説明する。以
下の説明においても、特に断らないが、内部回路要素の
接続配置は図２に示すシーケンスコントローラ２５の制
御の下にセレクタの接続経路などを適当に調節すること
により実現される。
【０１９１】［第１の無駄演算省略方式］図２５にこの
発明に従う第１の無駄演算省略方式の構成を概念的に示
す。図２５に示す無駄演算省略は、図１に示す制御ユニ
ット２０において実行される。制御ユニット２０内に、
有効出力状態値Ｓｉを格納するステートメモリ１００
と、この有効出力状態値Ｓｉを生成するニューロンを識
別するアドレスを格納するタグメモリ１０２が設けられ
る。非線形変換ユニットによる非線形変換処理で生成さ
れた出力状態値Ｓｉが順次環状通信経路を介して制御ユ
ニット２０へ与えられる。制御ユニット２０は、与えら
れた出力状態値Ｓｉから省略することのできる出力状態
値を識別する。図２５においては、出力状態値Ｓ１、Ｓ
２およびＳ３が省略できる出力状態値である場合を一例
として示す。この省略することのできる出力状態値の識
別は、所定のしきい値εと非線形変換ユニットから与え
られた出力状態値Ｓｉを比較することにより行なわれ
る。この識別結果に従って、ステートメモリ１００に
は、有効出力状態値Ｓ０、Ｓ４、Ｓ５、Ｓ６、…が格納
され、タグメモリ１０２には各出力状態値に関連するア
ドレス０、４、５、６、…が格納される。１つの層につ
いての演算処理が完了すると、このステートメモリ１０
０に格納された有効出力状態値Ｓｉ（ｅ）と関連のアド
レスがステートメモリ１００およびタグメモリ１０２か
ら読出されて環状通信経路へ与えられ、順次演算ユニッ
トへ与えられて演算処理が実行される（通常処理動作
時：学習時には後に詳細に示す様に出力方法は異な
る）。
【０１９２】図２５に概念的に示す方式に従えば、膜電
位算出時におけるＳｉ（ｔ）＝０に関連する積算を省略
することができる。また同様にして、ステートメモリ１
００およびタグメモリ１０２を利用することによりΣＷ
ｉｊ（ｔ）・ΔＳｊ（ｔ）の演算において、ΔＳｊ
（ｔ）＝０に関連する積算を省略することができる。次
に具体的構成について説明する。
【０１９３】図２６は、第１の無駄演算省略方式を実現
するための具体的構成を示す図である。図２６に示す構
成は図１に示す制御ユニット２０内において実現され
る。演算ユニット１０個々に設けるとローカルメモリの
記憶容量を大きくする必要が生じるため、制御ユニット
２０にこの無駄演算省略のための構成を設けることによ
り、メモリ資源の節約を図る。
【０１９４】図２６において、ステートメモリ１００に
は、複数のニューロンの出力状態値Ｓｋ−ｊが格納され
る。添字ｋは、階層型ニューラルネットワークにおける
層を識別し、添字ｊは、１つの層におけるニューロンを
識別する。
【０１９５】タグメモリ１０２には、各層ごとに、ステ
ートメモリ１００において有効出力状態値が格納された
ロケーションを示すアドレスが格納される。タグメモリ
１０２において各層に割当てられたアドレス領域を識別
するためのアドレスはレジスタファイル１０４に格納さ
れる。図２６においては、アドレス「ａａａａ」、「ｂ
ｄｄｃ」、および「ｅｅｆｄ」が格納された状態を示
す。レジスタファイル１０４に格納されたアドレスは、
タグメモリ１０２において、各層における最初のニュー
ロンに関連する情報を格納するためのロケーションを示
す。後に詳細に説明するように、タグメモリ１０２に
は、有効出力状態値を格納するアドレス情報が格納され
る。ステートメモリ１００のアドレスは、各ニューロン
と１対１に対応している。ステートメモリ１００のアド
レス「ａａａ」〜「ｅｅｂ」には出力状態値Ｓ１−１〜
Ｓ１−ｎが格納される。図２６においては、ステートメ
モリ１００のアドレスとして、有効出力状態値が格納さ
れたアドレスのみを示す。これらのアドレスがタグメモ
リ１０２に格納される。
【０１９６】ステートメモリ１００のアドレス指定はア
ドレスポインタ１０６により行なわれ、タグメモリ１０
２のアドレス指定はアドレスポインタ１０８により行な
われる。アドレスポインタ１０６は、タグメモリ１０２
から読出されたアドレス情報に従ってステートメモリ１
００のアドレス情報を発生する。アドレスポインタ１０
８は、増分器１１４およびレジスタファイル１０４の一
方から与えられたアドレス情報をマルチプレクサ１１６
を介して受けてタグメモリ１０２のアドレス指定を行な
う。ステートメモリ１００から読出された出力状態値は
レジスタ１１０に格納され、タグメモリ１０２から読出
されたアドレス情報（後に説明する様に相対アドレスに
変換された後）はまたレジスタ１１２に格納される。レ
ジスタ１１０および１１２に格納された出力状態値およ
びアドレスデータがたとえば環状通信経路上へ伝達され
る。次に出力状態値読出動作について説明する。
【０１９７】まずレジスタファイル１０４から層を識別
するためのアドレスが読出され、マルチプレクサ１１６
を介してアドレスポインタ１０８へ与えられる。アドレ
スポインタ１０８は、まずレジスタファイル１０４から
与えられたアドレス（たとえばａａａａ）に従ってアド
レス指定する。タグメモリ１０２のアドレスａａａａに
は、アドレスデータａａａが格納されており、このアド
レスデータａａａが読出されてアドレスポインタ１０６
へ与えられるとともに相対アドレスａａａ−ａａａａに
変換された後レジスタ１１２に格納される。アドレスポ
インタ１０６は、このタグメモリ１０２から与えられた
アドレスデータａａａに従ってステートメモリ１００に
対するアドレス選択を行なう。ステートメモリ１００か
らは、このアドレスａａａに格納された出力状態値Ｓ１
−１が読出されてレジスタ１１０に格納される。したが
ってレジスタ１１０には出力状態値Ｓ１−１が格納さ
れ、レジスタ１１２には（相対）アドレスデータ（ａａ
ａ−ａａａａ）が格納される。
【０１９８】次いで、アドレスポインタ１０８のアドレ
スデータが増分器１１４により１増分されてマルチプレ
クサ１１６を介して再びアドレスポインタ１０８へ与え
られる。したがって、タグメモリ１０２からは次のアド
レス位置に格納されたアドレスデータａａｂが読出され
る。アドレスポインタ１０６が再びステートメモリ１０
０のアドレスａａｂを指定し、出力状態値Ｓ１−２が読
出される。次のサイクルでは、タグメモリ１０２からア
ドレスデータａａｆが読出される。この場合には、ステ
ートメモリ１００のアドレスａａｆから出力状態値Ｓ１
−７が読出される。出力状態値Ｓ１−３〜Ｓ１−７は所
定のしきい値εより小さいため、演算処理が省略され
る。以降同様の動作を繰返すことにより、タグメモリ１
０２には、ステートメモリ１００における有効出力状態
値を格納するロケーションを示すアドレスデータが格納
されているため、ステートメモリ１００からは有効出力
状態値（演算処理を受けるべき出力状態値）のみが読出
される。
【０１９９】すなわちタグメモリ１０２には、ステート
メモリから読出されるべき出力状態値格納位置を示すア
ドレスのみが格納されており、タグメモリ１０２に格納
されていないアドレスデータが示す出力状態値について
の演算処理が省略される。全体としての演算処理数を低
減することができ、演算処理を高速に終了させることが
できる。ステートメモリ１００には、非線形変換ユニッ
トから順次与えられる出力状態値が順次格納される。タ
グメモリ１０２には、有効出力状態値を格納するステー
トメモリ１００のロケーションを示すアドレスデータの
みを格納する必要がある。以下タグメモリ１０２にアド
レスデータを書込むための構成について説明する。
【０２００】図２７は、ステートメモリおよびタグメモ
リへのデータ書込を行なうための構成を示す図である。
図２７において、書込制御系は、内部データバス１２２
および１２３上に与えられたデータの一方を選択するマ
ルチプレクサ（ＭＵＸ）１２４と、所定のしきい値ε
（ｓｉ）を格納するレジスタファイル１２０と、マルチ
プレクサ１２４から与えられた出力状態値をその一方入
力ａに受け、レジスタファイル１２０から読出されたし
きい値ε（ｓｉ）をその他方入力（ｂ）に受ける比較器
１２１を含む。内部データバス１２２には、一般の数値
データが伝達され、内部データバス１２３に、環状通信
経路を介して非線形変換処理を受けた出力状態値が伝達
される。マルチプレクサ１２４は、出力状態値更新時に
は内部データバス１２３上に伝達された数値データを選
択する状態に設定される（図４に示す命令発行／実行部
２０ａの制御の下に行なわれる）。比較器１２１は、入
力ａに与えられた数値データが入力ｂに与えられた数値
データ（しきい値ε（ｓｉ））よりも大きいときに活性
化信号を発生する。
【０２０１】ステートメモリ１００のアドレスポインタ
１０６へは、増分器１１５を介してアドレスデータが与
えられる。タグメモリ１０２に対するアドレスポインタ
１０８へは、増分器１１５の出力がマルチプレクサ１１
６を介して与えられる。初期設定時にはレジスタファイ
ル１０４から読出されたアドレスデータがマルチプレク
サ１１６を介してアドレスポインタ１０８へ与えられ
る。増分器１１５は、比較器１２１の出力信号が活性状
態のときにアドレスポインタ１０８から与えられたアド
レスを１増分する。この増分器１１５は、図２６に示す
増分器１１４と同じであってもよいが、この増分器１１
５は、比較器１２１の出力信号が非活性状態のときには
その増分動作が禁止され、アドレスポインタ１０８から
与えられたアドレスを増分することなくマルチプレクサ
１１６を介して再びアドレスポインタ１０８へ与える。
【０２０２】書込制御回路１２５は、アドレスポインタ
１０６が発生するアドレスデータが所定値に到達したと
き（１つの層についての処理が完了したとき）、アドレ
スポインタ１０８が出力するアドレスデータに１加算し
てレジスタファイル１０４の所定のレジスタに加算後の
アドレスを書込む。これによりレジスタファイル１０４
にはタグメモリ１０２における各層に割当てられたアド
レス領域の先頭アドレスが格納される。次に動作につい
て説明する。
【０２０３】まずアドレスポインタ１０６および１０８
が初期値にセットされる。この初期値設定時において
は、アドレスポインタ１０８の生成するアドレスデータ
が書込制御回路１２５の制御の下にレジスタファイル１
０４の所定のレジスタに格納される（逆にレジスタファ
イル１０４から初期アドレスがポインタ１０８にセット
されてもよい）。図２７においては、レジスタファイル
１０４において、タグメモリ１０２の初期アドレスａａ
ａａが格納された状態を示す。
【０２０４】マルチプレクサ１２４から出力状態値が与
えられると、ステートメモリ１００は、アドレスポイン
タ１０６が生成するアドレスに対応する位置にこの出力
状態値を格納する。このアドレスポインタ１０６が生成
するアドレスは、ステートメモリ１００へのデータ格納
後増分器１２２により１増分されて再びアドレスポイン
タ１０６へ与えられる。またアドレスポインタ１０６が
生成するアドレスデータはタグメモリ１０２へ与えら
れ、アドレスポインタ１０８が指定するアドレス位置に
格納される。この格納動作と並行して、比較器１２１が
比較動作を行なう。マルチプレクサ１２４から与えられ
た出力状態値が所定のしきい値ε（ｓｉ）よりも大きい
場合には、増分器１１５はアドレスポインタ１０８の生
成するアドレスを１増分して再びアドレスポインタ１０
８へ与える。マルチプレクサ１２４が出力する出力状態
値が所定のしきい値ε（ｓｉ）よりも小さい場合には、
比較器１２１から出力される信号は非活性状態であり、
増分器１１５は、アドレスポインタ１０８が生成するア
ドレスを増分することなく再びアドレスポインタ１０８
へ伝達する。したがって、タグメモリ１０２において
は、比較器１２１の出力信号が非活性状態の場合には、
同じアドレス位置が指定されてアドレスポインタ１０６
が生成するアドレスデータを重ね書きすることになる。
この動作をアドレスポインタ１０６が生成するアドレス
が所定のアドレスに到達するまで繰返し実行する。ステ
ートメモリ１００においては、マルチプレクサ１２４か
ら与えられた出力状態値が順次格納される。タグメモリ
１０２においては、マルチプレクサ１２４から与えられ
る出力状態値がしきい値ε（ｓｉ）よりも小さい場合に
は、対応のアドレスデータは重ね書き処理のために消去
されて新しいアドレスデータで書換えられる。したがっ
て、タグメモリ１０２においては、しきい値ε（ｓｉ）
よりも大きい値を有する有効出力状態値に関連するアド
レスデータのみが格納される。アドレスポインタ１０６
が生成するアドレスが所定のアドレスに到達したときに
は、１つの層のニューロンの出力状態値が全て求められ
る。このときには、書込制御回路１２５は、増分器１１
５が出力するアドレスデータをレジスタファイル１０４
の対応のレジスタに格納する。これにより、レジスタフ
ァイル１０４には、タグメモリ１０２における各層の最
初の有効出力状態値に関連するアドレスデータが格納さ
れる。書込制御回路１２５は、アドレスポインタ１０６
およびアドレスポインタ１０８の初期アドレスの設定を
行なうように構成されてもよい。
【０２０５】なお、図２６および図２７に示す構成にお
いては、適当な位置にデータを一時的に格納するラッチ
レジスタを設けることによりパイプライン的に処理を実
行することができる。すなわち、図２６に示すデータ読
出動作においては、タグメモリからのアドレスデータの
読出、ステートメモリからの出力状態値データの読出、
および演算ユニットへの出力状態値およびアドレスデー
タの転送をパイプライン的に実行することができ、タグ
メモリからのアドレスデータの読出と並行して演算ユニ
ットへ出力状態値データを転送することができ、高速で
処理を行なうことができる。また図２７に示す構成にお
いては、ステートメモリ１００への出力状態値の格納、
タグメモリ１０２へのアドレスデータの書込、および比
較器出力によるアドレスの更新をパイプライン的に処理
することにより、ステートメモリ１００への数値データ
の書込とタグメモリ１０２へのアドレスデータの書込を
並行に実行することができ、高速でデータ書込を行なう
ことができる。
【０２０６】［第２の演算省略方式］図２８は、第２の
演算省略方式を実現するための概念的構成を示す図であ
る。図２８においては、ローカルメモリ１１に、有効誤
差を格納した状態を示す。シナプス荷重値修正動作時に
おいては、有効誤差が必要となる（ΔＷｉｊ＝α・ΔＷ
ｉｊ（ｔ−１）＋η・δｉ・Ｓｊの式を参照）。シナプ
ス荷重値修正量ΔＷｉｊは演算ユニットそれぞれにおい
て計算される。またこのシナプス荷重値修正量ΔＷｉｊ
を用いてシナプス荷重Ｗｉｊの修正が各演算ユニットに
おいて実行される。各ニューロンユニットに関連する有
効誤差がローカルメモリ１１の各ニューロンに関連する
アドレス位置に格納される。ローカルメモリ１１のアド
レスの最下位ビットＬＳＢが“０”の位置に有効誤差デ
ータが格納され、最下位ビットＬＳＢが“１”の位置に
次に実行されるべき有効誤差を格納するアドレス位置を
示すアドレスデータが格納される。ニューロンを識別す
るためのアドレス（たとえばａａａ）は、したがって対
応の有効誤差と次に実行されるべき有効誤差の格納位置
を示すアドレスデータとを指定する。有効誤差データと
アドレスデータの識別はこのローカルメモリ１１の最下
位ビットＬＳＢの値により区別される。この１つのメモ
リ内の規則的な位置に演算処理に用いられる数値データ
または数値データのアドレスを示すアドレスデータを格
納することにより、図２０および図２７に示すようなス
テートメモリおよびタグメモリを１つのメモリで実現す
ることができ、回路構成を簡略化することができるとと
もに、メモリ占有面積を低減することができる。
【０２０７】図２９は、有効誤差データを読出すための
回路構成を概略的に示す図である。図２９において、デ
ータ読出制御系は、ローカルメモリ１１の最下位アドレ
スビットＬＳＢを発生するＬＳＢ発生回路１３９と、ニ
ューロン識別用アドレス（たとえばａａａ）を発生する
アドレスポインタ１３８と、ＬＳＢ発生回路１３９の発
生するビットをラッチイネーブル信号ＬＥＡとして受け
てローカルメモリ１１から読出された数値データをラッ
チし保持するアドレスラッチレジスタ１３０と、ＬＳＢ
発生回路１３９の発生するアドレスビットをインバータ
１３３を介してラッチイネーブル信号ＬＥＤとして受け
てローカルメモリ１１から読出された数値データをラッ
チするデータラッチレジスタ１３２を含む。アドレスポ
インタ１３８へは、セレクタ１３６を介してアドレスラ
ッチレジスタ１３０に格納されたアドレスデータまたは
レジスタファイル１３４から読出されたアドレスデータ
が与えられる。アドレスラッチレジスタ１３０は、ＬＳ
Ｂ発生回路１３９が発生するアドレスビットが“１”の
ときに、ローカルメモリ１１から読出された数値データ
をラッチする。ローカルメモリ１１には、最下位ビット
ＬＳＢが“１”の奇数アドレスには次にアクセスされる
べきロケーションを示すアドレスデータが格納されてお
り、したがってアドレスラッチレジスタ１３０は、常に
次にアクセスされるべきロケーションを示すアドレスデ
ータを格納する。データラッチレジスタ１３２は、ラッ
チイネーブル信号ＬＥＤが“１”のときに与えられた数
値データをラッチし保持する。ラッチイネーブル信号Ｌ
ＥＤが“１”となるのは、ＬＳＢ発生回路１３９が発生
するアドレスビットが“０”のときである。すなわち、
ローカルメモリ１１の最下位アドレスビットが“０”の
偶数アドレスには有効誤差データが格納されており、デ
ータラッチレジスタ１３２には、このローカルメモリ１
１から読出された有効誤差データがラッチされる。アド
レスポインタ１３８が発生するアドレスデータおよびＬ
ＳＢ発生回路１３９が発生するアドレスビットがローカ
ルメモリ１１に対するアドレスデータとして与えられ
る。次に動作について説明する。
【０２０８】アドレスポインタ１３８に初期アドレスを
セットする。これはレジスタファイル１３４からアドレ
スデータＳＳＳを読出してセレクタ１３６を介してアド
レスポインタ１３８へ与えることにより実現される。初
期状態において、ローカルメモリ１１のアドレスＳＳＳ
１には最初にアクセスされるべきロケーションを示すア
ドレスａａａが格納されており、ＬＳＢ発生回路１３９
は、まず最初に“１”のアドレスビットを発生する。こ
れにより、アドレスＳＳＳ１のアドレスデータａａａが
読出され、アドレスラッチレジスタ１３０がこれをラッ
チする（ラッチイネーブル信号ＡＤＡは活性状態にあ
る）。ついでセレクタ１３６がアドレスラッチレジスタ
１３０の保持するアドレスを選択してアドレスポインタ
１３８へ与える。このときＬＳＢ発生回路１３９が発生
するアドレスビットは“０”とされる。アドレスａａａ
に格納された有効誤差データδｉ＋ｎが読出される。イ
ンバータ１３３から出力されるラッチイネーブル信号Ｌ
ＥＤが活性状態となり、データラッチレジスタ１３２
は、このローカルメモリ１１から読出された有効誤差デ
ータを保持する。このデータラッチレジスタ１３２に格
納された有効誤差データは関連の演算ユニット内の演算
器へ与えられ、シナプス荷重修正量ΔＷｉｊ算出のため
に用いられる。
【０２０９】次いでＬＳＢ発生回路１３９が発生するア
ドレスビットを“１”とし、アドレスａａａ１から次に
アクセスされるべきロケーションを示すアドレスデータ
ｃｃｃを読出す。このローカルメモリ１１から読出され
たアドレスデータｃｃｃはアドレスラッチレジスタ１３
０に格納される（ラッチイネーブル信号ＬＥＡは活性状
態）。以下この動作を所定のアドレスに到達するまで繰
返し実行する。
【０２１０】ＬＳＢ発生回路１３９の構成としては、ク
ロック信号が与えられるごとにその出力データ値が反転
するＴ型フリップフロップなどを利用することができ
る。
【０２１１】また、規定のアドレスに到達したか否か、
すなわち１つの層における演算処理されるべき有効誤差
データが全て読出された否かの識別は、その層における
ニューロンを指定するアドレスの最大値（ｄｄｄ）とア
ドレスラッチレジスタ１３０に格納されたアドレスの大
小を比較することにより識別することができる。または
レジスタファイル１３４に格納された層識別アドレス
（ＳＳＳ２）とアドレスラッチレジスタ１３０に格納さ
れたアドレスのデータの大小を比較することにより１つ
の層におけるニューロン全ての処理が完了したか否かは
識別することができる。
【０２１２】ローカルメモリ１１への有効誤差データの
格納は、たとえば以下のようにして行なわれる。有効誤
差δｉは、ｅｉ・（ｄ（Ｓｉ）／ｄｕｉ）に従って算出
される。この算出動作は制御ユニット内において実行さ
れる。
【０２１３】誤差ｅｉは、ニューロンｉが出力層でない
場合には、先に求められた有効誤差δｋを用いてΣＷｋ
ｉ・δｋにより算出される。誤差ｅｉは、制御ユニット
から各演算ユニットへ有効誤差を順次伝播させることに
より膜電位算出と同様にして求めることができる。この
後、再び制御ユニット内で有効誤差が求められる。この
有効誤差を求めるとき、制御ユニット内においてしきい
値との比較動作が行なわれ、演算処理すべきか否かの判
別が行なわれる。制御ユニット内において、１つの層に
ついてのニューロンの有効誤差が求められると、演算処
理する必要のないニューロンが識別され、演算処理すべ
き有効誤差を求めるニューロンのアドレスがたとえばレ
ジスタに格納される。このレジスタに格納されたアドレ
スを参照して、有効誤差データそれぞれに対してリンク
されるべきアドレスを決定する。これは各ニューロンを
識別するアドレスとレジスタに格納されたアドレスの大
小比較を行ない、レジスタに格納された１つのアドレス
にニューロン識別アドレスが到達するまで各有効誤差デ
ータにこのレジスタの特定のアドレスをリンクさせる。
ニューロン識別アドレスがレジスタに格納されたこの特
定のアドレスに等しくなったときは、レジスタのアドレ
スを更新し、同じ動作を繰返す。これにより演算ユニッ
トそれぞれに対し有効誤差データとそれにリンクしてア
ドレスデータを伝達してローカルメモリ内に格納するこ
とができる。
【０２１４】なお図２８および図２９に示す構成におい
ては、偶数アドレス（最下位アドレスビットが“０”）
の位置（ロケーション）に有効誤差データが格納され、
奇数アドレス位置に次にアクセスされるべきロケーショ
ンを示すジャンプ先アドレスが格納されている。最下位
アドレスビットＬＳＢを用いずに、最上位アドレスビッ
トＭＳＢが用いられてもよい。またローカルメモリ１１
に格納されるデータとしては、有効誤差データでなくて
もよい。
【０２１５】［第３の演算処理省略方式］図３０は、こ
の発明に従う第３の演算処理省略方式の概念を示す。図
３０においては、シナプス荷重修正データΔＷｉｊが一
例として示される。図３０の（ａ）に示すように、演算
処理を省略することのできるシナプス荷重修正データ
（ΔＷｉ１、ΔＷｉ２、およびΔＷｉ３）はメモリ（ロ
ーカルメモリ）内に格納される。別に設けられたメモリ
領域（図３０（ａ）には示さず）の格納アドレスに従っ
て演算処理の省略が行なわれる（アドレス０からアドレ
ス４へのジャンプ）。第３の演算省略方式の構成におい
ては、図３０の（ｂ）に示すょうに、このシナプス荷重
修正データ格納領域に、次に演算処理されるべきシナプ
ス荷重修正データ格納位置を示すアドレスデータを格納
する。メモリから読出された数値データがアドレスデー
タであるか演算処理されるべきデータであるかを識別し
て、以後の処理手順を変えて、演算を省略して次のアド
レス位置へ飛越す。この図３０（ｂ）に示す構成の場
合、メモリ内には必要な情報のみが保持されるため（ジ
ャンプ先アドレスを格納するためのメモリ領域が別に必
要とされない）、メモリ空間を節約することができる。
以下このようなメモリから読出された数値データの内容
に従って処理手順を変更する方式について、シナプス荷
重修正データを一例として説明する。
【０２１６】図３１は、第３の演算省略方式に従うシナ
プス荷重値修正のための回路構成を概略的に示す図であ
る。図３１において、ローカルメモリ１１には、偶数ア
ドレスのエントリにシナプス荷重デーＷｉｊ（Ｗｉ０〜
Ｗｉｎ）が格納され、奇数アドレスのエントリにはシナ
プス荷重修正データΔＷｉｊ（ΔＷｉ０〜ΔＷｉｎ）が
格納される。ここで、奇数アドレスはアドレスの最下位
ビットＬＳＢが“１”のアドレスを示し、偶数アドレス
はアドレスの最下位ビットＬＳＢが“０”のアドレスを
示す。ローカルメモリ１１の最下位アドレスビットＬＳ
Ｂを除く上位アドレスが結合先ニューロンを識別する。
シナプス荷重修正データΔＷｉｊが所定のしきい値εΔ
Ｗよりも小さい場合には、そのロケーションに次にアク
セスされるべきアドレス位置（ニューロン識別アドレ
ス）が格納される。
【０２１７】このローカルメモリ１１の奇数アドレスに
格納された数値データが次にアクセスされるべきニュー
ロン識別アドレス（以下、ジャンプ先アドレスと称す）
であるのか、有効シナプス荷重修正データであるのかの
識別は、このローカルメモリ１１の奇数アドレス領域に
格納されたデータの最下位ビットを用いて行なう。ロー
カルメモリ１１の奇数アドレスに格納されたデータの最
下位ビットＬＳＢが“１”の場合には、そこに格納され
た数値データはジャンプ先アドレスデータであり、最下
位ビットＬＳＢが“０”の場合には、シナプス荷重修正
データである。このローカルメモリ１１に格納された数
値データの数値、すなわち奇数アドレスに格納されたデ
ータの最下位ビットの値に従って、そのデータの読出し
後の処理手順を変更する。
【０２１８】シナプス荷重変更処理系は、ローカルメモ
リ１１に対する上位アドレスを発生するアドレスポイン
タ１５０と、ローカルメモリ１１の奇数アドレスおよび
偶数アドレスを示す最下位ビットＬＳＢを発生するＬＳ
Ｂ発生回路１５５とを含む。アドレスポインタ１５０が
生成するアドレスおよびＬＳＢ発生回路１５５が発生す
るアドレスビットをそれぞれ上位アドレスおよび最下位
アドレスビットとしてローカルメモリ１１に対するアド
レス指定が行なわれ、データの読出しが行なわれる。
【０２１９】変更処理系は、さらにローカルメモリ１１
から読出されたデータをＬＳＢ発生回路１５５が発生す
るアドレスビットの値に従って格納するレジスタ１６
０、１６２および１６４を含む。レジスタ１６０は、Ｌ
ＳＢ発生回路１５５が発生するアドレスビットが“１”
のときにローカルメモリ１１から読出された数値データ
を格納する。このレジスタ１６０は、ローカルメモリ１
１から読出された数値データの最下位ビットＬＳＢを無
視して（切り捨てて）格納する。たとえばローカルメモ
リ１１から読出される数値データが１０ビットの場合
は、レジスタ１６０は、その上位９ビットのみを格納す
る。レジスタ１６２は、ＬＳＢ発生回路１５５が発生す
るアドレスビットが“１”のときに、ローカルメモリ１
１から読出されたデータを格納する。レジスタ１６２
は、その最下位ビットＬＳＢを“０”に強制的に設定す
る。レジスタ１６４は、ＬＳＢ発生回路１５５が発生す
るアドレスビットが“０”のときに、ローカルメモリ１
１から読出されたデータを格納する。したがって、レジ
スタ１６０および１６２には、ローカルメモリ１１の奇
数アドレスに格納された数値データすなわちジャンプ先
アドレスまたはシナプス荷重修正データが格納される。
レジスタ１６４には、ローカルメモリ１１の偶数アドレ
スに格納された数値データ、すなわちシナプス荷重デー
タが格納される。
【０２２０】演算処理系は、レジスタ１６２に格納され
た数値データ（シナプス荷重修正データΔＷｉｊ）と固
定値“０”の一方をローカルメモリ１１から読出された
数値データの最下位ビットＬＳＢに従って通過させるマ
ルチプレクサ１６８と、マルチプレクサ１６８が通過さ
せた数値データとレジスタ１６４から読出された数値デ
ータ（シナプス荷重データＷｉｊ）を加算する加算器１
７０を含む。加算器１７０の演算結果は、ローカルメモ
リ１１の元のアドレス位置に格納される。たとえば、ロ
ーカルメモリ１１のアドレスａａａ０からシナプス荷重
データＷｉ０が読出されたとき、加算器１７０の演算結
果は再びこのアドレスａａａ０に格納される。
【０２２１】アドレス変更系は、アドレスポインタ１５
０が生成するアドレスを１増分する増分器１５２と、ロ
ーカルメモリ１１の奇数アドレスから読出された数値デ
ータの最下位ビットＬＳＢに従って増分器１５２の出力
またはレジスタ１６０の格納データを通過させるマルチ
プレクサ１５３と、マルチプレクサ１５３の出力とレジ
スタファイル１５１から読出されたアドレスの一方を通
過させるマルチプレクサ１５４を含む。マルチプレクサ
１５４の出力はアドレスポインタ１５０へ与えられる。
マルチプレクサ１５３は、ローカルメモリ１１の奇数ア
ドレスから読出された数値データの最下位ビットＬＳＢ
が“０”のときには増分器１５２の出力を選択し、この
最下位ビットＬＳＢが“１”のときにはレジスタ１６０
に格納された数値データ（最下位ビットを除く）を通過
させる。レジスタ１６０には、ローカルメモリ１１の奇
数アドレスから読出された数値データがジャンプ先アド
レスの場合には、このジャンプ先アドレス（ローカルメ
モリ１１の最下位アドレスビットを除く上位ビットアド
レス）が格納される。したがって、マルチプレクサ１５
３は、ローカルメモリ１１の奇数アドレスから読出され
た数値データがシナプス荷重修正データΔＷｉｊの場合
には、増分器１５２の出力を選択し、この数値データが
ジャンプ先アドレスを示す場合には、マルチプレクサ１
５３は、レジスタ１６０の格納するデータを選択する。
次に動作について説明する。
【０２２２】（ｉ） まずアドレスポインタ１５０に初
期アドレスをセットする。この初期アドレスのセット
は、レジスタファイル１５１から先頭アドレスを読出
し、マルチプレクサ１５４を介してアドレスポインタ１
５０へ与えることにより行なわれる。
【０２２３】（ｉｉ） ＬＳＢ発生回路１５５が発生す
るアドレスビットを“０”に設定し、アドレスポインタ
１５０が生成するアドレスデータとともにローカルメモ
リ１１へ与える。これにより、ローカルメモリ１１から
は、最初のシナプス荷重データΔＷｉ０（アドレスポイ
ンタ１５０に初期設定されたアドレスがａａａと仮定す
る）が、レジスタ１６０、１６２および１６４へ与えら
れる。ＬＳＢ発生回路１５５が発生するアドレスビット
の値は“０”であり、レジスタ１６４がこのローカルメ
モリ１１から読出された数値データ（シナプス荷重修正
データ）を格納する。
【０２２４】（ｉｉｉ） アドレスポインタ１５０が発
生するアドレスデータをそのままとし、ＬＳＢ発生回路
１５５が発生するアドレスビットを“１”とする。これ
によりアドレスａａａ１からシナプス荷重修正データΔ
Ｗｉ０が読出される。この読出されたシナプス荷重修正
データΔＷｉ０は、ＬＳＢ発生回路１５５が発生するア
ドレスビットが“１”であるため、レジスタ１６０およ
び１６２に格納される。マルチプレクサ１６８は、この
ローカルメモリ１１から読出されたシナプス荷重修正デ
ータΔＷｉ０の最下位ビットＬＳＢが“０”であるた
め、レジスタ１６２に格納されたシナプス荷重修正デー
タΔＷｉ０を選択して加算器１７０へ与える。加算器１
７０の他方入力へはレジスタ１６４の格納されたシナプ
ス荷重データΔＷｉｊが格納されている。したがって、
加算器１７０からは、新たなシナプス荷重値Ｗｉｊ＋Δ
Ｗｉｊが生成される。
【０２２５】（ｉｖ） この加算器１７０による加算動
作と並行して、ＬＳＢ発生回路１５５が発生するアドレ
スビットを“０”とし、この加算器１７０の出力する加
算結果データＷｉｊ＋ΔＷｉｊをローカルメモリ１１の
対応のアドレス位置に書込む。これにより、シナプス荷
重値Ｗｉ０がＷｉ０＋ΔＷｉ０に修正される。
【０２２６】（ｖ） 一方、アドレス更新部において
は、マルチプレクサ１６８の選択動作と並行して、マル
チプレクサ１５３が増分器１５２の出力を選択してマル
チプレクサ１５４へ与える。アドレスポインタ１５０
は、更新されたシナプス荷重データのローカルメモリ１
１への書込み完了後このマルチプレクサ１５４から新た
に与えられたアドレスを取込み、次のアクセスすべき位
置を示すアドレスを生成する。ＬＳＢ発生回路１５５
は、シナプス荷重データ書込時にその発生されたアドレ
スビットを“０”としている。したがって、次いでロー
カルメモリ１１からは次のシナプス荷重データが読出さ
れてレジスタ１６４に格納される。上述の動作を繰返
し、ローカルメモリ１１の奇数アドレスから読出された
データがジャンプ先アドレスの場合には、以下の動作が
実行される。
【０２２７】ローカルメモリ１１の奇数アドレスから数
値データが読出された場合、この読出された数値データ
はレジスタ１６０および１６２に格納される。この読出
された数値データすなわちジャンプ先アドレスの最下位
ビットＬＳＢは“１”であり、マルチプレクサ１６８は
定数“０”を選択して加算器１７０の一方入力へ与え
る。加算器１７０の他方入力へはレジスタ１６４に格納
されたシナプス荷重データＷｉｊが与えられている。し
たがって、加算器１７０からは演算結果Ｗｉｊ＋“０”
が出力される。すなわちシナプス荷重修正データΔＷｉ
ｊが無視された状態となる。この加算回路１７０の演算
結果は、先の動作と同様にして、ローカルメモリ１１の
元のアドレス位置に格納される。
【０２２８】アドレス更新部においては、マルチプレク
サ１５３がレジスタ１６０に格納されたジャンプ先アド
レスを選択する。アドレスポインタ１５０が生成するア
ドレスは、ローカルメモリ１１へのシナプス荷重データ
書込後このマルチプレクサ１５４から与えられたアドレ
スに更新される。したがって、ローカルメモリ１１の次
にアドレス指定されるロケーションは、レジスタ１６０
に格納されたジャンプ先アドレスが指定するロケーショ
ンとなる。上述の動作を必要なシナプス荷重データが全
て読出されて処理されるまで繰返し実行する。
【０２２９】上述のようにローカルメモリ１１から読出
された数値データの数値に従って以後の処理手順を変更
することにより、不必要な演算処理を省略し、必要な数
値データすなわち修正されるべきシナプス荷重値のみに
所定の演算処理を行なうことができる。ジャンプ先アド
レスがリンクして格納されたシナプス荷重値に対する加
算演算は実行されるが、アドレス変更手順が変更される
ため、このようなシナプス荷重データについても、関連
のシナプス荷重変更データが読出された後の処理手順が
変更されている。
【０２３０】なおこの図３１に示すレジスタ群および加
算器の接続形態は、図２に示すシーケンサコントローラ
２５の制御の下に実現され、また各回路の動作タイミン
グもシーケンスコントローラ２５が設定する。なお、レ
ジスタ１６０、１６２および１６４は、ローカルメモリ
１１から数値データが読出されたときにそのＬＳＢ発生
回路１５５の発生するアドレスビット値に従ってラッチ
動作を実行しており、ローカルメモリ１１へのデータ書
込時にはラッチ動作は行なっていない。またアドレスポ
インタ１５０のアドレスの更新タイミングは、加算器１
７０の演算結果データがローカルメモリ１１に格納され
た後である。
【０２３１】またレジスタ１６０および１６２は、１つ
のレジスタのみを用いて構成してもよい。ジャンプ先ア
ドレスが読出された場合には、マルチプレクサ１６８は
定数“０”を選択し、またマルチプレクサ１５３がジャ
ンプ先アドレスを選択するため、このレジスタ１６０お
よび１６２を１つのレジスタで構成しても確実に不要な
演算処理を省略することができる。
【０２３２】また、適当な箇所にラッチ用レジスタを設
けることにより、アドレスの設定、数値データの読出
し、数値の演算、演算結果の書込みおよびアドレスの更
新をパイプライン的に実行することができる。
【０２３３】上述のように、演算処理すべきデータと、
次にアクセスされるべきロケーションを示すアドレスと
を共通のアドレス領域に格納するように構成し、この一
方のみをメモリ内に格納することにより、処理に必要な
情報のみをメモリ内に保持することができ、メモリ空間
を節約することができる。またこのメモリから読出され
た数値データの数値すなわち図３１に示す構成において
は、数値データの最下位ビットの値に従って以後の処理
手順を変更することにより、演算処理数を省略すること
ができ、高速で全体の処理を完了させることができる。
【０２３４】なお上述の説明では、シナプス荷重修正処
理時におけるジャンプ先アドレスの更新について説明し
ている。しかしながら、数値データ格納領域において、
この数値データが特定の条件を満足するときに、次に実
行されるべき処理内容を規定するデータを数値データ格
納領域の数値データに代えて格納することにより、必要
な処理手順のみを実行して高速で処理を行なうことがで
きる。処理内容を示す数値データであるか演算処理され
るべき数値データであるかの識別はその読出された数値
データの数値を識別することにより行なわれ、その識別
結果に従って以後の処理手順の調整が行なわれればよ
い。この機能は図３に示すシーケンサコントローラの各
機能ブロックに対応する。
【０２３５】［ローカルメモリへのアドレスデータの書
込］上述の演算省略手法を正しく実行するためには、省
略されるべき演算処理が正しくスキップされるように、
一連の処理（繰返し学習処理など）が繰返されるごと
に、次にアクセスされるべきアドレス（ジャンプ先アド
レス）を正確に更新する必要がある。このジャンプ先ア
ドレスの更新は、本来のシナプス荷重修正処理と並行し
て実行することにより、演算処理削減の効果が十分に得
られる。以下この構成について説明する。まず言葉の定
義を行なう。図３２に示すようにローカルメモリ１１に
は、複数のニューロンユニットについてのシナプス荷重
値およびシナプス荷重修正データが格納される。図３２
においては、ローカルメモリ１１に、ニューロンＮ♯
ａ、Ｎ♯ｂおよびＮ♯ｃのシナプス荷重およびシナプス
荷重修正データを格納する状態を概略的に示す。ニュー
ロンＮ♯ａ、Ｎ♯ｂ、Ｎ♯ｃを識別するために、ローカ
ルメモリ１１においては、ニューロンＮ♯ａ〜Ｎ♯ｃそ
れぞれに割当てられたアドレス領域の先頭アドレス♯
ａ、♯ｂおよび♯ｃが必要とされる。ニューロンＮ♯
ａ、Ｎ♯ｂおよびＮ♯ｃを識別するためのアドレス♯
ａ、♯ｂおよび♯ｃを以下の説明ではｉアドレスと称
す。ニューロンＮ♯ａ、Ｎ♯ｂおよびＮ♯ｃは、階層型
ニューラルネットワークにおいては、それぞれ別の層の
ニューロンと相互接続されている。各ニューロンに対す
るシナプス荷重およびシナプス荷重修正データがローカ
ルメモリ１１に格納される。この相手方のニューロンを
識別するためのアドレス（図３２においては、アドレス
０〜ｎ）を以下の説明においてはｊアドレスと称す。た
とえば図３１に示すローカルメモリ１１のアドレス構成
において、たとえばシナプス荷重データＷｉｊの添字ｊ
がｊアドレスに対応する。ｉアドレスとｊアドレスの和
がアドレスａａａ、ｂｂｂなどのローカルメモリ１１の
絶対アドレスに対応する。
【０２３６】図３３にシナプス荷重修正のためのデータ
書込制御系の構成を示す。この図３３に示す構成は各演
算ユニットに設けられる。
【０２３７】図３３において、書込制御系は、ローカル
メモリ１１に対するアドレスを発生するアドレスポイン
タ２００と、定数データおよび演算処理の進行状況を示
す状態フラグなどを格納するレジスタファイル２２０
と、演算処理の進行状況に応じたローカルメモリ１１へ
のデータの書込みの制御（書込アドレスの更新、ジャン
プ先アドレスの更新、ジャンプ開始アドレスの更新、数
値データの書込み等）を行なうための制御信号を発生す
る状態表現回路２１０とを含む。
【０２３８】レジスタファイル２２０は、１つの処理の
終了を示す限界アドレスＡＤＤＲ、定数“１”、ｉアド
レス、各種アドレスＦ、Ｔ、Ｓ、Ａ、および（Ａ＋１）
を格納する。各種アドレスは以下の意味を有する。
【０２３９】Ｔ：ジャンプ先アドレスを示す。このジャ
ンプ先アドレスＴは、次に演算処理されるべき数値デー
タの格納位置を示し、ローカルメモリ１１から読出され
たアドレスデータ（図３１に示すレジスタ１６０に格納
されたアドレスデータ）に対応する。
【０２４０】Ｓ：ローカルメモリ１１における絶対アド
レスを示し、ｉアドレスとｊアドレスの和（ｉ＋ｊ）で
表される。ｊアドレスは、出力状態値Ｓｊとともに外部
から与えられる。
【０２４１】Ａ：現アドレスを示す。ローカルメモリ１
１において現在アクセスされているアドレスを示す。Ｔ
＞ＳのときにはＡ＝Ｓ（＝ｉ＋ｊ）とされ、Ｔ≦Ｓのと
きにはＡ＝Ｔに設定される。
【０２４２】Ｆ：ジャンプ起点アドレス示す。省略され
るべき演算処理のローカルメモリ１１における開始位置
を示す。
【０２４３】なおこれらのアドレスＴ、Ｓ、ＡおよびＦ
は、すべてニューロン識別アドレス（図３１において、
たとえばアドレスａａａ）を示し、シナプス荷重データ
格納ロケーションおよびシナプス荷重修正データ格納ロ
ケーション両者を指定する。
【０２４４】各種アドレスＴ、Ｓ、ＡおよびＦの更新、
状態表現回路２１０が発生するコントロール信号（ステ
ータスフラグ）の更新ならびに所定の演算処理を行なう
ために、演算器２０２、加算器（ＡＤＤ）２０４、およ
び比較器（ＣＭＰ）２０６が設けられる。
【０２４５】演算器２０２は、前述のシナプス荷重修正
値更新のための演算などを実行する。加算器２０４は、
ローカルメモリ１１の絶対アドレス（ｉ＋ｊ）の生成、
シナプス荷重値およびシナプス荷重修正値の更新のため
の加算および後に説明する前アドレスの算出等を実行す
る。
【０２４６】比較器２０６は、Ｔ＞Ｓ、｜ΔＷｉｊ｜≦
｜ε（ΔＷ）｜、およびＡ＞Ａ（ｔ−１）＋１の比較演
算を実行する。ε（ΔＷ）はシナプス荷重修正値ΔＷｉ
ｊに対するしきい値を示す。Ａ（ｔ−１）は、最も最近
（前のアクセスサイクルで）所定の演算処理を受けたま
たはアクセスされた数値データの格納位置を示す。すな
わち、アドレスＡ（ｔ−１）は、しきい値ε（ΔＷ）よ
りも大きいシナプス荷重値修正データが最も最近（前の
アクセスサイクルで）格納されたローカルメモリ１１の
アドレスを示す。
【０２４７】これらの機能ユニットを相互接続して必要
なデータの転送を行なうために、内部データバスＩＮＮ
０およびＩＮＮ１が設けられる。図３２においては、図
面を簡略化するために、２つの内部データバスＩＮＮ０
およびＩＮＮ１を示すが、この内部データバスの数はさ
らに多くてもよい。内部データバスＩＮＮ０には外部出
力状態値データＳｊが与えられ、内部データバスＩＮＮ
１にはこの出力状態値Ｓｊを識別するためのｊアドレス
が伝達される。
【０２４８】状態表現回路２１０は、比較器２０６から
の出力信号ＣＭＰＬＡ、外部から与えられる信号ＳＪＳ
ｉｇ、ローカルメモリ１１から読出された数値データの
最下位ビットＬＭＤＬＳに従って後に詳細に説明するス
テータスフラグの更新を実行する。信号ＳＪＳｉｇは、
活性化時、現在与えられている出力状態値データＳｊの
ｊアドレスと１つ前のサイクルに与えられた出力状態値
データＳｊ（ｔ−１）のｊアドレスとが連続していない
ことを示す。すなわち、信号ＳＪＳｉｇは、出力状態値
Ｓｊについてスキップ（演算省略）が行なわれたことを
示す。この信号ＳＪＳｉｇは、図２７に示す構成を利用
して生成することができる。
【０２４９】すなわち、図３４に示すように、ステート
メモリ１００への出力状態値データＳｊ格納時におい
て、ステートメモリ１００の数値データ格納領域の所定
のビット位置（図３４においては最下位ビットＬＳＢの
位置）に比較器１２１の出力信号を対応の出力状態値デ
ータＳｊとリンクして書込む。比較器１２１は、出力状
態値Ｓｊがしきい値ε（ΔＷ）よりも大きいとき（｜Ｓ
ｊ｜＞｜ε（ΔＷ）｜のとき）、“０”の出力信号を生
成し、そうでないときには“１”の出力信号を生成す
る。したがって、このステートメモリ１００に出力状態
値データＳｊとリンクして格納されたスキップビットＳ
Ｂｊ（比較器１２１の出力に対応）が“１”であれば、
その関連の出力状態値データＳｊは演算処理が省略され
るべきであることを示す。したがってステートメモリ１
００から演算ユニットへ出力状態値Ｓｊを伝達するとき
に、併わせてこの最下位ビットＬＳＢに格納されたスキ
ップビットＳＢｊを演算ユニットへ伝達すれば、信号Ｓ
ＪＳｉｇが容易に生成される。スキップビットＳＢｊ
は、最下位ビット位置ではなく、最上位ビット位置に格
納されてもよい。
【０２５０】図３５は、図３３に示す状態表現回路２１
０の構成を示す図である。図３５において、状態表現回
路２１０は、処理情報書込処理操作を規定するために必
要とされる演算処理状態を表現する状態フラグを格納す
るフラグレジスタ２１４と、このフラグレジスタ２１４
に格納された状態フラグを更新するための状態フラグ設
定回路２１２とを含む。状態フラグ設定回路２１２は、
図３３に示すローカルメモリ１１から読出される数値デ
ータの最下位ビットＬＭＤＬＳ、図３３に示す比較器２
０６の出力信号ＣＭＰＬＡおよび図３３に示すスキャン
指示信号ＳＪＳｉｇとフラグレジスタ２１４に格納され
た各状態フラグとを受け、各状態フラグの更新を行なう
状態フラグ設定回路２１２を含む。状態フラグ設定回路
２１２は、制御ユニット（図１参照）から与えられるフ
ラグ更新制御信号ＢＯＳＣｎｔに従って指定された状態
フラグの更新を実行する。制御ユニットからの命令に従
って演算ユニット各々における動作処理ステップが進行
する。制御ユニットから各演算ユニットへ状態フラグ更
新用の制御信号ＢＯＳＣｎｔを与えることにより、演算
ユニットおける処理ステップ（たとえば外部から与えら
れる出力状態値信号Ｓｊのラッチ、ローカルメモリから
の数値データの読み出し等）に従って対応の状態フラグ
を正確に更新することができる。
【０２５１】図３６は、フラグレジスタに格納される状
態フラグの定義を一覧にして示す図である。以下、順次
各フラグの定義について説明する。
【０２５２】フラグＡＳ：ローカルメモリ１１の現在指
定されているアドレスＳ（＝ｉ＋ｊ）がまだジャンプ先
アドレスＴに到達していないときに“１”となる。すな
わち、演算処理が省略されるときにはフラグＡＳが
“１”となる。
【０２５３】フラグＦＡ：最も最近（前のアクセスサイ
クルで）所定の演算処理を受けたまたはアクセスされた
アドレスＡ（ｔ−１）と現アドレスＡの差が１より大き
いときフラグＦＡは“１”となる。すなわち、フラグＦ
Ａは、ローカルメモリ１１のアドレスのスキップがあっ
たこと（演算が省略されたこと）を示す。
【０２５４】フラグＳＪ：外部から与えられる出力状態
値データＳｊのアドレスがジャンプしているときにフラ
グＳＪが“１”となる。
【０２５５】フラグＤＭ：フラグＤＭはローカルメモリ
（ＬＭ）から読出された数値データの最下位ビットの値
を示す。すなわち、フラグＤＭは、読出された数値デー
タが次の処理内容を示すアドレスデータであるのか演算
処理されるべき数値データであるのかを示す。
【０２５６】フラグＷ：フラグＷは、シナプス荷重修正
値ΔＷｉｊが所定のしきい値ε（ΔＷ）以下のとき、す
なわち｜ΔＷｉｊ｜≦｜ε（ΔＷ）｜ときに“１”とな
る。すなわち、フラグＷは、シナプス荷重修正データΔ
Ｗｉｊに代えて次の処理内容を指定するアドレスデータ
をローカルメモリへ書込むべきことを示す。
【０２５７】フラグＪ：フラグＪは、１演算処理（最も
最近アクセスされた）サイクル前のフラグＷの値Ｗ（ｔ
−１）に等しい。
【０２５８】フラグＳＴＯＰ：１演算処理（最も最近ア
クセスされた）サイクル前のフラグＡＳの値ＡＳ（ｔ−
１）に等しい。
【０２５９】フラグＥＮＤ：ローカルメモリにアクセス
されるアドレスＳ（ｉ＋ｊ）が所定の限界アドレスＡＤ
ＤＲ以上となったときに“１”となる。すなわちフラグ
ＥＮＴは全ての処理が終了したことを示す。
【０２６０】これらの状態フラグの値に従って図３３に
示す制御回路２２２が必要な制御動作を実行する。
【０２６１】次に、図３３および図３５を参照してフラ
グ発生／更新手法について説明する。
【０２６２】フラグＡＳ：内部データバスＩＮＮ０およ
びＩＮＮ１に出力状態値データＳｊおよびｊアドレスが
与えられる。レジスタ２２０に格納されたｉアドレスが
読出され、加算器２０４がｉアドレスとｊアドレスとを
加算してローカルメモリ１１の絶対アドレスＳ（＝ｉ＋
ｊ）を生成する。加算器２０４の出力する絶対アドレス
Ｓは再びレジスタ２２０に格納される。次いでレジスタ
２２０から新たに生成された絶対アドレスＳおよび既に
格納されているジャンプ先アドレスＴが読出されて比較
器２０６へ与えられる。この場合、加算器２０４の出力
が比較器２０６へ与えられ、レジスタ２２０への新たに
生成された絶対アドレスＳの格納前にレジスタ２２０か
らジャンプ先アドレスＡが読出されて比較器２０６へ与
えられる構成が用いられてもよい。比較器２０６の出力
信号ＣＭＰＬＡに従って図３５に示す状態フラグ設定回
路がフラグＡＳを新たに生成して状態レジスタ２１４に
この新たに生成したフラグＡＳを書込む。
【０２６３】フラグＦＡ：フラグＡＳの値が確定すると
レジスタ２２０の現アドレスＡは、ジャンプ先アドレス
Ｔまたは絶対アドレスＳのいずれかに更新される。次い
でレジスタ２２０からこの新たに生成された現アドレス
Ａおよび既に格納されているアドレスＡ（ｔ−１）＋１
が読出されて比較器２０６へ与えられる。比較器２０６
は、このアドレスＡおよびＡ（ｔ−１）＋１を比較し、
その比較結果に従って信号ＣＭＰＬＡを発生する。状態
フラグ設定回路２１２（図３５参照）はこの比較器２０
６からの出力信号ＣＭＰＬＡに従ってフラグＦＡの値を
設定し、フラグレジスタ２１４におけるフラグＦＡを更
新する。
【０２６４】フラグＳＪ：フラグＳＪは、信号ＳＪＳｉ
ｇに従って更新される。
【０２６５】フラグＤＭ：ローカルメモリ１１から数値
データが読出されたとき（先の実施例においてはローカ
ルメモリ１１の奇数アドレスから読出された数値デー
タ）の最下位ビットＬＳＢの値に従って状態フラグ設定
回路２１２において更新され、フラグレジスタ２１４に
おける状態フラグＤＭが更新される。 フラグＷ：演算器２０２によりシナプス荷重修正値ΔＷ
ｉｊが算出されると、レジスタ（明確には示さず）に格
納されたしきい値ε（ΔＷ）が読出される。比較器２０
６は、この算出されたシナプス荷重修正値ΔＷｉｊとし
きい値ε（ΔＷ）とを比較し、比較結果に従って出力信
号ＣＭＰＬＡを発生する。状態フラグ設定回路２１２が
この比較器出力信号ＣＭＰＬＡに従ってフラグＷを更新
する。
【０２６６】フラグＪ：フラグＪは、１演算サイクル前
のフラグが状態フラグ設定回路２１２により選択されて
フラグＪの更新が行なわれる。状態フラグ設定回路２１
２の入力部へフラグレジスタ２１４が出力するフラグを
与えることにより、１つ前の演算処理サイクルのフラグ
値に従って現サイクルのフラグ値の更新を容易に行なう
ことができる。
【０２６７】フラグＳＴＯＰ：フラグＳＴＯＰは、後に
更新タイミングは詳細に説明するが、１つ前の演算処理
サイクルにおけるフラグＡＳを状態フラグ設定回路２１
２が選択してフラグＳＴＯＰを更新する。フラグＳＴＯ
Ｐは、その演算処理サイクルにおける演算結果は無視す
べきであり、ローカルメモリの数値データを更新すべき
でないことまたは演算処理すべきでないことを示してい
る。フラグＳＴＯＰが“１”のときにはローカルメモリ
１１への数値データの書込みおよび数値データの演算処
理は禁止される。
【０２６８】フラグＥＮＤ：新たに算出された絶対アド
レスＳと限界アドレスＡＤＤＲがレジスタ２２０から読
出されて比較器２０６へ与えられる。比較器２０６は両
アドレスＳおよびＡＤＤＲを比較し、該比較結果に従っ
て出力信号ＣＭＰＬＡを発生する。状態フラグ設定回路
２１２は、この信号ＣＭＰＬＡがＳ＝ＡＤＤＲを示すと
きにはその演算処理サイクル完了後フラグＥＮＤを
“１”とする。フラグＥＮＤが“１”となると、ローカ
ルメモリ１１に格納された有効数値データ（演算処理す
べき数値データであり、シナプス荷重値およびシナプス
荷重修正値）の演算処理が全て終了したことを示す。
【０２６９】なお、図３３においては、マルチプレクサ
２０８を介してアドレスポインタ２００のアドレスが設
定されている。これは後に説明するように、アドレスデ
ータをローカルメモリ１１へ書込むときのアドレスは現
アドレスＡまたはジャンプ開始アドレスＦにより与えら
れる。このアドレスデータを書込むためのアドレスを選
択するためにマルチプレクサ２０８が設けられる。次に
具体的動作について説明する。
【０２７０】フラグＳＴＯＰは、次に演算処理されるべ
き出力状態値データＳｊが与えられるときには制御ユニ
ットの制御の下に一旦リセットされる。新たに与えられ
た出力状態値Ｓｊおよびｊアドレスに従って絶対アドレ
スＳの生成、ジャンプ先アドレスＴとの比較演算、フラ
グＡＳの生成を行なう必要があるためである。フラグＳ
ＴＯＰは、リセット状態とされるまで前のサイクルのフ
ラグＡＳ（ｔ−１）を保持する。現サイクルにおいて、
フラグＡＳの値がジャンプ先アドレスＴと絶対アドレス
Ｓの比較により決定されると、応じてフラグＳＴＯＰも
決定される。Ｔ＞Ｓのときには、新たに与えられた出力
状態値データＳｊに対する演算処理を行なう必要がな
く、以後の処理は停止される。通常、演算ユニットに出
力状態値Ｓｊを与えられた後にリセット信号が与えられ
る。したがってフラグＳＴＯＰは、出力状態値Ｓｊが与
えられたとき、前のサイクルのフラグＡＳを保持してい
る。これにより、フラグＳＴＯＰ＝フラグＡＳ（ｔ−
１）と表現している。
【０２７１】また、シナプス荷重値修正量ΔＷｉｊをロ
ーカルメモリから読出してシナプス荷重値修正量の更新
を行なうときに、シナプス荷重値修正データΔＷｉｊに
代えてアドレスデータが読出された場合は、この新たに
読出されたアドレスデータはジャンプ先アドレスＴとし
てレジスタ２２０に格納される。
【０２７２】フラグＷは、条件｜ΔＷｉｊ｜≦｜ε（Δ
Ｗ）｜を示し、フラグＪは前のサイクルのフラグＷ、す
なわちシナプス荷重値修正量としきい値との関係を示
す。演算省略を行なうために、｜ΔＷｉｊ｜≦｜ε（Δ
Ｗ）｜の場合には、シナプス荷重修正データΔＷｉｊに
代えてアドレスデータが書込まれる。２つのフラグＪお
よびＷの値により、以下に説明するように処理の進行状
態を知ることができる。
【０２７３】（ｉ） Ｊ＝Ｗ＝０ この状態は、図３７（ａ）に示すように、２つの連続す
る演算処理サイクルＴ１およびＴ２においてシナプス荷
重修正データΔＷが計算され、それらはしきい値ε（Δ
Ｗ）よりも大きいことが示されたサイクルである。２つ
の連続する演算サイクルにおいて演算が行なわれる状態
としては以下の状態の組合せが考えられる。
【０２７４】図３８（ａ）に示すように、サイクルＴ１
およびＴ２のｊアドレスが連続している場合には、スキ
ップ指示ビットＳＪが０である。この場合には、アドレ
スデータをローカルメモリに格納する必要はない。した
がって、この場合には、特にジャンプ先アドレスの更新
に関する特別な処理は行なわれない。
【０２７５】図３８（ｂ）に示すように、ｉアドレスが
連続する場合にはフラグＦＡが０となる。ローカルメモ
リにおける連続したアドレスのロケーションに格納され
たデータが演算処理されているためである。この場合に
も、ジャンプ先アドレス更新のための処理は何ら行なわ
れない。
【０２７６】図３８（ｃ）に示すように、サイクルＴ１
において演算処理された数値データと続いてサイクルＴ
２において演算処理された数値データが格納される現ア
ドレスとの間に１より大きい差がある場合には、フラグ
ＳＪおよびＦＡはともに１となる。ｊアドレスもｘから
ｙへと飛んでいる（ローカルメモリの各アドレスは相手
先ニューロンに対応しており、隣接するロケーションは
隣接するｊアドレスを有する）。この場合には、アドレ
スＡ（ｔ−１）の次のアドレスＡ（ｔ−１）＋１に格納
された数値データは演算処理を省略することのできる数
値データである。したがってこのアドレスＡ（ｔ−１）
＋１に現アドレスＡを書込む。このとき、アドレスＡ
（ｔ−１）＋１からアドレスＡ−１のロケーションに現
アドレスＡを書込むように構成すれば、図２９に示す有
効誤差データ格納時におけるアドレスデータの格納を実
現することができる。
【０２７７】ここでｊアドレスが、連続する２つの演算
処理サイクルにおいてジャンプをしているのは、出力状
態値Ｓｊが先に第１の演算処理方式で示した方式に従っ
て有効出力状態値データのみが演算ユニットへ与えられ
るためである。
【０２７８】（ｉｉ） Ｊ＝０、Ｗ＝１ この状態は、図３９に示すように前のサイクルＴ１にお
ける演算処理結果は有効であり、現サイクルＴ２におけ
る演算処理結果は省略することのできる演算処理結果で
あることを示している。したがって現サイクルにおいて
アクセスされたアドレス位置にアドレスデータを書込む
必要がある。このとき、図３８（ａ）および（ｂ）から
明らかなようにフラグＳＪおよびＦＡの一方が“０”の
場合には、現アドレスＡがジャンプ開始位置であるた
め、現アドレスＡが図３３に示すレジスタ２２０にジャ
ンプ起点アドレスＦとして格納される。
【０２７９】一方、フラグＦＡおよびＳＪがともに１の
場合には、図３８（ｃ）の類推から、ジャンプ起点アド
レスはアドレスＡ（ｔ−１）＋１である。したがってこ
の場合には、アドレスＡ（ｔ−１）＋１をジャンプ起点
アドレスＦとしてレジスタ２２０に格納する。
【０２８０】（ｉｉｉ） Ｊ＝１かつＷ＝０ この場合には、図４０に示すように現アドレスＡに格納
された数値データは有効数値データであり、その前のサ
イクルＴ１で演算処理された数値データは省略すること
のできる数値データである。すなわち現アドレスＡはア
ドレスジャンプの終了地点を示している。したがって現
アドレスＡをジャンプ開始アドレス位置に格納すること
が要求される。すなわちレジスタ２２０（図３３参照）
からジャンプ開始アドレスＦを読出し、ローカルメモリ
のジャンプ開始アドレスＦに現アドレスＡを書込む。こ
のローカルメモリへのジャンプ先アドレスの書込みは、
フラグＳＪおよびＦＡの状態にかかわらず実行される。
【０２８１】（ｉｖ） Ｊ＝Ｗ＝１ この状態は、図４１に示すように、２つの連続するサイ
クルＴ１およびＴ２において演算処理された数値データ
はともに省略することのできる数値データ（シナプス荷
重修正データ）であることを示している。すなわちアド
レスジャンプを継続すべきことを示している。したがっ
てアドレスジャンプのためのアドレス更新処理は何ら行
なわれない。
【０２８２】上述のように、フラグＪおよびＷの値を見
ることにより、現サイクルにおいてアドレスジャンプが
終了したか否か、アドレスジャンプが開始するのか否か
およびジャンプが継続しているのか、などを判別し、フ
ラグＳＪおよびＦＡの値に従ってジャンプ先アドレス、
ジャンプ開始アドレスおよびジャンプ先アドレス格納位
置を正確に識別してローカルメモリに格納することがで
き、有効数値データに対してのみ演算処理を実行するこ
とができる。
【０２８３】またこの処理では、シナプス荷重修正デー
タΔＷの算出結果に従ってジャンプ先アドレスの書込み
が行なわれているため、シナプス荷重修正演算処理とは
並列にジャンプ先アドレスを決定してローカルメモリ内
に書込むことができ、学習の進行とともに増加する無効
数値データを省略して演算を行なうことができ、高速か
つ効率的に処理を実行することができる。
【０２８４】図４２は、図３５に示す状態フラグ設定回
路２１２の具体的構成を示す図である。図４２におい
て、状態フラグ設定回路２１２は、合計１０個のセレク
タ２５１〜２６０を含む。セレクタ２５１は、制御信号
ＢＳ１に従って比較器の出力信号ＣＭＰＬＡとフラグレ
ジスタ２１４（図３５参照）から与えられる状態フラグ
ＡＳ−の一方を選択して現サイクルにおける状態フラグ
ＡＳを生成する。セレクタ２５２は、制御信号ＢＳ２に
従って比較器出力信号ＣＭＰＬＡと状態レジスタに格納
されたフラグＦＡ−の一方を選択して現サイクルのフラ
グＦＡを生成する。セレクタ２５３は、制御信号ＢＳ３
に従ってローカルメモリから読出された数値データの最
下位ビット値ＬＭＤＬＳと状態レジスタに格納されたフ
ラグＤＭ−の一方を選択して現サイクルにおけるフラグ
ＤＭを生成する。
【０２８５】セレクタ２５４は、制御信号ＢＳ４に従っ
て比較器出力信号ＣＭＰＬＡとフラグレジスタから出力
される状態フラグＷ−の一方を選択して現サイクルのフ
ラグＷを生成する。
【０２８６】セレクタ２５５は、制御信号ＢＳ５に従っ
て状態フラグＷ−とレジスタとフラグレジスタから出力
される状態フラグＪ−の一方を選択して現サイクルのフ
ラグＪを生成する。セレクタ２５８は、制御信号ＢＳ８
に従ってアドレススキップ指示信号ＳＪＳｉｇとフラグ
レジスタから出力された状態フラグＳＪ−の一方を選択
して現サイクルのフラグＳＪを生成する。
【０２８７】フラグＳＴＯＰおよびＥＮＤには２つのセ
レクタがそれぞれ設けられる。フラグＳＴＯＰには２つ
のセレクタ２５６および２５９が設けられる。セレクタ
２５６は、制御信号ＢＳ６に従って状態フラグＡＳ−お
よびＳＴＯＰ−の一方を選択する。セレクタ２５９は、
制御信号ＢＳ９に従って接地電位（“０”）とセレクタ
２５６の出力信号の一方を選択して現サイクルのフラグ
ＳＴＯＰを生成する。フラグＥＮＤに対してはセレクタ
２５７および２６０が設けられる。セレクタ２５７は、
制御信号ＢＳ７に従って比較器出力信号ＣＭＰＬＡとフ
ラグレジスタから出力される状態フラグＥＮＤ−の一方
を選択する。セレクタ２６０は、制御信号ＢＳ１０に従
って接地電位（“０”）とセレクタ２５７の出力信号の
一方を選択して現サイクルのフラグＥＮＤを生成する。
セレクタ２５９および２６０が設けられているのは、フ
ラグＳＴＯＰおよびＥＮＤを外部から強制的にリセット
するためである。これらのフラグＳＴＯＰおよびＥＮＤ
を強制的にリセットすることにより得られる利点につい
ては後に詳細に説明する。ここでは、簡単に、制御ユニ
ットが全ての演算ユニットに対し共通の数値データを与
えるときに各演算ユニット全てに対し同期してこの数値
データを通報することができるということのみを述べ
る。
【０２８８】制御信号ＢＳ１〜ＢＳ１０は制御ユニット
から各演算ユニットに対し共通に与えられる。必要なフ
ラグのみが更新される。図３５に示すフラグレジスタ２
１４は、全て同じタイミングで与えられたデータをラッ
チする。フラグレジスタの出力信号は制御信号として図
３５に示す制御回路へ与えられるとともにこの状態フラ
グ設定回路２１２へもフィードバックして与えられる。
したがってフラグレジスタを同期的に動作させてもセレ
クタ２５１〜２６０を制御信号ＢＳ１〜ＢＳ１０により
選択的に動作させることにより必要な状態フラグのみを
更新することができる。フラグレジスタにおいて特定の
レジスタのみラッチ動作を制御する必要はなく全てのレ
ジスタを同期的に動作させるため、フラグレジスタの動
作制御が容易となる。
【０２８９】制御信号ＢＳ１〜ＢＳ１０は制御ユニット
から与えられるが、制御ユニットと演算ユニットとの間
の制御信号通報のための信号線の本数はできるだけ少な
くするのが配線占有面積の観点からは好ましい。そこ
で、図４３に示すように、状態フラグ設定回路２１２
に、制御ユニットから通報される複数ビットの制御信号
ＢＯＳＣｎｔをデコードするデコーダ２７０を設ける。
図４３においては、制御信号ＢＯＳＣｎｔが３ビットの
制御ビットＢＯＳ０〜ＢＯＳ２を含み、デコーダ２７０
がこれらの制御ビットＢＯＳ０〜ＢＯＳ２に従って各制
御信号を発生する。図４３には、制御ビットＢＯＳ０〜
ＢＯＳ２の各状態に従って更新されるフラグを併わせて
示す。制御ビットＢＯＳ０〜ＢＯＳ２が全て０の場合に
は、デコーダ２７０はデコード動作を実行しない。した
がって制御信号の組合わせとしては７つの状態が実現さ
れる。この制御ビットＢＯＳ０〜ＢＯＳ２の状態と更新
される状態フラグの対応関係は任意であり、別の組合わ
せが用いられてもよい。
【０２９０】図４３に示す構成においては、制御信号Ｂ
ＯＳ０〜ＢＯＳ２が“１１０”のときには、フラグＡ
Ｓ、ＦＡおよびＪが更新される。この場合、制御信号Ｂ
Ｓ１、ＢＳ５が発生されてこれらのフラグの更新が行な
われる。フラグＡＳはＴ−Ｓに対応し、フラグＦＡは、
Ａ−Ａ（ｔ−１）−１に対応する。したがって、この図
４３に示すデコーダ２７０を用いる場合には、セレクタ
２５１および２５２へは、別々の比較器の出力信号が与
えられる。比較器を２つ用いれば容易にこの構成は実現
される。１つの比較器を用いる場合には制御信号ＢＯＳ
Ｃｎｔのビットの数を増やせばよい。
【０２９１】図４３に示すようにデコーダを用いて制御
ユニットから与えられる制御信号ＢＯＳＣｎｔをデコー
ドして状態フラグ更新用の制御信号を発生することによ
り、制御ユニットと演算ユニットの間の制御フラグ更新
用の制御信号を通報するための信号線の本数を低減する
ことができ、配線占有面積を低減することができる。
【０２９２】［加減算／比較複合回路］図４４は、加減
算／比較複合回路の構成を示す図である。図４４に示す
複合回路は図３３に示す加算器２０４および比較器２０
６の機能を実現する。図４４において、複合回路は、制
御信号ＣＮＴと入力データＩＮａを受けるＥＸＯＲ回路
２８０と、ＥＸＯＲ回路２８０の出力データをその一方
入力ａに受け、入力データＩＮｂを他方入力ｂに受ける
演算器２８２と、制御信号ＣＮＴを反転するインバータ
回路２８４と、インバータ回路２８４の出力信号と演算
器２８２の出力信号（符号ビット）Ｃｏｕｔを受けるＮ
ＯＲ回路２８６を含む。演算器２８２はまた入力ａおよ
びｂに与えられたデータに対して行なった演算の結果を
示す出力データＯＵＴを生成する。
【０２９３】制御信号ＣＮＴが“０”の場合、ＥＸＯＲ
回路２８０はバッファ回路として機能する。したがって
ＥＸＯＲ回路２８０は、入力データＩＮａを反転させず
に通過させる。演算器２８２は、その制御入力Ｃｉｎに
与えられる制御信号ＣＮＴに従って入力ａおよびｂに与
えられたデータの加算を行なう。したがってこの場合出
力データＯＵＴとして入力ａおよびｂに与えられたデー
タの加算結果が出力される。すなわちＯＵＴ＝ａ＋ｂと
なる。制御信号ＣＮＴが“０”の場合には、インバータ
回路２８４の出力が“１”であり、ＮＯＲ回路２８６の
出力信号ＬＡＧａは“０”である。比較動作は行なう必
要がないため、この出力信号ＬＡＧａは無視される。
【０２９４】制御信号ＣＮＴが“１”の場合には、ＥＸ
ＯＲ回路２８０はインバータ回路として機能し、入力デ
ータＩＮａを反転する。演算器２８２は、この制御信号
ＣＮＴに従って加算を行なう。したがって、演算器２８
２の出力信号ＯＵＴはｂ−ａとなる。そのときの符号ビ
ットＣｏｕｔがＮＯＲ回路２８６へ与えられる。インバ
ータ回路２８４の出力信号は“０”であり、ＮＯＲ回路
２８６はインバータとして機能する。演算器２８２から
出力される符号ビットＣｏｕｔは出力ＯＵＴがｂ−ａ＜
０の場合には０となり、ｂ−ａ≧０の場合には１とな
る。したがって、ＮＯＲ回路２８６の出力信号ＬＡＧａ
は、ａ＞ｂのときに“１”となる。
【０２９５】なお、ＥＸＯＲ回路２８０をインバータ回
路として機能させ、演算器２８２において演算を行なう
場合、２の補数表示の数値データが用いられる場合には
演算器２８２において、制御信号ＣＮＴに従って入力ａ
に与えられた数値に対し“１”が加算される。なお、２
の補数表示の数値データの場合、符号ビットＣｏｕｔは
ｂ−ａ＜０のときに“１”となる。この場合は制御信号
ＣＮＴと符号ビットＣｏｕｔを受けるＡＮＤ回路を用い
て比較結果信号ＬＡＧａを発生する構成を利用すればよ
い。
【０２９６】図４４に示す複合回路を用いることによ
り、１つの演算器を用いて加算器／比較器／減算器と３
つの機能を選択的に実現することができ、回路規模を低
減することができる。
【０２９７】［書込制御系の変更例］図４５は演算ユニ
ットにおける数値データ書込制御系の変更例を示す図で
ある。図４５において、書込制御系は、フラグレジスタ
２１４から出力されるフラグＳＴＯＰおよびＥＮＤを受
けるＮＯＲ回路３００を含む。ＮＯＲ回路３００から、
ローカルメモリへのデータ書込みを許可するローカルメ
モリライトイネーブル信号およびレジスタファイルへの
数値データの書込みを許可するレジスタファイルライト
イネーブル信号が発生される。このＮＯＲ回路３００か
ら発生されるイネーブル信号は図３３に示す制御回路２
２２へ与えられる。ＮＯＲ回路３００の出力信号が
“１”となったときにローカルメモリおよびレジスタフ
ァイルへの数値データの書込みが許可される。ＮＯＲ回
路３００の出力信号が“１”となるのは、フラグＳＴＯ
ＰおよびＥＮＤがともに“０”のときである。すなわち
演算ユニットおいて数値演算処理が実行されるときであ
る。フラグＳＴＯＰおよびＥＮＤの少なくとも一方が
“１”の場合には、この演算ユニットにおいては、数値
演算処理は中断すべき（省略すべき）であるか全て完了
している状態であり、この状態においてはローカルメモ
リおよびレジスタファイルへの数値データの書込みは禁
止される。このＮＯＲ回路３００を用いて数値データの
書込みを許可／禁止する構成は以下の利点を与える。
【０２９８】先に述べた演算処理省略方式は演算ユニッ
トが１つの場合でも適用することができる。演算ユニッ
ト内のローカルメモリにおけるｉアドレスのアドレス値
を複数個利用できるようにすれば、１つの演算ユニット
は複数のニューロンを表現することができる。しかしな
がら、大規模ニューラルネットワークを構成するために
は、また並列処理による処理の効率化を図るために、本
発明に従う数値演算処理装置は複数の演算ユニットを備
える。これらの演算ユニットが１つの制御ユニットの制
御の下に並列に動作する。複数の演算ユニットへは、制
御ユニットから共通に制御信号および命令が与えられる
（ＳＩＭＤ方式に従うため）。
【０２９９】シナプス荷重値の修正時には複数の演算ユ
ニットに共通に数値データＳｊおよびｊ（ｊアドレス）
が与えられる。演算ユニットは個々の内部状態に従って
与えられた数値データＳｊおよびｊに対する演算処理の
省略または実行をする。このとき制御ユニットからは複
数の演算ユニットに対し共通に、演算処理遂行のための
命令／制御信号が与えられる。したがって、演算処理を
省略すべき演算ユニットにおいては、不要な制御信号が
発生されるか（フラグ更新制御信号ＢＯＳＣｎｔは全演
算ユニットに共通に与えられる）、ローカルメモリおよ
びレジスタファイルに格納された数値データの誤った更
新が行なわれる可能性がある。
【０３００】しかしながら、図４５に示す構成において
は、フラグＳＴＯＰおよびＥＮＤの少なくとも一方が
“１”の場合には、ＮＯＲ回路３００からレジスタファ
イル（図３３に示すレジスタファイルは２２０）および
ローカルメモリ１１への数値のデータの書込みが禁止さ
れるため、全ての演算ユニットに対し共通に与えられて
いる各種制御信号／命令にかかわらず、処理中断／完了
状態の演算ユニット内においては処理操作が一時的に停
止し、フラグＳＴＯＰまたはＥＮＤのリセット信号が与
えられるまで待機状態となる。
【０３０１】上述のように、演算処理を省略すべき演算
ユニットを待機状態とすると、以下に述べる構成と組合
わせて利用することにより全ての演算ユニットの演算処
理サイクルの開始および終了を同期させることができ、
全ての演算ユニットにおける処理対象となるアドレスが
外部（制御ユニット）から与えられるｊアドレスに従っ
て同期して変化し、処理対象アドレスの演算ユニット間
の不一致の発生を防止することができ、全ての演算ユニ
ットを並列態様で動作させることができる。
【０３０２】図４７に数値データ更新のための構成を示
す。図４７において、制御ユニット２０は、演算ユニッ
ト１０−１−１０−ｎ全てから通報されるフラグＳＴＯ
Ｐの論理積を求めるＡＮＤ回路３２１と、ＡＮＤ回路３
２１の出力信号に応答して（同期して）新たな数値デー
タＳｊおよびｊをデータブロードキャストバス２３およ
びアドレスブロードキャストバス２２に通報する数値デ
ータ更新発行部３２２と、ＡＮＤ回路３２２の出力信号
に応答してフラグＳＴＯＰをリセットするための制御信
号を発生するリセット信号発生回路３３３とを含む。リ
セット信号発生回路３３３からのリセット信号ＢＯＳＣ
ｎｔは、図４３に一例として示すように、３ビットＢＯ
Ｓ２，ＢＯＳ１，ＢＯＳ０＝“０，０，１”の形態で演
算ユニット１０−１〜１０−ｎの状態表現回路２１０
（より正確にいえば状態フラグ設定回路２１２）へ与え
られ、フラグＳＴＯＰを“０”にリセットする。
【０３０３】数値データ更新発行部３２２がブロードキ
ャストバス２２および２３に新しい数値データＳｊおよ
びｊを通報した後（または同時）に、リセット信号発生
回路３３３からフラグＳＴＯＰをリセットするための制
御信号ＢＯＳＣｎｔが発生される。各演算ユニット１０
−１〜１０−ｎへ数値データＳｊおよびｊが与えられて
かつフラグＳＴＯＰがリセットされた後、演算ユニット
１０−１〜１０−ｎ各々において数値データＳｊおよび
ｊが内部のレジスタに格納されて演算処理が実行または
省略される。
【０３０４】フラグＳＴＯＰは、ジャンプ先アドレスＴ
が絶対アドレスＳ（＝ｉ＋ｊ）よりも大きいときは
“１”となる。演算処理を省略することなく実行する演
算ユニットにおいて所定の演算処理が行なわれる場合に
はフラグＳＴＯＰは“０”である。処理過程において、
ΔＷｉｊの値が所定値よりも小さくなると、そのシナプ
ス荷重修正量ΔＷｉｊに代えてジャンプ先アドレスデー
タが格納される。この書込まれたジャンプ先アドレスが
利用されるのは次の処理サイクルにおいてである（現在
の処理サイクルにおいては演算処理が行なわれており、
書込時アドレスデータが書込まれるか演算処理結果デー
タが書込まれるかが異なるだけである）。
【０３０５】演算処理を実行する演算ユニットにおいて
は、アドレスデータをローカルメモリに書込んだ場合、
そのサイクルにおいて特に以後の処理を実行する必要は
ない（後にフロー図を参照して詳細に説明する）。アド
レスポインタへの新しいアドレスデータの設定および新
しいアドレスデータに従ったローカルメモリへのアクセ
スが実行される。ローカルメモリから次の演算処理内容
を示すアドレスデータが読出されるときに状態レジスタ
内にジャンプ先アドレスＴとして次の演算処理内容を指
定するアドレスデータ（読出されたアドレスデータ）が
格納される。また、演算処理が省略されることなく終了
するとアドレスが１増分される。増分されたアドレスは
ジャンプ先アドレスとしてレジスタに格納される。ジャ
ンプ先アドレスＴの更新が行なわれたとき、そのサイク
ルは以後の演算処理を実行する必要はない。したがって
１つの演算処理完了時（たとえばシナプス荷重値データ
Ｗｉｊまたはシナプス荷重修正データΔＷｉｊのローカ
ルメモリへの書込命令が与えられた後）、制御信号ＢＯ
ＳＣｎｔによりフラグＳＴＯＰを更新する。演算処理を
実行していた演算ユニットにおいては、必要な演算処理
が完了した後フラグＳＴＯＰが“１”となる（ＡＳ＝Ｔ
−ＳよりＡＳ＞０となり、０のフラグＳＴＯＰが１とな
る）。したがって全ての演算ユニット１０−１〜１０−
ｎのフラグＳＴＯＰが“１”となると、演算ユニット１
０−１〜１０−ｎは全て次の数値データを待機する状態
になる。したがってこの図４６に示すように、ＡＮＤ回
路３２１の出力信号に従って演算ユニット１０−１〜１
０−ｎへ数値データＳｊおよびｊを与えることにより、
全ての演算ユニット１０−１〜１０−ｎを同期して動作
させることができるとともに、演算ユニット１０−１〜
１０−ｎにおけるアドレス（絶対アドレスｉ＋ｊおよび
ｉアドレス）の進行状況は全て同一となる。
【０３０６】またリセット信号発生回路３３３から演算
ユニット１０−１〜１０−ｎすべてに対しフラグＳＴＯ
Ｐをリセットするための信号を同時に与えることによ
り、演算ユニット１０−１〜１０−ｎの動作開始タイミ
ングを全て同一とすることができ、全ての演算ユニット
１０−１〜１０−ｎを並列に同期して動作させることが
できる。
【０３０７】またフラグＳＴＯＰの代わりにフラグＥＮ
Ｄを用いれば、演算ユニット１０−１〜１０−ｎの全て
が必要な演算処理を完了した後に必要な数値データを演
算ユニット１０−１〜１０−ｎへ与えることができる。
【０３０８】上述のフラグＳＴＯＰおよびＥＮＤを用い
る場合、数値データではなく、演算ユニット１０−１〜
１０−ｎに共通に与える必要のあるたとえば定数データ
などの数値データを全ての演算ユニット１０−１〜１０
−ｎに対して正確に通報することができる。
【０３０９】［数値データ更新実行部の具体的構成］図
２６に示す構成においては、タグメモリ１０２から読出
されるアドレスをニューラルネットワークの各層におけ
るニューロンを識別するｊアドレスに変換する手法は明
確には示していない。ステートメモリ１００からは、タ
グメモリ１０２に格納されたアドレスに従ってアドレス
ポインタ１０６を介して順次有効出力状態値が読出され
ている。したがってアドレスポインタ１０６は、このス
テートメモリ１０６における絶対アドレスを指定してい
る。すなわち、タグメモリ１０２には、有効出力状態値
のステートメモリ１００に格納された位置を示す絶対ア
ドレスが格納されている。レジスタファイル１０４に
は、このタグメモリ１０２におけるニューラルネットワ
ークの各層の最初のアドレスが格納されている。このス
テートメモリ１００およびタグメモリ１０２のアドレス
の対応関係は、単に制御ユニット内部においてのみであ
る。演算ユニットにおけるローカルメモリのアドレスと
の対応関係は存在していないことも考えられる。ローカ
ルメモリに有効誤差データを格納する場合特にこのアド
レスの対応関係は存在する可能性は低くなる。そこで、
図４７に示すように、タグメモリ１０２から読出された
アドレスとレジスタファイル１０４に格納されたニュー
ラルネットワーク層の開始アドレスとの減算を行なう減
算器３５０によりｊアドレスを生成する。これにより、
減算器３５０からはニューラルネットワークのある層に
おいて何番目のニューロンの出力状態値が与えられてい
るかを示すｊアドレスが正確に生成される。これにより
各演算ユニット１０−１〜１０−ｎは、ステートメモリ
１００およびタグメモリ１０２において格納された出力
荷重値Ｓｊの格納アドレスとかかわりなく自身のローカ
ルメモリにおける対応の数値データを正確に読出すこと
ができる。
【０３１０】なお図４７に示す構成においても、適当な
箇所にレジスタラッチを設けてクロック信号に同期して
レジスタ間の数値データの転送を行なうことにより、パ
イプライン態様でタグメモリ１０２およびステートメモ
リ１００のアクセスおよび数値データＳｊおよびｊの生
成を行なうことができる。
【０３１１】［シナプス荷重修正フローの一例］図４８
に、１つの演算ユニットにおけるローカルメモリに格納
された有効誤差データδおよびシナプス荷重Ｗｉｊおよ
びシナプス荷重修正データΔＷｉｊの格納状態の一例を
示す。図４８において、ローカルメモリ１１ａには、ニ
ューロンｐ、ｑおよびｒの有効誤差δｐ、δｑおよびδ
ｒが格納される（有効誤差データの格納態様は図２９参
照）。ローカルメモリ１１ｂには、ニューロンｐ、ｑお
よびｒそれぞれに対するシナプス荷重データＷｉｊおよ
びシナプス荷重修正データΔＷｉｊが格納される。有効
誤差δｐ、δｑおよびδｒの格納のためには３つのアド
レス（３つのエントリ）が必要とされるだけである。図
４８においては、ローカルメモリ１１ｂにおいて格納さ
れるシナプス荷重値Ｗｉｊおよびシナプス荷重修正値Δ
Ｗｉｊとの対応関係を明瞭に示すために、有効誤差デー
タ格納領域を拡大して示す。
【０３１２】ニューロンｐ、ｑおよびｒそれぞれに対
し、外部から相手先ニューロンの出力状態値Ｓｊ（ｊ＝
０〜ｎが与えられてシナプス荷重の修正が行なわれる。
図４８に斜線で示す領域が演算処理を省略することので
きる領域の場合には、その領域に格納された数値データ
を利用する演算処理は省略される。たとえば有効誤差デ
ータδｐを利用する演算η・δｐ・Ｓｊの演算は省略す
ることができる。したがってシナプス荷重修正データΔ
Ｗｐｊが、α・ΔＷｐｊ（ｔ−１）で与えられるため、
高速でシナプス荷重修正値を算出することができる。さ
らにΔＷｐｊ（ｔ−１）が省略することのできる演算で
ある場合、このシナプス荷重修正値ΔＷｐｊの演算は完
全に省略することができる。また同様にＷｐｊ＝Ｗｐｊ
（ｔ−１）＋ΔＷｐｊの演算も併わせて省略することが
できる。
【０３１３】図４９は、シナプス荷重修正時における各
演算ユニットにおける有効誤差データおよびシナプス荷
重およびシナプス荷重修正量データの格納状態の一例を
示す図である。図４９においては、演算ユニット１０−
１〜１０−１５が一例として示される。演算ユニット１
０−１〜１０−１５の各々は一例として、３つのニュー
ロンをそれぞれ表現する。図４９においては、外部（制
御ユニット）から与えられる出力状態値Ｓｊの状態も併
わせて示す。出力状態値データＳｊはローカルメモリＬ
Ｍには格納されていない。有効誤差データδｉは、ロー
カルメモリＬＭの所定の領域に格納されてもよく、また
レジスタファイル内の特定のレジスタに対応のｉアドレ
スとともに格納されてもよい。演算ユニット１０−１〜
１０−１５へ共通に制御ユニットから数値データＳｊお
よびｊが与えられる。演算ユニット１０−１〜１０−１
５それぞれにおける処理ブロックＰＢＬ１〜ＰＢＬ１５
が必要な処理を実行する。処理ブロックＰＢＬ１〜ＰＢ
Ｌ１５もまたフラグＳＴＯＰおよびＥＮＤを制御ユニッ
トへ与える。これらのフラグは制御ユニットからの制御
信号によりリセットされる。
【０３１４】図５０は図４９に示す処理ブロックの具体
的構成を示す図である。図５０において、処理ブロック
ＰＢＬは、有効誤差データδｉを一時的に格納するレジ
スタ４０１と、ローカルメモリＬＭから逃がされた得た
を一時的に格納するためのレジスタ群４０２と、レジス
タ群４０２に格納されたｉアドレスをラッチするための
レジスタ４０５と、ブロードキャストバス２２および２
３を介して与えられた数値データｊおよびＳｊをそれぞ
れラッチするためのレジスタ４０４および４０３と、レ
ジスタ４０４および４０５に格納された数値データｊお
よびｉを加算する加算器４０６と、加算器４０６の演算
結果出力とレジスタ群４０２に格納される状態フラグに
従ってローカルメモリＬＭに対する絶対アドレス（現ア
ドレスＡ）を発生する現アドレス発生器４０７と、対応
の演算ユニットにおける演算処理の進行状態を表現する
状態表現回路２１０を含む。レジスタ群４０２は、処理
に必要な上述のさまざまなレジスタを含んでおり、処理
データを一時的に格納するためのレジスタ、およびジャ
ンプ先アドレスＴ、絶対アドレスＳ、現アドレスＡ、前
アドレスＡ＋１、限界アドレスＡＤＤＲ、しきい値εΔ
Ｗ、εデータとを格納する。次にシナプス荷重修正動作
のフローの一例について図５１に示すフロー図を参照し
て説明する。
【０３１５】まず学習パラメータηおよびαが演算ユニ
ット１０−１〜１０−１４それぞれにおいて設定され
る。定数データηおよびαの設定は、前述のように演算
ユニット１０−１〜１０−１４それぞれをリセット状態
とし（フラグＳＴＯＰおよびＥＮＤのリセット）、次い
でデータブロードキャストバス２３を介して学習パラメ
ータηおよびαを演算ユニット１０−１〜１０−１４へ
与えて命令ブロードキャストバス２１（図１参照）から
の命令により所定のレジスタに書込むことにより行なわ
れる。また、ローカルメモリＬＭの初期アドレスを設定
するためにアドレスポインタに初期値が設定される。こ
のアドレスポインタの初期値の設定も同様にして行なわ
れ、さらにしきい値ε（ΔＷ）およびεδが演算ユニッ
ト１０−１〜１０−１４それぞれにおいて設定される
（制御ユニット２０の制御の下）。これらのパラメータ
η、α、ε（ΔＷ）、およびεδおよびアドレスポイン
タの初期値の設定は任意の順序で実行されてもよい。以
上の処理により、演算ユニット１０−１〜１０−１４の
初期設定が完了する（ステップＳＴＰ１）。
【０３１６】演算ユニット１０−１〜１０−１４（以下
の説明において演算ユニットは符号ＰＵで示す）は、レ
ジスタに格納されたｉアドレスを初期値に設定する（ス
テップＳＴＰ２）。
【０３１７】ｉアドレスに初期値を設定することによ
り、図２９に示すように、次いでローカルメモリＬＭか
ら演算処理されるべき数値データが格納されるアドレス
データが読出される。この読出されたｉアドレスに従っ
てジャンプ先アドレスが指定されるとともにローカルメ
モリから有効誤差データδｉが読出され、図５０に示す
レジスタ４０１に格納される。このレジスタ４０１への
有効誤差データδｉの格納時に、演算処理が省略される
べき有効誤差データはスキップされている（たとえば図
４９において有効誤差データδ０はスキップされる）
（ステップＳＴＰ３）。
【０３１８】次いで制御ユニット２０（以下の説明にお
いては制御ユニットは符号ＣＵで示す）は、数値データ
Ｓｊおよびｊをそれぞれデータブロードキャストバス２
３（ＤＢ）およびアドレスブロードキャストバス２２
（ＡＢ）へ伝達する。この制御ユニットＣＵからの数値
データの各演算ユニット１０−１〜１０−１５への通報
時においても、演算処理が省略されるべき数値データは
スキップされている。制御ユニットＣＵから数値データ
Ｓｊおよびｊが演算ユニットＰＵへ通報されると、演算
ユニットＰＵは、与えられた数値データＳｊおよびｊを
ラッチし、また加算器４０６によりｉ＋ｊが計算されて
アドレスＳが得られ、レジスタ群４０２に格納される
（この経路は図示せず）とともに図５０に示す現アドレ
ス発生回路４０７へ与えられる。現アドレス発生回路４
０７は、このアドレスＳとレジスタ群４０２に格納され
たフラグＡＳに従って現アドレスＡを発生する（ステッ
プＳＴＰ４）。
【０３１９】フラグＳＴＯＰが“０”の演算ユニットＰ
Ｕにおいては、まずδｉ・Ｓｊ・ηの演算処理を行な
い、この演算処理結果を特定のレジスタにパラメータａ
として格納する。次いで、ローカルメモリＬＭから現ア
ドレスＡに従ってシナプス荷重修正データΔＷｉｊを読
出す。読出したシナプス荷重修正データΔＷｉｊと先に
算出されたパラメータａとから、演算α・ΔＷｉｊ＋ａ
を行ない、この演算結果をパラメータΔＷｉｊ＋として
特定のレジスタへ格納する。この算出された新しいシナ
プス荷重修正データΔＷｉｊ＋が所定のしきい値ε（Δ
Ｗ）以上の場合には、ローカルメモリＬＭの現アドレス
位置にこの算出されたシナプス荷重修正データΔＷｉｊ
＋が書込まれる。算出されたシナプス荷重修正データΔ
Ｗｉｊ＋がしきい値ε（ΔＷ）よりも小さい場合には、
ローカルメモリへは、現アドレスＡの位置に先に図３１
ならびに図３７ないし図４１において説明した手法に従
ってアドレスデータが書込まれるかまたはその書込みが
待機状態とされる。なおローカルメモリＬＭからシナプ
ス荷重修正データΔＷｉｊを読出すときに読出されたシ
ナプス荷重データΔＷｉｊの代わりにアドレスデータが
読出されたときには、演算処理がその時点で終了し、ジ
ャンプ先アドレスＴが更新されて次に新しい数値データ
Ｓｊおよびｊが与えられるのを待ち合わせる。
【０３２０】次いでローカルメモリＬＭからシナプス荷
重データＷｉｊを読出し、先に算出されたシナプス荷重
修正データΔＷｉｊ＋を用いてＷｉｊ＋ΔＷｉｊ＋の演
算を行ない、新たなシナプス荷重値Ｗｉｊ＋を生成し、
ローカルメモリＬＭの現アドレス位置に書込む。シナプ
ス荷重Ｗｉｊの修正動作時においては、図３１に示す一
連の処理動作が実行される。以上の処理によりステップ
ＳＴＰ５が終了する。
【０３２１】いずれかの処理過程が終了すると、制御ユ
ニットＣＵは、演算ユニットの状態表現回路２１０から
与えられるフラグＳＴＯＰにより、全ての演算ユニット
ＰＵがこの必要な演算処理が完了したか否かを識別する
（ステップＳＴＰ６）。演算ユニットＰＵ全てからのフ
ラグＳＴＯＰが全て“１”となっていない場合には、少
なくとも１つの演算ユニットＰＵが演算処理を実行して
いるため、制御ユニットＣＵは、この全ての演算ユニッ
トＰＵからのフラグＳＴＯＰが“１”となるまで待つ
（ステップＳＴＰ６）。
【０３２２】演算ユニットＰＵからのフラグＳＴＯＰが
全て“１”となると、制御ユニットＣＵは、発生したア
ドレスｊが最後のアドレスｅｎｄ ｊであるか否かの判
別を行なう（ステップＳＴＰ７）。ｊ＜ｅｎｄ ｊの場
合には次に演算処理されるべき数値データＳｊおよびｊ
を読出し再び制御ユニットＰＵへ通報する（ステップＳ
ＴＰ４へ戻る）。このステップＳＴＰ７からステップＳ
ＴＰ４へ戻るときに先に図４６および図４７を参照して
説明したリセット手法が用いられる。演算ユニットＰＵ
は新たに与えられた数値データＳｊおよびｊに従って演
算処理を実行する。このステップＳＴＰ５においてもシ
ナプス荷重修正値ΔＷｉｊにおいて演算を省略すること
ができる場合には、その演算処理は省略されており、対
応の数値データＳｊおよびｊが制御ユニットＣＵから通
報されるまでその演算ユニットが処理を停止している
（フラグＳＴＯＰが“１”）。
【０３２３】ステップＳＴＰ７において、ｊ＝ｅｎｄ
ｊであると判別されると、各演算ユニットにおいて１つ
のニューロンのシナプス荷重の修正操作が終了したと判
別され、制御ユニットＣＵはｊアドレスを初期値に設定
する（ステップＳＴＰ８）。次いで制御ユニットＣＵ
は、演算ユニットＰＵが全て必要な処理を完了したか否
かをフラグＥＮＤを見ることにより識別する。すなわち
全ての演算ユニットにおいて、ｉアドレスが所定の限界
アドレスＡＤＤＲに到達しているか否かの識別が行なわ
れ、その識別結果に従ってフラグＥＮＤが“１”または
“０”に設定される。演算ユニットＰＵ全てにおいてｉ
＝ｅｎｄ ｉ（＝ＡＤＤＲ）となっていない場合には、
再びステップＳＴＰ３へ戻り、次に演算処理されるべき
ニューロンの対応の有効誤差データδｉが読出され、ス
テップＳＴＰ４ないしＳＴＰ８の一連の処理ステップが
実行される。
【０３２４】ステップＳＴＰ９において、全ての演算ユ
ニットＰＵが必要な処理を完了したと判別されると、制
御ユニットＣＵは、１つの層についてのシナプス荷重の
修正が完了したと判別し、次の層についてのシナプス荷
重修正動作に移る。
【０３２５】なお図５１に示すシナプス荷重修正動作フ
ローは一例であり、演算ユニットＰＵへ順次数値データ
Ｓｊおよびｊを膜電位算出時と同様にして与えて各演算
ユニットおいてシナプス荷重修正が実行されるようにし
てもよい。この場合には、環状通信経路を介して順次必
要な数値データＳｊおよびｊが演算ユニットＰＵのフラ
グＳＴＯＰが全て“１”となったときにシフトされる。
環状通信経路に格納された数値データＳｊおよびｊの処
理が全て完了したときにステップＳＴＰ７の判別が行な
われ、新たな数値データＳｊおよびｊの環状通信経路へ
の通報が行なわれる。このような処理フローに従ってシ
ナプス荷重修正が実行されてもよい。また、シナプス荷
重修正データΔＷｉｊの全ての算出が行なわれた後、シ
ナプス荷重Ｗｉｊの修正動作が行なわれてもよい（第３
の演算省略方式をそのまま適用できる）。
【０３２６】以上本発明の数値演算処理装置の構成、動
作原理および具体的動作について説明してきたが、本発
明の数値演算処理装置は階層型ニューラルネットワーク
のみならず相互結合型ニューラルネットワークにも適用
可能であり、また、ニューラルネットワークに限らず、
一般にＳＩＭＤ方式に従って演算処理を行なう装置に適
用可能である。
【０３２７】
【発明の効果】以上説明したように、この発明に従え
ば、省略することのできる演算処理は省略して処理を進
めていくため、効率的かつ高速で処理を行なうことので
きる数値演算処理装置を得ることができ、またＳＩＭＤ
方式の演算処理装置においても共通の命令に従って処理
を実行する場合においても、省略することのできる演算
処理は省略することができ、処理効率の優れたＳＩＭＤ
方式数値演算処理装置を実現することができる。
【０３２８】
【０３２９】
【０３３０】
【０３３１】
【０３３２】
【０３３３】
【０３３４】
【０３３５】
【０３３６】
【０３３７】
【０３３８】
【０３３９】
【０３４０】
【０３４１】
【０３４２】
【０３４３】
【０３４４】
【０３４５】
【０３４６】
【０３４７】
【０３４８】
【０３４９】
【０３５０】
【０３５１】
【０３５２】
【０３５３】
【０３５４】
【０３５５】
【０３５６】
【０３５７】
【図面の簡単な説明】
【図１】この発明に従う数値演算処理装置の全体の構成
を概略的に示す図である。
【図２】図１に示す演算ユニットの内部構成を概略的に
示す図である。
【図３】図２に示すシーケンスコントローラの機能的構
成を示す図である。
【図４】図１に示す制御ユニットの内部構成を概略的に
示す図である。
【図５】この発明に従う数値演算処理装置の動作を説明
するために利用されるニューラルネットワークの構成を
示す図である。
【図６】この発明による数値演算処理装置における演算
処理動作を説明するための図である。
【図７】この発明に従う数値演算処理装置の動作を説明
するための図である。
【図８】この発明の数値演算処理装置の動作を説明する
ための図である。
【図９】この発明の数値演算処理装置の動作を説明する
ための図である。
【図１０】ニューラルネットワークにおける演算省略の
効果を説明するためのシミュレーション結果を示す図で
ある。
【図１１】ニューラルネットワークにおける演算処理削
減効果を説明するためのシミュレーション結果を示す図
である。
【図１２】ニューラルネットワークににおける演算省略
の効果を示すためのシミュレーション結果を示す図であ
る。
【図１３】ニューラルネットワークにおける演算省略の
効果を説明するためのシミュレーション結果を示す図で
ある。
【図１４】ニューラルネットワークにおける省略演算数
と演算精度との対応関係をシミュレーションにより求め
た結果を示す図である。
【図１５】この発明に従う数値演算処理装置の第１の変
更例を示す図である。
【図１６】図１５に示す数値演算処理装置の効果を説明
するための図である。
【図１７】この発明に従う数値演算処理装置の第２の変
更例を示す図である。
【図１８】図１７に示す構成の利点を説明するための図
である。
【図１９】この発明に従う数値演算処理装置の第３の変
更例を示す図である。
【図２０】図１９に示す配置に続いて実現される演算処
理装置内の構成を示す図である。
【図２１】図１９および図２０に示す構成の動作を説明
するための図である。
【図２２】図１９および図２０の動作を示すフロー図で
ある。
【図２３】この発明に従う数値演算処理装置の第４の変
更例を示す図である。
【図２４】この発明に従う数値演算処理装置の半導体チ
ップ上のレイアウトを示す図である。
【図２５】演算省略のための概念的方法を示す図であ
る。
【図２６】図２５に示す構成を実現するための具体的配
置を示す図である。
【図２７】図２６に示す構成においてステートメモリお
よびタグメモリへデータを書込むための構成を示す図で
ある。
【図２８】演算省略のための第２の方式を説明するため
の図である。
【図２９】図２８に示す構成に従って演算処理を行なう
ための構成を示す図である。
【図３０】第３の演算省略方式を概念的に示す図であ
る。
【図３１】図３０に示す構成を具体的に実現するための
配置を示す図である。
【図３２】図３１に示すローカルメモリのアドレスの割
付けの一例を示す図である。
【図３３】図３１に示すローカルメモリへの数値データ
書込みを行なうための構成を示す図である。
【図３４】図３３に示す構成と共同して用いられる制御
ユニット内の構成の一例を示す図である。
【図３５】図３３に示す状態表現回路の構成を概略的に
示す図である。
【図３６】図３５に示す状態フラグの定義を一覧にして
示す図である。
【図３７】図３５および図３６に示す状態フラグＷおよ
びＪの状態と演算処理状態の対応関係を示す図である。
【図３８】図３５および図３６に示す状態フラグＷおよ
びＪの状態とそのときに示される演算処理の状態を示す
図である。
【図３９】図３５および図３６に示す状態フラグＷおよ
びＪとそのときに実行された演算処理の状態を示す図で
ある。
【図４０】状態フラグＷおよびＪとそのときに実行され
る処理の対応関係を示す図である。
【図４１】状態フラグＷおよびＪとそのときの演算処理
の状態を示す図である。
【図４２】図３５に示す状態フラグ設定回路の構成の一
例を示す図である。
【図４３】図４２に示すセレクタ制御信号を発生するた
めの構成の一例および外部からの制御信号とセレクタ制
御信号との対応関係を示す図である。
【図４４】図３３に示す加算器および比較器の変更例を
示す図である。
【図４５】図３３に示す状態表現回路の第１の変更例を
示す図である。
【図４６】図４５に示す構成を利用する数値演算処理装
置の全体の構成を概略的に示す図である。
【図４７】図３１に示す配置と共同して用いられる制御
ユニットの数値データ発生部の構成を示す図である。
【図４８】シナプス荷重修正時におけるローカルメモリ
の記憶する数値データと外部から与えられる数値データ
との対応関係の一例を示す図である。
【図４９】この発明に従う数値演算処理装置におけるシ
ナプス荷重修正時の動作を説明するための図である。
【図５０】図４９に示す処理ブロックの構成を示す図で
ある。
【図５１】この発明に従うシナプス荷重修正の動作を示
すフロー図である。
【図５２】一般に用いられるニューロンの数理モデルを
概略的に示す図である。
【図５３】階層型ニューラルネットワークの構成の一例
を示す図である。
【図５４】従来の数値演算処理装置の構成の一例を示す
図である。
【図５５】従来の数値演算処理装置の動作を説明するた
めの図である。
【図５６】従来の数値演算処理装置の動作を説明するた
めの図である。
【図５７】従来の数値演算処理装置の動作を説明するた
めの図である。
【図５８】従来の数値演算処理装置の動作を説明するた
めの図である。
【図５９】従来の数値演算処理装置の動作を説明するた
めの図である。
【図６０】従来の数値演算処理装置の動作を説明するた
めの図である。
【図６１】図６０に示す動作完了時における数値演算処
理装置における数値データ格納状況を示す図である。
【符号の説明】
１０、１０−１〜１０−ｎ 演算ユニット １１ ローカルメモリ １２ 演算器群 １３ レジスタ群 １４ 処理データ入力ポート １５ アドレスデータ入力ポート １６ 処理データ出力ポート １７ アドレスデータ出力ポート ２０ 制御ユニット ２１ 命令ブロードキャストバス ２２ アドレスブロードキャストバス ２３ データブロードキャストバス ３０ 非線形変換ユニット ３１ 入力ポート ３２ 出力ポート ３３ セレクタ １９ａ アドレスデータ環状通信経路 １９ｂ 処理データ環状通信経路 ４１ レジスタ ４２ レジスタ ４５ アドレスデコーダ ５０ セレクタ ５１ セレクタ ５２ａ 出力端子 ５２ｂ 出力端子 ５３ａ 入力端子 ５３ｂ 入力端子 ５５ａ アドレスデータ環状通信経路 ５５ｂ 処理データ環状通信経路 ２０ｅ 入力ポート ２０ｆ 出力ポート ８１ 入力経路 ８２ 出力経路 ６１ 状態レジスタ ６７ ゲート回路 ６８ 演算結果レジスタ ６９ 演算器 ４４ レジスタ ７２ セレクタ ７３ 特定ビット通報信号線 ５４ 半導体チップ １００ ステートメモリ １０２ タグメモリ １０４ レジスタファイル １２０ レジスタファイル １２１ 比較器 １３０ アドレスラッチレジスタ １３２ データラッチレジスタ １３８ アドレスポインタ １３９ ＬＳＢ発生回路 １５０ アドレスポインタ １５１ レジスタファイル １５２ 増分器 １５３ マルチプレクサ １５４ マルチプレクサ １５５ ＬＳＢ発生回路 １６０ レジスタ １６２ レジスタ １６４ レジスタ １６８ マルチプレクサ １７０ 加算器 ２００ アドレスポインタ ２０２ 演算器 ２０４ 加算器 ２０６ 比較器 ２０８ マルチプレクサ ２１０ 状態表現回路 ２２０ レジスタファイル ２１２ 状態フラグ設定回路 ２１４ フラグレジスタ ２７０ デコーダ ３００ ＮＯＲ回路 ３２１ ＡＮＤ回路 ３２２ 数値データ更新発行部 ３３３ リセット信号発生回路
フロントページの続き (56)参考文献 特開 平４−259085（ＪＰ，Ａ) 特開 平４−367084（ＪＰ，Ａ) 特開 平５−61680（ＪＰ，Ａ) 特開 平５−242065（ＪＰ，Ａ) 特開 平３−44758（ＪＰ，Ａ) 特開 平２−292689（ＪＰ，Ａ) 特開 平２−181257（ＪＰ，Ａ) 特開 平５−324694（ＪＰ，Ａ) 特開 平４−43472（ＪＰ，Ａ) 特開 昭62−166463（ＪＰ，Ａ) 特開 平５−346914（ＪＰ，Ａ) 特開 平５−189471（ＪＰ，Ａ) 特開 平４−280386（ＪＰ，Ａ) 特開 平４−237364（ＪＰ，Ａ) 特開 平２−294777（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G06F 15/18 520 G06F 15/16 610 ＪＩＣＳＴファイル（ＪＯＩＳ) ＷＰＩ（ＤＩＡＬＯＧ)

Claims (23)

    (57)【特許請求の範囲】
  1. 【請求項１】 数値データからなる数値部分と、該数値
    データが演算処理すべきデータであるのか次に実行され
    るべき処理を指示するのかを特定する数値コードからな
    る数値コード部分とを含む数値データを格納するための
    格納手段と、 前記格納手段から読出された数値データの前記数値コー
    ド部分の数値に従って数値データ読出に続いて実行すべ
    き処理を設定する設定手段と、 前記設定手段により設定された処理を前記読出された数
    値データに対し実行する実行手段とを備え、 前記格納手段は、各々が、前記数値データとして前記数
    値部分と対応の数値コード部分とをリンクして格納する
    複数のエントリを含み、 前記数値コード部分は、対応の数値部分が演算処理され
    るべきデータであるのか、次に前記格納手段から数値デ
    ータを読出すエントリの位置を示すアドレスであるのか
    を指定する、数値演算処理装置。
  2. 【請求項２】 前記設定手段は、前記数値コード部分
    が、対応の数値部分が演算処理されるべきデータである
    ことを示すとき、前記格納手段のエントリの位置を示す
    アドレスを１増分しかつ前記数値コード部分が対応の数
    値部分が前記格納手段のアドレスを示すとき、前記対応
    の数値部分に対する前記実行手段による演算処理を無効
    化しかつ前記対応の数値部分を前記格納手段の次に読出
    されるべきエントリ位置を示すアドレスとして設定する
    手段を含み、 前記実行手段は、設定されたアドレスに従って、前記格
    納手段をアクセスして対応の数値データを読出す手段を
    含む、請求項１記載の数値演算処理装置。
  3. 【請求項３】 前記格納手段は、第１のアドレスのエン
    トリに第１の数値データを格納し、かつ前記第１のアド
    レスに連続して隣接する第２のアドレスに第２の数値デ
    ータを格納し、 前記設定手段は、前記第２の数値データの数値コード部
    分の値に従って次に実行されるべき処理を設定する、請
    求項１記載の数値演算処理装置。
  4. 【請求項４】 前記実行手段は、２入力演算手段を含
    み、 前記設定手段は、前記格納手段の第１のアドレスのエン
    トリから読出された第１の数値データを保持しかつ前記
    演算手段の一方入力に与える第１の保持手段と、前記第
    １のアドレスに隣接する第２のアドレスのエントリから
    読出された第２の数値データを保持する第２の保持手段
    と、 前記第２の数値データの数値コード部分の数値に従っ
    て、前記第２の保持手段の保持する数値データおよび予
    め定められた定数の一方を前記演算手段の他方入力へ与
    える選択手段とを備える、請求項１記載の数値演算処理
    装置。
  5. 【請求項５】 前記２入力演算手段の出力を前記第１の
    アドレスのエントリへ書込む手段をさらに備える、請求
    項４記載の数値演算処理装置。
  6. 【請求項６】 前記格納手段は、第１のアドレスに第１
    の数値データを格納し、かつ前記第１のアドレスに連続
    して隣接する第２のアドレスに上記第１のアドレスに格
    納された第１の数値データに加算すべき数値データまた
    は加算を行なわずに次にアクセスすべき前記格納手段の
    アドレスを示すジャンプ先アドレスのいずれかを格納
    し、前記数値コード部分は、該第２のアドレスの第２の
    数値データが、ジャンプ先アドレスであるのか第２の数
    値データであるのかを特定する、請求項１記載の数値演
    算処理装置。
  7. 【請求項７】 前記設定手段は、前記第２のアドレスか
    ら読出された数値データが所定値以下のとき、前記第２
    のアドレスに、次にアクセスすべきエントリを示すジャ
    ンプ先アドレスを生成して、対応の第２のアドレスに格
    納し、かつ対応の数値コード部分を第２の数値データに
    代えてジャンプ先アドレスが格納されたことを示す値に
    設定する、請求項６記載の数値演算処理装置。
  8. 【請求項８】 現サイクルで読出されている数値データ
    を格納するエントリを示す現アドレスを格納する第１の
    レジスタと、 最も最近演算処理を受けた数値データを格納するエント
    リを示すアドレスの次のアドレスを前アドレスとして格
    納する第２のレジスタと、 前記最も最近処理された数値データが所定の処理と異な
    る処理を受けたか否かを示す第１のフラグ（Ｊ）を生成
    する第１のフラグ生成手段と、 現サイクルで読出された数値データが前記所定の処理と
    異なる処理を受けたか否かを示す第２のフラグ（Ｗ）を
    生成する第２のフラグ生成手段と、 前記第２のレジスタに格納された前アドレスと前記第１
    のレジスタに格納された現アドレスの差が１より大きい
    か否かを示す第３のフラグ（ＦＡ）を生成する第３のフ
    ラグ生成手段と、 前記第１のフラグ、前記第２のフラグ、前記現アドレ
    ス、前記前アドレスおよび外部から与えられるアドレス
    飛び越し指示信号に従って、前記数値データを書込むア
    ドレスを決定するアドレス決定手段をさらに備える、請
    求項１記載の数値演算処理装置。
  9. 【請求項９】 前記アドレス決定手段は、 前記第１および第２のフラグに従って、（ａ）前記最も
    最近および現サイクルにおいてアクセスされた数値デー
    タが共に前記所定の演算処理を受けたこと、（ｂ）現サ
    イクルにアクセスされた数値データの処理が前記所定の
    演算と異なりかつ最も最近アクセスされた数値データが
    前記所定の演算処理を受けたこと、および（ｃ）現サイ
    クルの数値データが前記所定の演算処理を受けかつ前記
    最も最近アクセスされた数値データが前記所定の演算と
    異なる処理を受けたことの３状態のいずれの状態である
    かを判定する状態判定手段と、 前記状態判定手段の前記状態（ａ）の判定に従って、前
    記現アドレスを前記格納手段の前記前アドレスが示すエ
    ントリへ格納する第１の書込手段と、 前記状態判定手段の前記状態（ｂ）の判定に従って、前
    記アドレス飛び越し信号と前記第３のフラグに従って前
    記現アドレスと前記前アドレスの一方を第４のレジスタ
    に格納する手段と、 前記状態判定手段の前記状態（ｃ）の判定に従って、前
    記現アドレスを前記第４のレジスタに格納されたアドレ
    スが示す前記格納手段のエントリへ格納する第２の書込
    手段とを含む、請求項８記載の数値演算処理装置。
  10. 【請求項１０】 次に所定の演算処理を受ける数値デー
    タが格納されるエントリの位置を示す飛び越し先アドレ
    ス（Ｔ）を格納する第１のレジスタと、 最も最近前記所定の演算処理を受けた数値データが格納
    されているエントリの位置を示す前アドレスと現在アク
    セスされている数値データのエントリの位置を示す現ア
    ドレスとの差が１より大きいことを示す第１のフラグ
    （ＦＡ）を生成する第１のフラグ生成手段と、 外部から与えられるアドレス生成指示信号に応答して、
    前記格納手段のアドレスに対する飛び越しが行なわれて
    いることを示す第２のフラグ（ＳＴ）を生成する第２の
    フラグ生成手段と、 前記格納手段から読出された数値データのコード部分に
    従って、該読出された数値データが前記所定の演算を受
    けるべき数値データであるか否かを示す第３のフラグ
    （ＤＭ）を生成する第３のフラグ生成手段と、 数値データ書込時、前記所定の演算処理を受ける数値デ
    ータを書込むべきか前記所定の演算処理と異なる処理を
    受ける数値データを書込むべきかを示す第４のフラグ
    （Ｗ）を生成する第４のフラグ生成手段と、 前の演算実行サイクルにおける前記第４のフラグ（Ｗ
    （ｔ−１））を現演算実行サイクルの書込制御を示す第
    ５のフラグ（Ａ）として出力する第５のフラグ生成手段
    と、 前の演算実行サイクルの前記第１のフラグを現演算実行
    サイクルの書込禁止を示す第６のフラグ（ＳＴＯＰ）と
    して出力する第６のフラグ生成手段と、 前記現アドレスが所定のアドレスに到達したか否かに従
    って、前記格納手段に対する数値データの書込動作が完
    了したことを示す第７のフラグ（ＥＮＤ）を生成する第
    ７のフラグ生成手段をさらに備える、請求項１記載の数
    値演算処理装置。
  11. 【請求項１１】 外部から与えられる制御信号をデコー
    ドし、該デコード結果に従って前記第１ないし第７のフ
    ラグ生成手段が生成するフラグの更新タイミングを設定
    するデコード手段をさらに備える、請求項１０記載の数
    値演算処理装置。
  12. 【請求項１２】 外部から与えられる制御信号に応答し
    て、前記格納手段へのアクセス禁止を強制的に解除させ
    る手段をさらに備える、請求項１記載の数値演算処理装
    置。
  13. 【請求項１３】 内部演算処理不実行を示す制御信号に
    応答して、前記格納手段へのアクセスを強制的に禁止す
    る手段をさらに備える、請求項１記載の数値演算処理装
    置。
  14. 【請求項１４】 前記格納手段へのアクセスの中止を示
    す中止フラグ（ＳＴＯＰ）を生成する中止フラグ生成手
    段と、 前記格納手段へのアクセスの完了を示す完了フラグ（Ｅ
    ＮＤ）を生成する完了フラグ生成手段と、 前記中止フラグおよび完了フラグに応答して、前記格納
    手段へのアクセス可能を示す信号を生成して外部へ出力
    する手段をさらに備える、請求項１記載の数値演算処理
    装置。
  15. 【請求項１５】 各々が、演算器と、前記演算器に利用
    される数値データを格納するローカルメモリと、前記数
    値データが所定の条件を満足するとき該数値データに対
    する演算処理を省略するように前記演算器の演算処理を
    制御する制御手段と、前記演算器の演算結果出力を格納
    するための演算結果格納レジスタと、前記演算結果出力
    が複数の可能な状態のうちのどの状態にあるかを示すス
    テータスフラグを格納する状態レジスタと、前記ステー
    タスフラグに従って、前記演算結果格納レジスタへの前
    記演算器の演算結果出力の格納を制御する手段とを含
    み、かつ互いに並列に設けられる複数の演算ユニットと
    を備え、 前記複数の演算ユニットの各々は、さらに、少なくとも
    ２つの数値情報入力ポートを含む入力ポートと、少なく
    とも２つの数値情報出力ポートを含む出力ポートとを備
    え、かつ前記複数の演算ユニットは前記数値情報入力ポ
    ートおよび数値情報出力ポートを介してカスケード接続
    され、さらに 前記複数の演算ユニットに共通に設けら
    れ、前記複数の演算ユニットに対し共通の命令を発行し
    て前記複数の演算ユニットに前記共通の命令を並列に実
    行させるための制御ユニットと、 前記複数の演算ユニットの出力を受けて順次非線形変換
    処理を施す非線形処理ユニットとを含む、数値演算処理
    装置。
  16. 【請求項１６】 前記少なくとも２つの数値情報入力ポ
    ートは、前記ローカルメモリのアドレスを指定するアド
    レスデータを入力するアドレス入力ポートと、前記演算
    ユニットにより演算処理されるべき数値データを入力す
    るデータ入力ポートとを含み、 かつ前記少なくとも２つの数値情報出力ポートは、アド
    レスデータ出力ポートと、数値データ出力ポートとを含
    む、請求項１５記載の数値演算処理装置。
  17. 【請求項１７】 前記複数の演算ユニットに共通に設け
    られ、前記制御ユニットからのアドレスデータおよび数
    値データを前記複数の演算ユニットへ同時に伝達するた
    めの共通バスをさらに備える、請求項１５記載の数値演
    算処理装置。
  18. 【請求項１８】 前記カスケード接続の特定の演算ユニ
    ットの出力ポートと前記カスケード接続における前記特
    定の演算ユニットに隣接する演算ユニットの入力ポート
    との間に設けられ、前記特定の演算ユニットの出力と前
    記非線形処理ユニットの出力の一方を選択して前記隣接
    する演算ユニットの入力ポートに伝達するための選択手
    段をさらに含む、請求項１５記載の数値演算処理装置。
  19. 【請求項１９】 前記複数の演算ユニットの入力ポート
    および出力ポートは、前記複数の演算ユニットがリング
    状に相互接続されるように順次接続される、請求項１５
    記載の数値演算処理装置。
  20. 【請求項２０】 前記カスケード接続の初段の演算ユニ
    ットの入力ポートに設けられ、与えられた数値データを
    前記初段の演算ユニットの入力ポートと前記制御ユニッ
    トの入力ポートの一方へ伝達する入力手段と、 前記カスケード接続の最終段の出力ポートに設けられ、
    前記最終段の演算ユニットの出力と前記制御ユニットか
    らの数値データの一方を伝達する出力手段とをさらに備
    える、請求項１５記載の数値演算処理装置。
  21. 【請求項２１】 前記ステータスフラグはマルチビット
    フラグであり、前記複数の演算ユニットの各々は、対応
    の状態レジスタに格納されたマルチビットフラグの特定
    のビットを選択して前記制御ユニットへ通報する手段を
    さらに備える、請求項１５記載の数値演算処理装置。
  22. 【請求項２２】 前記数値演算処理装置は１つの半導体
    チップ上に集積化され、かつ複数の演算ユニットは前記
    制御ユニットおよび前記非線形処理ユニットを挟むよう
    に前記チップ上に配置されかつ前記複数の演算ユニット
    において前記ローカルメモリが前記制御ユニットから離
    れたチップ外側に配置される、請求項１５記載の数値演
    算処理装置。
  23. 【請求項２３】 各々が（ｉ）数値データを格納するた
    めのメモリと、（ｉｉ）前記メモリから読出された数値
    データの数値に従って予め設定された複数の処理から実
    行すべき処理を選択する手段を備え、かつ、与えられた
    命令に従って互いに並列に動作する複数の演算ユニット
    と、 前記複数の演算ユニットに対して同時に共通の命令を与
    え、該共通の命令に従って前記複数の演算ユニットを並
    列に動作させる制御ユニットとを含む、並列演算処理装
    置。
JP06008777A 1994-01-28 1994-01-28 数値演算処理装置 Expired - Fee Related JP3096387B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP06008777A JP3096387B2 (ja) 1994-01-28 1994-01-28 数値演算処理装置
US08/306,300 US5532938A (en) 1994-01-28 1994-09-15 Numerical arithmetic processing unit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP06008777A JP3096387B2 (ja) 1994-01-28 1994-01-28 数値演算処理装置

Publications (2)

Publication Number Publication Date
JPH07219919A JPH07219919A (ja) 1995-08-18
JP3096387B2 true JP3096387B2 (ja) 2000-10-10

Family

ID=11702320

Family Applications (1)

Application Number Title Priority Date Filing Date
JP06008777A Expired - Fee Related JP3096387B2 (ja) 1994-01-28 1994-01-28 数値演算処理装置

Country Status (2)

Country Link
US (1) US5532938A (ja)
JP (1) JP3096387B2 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11338844A (ja) * 1998-05-22 1999-12-10 Nec Corp 発火数制御型神経回路装置
US6859872B1 (en) 1999-05-12 2005-02-22 Analog Devices, Inc. Digital signal processor computation core with pipeline having memory access stages and multiply accumulate stages positioned for efficient operation
US7107302B1 (en) 1999-05-12 2006-09-12 Analog Devices, Inc. Finite impulse response filter algorithm for implementation on digital signal processor having dual execution units
US7111155B1 (en) 1999-05-12 2006-09-19 Analog Devices, Inc. Digital signal processor computation core with input operand selection from operand bus for dual operations
US6820189B1 (en) 1999-05-12 2004-11-16 Analog Devices, Inc. Computation core executing multiple operation DSP instructions and micro-controller instructions of shorter length without performing switch operation
JP2001188767A (ja) * 1999-12-28 2001-07-10 Fuji Xerox Co Ltd ニューラルネットワーク演算装置及びニューラルネットワークの演算方法
JP3719509B2 (ja) * 2002-04-01 2005-11-24 株式会社ソニー・コンピュータエンタテインメント シリアル演算パイプライン、演算装置、算術論理演算回路およびシリアル演算パイプラインによる演算方法
US7035834B2 (en) * 2002-05-15 2006-04-25 Caterpillar Inc. Engine control system using a cascaded neural network
JP4692956B2 (ja) * 2004-11-22 2011-06-01 株式会社ソニー・コンピュータエンタテインメント 描画処理装置および描画処理方法
JP4650381B2 (ja) * 2006-09-08 2011-03-16 日本ビクター株式会社 電子機器
US7958181B2 (en) * 2006-09-21 2011-06-07 Intel Corporation Method and apparatus for performing logical compare operations
FR2910144A1 (fr) * 2006-12-18 2008-06-20 St Microelectronics Sa Procede et dispositif de detection errones au cours de l'execution d'un programme.
JP4913685B2 (ja) * 2007-07-04 2012-04-11 株式会社リコー Ｓｉｍｄ型マイクロプロセッサおよびｓｉｍｄ型マイクロプロセッサの制御方法
US8127075B2 (en) * 2007-07-20 2012-02-28 Seagate Technology Llc Non-linear stochastic processing storage device
JP4868607B2 (ja) * 2008-01-22 2012-02-01 株式会社リコー Ｓｉｍｄ型マイクロプロセッサ
JP4513865B2 (ja) * 2008-01-25 2010-07-28 セイコーエプソン株式会社 並列演算装置および並列演算方法
US8775341B1 (en) 2010-10-26 2014-07-08 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US9015093B1 (en) 2010-10-26 2015-04-21 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
JP5739779B2 (ja) 2011-09-26 2015-06-24 ルネサスエレクトロニクス株式会社 Ｓｉｍｄプロセッサ及びコントロールプロセッサ並びにプロセッサ要素
CN106973118B (zh) * 2017-05-12 2021-04-27 京东方科技集团股份有限公司 生成和订阅通知的方法和装置
US20190332924A1 (en) * 2018-04-27 2019-10-31 International Business Machines Corporation Central scheduler and instruction dispatcher for a neural inference processor
US10991445B2 (en) * 2018-09-06 2021-04-27 Micron Technology, Inc. Memory sub-system including an in-package sequencer to perform error correction and memory testing operations
US10432436B1 (en) 2018-12-11 2019-10-01 Globalfoundries Inc. Feed forward equalizer with power-optimized distributed arithmetic architecture and method
KR20200072307A (ko) 2018-12-12 2020-06-22 삼성전자주식회사 뉴럴 네트워크에서의 부하 균형을 위한 장치 및 방법
JP7174243B2 (ja) * 2018-12-21 2022-11-17 富士通株式会社 情報処理装置、ニューラルネットワークプログラム、ニューラルネットワークの処理方法
KR102399197B1 (ko) * 2020-01-17 2022-05-18 경희대학교 산학협력단 이상치 인지 근사적 코딩을 수행하는 전자 장치 그리고 그것의 동작 방법
CN112270413B (zh) * 2020-10-22 2024-02-27 北京百度网讯科技有限公司 算子合并方法、装置、电子设备及存储介质
US20240038726A1 (en) * 2021-02-10 2024-02-01 Panasonic Intellectual Property Management Co., Ltd. Ai module
US11947462B1 (en) * 2022-03-03 2024-04-02 Apple Inc. Cache footprint management

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5999575A (ja) * 1982-11-29 1984-06-08 Mitsubishi Electric Corp パイプライン演算装置
JPS62166463A (ja) * 1986-01-20 1987-07-22 Fujitsu Ltd デ−タ転送方式
JP2765903B2 (ja) * 1989-01-06 1998-06-18 株式会社日立製作所 情報処理装置
JPH02292689A (ja) * 1989-05-02 1990-12-04 Nippon Telegr & Teleph Corp <Ntt> 学習型神経回路
JPH02294777A (ja) * 1989-05-10 1990-12-05 Oki Electric Ind Co Ltd ディジタル信号処理プロセッサ
JPH0344758A (ja) * 1989-07-12 1991-02-26 Matsushita Electric Ind Co Ltd 並列演算回路と並列演算装置
JPH0443472A (ja) * 1990-06-11 1992-02-13 Fujitsu Ltd 神経回路網型計算装置
US5038311A (en) * 1990-08-10 1991-08-06 General Electric Company Pipelined fast fourier transform processor
JP2959104B2 (ja) * 1990-10-31 1999-10-06 日本電気株式会社 信号処理プロセッサ
JPH04237364A (ja) * 1991-01-21 1992-08-25 Fujitsu Ltd ニューロコンピュータ
JP3237858B2 (ja) * 1991-01-30 2001-12-10 沖電気工業株式会社 演算装置
JPH04259085A (ja) * 1991-02-14 1992-09-14 Mitsubishi Electric Corp データ駆動形プロセッサのメモリアクセス制御方法
US5175858A (en) * 1991-03-04 1992-12-29 Adaptive Solutions, Inc. Mechanism providing concurrent computational/communications in SIMD architecture
JP2912933B2 (ja) * 1991-03-08 1999-06-28 日本電信電話株式会社 データ変換装置
JPH04367084A (ja) * 1991-06-13 1992-12-18 Mitsubishi Electric Corp データ駆動形計算機
JPH0520283A (ja) * 1991-07-11 1993-01-29 Mitsubishi Electric Corp 並列データ処理装置
JPH0561680A (ja) * 1991-08-30 1993-03-12 Omron Corp フアジイ推論における適合値算出方法
JPH05242065A (ja) * 1992-02-28 1993-09-21 Hitachi Ltd 情報処理装置及びシステム
JPH05324694A (ja) * 1992-05-19 1993-12-07 Tomochika Fujioka 再構成可能並列プロセッサ
JPH05346914A (ja) * 1992-06-16 1993-12-27 Matsushita Electron Corp ニューロプロセッサ

Also Published As

Publication number Publication date
US5532938A (en) 1996-07-02
JPH07219919A (ja) 1995-08-18

Similar Documents

Publication Publication Date Title
JP3096387B2 (ja) 数値演算処理装置
Imani et al. Floatpim: In-memory acceleration of deep neural network training with high precision
US5524175A (en) Neuro-computer system for executing a plurality of controlling algorithms
CN110415157B (zh) 一种矩阵乘法的计算方法及装置
WO2022046570A1 (en) Vector processor architectures
KR20220157377A (ko) 인메모리 컴퓨팅을 위한 확장 가능한 어레이 아키텍처
JPH0652132A (ja) 並列演算半導体集積回路装置およびそれを用いたシステム
WO2021089009A1 (zh) 数据流重构方法及可重构数据流处理器
JP2575565B2 (ja) Ｓｐｉｎ：順次パイプライン式ニューロコンピュータ
EP0664516B1 (en) Neural network with reduced calculation amount
Song et al. BRAHMS: Beyond conventional RRAM-based neural network accelerators using hybrid analog memory system
CN111930681A (zh) 一种计算装置及相关产品
CN115437602A (zh) 任意精度计算加速器、集成电路装置、板卡及方法
CN111178492B (zh) 计算装置及相关产品、执行人工神经网络模型的计算方法
CN116050492A (zh) 一种扩展单元
He et al. An LSTM acceleration engine for FPGAs based on caffe framework
CN113887730A (zh) 量子模拟器实现方法、装置、相关设备以及量子模拟方法
CN111368987B (zh) 一种神经网络计算装置和方法
CN112906877A (zh) 用于执行神经网络模型的存储器架构中的数据布局有意识处理
WO2020051918A1 (zh) 神经元电路、芯片、***及其方法、存储介质
US20230297824A1 (en) Programmable non-linear activation engine for neural network acceleration
Duan et al. DDC-PIM: Efficient Algorithm/Architecture Co-Design for Doubling Data Capacity of SRAM-Based Processing-in-Memory
CN111198714A (zh) 重训练方法及相关产品
CN111047024A (zh) 一种计算装置及相关产品
CN111368990A (zh) 一种神经网络计算装置和方法

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 19990309

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20000725

LAPS Cancellation because of no payment of annual fees