JPH06124275A - Signal processor - Google Patents
Signal processorInfo
- Publication number
- JPH06124275A JPH06124275A JP4273283A JP27328392A JPH06124275A JP H06124275 A JPH06124275 A JP H06124275A JP 4273283 A JP4273283 A JP 4273283A JP 27328392 A JP27328392 A JP 27328392A JP H06124275 A JPH06124275 A JP H06124275A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- input
- neuron element
- data
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
Description
【0001】[0001]
【産業上の利用分野】本発明は、画像処理、音声認識、
ロボットなどの運動制御、株価や気象などの時系列デー
タの予測、その他の各種分野に利用される、神経回路網
を模倣したニューロコンピュータなる信号処理装置に関
する。BACKGROUND OF THE INVENTION The present invention relates to image processing, voice recognition,
The present invention relates to a signal processing device, which is a neurocomputer imitating a neural network, used for motion control of robots, prediction of time series data such as stock prices and weather, and other various fields.
【0002】[0002]
【従来の技術】生体が行っている情報処理を模倣した人
工神経回路網(ニューラルネットワーク)は、非線形な
入出力関係を、データを指示し、それを学習することに
よって、プログラムを必要とせずに実現するという特徴
を持つ。2. Description of the Related Art An artificial neural network (neural network) that mimics the information processing performed by a living body, by instructing data and learning the nonlinear input-output relationship, does not require a program. It has the characteristic of being realized.
【0003】このため、近年では、ニューラルネットワ
ークを構成する試みが数多くなされており、特に、それ
らをハードウエアで構成したものは処理の高速性によっ
て制御にも適用することが可能であり、高速の学習によ
る高い適応性を持つ点などに大きな長所がある。For this reason, in recent years, many attempts have been made to construct a neural network, and in particular, those constructed by hardware can be applied to control due to the high speed of processing, and high speed. It has a great advantage in that it has high adaptability by learning.
【0004】中でも、より効果的な方式として、デジタ
ル方式の中で、信号をパルス列で表現する方式のパルス
密度型ニューラルネットワークがあり、フォワードプロ
セスに関しては特開平4−549号公報を基本とし、学
習プロセスに関しては特開平4−111185号公報を
基本として、種々の改良されたものが本出願人により提
案されている。Among them, as a more effective method, there is a pulse density type neural network of a method of expressing a signal by a pulse train among digital methods, and the forward process is based on Japanese Patent Laid-Open No. 4-549 and learning. Regarding the process, various improvements have been proposed by the present applicant based on Japanese Patent Laid-Open No. 4-111185.
【0005】このようなニューラルネットワークの多く
は、バックプロパゲーション型のものが用いられている
が、この形式のニューラルネットワークは基本的には、
静的なデータの認識、或いは、相互に独立したデータ群
を処理することができ、例えば、一つの入力データVi
を与えた場合にはその前後のデータに関わらず、唯一の
出力データVoを出力する。つまり、時間的に変化する
入力データに対しても、現在のデータに対してのみ各々
を認識するものである。このような信号処理装置の一つ
の応用例として、ビットマップ上に展開された文字の認
識、或いは、運動の制御が行われている。Many of such neural networks are of the back-propagation type, but this type of neural network is basically
It is possible to recognize static data or process data groups independent of each other. For example, one input data Vi
In the case where is given, only the output data Vo is output regardless of the data before and after that. In other words, even for input data that changes with time, each is recognized only for the current data. As one application example of such a signal processing device, recognition of characters developed on a bitmap or control of movement is performed.
【0006】しかし、今日の、より高度な制御では、時
間的に変化するシステムを制御すること(即ち、動的シ
ステム制御)が求められており、また、変動する株価の
予測のように時間的に変化するデータ(時系列信号)の
認識に対する要求も存在する。例えば、人間の音声認識
を行わせる場合、音声の周波数分布は各々の音素毎に異
なっている一方、周波数分布はその前後の音素によって
変化することが知られており、入力されたデータの前後
のデータとの関係も含めて認識することで認識率が向上
することが期待される。つまり、時系列信号認識、或い
は、動的システム制御のようなニューラルネットワーク
の高度な応用には、現在のデータだけでなく、過去のデ
ータをも考慮した認識を実現することが望まれる。However, in today's more advanced control, it is required to control a system that changes with time (that is, dynamic system control), and it is also necessary to control the system as it changes with time. There is also a demand for recognition of data (time-series signals) that changes with time. For example, when performing human speech recognition, it is known that the frequency distribution of speech differs for each phoneme, but the frequency distribution changes depending on the phonemes before and after that, and It is expected that the recognition rate will be improved by recognizing the relationship with the data. That is, for advanced applications of neural networks such as time-series signal recognition or dynamic system control, it is desired to realize recognition that considers not only current data but also past data.
【0007】ところで、現在、ニューラルネット型情報
処理に関して、このような時系列信号処理、或いは、動
的システム制御を行う試みが報告されている。このよう
な試みの一つとして、入力層のニューロン素子数を増や
し、現在のデータと過去のデータとを同時に入力層に与
えるようにしたものがある。例えば、現在の入力データ
Vi(t)と、何らかの手段で蓄えられたVi(t−
1),Vi(t−2)といった過去のデータも同時に与
えるようにする。このような試みは、タイムディレイ・
ニューラルネットワーク(TDNN)(IEEE TRANSACTI
ONS ON ACOUSTICS, SPEACH AND SIGNAL PROCESSING, VO
L.37, NO.3, MARCH 1989) として知られている。At present, with respect to neural network type information processing, an attempt to perform such time-series signal processing or dynamic system control has been reported. One of such attempts is to increase the number of neuron elements in the input layer so that current data and past data are simultaneously applied to the input layer. For example, the current input data Vi (t) and Vi (t−) stored by some means.
Past data such as 1) and Vi (t-2) are also given at the same time. Such an attempt is
Neural Network (TDNN) (IEEE TRANSACTI
ONS ON ACOUSTICS, SPEACH AND SIGNAL PROCESSING, VO
L.37, NO.3, MARCH 1989).
【0008】しかし、この方式の場合、考慮する時間間
隔を伸ばそうとするに従い、入力層のニューロン素子数
を増大させなければならず、全体では膨大な数のニュー
ロン素子となるため、ハードウエアで実現することは困
難である。However, in the case of this method, the number of neuron elements in the input layer must be increased as the time interval to be considered is extended, and the total number of neuron elements becomes a huge number, which is realized by hardware. Is difficult to do.
【0009】一方、層状に構成されたニューラルネット
ワークの出力を再帰的に再び入力側に与えることで時系
列信号処理を行わせる再帰型ネットワークの試みも報告
されている。この再帰型ネットワークによれば、ニュー
ロン素子数を増やす必要はなく、構造も従来よりよく知
られているバックプロパゲーション型と比べてあまり複
雑となることなく実現し得ることから、将来有望とされ
ている。On the other hand, there has been reported an attempt of a recursive network in which time series signal processing is performed by recursively applying the output of a layered neural network to the input side again. According to this recursive network, there is no need to increase the number of neuron elements, and the structure can be realized without much complexity compared to the well-known backpropagation type. There is.
【0010】ここに、再帰型ネットワークの構成例を図
7に示す。図示のように、入力層のニューロン素子1と
中間層のニューロン素子2と出力層のニューロン素子3
とを階層型に接続し、中間層のニューロン素子2の出入
力間に並列的に文脈層のニューロン素子4を接続したも
のである。これにより、入力データは入力層のニューロ
ン素子1に与えられ、このニューロン素子1、中間層の
ニューロン素子2によって逐次処理された後、出力層の
ニューロン素子3に与えられる。ここに、中間層のニュ
ーロン素子2で処理された信号は文脈層のニューロン素
子4にも与えられる。このニューロン素子4で一旦処理
することにより遅れを生じた信号は、再帰的に、中間層
のニューロン素子2(又は、入力層のニューロン素子
1)に再び与えられることになる。FIG. 7 shows a configuration example of the recursive network. As shown, a neuron element 1 in the input layer, a neuron element 2 in the intermediate layer, and a neuron element 3 in the output layer
And are connected in a hierarchical manner, and the neuron element 4 of the context layer is connected in parallel between the input and output of the neuron element 2 of the intermediate layer. As a result, the input data is given to the neuron element 1 in the input layer, sequentially processed by the neuron element 1 and the neuron element 2 in the intermediate layer, and then given to the neuron element 3 in the output layer. Here, the signal processed by the neuron element 2 in the intermediate layer is also given to the neuron element 4 in the context layer. The signal delayed by the processing once by the neuron element 4 is recursively given to the neuron element 2 of the intermediate layer (or the neuron element 1 of the input layer) again.
【0011】[0011]
【発明が解決しようとする課題】ところが、再帰型ネッ
トワークの場合、文脈層のニューロン素子4から再帰的
に与えられるデータ(再帰データ)は、現在与えられる
データ(入力データ)の1つ前のデータに固定され、入
力データの直前のデータとの相関だけが強く現れ、それ
以前のデータとの相関は弱く現れるに過ぎない。このた
め、長周期のデータの相関が重要な場合には不適なもの
となってしまう。However, in the case of a recursive network, the data recursively given from the neuron element 4 in the context layer (recursive data) is the data immediately before the currently given data (input data). The correlation between the input data and the immediately preceding data is strong, and the correlation with the previous data is weak. Therefore, it becomes unsuitable when the correlation of long-period data is important.
【0012】即ち、実際のデータ処理では直前のデータ
間の相関だけでなく、より長い周期のデータの相関が重
要なことも多く、例えば、画像処理を行う場合に隣合っ
た画素同士の相関よりもライン同士或いは画面同士の相
関のほうが重要となることが多いといった現状を考える
と、単なる再帰型処理では不充分である。That is, in actual data processing, not only the correlation between immediately preceding data but also the correlation of data of a longer period is often important. For example, when performing image processing, it is more important than the correlation between adjacent pixels. Considering the current situation in which the correlation between lines or screens is often more important, simple recursive processing is not sufficient.
【0013】[0013]
【課題を解決するための手段】請求項1記載の発明で
は、神経細胞を模倣した複数個のニューロン素子を、可
変自在な結合係数を持たせた結合手段で網状に接続して
信号処理回路網を形成し、前記結合手段の結合係数を可
変させる自己学習手段を設けた信号処理装置において、
前記結合手段への入力信号に対して可変自在な遅れを生
じさせる遅れ装置を設けた。According to a first aspect of the present invention, a plurality of neuron elements imitating a nerve cell are connected in a mesh by a connecting means having a variable coupling coefficient to form a signal processing circuit network. And a signal processing device provided with self-learning means for varying the coupling coefficient of the coupling means,
A delay device is provided which causes a variable delay with respect to the input signal to the coupling means.
【0014】この際、請求項2記載の発明では、扱う信
号及び結合係数を、パルス列により表現されたものとし
た。In this case, in the invention described in claim 2, the signal to be handled and the coupling coefficient are represented by a pulse train.
【0015】また、遅れ装置に、請求項3記載の発明で
は書換え自在な記憶装置を用い、請求項4記載の発明で
はシフトレジスタを用い、請求項5記載の発明ではパル
ス列表現に対応させてパルスカウンタとパルスジェネレ
ータとの組合せを用いた。As the delay device, a rewritable storage device is used in the invention described in claim 3, a shift register is used in the invention described in claim 4, and a pulse train is used in correspondence with the pulse train expression in the invention described in claim 5. A combination of counter and pulse generator was used.
【0016】[0016]
【作用】請求項1記載の発明においては、可変自在な遅
れを生じさせる遅れ装置によって任意の時間遅れを持つ
情報を与えることができるため、時系列信号の処理能力
が向上するものとなる。According to the first aspect of the present invention, since information having an arbitrary time delay can be given by the delay device that causes a variable delay, the processing capability of time-series signals is improved.
【0017】この際、請求項2記載の発明においては、
扱う信号や結合係数をパルス列表現のものとしたので、
容易にハードウエア化できるものとなる。In this case, according to the invention of claim 2,
Since the signals to be handled and the coupling coefficient are expressed in pulse trains,
It can be easily made into hardware.
【0018】また、請求項3記載の発明においては、遅
れ装置にRAM等の書換え可能な記憶装置を用いている
ため、容易にハードウエア化できるものとなる。Further, in the invention described in claim 3, since the rewritable storage device such as the RAM is used for the delay device, the hardware can be easily realized.
【0019】請求項4記載の発明においては、遅れ装置
にシフトレジスタを用いたので、データの入出力をより
高速化できる。According to the fourth aspect of the invention, since the shift register is used as the delay device, the data input / output can be further speeded up.
【0020】請求項5記載の発明においては、遅れ装置
にパルスカウンタとパルスジェネレータとの組合せを用
いたので、データの入出力をより高速化することがで
き、かつ、蓄えるデータも少なくて済むものとなる。According to the invention of claim 5, since the combination of the pulse counter and the pulse generator is used in the delay device, the input / output of data can be speeded up and the amount of data to be stored can be reduced. Becomes
【0021】[0021]
【実施例】請求項1及び2記載の発明の一実施例を図1
及び図2に基づいて説明する。本実施例は、例えば図1
に示すような入力層のニューロン素子5と中間層のニュ
ーロン素子6と出力層のニューロン素子7とを3層階層
型に接続して自己学習機能を持たせたニューラルネット
ワーク(信号処理回路網)8において、例えば中間層の
ニューロン素子6に並列再帰的に遅れ時間を任意に可変
変更し得る遅れ装置9を設けたものである。これによ
り、ニューロン素子6からの信号を任意の周期遅らせて
再びこのニューロン素子6に入力させることで、異なっ
た時間に生じた信号を同時に与えることができるように
したものである。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS One embodiment of the invention described in claims 1 and 2 is shown in FIG.
And it demonstrates based on FIG. This embodiment is shown in FIG.
A neural network (signal processing network) 8 having a self-learning function by connecting the neuron element 5 in the input layer, the neuron element 6 in the intermediate layer, and the neuron element 7 in the output layer as shown in FIG. In the above, for example, the neuron element 6 in the middle layer is provided with the delay device 9 which can recursively variably change the delay time in parallel. Thus, by delaying the signal from the neuron element 6 by an arbitrary period and inputting it to the neuron element 6 again, signals generated at different times can be given at the same time.
【0022】中間層の1つのニューロン素子6部分を抽
出して示す図2、及び、ネットワーク全体構成を示す図
1を参照して、より詳細に説明すると、中間層のニュー
ロン素子6が可変自在な結合係数を持つ結合手段として
機能し、ニューロン素子6から見て入力線10によりニ
ューロン素子5が結合され、出力線11によりニューロ
ン素子7が結合されている。そして、出力線11から分
岐させた信号線12が遅れ装置9の入力側に接続され、
遅れ装置9の出力側は信号線13によりニューロン素子
6の入力側に接続されている。More specifically, referring to FIG. 2 in which one neuron element 6 portion of the intermediate layer is extracted and FIG. 1 showing the entire network configuration, the neuron element 6 of the intermediate layer is variable. It functions as a coupling means having a coupling coefficient, and the neuron element 5 is coupled by the input line 10 and the neuron element 7 is coupled by the output line 11 when viewed from the neuron element 6. The signal line 12 branched from the output line 11 is connected to the input side of the delay device 9,
The output side of the delay device 9 is connected to the input side of the neuron element 6 by a signal line 13.
【0023】このような構成において、遅れ装置9では
信号線12から受取った信号をある時間記憶した後、信
号線13により再びニューロン素子6に提示する。例え
ば、ある時刻のある1つのニューロン素子6に注目する
と、図2に示すように、入力線10によってその時刻に
生じた信号が入力されるとともに、信号線13によって
それ以前に生じた信号も同時に入力されることになる。
また、この時の時間遅れは、一般に知られている図7の
ような再帰型ネットワークの場合と異なり、任意の周期
遅らせることができ、より高度な信号処理を行うことが
できる。このように、遅れ装置9によって任意の時間遅
れを生じさせた信号は再びニューラルネットワーク8中
に送られ、再帰構造を構成し、時系列信号処理を実現す
る。In such a configuration, the delay device 9 stores the signal received from the signal line 12 for a certain period of time, and then presents it to the neuron element 6 again via the signal line 13. For example, paying attention to one neuron element 6 at a certain time, as shown in FIG. 2, the signal generated at that time is input through the input line 10 and the signal generated before that time is simultaneously received through the signal line 13. Will be entered.
Further, the time delay at this time can be delayed by an arbitrary period unlike the case of the generally known recursive network as shown in FIG. 7, and more advanced signal processing can be performed. In this way, the signal delayed by the delay device 9 by an arbitrary time is sent again to the neural network 8 to form a recursive structure and realize time-series signal processing.
【0024】ところで、図1及び図2に示す構成におい
て、各々のニューロン素子5,6,7をパルス密度型ニ
ューロン素子として、全ての信号及び各ニューロン素子
間の結合係数をパルス列表現によるもの(ランダムなパ
ルスパターン)とすれば、請求項2記載の発明に相当す
るものとなる。これによればハードウエア化がより容易
となる。By the way, in the configuration shown in FIGS. 1 and 2, each of the neuron elements 5, 6 and 7 is used as a pulse density type neuron element, and all signals and coupling coefficients between the neuron elements are represented by a pulse train representation (random The pulse pattern) corresponds to the invention described in claim 2. This makes it easier to implement the hardware.
【0025】つづいて、請求項3記載の発明の一実施例
を図3及び図4により説明する。前記実施例で示した部
分と同一部分は同一符号を用いて示す(以下の実施例で
も同様とする)。本実施例は、遅れ装置9を書換え自在
な記憶装置により構成したものである。より具体的に
は、RAM14を主体として構成され、コントローラ1
5制御の下に信号線12からの信号が入力バッファ16
を介してこのRAM14に書込まれ、コントローラ15
制御の下に予めプリセットされた周期分遅れた時点でR
AM14からデータが読出され、出力バッファ17を介
して信号線13上に送出される。18はコントローラ1
5からRAM14に対する書込みアドレス信号線、19
はコントローラ15からRAM14に対する読出しアド
レス信号線、20はコントローラ15から入力バッファ
16に対するイネーブル信号線、21はコントローラ1
5から出力バッファ17に対するイネーブル信号線であ
る。Next, an embodiment of the invention described in claim 3 will be described with reference to FIGS. The same parts as those shown in the above-mentioned embodiments are designated by the same reference numerals (the same applies to the following embodiments). In this embodiment, the delay device 9 is composed of a rewritable storage device. More specifically, the RAM 14 is mainly configured, and the controller 1
5 The signal from the signal line 12 is input under the control of the input buffer 16
Is written to the RAM 14 via the controller 15
R at the time when it is delayed by a preset cycle under control
Data is read from the AM 14 and sent out on the signal line 13 via the output buffer 17. 18 is the controller 1
5 to RAM 14 write address signal line, 19
Is a read address signal line from the controller 15 to the RAM 14, 20 is an enable signal line from the controller 15 to the input buffer 16, and 21 is the controller 1
5 is an enable signal line from the output buffer 17 to the output buffer 17.
【0026】なお、遅れ装置9の遅れ時間を予め任意に
設定するためのプリセットスイッチ22がコントローラ
15に接続されている。A preset switch 22 for presetting the delay time of the delay device 9 is connected to the controller 15.
【0027】図4はコントローラ15によるRAM14
へのデータの入出力制御を示すフローチャートである。
まず、遅れ時間に関するプリセットデータが設定され、
ついで、コントローラ15上の書込みと読出しとの2つ
のアドレスカウンタを初期化する。この後、RAM14
への書込みアドレスカウンタをプリセットスイッチ22
上に予め設定した値に、読出しアドレスカウンタを0
に、セットする。この状態で、入力バッファ16をイネ
ーブル状態、出力バッファ17をディスエーブル状態に
し、書込みアドレスに従い入力バッファ16上に蓄えら
れた信号をRAM14に書込む。その後、入力バッファ
16をディスエーブル状態、出力バッファ17をイネー
ブル状態にし、読出しアドレスに従いRAM14からデ
ータを読出して出力バッファ17に出力する。この出力
バッファ17から信号線13上へデータを送出する。こ
の後、書込みアドレスと読出しアドレスとをインクリメ
ントし、書込み可能状態に戻る。FIG. 4 shows the RAM 14 by the controller 15.
4 is a flowchart showing input / output control of data to / from.
First, preset data related to delay time is set,
Then, two address counters for writing and reading on the controller 15 are initialized. After this, RAM14
Write address counter to preset switch 22
Set the read address counter to 0 to the value preset above.
To set. In this state, the input buffer 16 is enabled and the output buffer 17 is disabled, and the signal stored in the input buffer 16 is written in the RAM 14 according to the write address. After that, the input buffer 16 is disabled and the output buffer 17 is enabled, and data is read from the RAM 14 according to the read address and output to the output buffer 17. Data is sent from the output buffer 17 onto the signal line 13. After that, the write address and the read address are incremented to return to the writable state.
【0028】なお、このような一連のデータ転送ループ
は、ニューラルネットワーク8のデータ処理と同期して
行われる。Note that such a series of data transfer loops is performed in synchronization with the data processing of the neural network 8.
【0029】また、このような一連の処理中では1回の
処理に対する書込みアドレスと読出しアドレスとが、ア
ドレスカウンタのセット時点で設定したデータに従って
ずれるため、ある時刻の読出しデータはその時刻よりも
プリセットされた周期分だけ以前のデータとなる。Further, during such a series of processes, the write address and the read address for one process are deviated according to the data set when the address counter is set, so that the read data at a certain time is preset more than that time. It becomes the previous data for the specified period.
【0030】このような処理によってランダムなパルス
パターンとして遅れ装置9に送られるデータは、1クロ
ック毎に直接RAM14に書込まれ、送られたままのパ
ターンで一旦RAM14上に蓄えられる。そして、プリ
セットされた周期分経過後に1ビット毎にRAM14よ
り読出される。このような処理中で、データ転送が充分
に遅い場合には、入力バッファ16と出力バッファ17
とを、例えば単純な3ステートゲートによって構成する
ことも可能である。The data sent to the delay device 9 as a random pulse pattern by such processing is written directly in the RAM 14 every clock, and is temporarily stored in the RAM 14 in the pattern as it is sent. Then, after the preset period has elapsed, the data is read from the RAM 14 bit by bit. During such processing, when the data transfer is sufficiently slow, the input buffer 16 and the output buffer 17
It is also possible to configure and by, for example, a simple 3-state gate.
【0031】さらに、請求項4記載の発明の一実施例を
図5により説明する。本実施例は、前記実施例における
入力バッファ16を図5(b)に示すようにシリアル入
力−パラレル出力のシフトレジスタ23とラッチ24と
の組合せにより構成し、出力バッファ17を図5(a)
に示すようにパラレル入力−シリアル出力のシフトレジ
スタ25とラッチ26との組合せにより構成したもので
ある。Further, an embodiment of the invention described in claim 4 will be described with reference to FIG. In this embodiment, as shown in FIG. 5B, the input buffer 16 in the above embodiment is constructed by a combination of a serial input-parallel output shift register 23 and a latch 24, and an output buffer 17 is shown in FIG.
As shown in FIG. 5, the parallel input-serial output shift register 25 and the latch 26 are combined.
【0032】このような構成において、ランダムなパル
スパターンの入力信号はシフトレジスタ23によって一
旦パラレル信号に変換され、ラッチ24を通してパラレ
ル信号としてRAM14に送られ記憶される。また、プ
リセットされた時間だけこのRAM14に記憶された
後、RAM14から出力されるパラレル信号はラッチ2
6を通してシフトレジスタ25に送られ、シリアル変換
されてランダムなパルスパターンとして出力される。In such a configuration, an input signal having a random pulse pattern is once converted into a parallel signal by the shift register 23 and sent to the RAM 14 as a parallel signal through the latch 24 and stored therein. After being stored in the RAM 14 for a preset time, the parallel signal output from the RAM 14 is latched by the latch 2
It is sent to the shift register 25 through 6, and is serially converted and output as a random pulse pattern.
【0033】図3に示したような前記実施例構成の場
合、RAM14とのデータ転送を1ビット毎に行ってお
り、シリアル信号のクロック周波数に応じた周波数でR
AM14への書込み・読出しを行う必要があり、高速な
ニューラルネットワークには適用できない場合が生じ得
る。この点、本実施例によれば、シフトレジスタ23,
25を用いてRAM14との間のデータの入出力をパラ
レル信号の状態で行うため、 (RAMのアクセス周波数)=(システムクロック周波
数)/(RAMのデータ幅) なる式に示すように、RAM14のアクセス周波数は、
シリアル信号のクロック周波数に比べて、RAM14の
データ幅分だけ遅くすることができる。このため、パル
ス密度型ハードウエア構成のニューラルネットワークの
ように高いクロック周波数でデータ転送が行われる構成
にも対応できるものとなる。In the case of the configuration of the embodiment as shown in FIG. 3, data transfer with the RAM 14 is performed bit by bit, and R is performed at a frequency corresponding to the clock frequency of the serial signal.
It is necessary to write / read to / from the AM 14, which may not be applicable to a high-speed neural network. In this regard, according to the present embodiment, the shift register 23,
In order to input / output data to / from the RAM 14 in parallel with the RAM 25, (RAM access frequency) = (system clock frequency) / (RAM data width) The access frequency is
It can be delayed by the data width of the RAM 14 compared to the clock frequency of the serial signal. Therefore, it becomes possible to support a configuration in which data transfer is performed at a high clock frequency such as a neural network having a pulse density type hardware configuration.
【0034】また、請求項5記載の発明の一実施例を図
6により説明する。本実施例は、図3に示した実施例に
おける入力バッファ16を図6(b)に示すようにパル
スカウンタ27とラッチ24との組合せにより構成し、
出力バッファ17を図6(a)に示すようにパルスジェ
ネレータ28とラッチ26との組合せにより構成したも
のである。これにより、ランダムなパルスパターンとし
て与えられた入力信号をパルスカウンタ27によって一
定時間毎にカウントされる。例えば、7ビットのランダ
ムパルスの場合であれば、128クロック毎に計数され
る。計数された値、即ちパルス数信号(パルス密度信
号)はラッチ24を介してRAM14に書込まれる。ま
た、読出しはRAM14からパルス数(パルス密度情
報)として読出した後、パルスジェネレータ28によっ
て再びランダムなパルスパターン信号に変換してニュー
ラルネットワーク8中にフィードバック出力させるもの
である。An embodiment of the invention described in claim 5 will be described with reference to FIG. In this embodiment, the input buffer 16 in the embodiment shown in FIG. 3 is configured by a combination of a pulse counter 27 and a latch 24 as shown in FIG. 6B,
The output buffer 17 is configured by a combination of a pulse generator 28 and a latch 26 as shown in FIG. 6 (a). As a result, the input signal given as the random pulse pattern is counted by the pulse counter 27 at regular intervals. For example, in the case of a 7-bit random pulse, it is counted every 128 clocks. The counted value, that is, the pulse number signal (pulse density signal) is written in the RAM 14 via the latch 24. In addition, the reading is performed by reading the number of pulses (pulse density information) from the RAM 14, and then converting the pulse number into a random pulse pattern signal again by the pulse generator 28 and feeding it back to the neural network 8.
【0035】パルス密度型ニューラルネットワークにお
いては、情報がパルス数によって表現されていると考え
ることができる。従って、パルスパターン自身をRAM
14に記憶させる必要はなく、一旦パルス数データに変
換した後、RAM14に書込み又は読出しを行うこと
で、図3や図5に示した方式よりも、転送速度を上げる
ことができる。同時に、必要となる記憶容量も減らすこ
とができる。また、このような構成による場合、RAM
14に記憶されるデータは記憶される前のデータと比較
して、パルス密度は同じであるが、そのパルスパターン
としては異なったものとして提示されるので、学習効率
も向上するものとなる。In the pulse density type neural network, it can be considered that information is represented by the number of pulses. Therefore, the pulse pattern itself is
It is not necessary to store the data in the RAM 14, and once the data is converted into the pulse number data and then written or read in the RAM 14, the transfer speed can be increased as compared with the method shown in FIG. 3 or 5. At the same time, the required storage capacity can be reduced. Further, in the case of such a configuration, the RAM
The data stored in 14 has the same pulse density as that of the data before being stored, but since the pulse patterns are presented as different patterns, the learning efficiency is also improved.
【0036】なお、これらの実施例では、ニューラルネ
ットワーク構成を再帰構造を持つ階層型ニューラルネッ
トワークの例で説明したが、ニューロン素子間の結合係
数によって情報を表現するニューラルネットワーク型の
信号処理装置であれば、例えばホップフィールド型など
のように全結合を持つニューラルネットワーク型の信号
処理装置の場合にも同様に適用し得るものである。In these embodiments, the neural network configuration is described as an example of a hierarchical neural network having a recursive structure, but it may be a neural network type signal processing device that expresses information by the coupling coefficient between neuron elements. For example, the present invention can be similarly applied to the case of a neural network type signal processing device having full connection such as a Hopfield type.
【0037】[0037]
【発明の効果】請求項1記載の発明によれば、神経細胞
を模倣した複数個のニューロン素子を、可変自在な結合
係数を持たせた結合手段で網状に接続して信号処理回路
網を形成し、前記結合手段の結合係数を可変させる自己
学習手段を設けた信号処理装置において、前記結合手段
への入力信号に対して可変自在な遅れを生じさせる遅れ
装置を設けて、結合手段への入力信号として任意の時間
遅れを持つ情報を与えることができるようにしたので、
時系列信号の処理能力を向上させることができる。According to the first aspect of the present invention, a plurality of neuron elements imitating nerve cells are connected in a mesh by a connecting means having a variable coupling coefficient to form a signal processing network. In the signal processing device provided with the self-learning means for varying the coupling coefficient of the coupling means, a delay device for producing a variable delay with respect to an input signal to the coupling means is provided, and an input to the coupling means is provided. Since it is possible to give information with an arbitrary time delay as a signal,
The processing capability of time-series signals can be improved.
【0038】この際、請求項2記載の発明によれば、扱
う信号及び結合係数を、パルス列により表現されたもの
としたので、容易にハードウエア化することができる。In this case, according to the second aspect of the present invention, since the signal to be handled and the coupling coefficient are represented by the pulse train, the hardware can be easily implemented.
【0039】また、請求項3記載の発明によれば、遅れ
装置にRAM等の書換え可能な記憶装置を用いたので、
容易にハードウエア化することができる。According to the third aspect of the invention, since the rewritable storage device such as the RAM is used as the delay device,
It can be easily implemented as hardware.
【0040】請求項4記載の発明によれば、遅れ装置に
シフトレジスタを用いたので、データの入出力をより高
速化することができる。According to the fourth aspect of the present invention, since the shift register is used as the delay device, it is possible to further speed up the data input / output.
【0041】請求項5記載の発明によれば、遅れ装置に
パルスカウンタとパルスジェネレータとの組合せを用い
たので、データの入出力をより高速化することができ、
かつ、蓄えるデータも少なくて済むものとなる。According to the fifth aspect of the invention, since the combination of the pulse counter and the pulse generator is used in the delay device, the input / output of data can be further speeded up,
At the same time, less data can be stored.
【図1】請求項1及び2記載の発明の一実施例を示すネ
ットワーク構成図である。FIG. 1 is a network configuration diagram showing an embodiment of the invention described in claims 1 and 2. FIG.
【図2】その一つのニューロン素子を抽出して示す構成
図である。FIG. 2 is a configuration diagram showing one of the neuron elements extracted.
【図3】請求項3記載の発明の一実施例を示すブロック
図である。FIG. 3 is a block diagram showing an embodiment of the invention according to claim 3;
【図4】その動作を示すフローチャートである。FIG. 4 is a flowchart showing the operation.
【図5】請求項4記載の発明の一実施例を示すブロック
図である。FIG. 5 is a block diagram showing an embodiment of the invention described in claim 4.
【図6】請求項5記載の発明の一実施例を示すブロック
図である。FIG. 6 is a block diagram showing an embodiment of the invention described in claim 5.
【図7】従来例を示す再帰型ネットワーク構成例を示す
ブロック図である。FIG. 7 is a block diagram showing a recursive network configuration example showing a conventional example.
5 ニューロン素子 6 ニューロン素子=結合手段 7 ニューロン素子 8 信号処理回路網 9 遅れ装置 14 記憶装置 23,25 シフトレジスタ 27 パルスカウンタ 28 パルスジェネレータ 5 neuron element 6 neuron element = coupling means 7 neuron element 8 signal processing circuit network 9 delay device 14 storage device 23, 25 shift register 27 pulse counter 28 pulse generator
Claims (5)
素子を、可変自在な結合係数を持たせた結合手段で網状
に接続して信号処理回路網を形成し、前記結合手段の結
合係数を可変させる自己学習手段を設けた信号処理装置
において、前記結合手段への入力信号に対して可変自在
な遅れを生じさせる遅れ装置を設けたことを特徴とする
信号処理装置。1. A signal processing circuit network is formed by connecting a plurality of neuron elements imitating a nerve cell in a mesh by a coupling means having a variable coupling coefficient, and the coupling coefficient of the coupling means is variable. A signal processing device provided with self-learning means for causing a variable delay to be generated for a variable input signal to the coupling means.
り表現されたものとしたことを特徴とする請求項1記載
の信号処理装置。2. The signal processing apparatus according to claim 1, wherein the signal to be handled and the coupling coefficient are represented by a pulse train.
いたことを特徴とする請求項1記載の信号処理装置。3. The signal processing device according to claim 1, wherein a rewritable storage device is used as the delay device.
とを特徴とする請求項1記載の信号処理装置。4. The signal processing device according to claim 1, wherein a shift register is used as the delay device.
ェネレータとの組合せを用いたことを特徴とする請求項
2記載の信号処理装置。5. The signal processing device according to claim 2, wherein a combination of a pulse counter and a pulse generator is used for the delay device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP4273283A JPH06124275A (en) | 1992-10-13 | 1992-10-13 | Signal processor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP4273283A JPH06124275A (en) | 1992-10-13 | 1992-10-13 | Signal processor |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH06124275A true JPH06124275A (en) | 1994-05-06 |
Family
ID=17525692
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP4273283A Pending JPH06124275A (en) | 1992-10-13 | 1992-10-13 | Signal processor |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH06124275A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2284933A (en) * | 1993-05-31 | 1995-06-21 | Citizen Watch Co Ltd | Solder ball feeder |
WO2021166745A1 (en) * | 2020-02-17 | 2021-08-26 | ヤマハ株式会社 | Arrangement generation method, arrangement generation device, and generation program |
-
1992
- 1992-10-13 JP JP4273283A patent/JPH06124275A/en active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2284933A (en) * | 1993-05-31 | 1995-06-21 | Citizen Watch Co Ltd | Solder ball feeder |
GB2284933B (en) * | 1993-05-31 | 1996-12-04 | Citizen Watch Co Ltd | Solder ball feeder |
WO2021166745A1 (en) * | 2020-02-17 | 2021-08-26 | ヤマハ株式会社 | Arrangement generation method, arrangement generation device, and generation program |
JPWO2021166745A1 (en) * | 2020-02-17 | 2021-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE68928978T2 (en) | Neural architecture | |
US5095443A (en) | Plural neural network system having a successive approximation learning method | |
US5285522A (en) | Neural networks for acoustical pattern recognition | |
Alspector et al. | Performance of a stochastic learning microchip | |
Stornetta et al. | A dynamical approach to temporal pattern processing | |
EP0436916A2 (en) | Spann: sequence processing artifical neural network | |
Williams et al. | Mean field networks that learn to discriminate temporally distorted strings | |
Wang | Temporal pattern processing | |
Wang et al. | Anticipation-based temporal pattern generation | |
KR100306848B1 (en) | A selective attention method using neural networks | |
WO1995000920A1 (en) | An artificial network for temporal processing | |
DE69820497T2 (en) | NEURONAL NETWORK AND ITS APPLICATION FOR VOICE RECOGNITION | |
Bengio et al. | Learning the dynamic nature of speech with back-propagation for sequences | |
Goebel | A connectionist approach to high-level cognitive modeling | |
JPH07282168A (en) | Chaos-recurrent neuronetwork and its learning method | |
JPH06124275A (en) | Signal processor | |
JP2624143B2 (en) | Semiconductor integrated circuit device using neural network | |
Lawrence et al. | The Gamma MLP for speech phoneme recognition | |
JPH04237388A (en) | Neuro processor | |
Kuhn et al. | Some variations on training of recurrent networks | |
US5519813A (en) | Neuron unit for processing digital information | |
JPH05204399A (en) | Unspecified speaker's phoneme recognition method | |
JPH06131319A (en) | Signal processor | |
JPH0520293A (en) | Learning system for time sequential pattern | |
JPH0567224A (en) | Neural network |