JPH07105165A - Neural network information processor - Google Patents
Neural network information processorInfo
- Publication number
- JPH07105165A JPH07105165A JP5245094A JP24509493A JPH07105165A JP H07105165 A JPH07105165 A JP H07105165A JP 5245094 A JP5245094 A JP 5245094A JP 24509493 A JP24509493 A JP 24509493A JP H07105165 A JPH07105165 A JP H07105165A
- Authority
- JP
- Japan
- Prior art keywords
- input
- output
- value
- neural network
- back propagation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明はバックプロパゲーション
モデルを用いて入出力処理を行うニューラルネットワー
ク情報処理装置に係り、特に出力項目に目標値を設定
し、この目標値を出力するための入力値を算出する機能
（以下Ｇｏａｌ−Ｓｅａｋｉｎｇ機能という）を備えた
ニューラルネットワーク情報処理装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a neural network information processing apparatus for performing input / output processing by using a back propagation model, and more particularly to input values for setting target values in output items and outputting the target values. The present invention relates to a neural network information processing device having a function of calculating (hereinafter referred to as a Goal-Seeking function).
【０００２】[0002]
【従来の技術】一般にバックプロパゲーションモデルを
用いて入出力処理を行うニューラルネットワーク情報処
理装置が知られている。2. Description of the Related Art Generally, a neural network information processing device for performing input / output processing using a back propagation model is known.
【０００３】従来のバックプロパゲーションモデルは、
ニューロンの階層的なネットワーク構造を有し、隣り合
う層のニューロンは重み付き入出力関係で結合されてお
り、各層のニューロンは前段の層のニューロンの出力に
重みを乗じて入力し、伝達関数によって入出力変換した
後に次の層に出力する。The conventional back propagation model is
It has a hierarchical network structure of neurons, and the neurons in the adjacent layers are connected in a weighted input / output relationship.The neurons in each layer input the outputs of the neurons in the previous stage by multiplying the weight by the transfer function. After input / output conversion, output to the next layer.
【０００４】このニューロン間の重みを調節することに
よってバックプロパゲーションモデルは、任意の入力値
に対して柔軟に好ましい出力値を出力することができ
る。By adjusting the weight between the neurons, the back propagation model can flexibly output a desired output value with respect to an arbitrary input value.
【０００５】また、好ましい入出力の結果を教師信号と
して与えることによって、この入出力関係を近似するよ
うに各ニューロン間の重みを逆伝播的に修正することが
できる。この重みの修正作業を学習という。Further, by giving a preferable input / output result as a teacher signal, the weights between the neurons can be modified in a back propagation manner so as to approximate the input / output relationship. This work of correcting the weight is called learning.
【０００６】従来のバックプロパゲーションモデルを用
いたニューラルネットワーク情報処理装置では、好まし
い入出力結果のサンプルパターンをバックプロパゲーシ
ョンモデルに与え、このサンプルパターンに近似する入
出力関係を得るようにバックプロパゲーションモデルに
学習させ、その後に処理すべきデータを入力して出力を
得ていた。In a conventional neural network information processing system using a backpropagation model, a sample pattern of a preferable input / output result is given to the backpropagation model, and the backpropagation is performed so as to obtain an input / output relationship that approximates this sample pattern. The model was trained, then the data to be processed was input and the output was obtained.
【０００７】[0007]
【発明が解決しようとする課題】しかしながら、上記従
来のバックプロパゲーションモデル型のニューラルネッ
トワーク情報処理装置では、入出力の学習を行うことは
できるが、所定の出力目標値を得るためにどの程度の入
力値を入力すれば良いかについては何等情報を与えるこ
とはできなかった。However, in the above-mentioned conventional back propagation model type neural network information processing apparatus, although it is possible to learn input / output, how much is required to obtain a predetermined output target value. No information could be given as to whether the input value should be input.
【０００８】したがって、従来のニューラルネットワー
ク情報処理装置では、出力の目標値を実現する入力値を
求めるために、入力値を変化させてトライアンドエラー
的に入出力を繰り返していた。この作業には通常多くの
時間を要し、かつ、求めた入力値は必ずしも精度が良い
ものではなかった。Therefore, in the conventional neural network information processing apparatus, in order to obtain the input value that realizes the output target value, the input value is changed and the input and output are repeated in a trial-and-error manner. This work usually requires a lot of time, and the obtained input value is not always accurate.
【０００９】これに対して従来からＧｏａｌ−Ｓｅａｋ
ｉｎｇ機能を備えた線形モデルによる情報処理装置があ
った。これはたとえば経済モデルのようなもので、「赤
字を出さない」というＧｏａｌに対して「どれだけ販売
すればよいか」という入力値をＳｅａｋする機能を有す
るものであった。On the other hand, conventionally, Goal-Seek
There was an information processing device using a linear model with an ing function. This is, for example, an economic model, which has a function of seeking an input value "how much should be sold" for a Goal that "does not make a deficit".
【００１０】ニューラルネットワークによる情報処理装
置は、非線形の入出力関係を有するので、一般に線形モ
デルより精度良く種々の入出力関係を近似できる。この
ため、非線形モデルによる情報処理装置において、上記
Ｇｏａｌ−Ｓｅａｋｉｎｇ機能を備えたものが求められ
ていた。Since an information processing device using a neural network has a nonlinear input / output relationship, it is generally possible to approximate various input / output relationships more accurately than a linear model. Therefore, an information processing device based on a non-linear model is required to have the Goal-Seeking function.
【００１１】そこで、本発明の目的は、上記従来技術の
課題を解決し、Ｇｏａｌ−Ｓｅａｋｉｎｇ機能を有する
非線形モデルによる情報処理装置、特に信頼性と汎用性
に優れたバックプロパゲーションモデルによるニューラ
ルネットワーク情報処理装置を提供することにある。Therefore, an object of the present invention is to solve the above-mentioned problems of the prior art and to process an information processing device using a non-linear model having a Goal-Seeking function, particularly neural network information based on a back propagation model having excellent reliability and versatility. It is to provide a processing device.
【００１２】[0012]
【課題を解決するための手段】上記目的を達成するため
に本発明によるニューラルネットワーク情報処理装置
は、バックプロパゲーションモデルによって入出力処理
を行うニューラルネットワーク情報処理装置において、
出力の目標値を入力する目標値入力手段と、Ｎｅｗｔｏ
ｎ−Ｒａｐｈｓｏｎ法、Ｇｒａｅｆｆｅ法、Ｂｅｒｎｏ
ｕｌｌｉ法のいずれかの代数方程式の数値解法によって
前記目標値を出力するための入力値を算出する入力値算
出手段と、前記入力値算出手段が算出した入力値を出力
する入力値出力手段を備えていることを特徴とするもの
である。In order to achieve the above object, a neural network information processing apparatus according to the present invention is a neural network information processing apparatus which performs input / output processing by a back propagation model,
Target value input means for inputting a target value of output;
n-Raphson method, Graeffe method, Berno
an input value calculation means for calculating an input value for outputting the target value by a numerical solution method of any algebraic equation of the Ulli method, and an input value output means for outputting the input value calculated by the input value calculation means. It is characterized by that.
【００１３】[0013]
【作用】本発明のニューラルネットワーク情報処理装置
の入力値算出手段は、バックプロパゲーションモデルの
入力値と、ネットワークを構成するニューロンの伝達関
数と、各ユニットを結合する重み等によってバックプロ
パゲーションモデルの入出力を代数方程式として表現
し、次に、この代数方程式を数値解法（Ｎｅｗｔｏｎ−
Ｒａｐｈｓｏｎ法、Ｇｒａｅｆｆｅ法、Ｂｅｒｎｏｕｌ
ｌｉ法）によって、機械的に近似解を求めることができ
る。The input value calculating means of the neural network information processing apparatus of the present invention uses the input value of the back propagation model, the transfer function of the neurons forming the network, the weight for connecting each unit, and the like of the back propagation model. The input and output are expressed as algebraic equations, and then the algebraic equations are numerically solved (Newton-
Raphson method, Graeffe method, Bernoul
li method), an approximate solution can be mechanically obtained.
【００１４】上記入力値算出手段の作用により、本発明
のニューラルネットワーク情報処理装置によれば、目標
値入力手段によって出力の所定項目に目標値を設定し、
入力値算出手段によって目標値を達成する入力値を精度
よく求めることができる。By the operation of the input value calculating means, according to the neural network information processing apparatus of the present invention, the target value is set to the predetermined item of the output by the target value input means,
The input value that achieves the target value can be accurately obtained by the input value calculation means.
【００１５】[0015]
【実施例】本発明はバックプロパゲーションモデルを用
いて入出力処理を行うニューラルネットワーク情報処理
装置に、出力の目標値を与え、この目標値を実現するた
めの入力値を代数方程式の数値解法によって算出する計
算手段を設けたものである。以下、図面を参照して本発
明の一実施例について説明する。BEST MODE FOR CARRYING OUT THE INVENTION The present invention gives a target value of output to a neural network information processing apparatus which performs input / output processing by using a backpropagation model, and an input value for realizing this target value is obtained by a numerical solution method of an algebraic equation. The calculation means for calculating is provided. An embodiment of the present invention will be described below with reference to the drawings.
【００１６】図１は、本発明の一実施例の構成を示して
いる。本実施例のニューラルネットワーク情報処理装置
１は、記憶装置２と、入力装置３と、中央処理装置４
と、出力装置５とからなる。FIG. 1 shows the configuration of an embodiment of the present invention. The neural network information processing device 1 of this embodiment includes a storage device 2, an input device 3, and a central processing unit 4.
And an output device 5.
【００１７】記憶装置２は、複数のバックプロパゲーシ
ョンモデルの構造データ２ａと、入出力のサンプルパタ
ーン２ｂとを記憶している。The storage device 2 stores structure data 2a of a plurality of back propagation models and input / output sample patterns 2b.
【００１８】入力装置３は、処理用データを入力する処
理用データ入力手段３ａと、教師信号となる学習用サン
プルパターンを入力する学習用サンプルパターン入力手
段３ｂと、処理に使用するバックプロパゲーションモデ
ルとサンプルパターンを選択するバックプロパゲーショ
ンモデル・サンプルパターン選択手段３ｃと、出力項目
を選択してその目標値を設定する目標設定手段３ｄと、
目標値を実現するための入力項目を選択する入力項目選
択手段３ｅとを有している。The input device 3 includes processing data input means 3a for inputting processing data, learning sample pattern input means 3b for inputting learning sample patterns to be a teacher signal, and a back propagation model used for processing. A back propagation model / sample pattern selecting means 3c for selecting a sample pattern, a target setting means 3d for selecting an output item and setting a target value thereof,
It has an input item selecting means 3e for selecting an input item for realizing the target value.
【００１９】上記入力装置３の各入力あるいは選択手段
は、好ましくは例えばＧＵＩ（グラフィカルユーザイン
ターフェイス）のように、コンピュータの入力装置上で
各入力あるいは選択手段の目的に応じて作成した入力用
ソフトウェアを起動させて実現することができる。無
論、各入力あるいは選択手段が個別に入力用ハードウェ
ア（たとえばキーボード、ポインティング・ディバイス
等）を備えて、全体として入力装置３を構成しても良
い。Each input or selection means of the input device 3 is preferably an input software created according to the purpose of each input or selection means on an input device of a computer, such as a GUI (graphical user interface). It can be activated and realized. Of course, each input or selection means may be individually provided with input hardware (for example, keyboard, pointing device, etc.) to configure the input device 3 as a whole.
【００２０】中央処理装置４は、バックプロパゲーショ
ンモデルによって入出力処理を行う入出力処理手段４ａ
と、Ｎｅｗｔｏｎ−Ｒａｐｈｓｏｎ法によって出力の目
標値を実現する入力値を算出する入力値算出手段４ｂと
を有している。また、上記のほかに、中央処理装置４
は、図示しないニューラルネットワーク情報処理装置１
の全体の作動を制御する制御手段を有している。The central processing unit 4 is an input / output processing means 4a for performing input / output processing according to the back propagation model.
And an input value calculation means 4b for calculating an input value that realizes an output target value by the Newton-Raphson method. In addition to the above, the central processing unit 4
Is a neural network information processing device 1 not shown.
Control means for controlling the overall operation of the.
【００２１】出力装置５は、入出力処理手段４ａによっ
て処理されたデータを表示する処理済データ表示手段５
ａと、入出力処理に使用したバックプロパゲーションモ
デルの構造とサンプルパターンを表示するバックプロパ
ゲーションモデル・サンプルパターン表示手段５ｂと、
出力の目標値を実現する入力値を表示する入力値表示手
段５ｃとを有している。The output device 5 is a processed data display means 5 for displaying the data processed by the input / output processing means 4a.
a, backpropagation model / sample pattern display means 5b for displaying the structure and sample pattern of the backpropagation model used for input / output processing,
It has an input value display means 5c for displaying an input value which realizes an output target value.
【００２２】出力装置５は、好ましくは前記ＧＵＩを介
して操作者が入力等するコンピュータ画面上に結果を表
示するようにする。無論、プリンタ等のハードコピー装
置や単に電気信号を出力する装置も本発明の出力装置５
に含まれる。The output device 5 preferably displays the result on a computer screen input by the operator through the GUI. Of course, a hard copy device such as a printer or a device that simply outputs an electric signal is also the output device 5 of the present invention.
include.
【００２３】本実施例のニューラルネットワーク情報処
理装置１は、通常の入出力処理においては、従来のニュ
ーラルネットワーク情報処理装置と同様の動作を行う。The neural network information processing apparatus 1 of this embodiment performs the same operation as the conventional neural network information processing apparatus in the normal input / output processing.
【００２４】すなわち、通常の入出力処理においては、
最初に処理すべきデータの種類に応じて入出力関係の設
定を行う。具体的には、記憶装置に格納されたバックプ
ロパゲーションモデルの構造データ２ａから、入出力の
処理に使用する特定のバックプロパゲーションモデルを
選択し、このバックプロパゲーションモデルが所望の入
出力関係を与えるように記憶装置の入出力のサンプルパ
ターン２ｂから特定のサンプルパターンを選択する。That is, in normal input / output processing,
First, the input / output relation is set according to the type of data to be processed. Specifically, a specific backpropagation model used for input / output processing is selected from the structure data 2a of the backpropagation model stored in the storage device, and this backpropagation model shows a desired input / output relationship. As specified, a specific sample pattern is selected from the input / output sample patterns 2b of the storage device.
【００２５】このバックプロパゲーションモデルの選択
の作業は、バックプロパゲーションモデル・サンプルパ
ターン選択手段３ｃによって行う。選択は、実際にはコ
ンピュータ画面上にバックプロパゲーションモデル等の
リストを表示し、これを指定するようにして行う。The operation of selecting the back propagation model is performed by the back propagation model / sample pattern selecting means 3c. The selection is performed by actually displaying a list of backpropagation models and the like on the computer screen and designating this.
【００２６】上記入出力関係を設定する作業の後に、処
理用データ入力手段３ａを介して処理すべき入力データ
を入力する。After the work of setting the input / output relation, the input data to be processed is input through the processing data input means 3a.
【００２７】中央処理装置４は、バックプロパゲーショ
ンモデル・サンプルパターン選択手段３ｃの要求に従
い、選択されたバックプロパゲーションモデルを記憶装
置２から読み出す。次にこのバックプロパゲーションモ
デルについて、バックプロパゲーションモデル・サンプ
ルパターン選択手段３ｃによって選択されたサンプルパ
ターンを用いて好ましい入出力関係を与えるように学習
を行う。The central processing unit 4 reads the selected back propagation model from the storage unit 2 in accordance with the request from the back propagation model / sample pattern selecting means 3c. Next, with respect to this back propagation model, learning is performed so as to give a preferable input / output relationship using the sample pattern selected by the back propagation model / sample pattern selection means 3c.
【００２８】上記入出力処理の準備が完了した段階で、
入出力処理手段４ａは処理用データをバックプロパゲー
ションモデルに入力し、バックプロパゲーションモデル
による入出力処理を行って処理結果を出力装置５に出力
する。At the stage when the preparation for the input / output processing is completed,
The input / output processing unit 4a inputs the processing data to the back propagation model, performs input / output processing by the back propagation model, and outputs the processing result to the output device 5.
【００２９】出力装置５は、処理済データ表示手段５ａ
によって上記処理済データをコンピュータ画面上に表示
する。また、要求に応じてバックプロパゲーションモデ
ル・サンプルパターン表示手段５ｂによって、処理に使
用したバックプロパゲーションモデルの構造およびサン
プルパターンを表示することもできる。The output device 5 is a processed data display means 5a.
Displays the processed data on a computer screen. Further, the structure and sample pattern of the back propagation model used for the processing can be displayed by the back propagation model / sample pattern display means 5b in response to a request.
【００３０】本実施例のニューラルネットワーク情報処
理装置１による通常の入出力処理は以上の通りである
が、本実施例のニューラルネットワーク情報処理装置１
は、出力に目標値を設定し、この目標値を実現する入力
値を算出するＧｏａｌ−Ｓｅａｋｉｎｇ機能を有してい
る。以下に本実施例によるＧｏａｌ−Ｓｅａｋｉｎｇに
ついて説明する。The normal input / output processing by the neural network information processing system 1 of this embodiment is as described above, but the neural network information processing system 1 of this embodiment is the same.
Has a Goal-Seeking function that sets a target value to the output and calculates an input value that realizes this target value. The Goal-Seeking according to this embodiment will be described below.
【００３１】図２は、本実施例のニューラルネットワー
ク情報処理装置１によるＧｏａｌ−Ｓｅａｋｉｎｇの処
理の流れを示している。Ｇｏａｌ−Ｓｅａｋｉｎｇ処理
をするには、図２に示す様に最初に処理すべきバックプ
ロパゲーションモデルとサンプルパターンを選択する
（ステップ１００）。この選択は、コンピュータ画面上
に候補となるモデル名とサンプルパターン名を表示し、
この中から選択するようにすることができる。むろん、
モデル名等を直接入力することも可能であり、これもこ
こにいう選択に含まれる。上記選択の操作は、バックプ
ロパゲーションモデル・サンプルパターン選択手段３ｃ
を介して行う。FIG. 2 shows the flow of Goal-Seeking processing by the neural network information processing system 1 of this embodiment. In order to perform the Goal-Seeking process, the back propagation model and sample pattern to be processed first are selected as shown in FIG. 2 (step 100). This selection displays the candidate model name and sample pattern name on the computer screen,
It is possible to select from these. Of course,
It is also possible to directly input the model name and the like, and this is also included in the selection here. The above selection operation is performed by the back propagation model / sample pattern selection means 3c.
Through.
【００３２】処理対象のバックプロパゲーションモデル
とサンプルパターンが選択されると、中央処理装置４が
記憶装置２から該当するものを検索し、バックプロパゲ
ーションモデル・サンプルパターン表示手段５ｂによっ
てコンピュータ画面上にこれを表示する（ステップ１１
０）。When the back propagation model and the sample pattern to be processed are selected, the central processing unit 4 retrieves the corresponding one from the storage unit 2 and the back propagation model / sample pattern display means 5b displays it on the computer screen. Display this (step 11)
0).
【００３３】次に、目標設定手段３ｄによって、上記表
示されたバックプロパゲーションモデルの出力項目の中
から目標値を設定すべき出力項目を選択し、その目標値
を入力する（ステップ１２０）。Next, the target setting means 3d selects an output item for which a target value is to be set from the displayed output items of the back propagation model, and inputs the target value (step 120).
【００３４】次に、上記目標値を実現するための入力項
目を入力項目選択手段３ｅよって選択する（ステップ１
３０）。Next, the input item for realizing the above target value is selected by the input item selecting means 3e (step 1).
30).
【００３５】上記出力の目標値とそれを実現すべき入力
項目が設定されると、中央処理装置４が入力値算出手段
４ｂによって目標実現のための入力値を算出する（ステ
ップ１４０）。この入力値の算出は後に説明するＮｅｗ
ｔｏｎ−Ｒａｐｈｓｏｎ法によって行う。算出された入
力値は出力装置５に出力される。When the output target value and the input item for realizing it are set, the central processing unit 4 calculates the input value for realizing the target by the input value calculating means 4b (step 140). The calculation of this input value is New which will be described later.
Ton-Raphson method is used. The calculated input value is output to the output device 5.
【００３６】出力装置５は、入力値表示手段５ｃによっ
て上記入力値をコンピュータ画面に表示する（ステップ
１５０）。また、出力装置５は、バックプロパゲーショ
ンモデル・サンプルパターン表示手段５ｂによって、要
求に応じて処理対象となったバックプロパゲーションモ
デル等のデータをコンピュータ画面に表示する。上記入
力値の表示をもって一連のＧｏａｌ−Ｓｅａｋｉｎｇ処
理が終了する。The output device 5 displays the input value on the computer screen by the input value display means 5c (step 150). Further, the output device 5 causes the back propagation model / sample pattern display means 5b to display data such as a back propagation model which is a processing target in response to a request on a computer screen. A series of Goal-Seeking processing ends with the display of the input value.
【００３７】次に、目標値実現のための入力値算出の方
法について以下に具体的に説明する。図３に、入力層、
隠れ層、出力層の３層構造のバックプロパゲーションモ
デルの構造を例示する。このバックプロパゲーションモ
デルは入力層、隠れ層、出力層にそれぞれＬ個、Ｍ個、
Ｎ個のニューロンを有している。各ニューロンは図３の
実線で示す入出力関係によって結合されている。図中の
υikは、隠れ層の第ｉ番目のニューロンから出力層第ｋ
番目のニューロンへの結合の重みを示し、ωjiは入力層
の第ｊ番目のニューロンから隠れ層の第ｉ番目のニュー
ロンへの結合の重みを示している。また、Ｉj （ｊ＝
１，…，Ｌ）は入力層のｊ番目のニューロンの出力値
（このバックプロパゲーションモデルへの入力値に等し
い）を示し、ｈi （ｉ＝，１，…，Ｍ）は隠れ層のｉ番
目のニューロンの出力値を示し、Ｏk（ｋ＝１，…，
Ｎ）は出力層のｋ番目のニューロンの出力値（このバッ
クプロパゲーションモデルの出力値に等しい）を示して
いる。Next, the method of calculating the input value for realizing the target value will be specifically described below. In Figure 3, the input layer,
A structure of a back propagation model having a three-layer structure of a hidden layer and an output layer is illustrated. This backpropagation model has L, M, and
It has N neurons. The neurons are connected by the input / output relationship shown by the solid line in FIG. In the figure, υ ik is the output layer kth from the i-th hidden layer neuron.
Ω ji represents the weight of the connection to the n-th neuron, and ω ji represents the weight of the connection from the j-th neuron in the input layer to the i-th neuron in the hidden layer. In addition, I j (j =
, 1, ..., L) indicates the output value of the j-th neuron in the input layer (equal to the input value to this backpropagation model), and h i (i =, 1, ..., M) is i in the hidden layer. The output value of the th neuron is shown, and O k (k = 1, ...,
N) indicates the output value of the k-th neuron in the output layer (equal to the output value of this back propagation model).
【００３８】隠れ層と出力層の各ニューロンは前段のニ
ューロンの出力値に重みを乗じた値を入力し、伝達関数
ｆ(x) （ｘは入力値）を適用した関数値を出力する。Each neuron in the hidden layer and the output layer inputs a value obtained by multiplying the output value of the preceding neuron by a weight, and outputs a function value to which the transfer function f (x) (x is an input value) is applied.
【００３９】図３のバックプロパゲーションモデルでは
各ニューロンの伝達関数は全て下記のロジスティック関
数とする。In the back propagation model of FIG. 3, the transfer function of each neuron is the following logistic function.
【００４０】[0040]
【数１】 このロジスティック関数ｆ(x) を用いれば、出力層の第
ｋ番目のニューロンの出力値は隠れ層のニューロンの出
力値ｈi （ｉ＝，１，…，Ｍ）を使って下式のように表
わすことができる。[Equation 1] If this logistic function f (x) is used, the output value of the k-th neuron in the output layer is expressed by the following expression using the output value h i (i =, 1, ..., M) of the hidden layer neuron. Can be represented.
【００４１】[0041]
【数２】 ここでυokは、隠れ層から出力層第ｋ番目のニューロン
への出力のしきい値を示している。[Equation 2] Here, υ ok represents the threshold value of the output from the hidden layer to the k-th neuron in the output layer.
【００４２】隠れ層第ｉ番目のニューロンの出力値は同
様に入力層の出力値Ｉj （ｊ＝１，…，Ｌ）によって下
式（２）のように表わせる。Similarly, the output value of the i-th hidden layer neuron can be expressed by the following expression (2) by the output value I j (j = 1, ..., L) of the input layer.
【００４３】[0043]
【数３】 ここでωoiは、入力層から隠れ層第ｉ番目のニューロン
の出力のしきい値を示している。[Equation 3] Here, ω oi indicates the threshold value of the output of the i-th neuron from the input layer to the hidden layer.
【００４４】式（１）、式（２）より、結局、出力層の
第ｋ番目のニューロンの出力層Ｏkは入力層の出力値Ｉ
j を使って下式（３）のように表わすことができる。From the expressions (1) and (2), the output layer O k of the k-th neuron in the output layer is finally the output value I of the input layer.
It can be expressed by the following equation (3) using j .
【００４５】[0045]
【数４】 上記式（３）は入力Ｉに対して出力Ｏを得る代数方程式
であるので、数値解決法（Ｎｅｗｔｏｎ−Ｒａｐｈｓｏ
ｎ法、Ｇｒａｅｆｆｅ法、Ｂｅｒｎｏｕｌｌｉ法）によ
って近似解を求めることができる。本実施例ではＮｅｗ
ｔｏｎ−Ｒａｐｈｓｏｎ法を用いるので、この方法につ
いて説明する。[Equation 4] Since the above equation (3) is an algebraic equation for obtaining the output O with respect to the input I, the numerical solution (Newton-Raphso)
An approximate solution can be obtained by the n method, the Graeffe method, the Bernoulli method). In this embodiment, New
Since the ton-Raphson method is used, this method will be described.
【００４６】一般にＮｅｗｔｏｎ−Ｒａｐｈｓｏｎ法で
は方程式ｆ(x) ＝０の実根αを求めるのに、ｆ’(x) ≠
０が計算できる場合に、根αの適当な第ｉ近似解をｘi
として、下式（４）によってｘi+1 を求める。Generally, in the Newton-Raphson method, f '(x) ≠ to find the real root α of the equation f (x) = 0.
If 0 can be calculated, then an appropriate i-th approximated solution of the root α is calculated as x i
As a result, x i + 1 is calculated by the following equation (4).
【００４７】[0047]
【数５】 このｘi+1 はｘi より真の解αに近づくことが知られて
いる。上記式（４）の計算を繰り返して｜ ｘi+1 −ｘ
i ｜ が十分小さくなれば、ｘi+1 は真の解αに十分近
づくことができる。[Equation 5] It is known that this x i + 1 is closer to the true solution α than x i . Repeating the calculation of the above formula (4), | x i + 1 −x
If i | is small enough, x i + 1 can be close enough to the true solution α.
【００４８】ところで式（３）は出力Ｏk の入力Ｉp に
関する方程式とすれば、入力Ｉp に関する偏微分Ｏ′k
は下式（５）で表現できる。[0048] By the way if the formula (3) is the equation for input I p of the output O k, partial differential O 'k with respect to the input I p
Can be expressed by the following equation (5).
【００４９】[0049]
【数６】 上記Ｏk とＯ′k をＮｅｗｔｏｎ−Ｒａｐｈｓｏｎ法の
式（４）に代入をすれば、Ｉp の近似解を求めることが
できる。なすわち、これによって出力の目標値Ｏk を実
現する入力値Ｉp を算出することができる。なお、バッ
クプロパゲーションモデルで最初の近似解として該当す
るサンプルパターンの入力データの値とする。[Equation 6] By substituting the above O k and O ′ k into the equation (4) of the Newton-Raphson method, an approximate solution of I p can be obtained. That is, the input value I p that realizes the output target value O k can be calculated. The input data value of the corresponding sample pattern is used as the first approximate solution in the back propagation model.
【００５０】Ｎｅｗｔｏｎ−Ｒａｐｈｓｏｎ法の他のＧ
ｒａｅｆｆｅ法、Ｂｅｒｎｏｕｌｌｉ法については、バ
ックプロパゲーションモデルの入力Ｉと出力Ｏを一つの
代数方程式とし、それぞれの数値解法によって近似解を
求める点で共通する。これを近似解を求める数値解法
は、公知の数学的解法であるので、ここでの説明は省略
する。Other G of Newton-Raphson method
The raeffe method and the Bernoulli method are common in that the input I and the output O of the backpropagation model are one algebraic equation, and an approximate solution is obtained by each numerical solution. Since the numerical solution method for obtaining an approximate solution is a known mathematical solution method, its explanation is omitted here.
【００５１】[0051]
【発明の効果】上記説明から明らかなように、本発明の
ニューラルネットワーク情報処理装置は、学習可能なバ
ックプロパゲーションモデルによって入出力処理でき、
さらに目標設定手段と入力項目選択手段と入力値算出手
段を有しているので、これら手段によって出力目標値を
設定し、この出力目標値を達成する入力値を機械的に、
かつ、精度良く算出することができる。As is apparent from the above description, the neural network information processing apparatus of the present invention can perform input / output processing by a back propagation model that can be learned,
Further, since it has the target setting means, the input item selecting means, and the input value calculating means, the output target value is set by these means, and the input value that achieves this output target value is mechanically
In addition, it can be calculated accurately.
【００５２】これにより、非線形な入出力関係を有する
種々の事象を精度良く近似でき、かつ、この非線形の入
出力モデルに対して出力目標値を設定し、目標を達成す
る入力値を迅速かつ精度良く求めるニューラルネットワ
ーク情報処理装置を提供することができる。As a result, various events having a nonlinear input / output relationship can be accurately approximated, and an output target value can be set for this nonlinear input / output model to quickly and accurately determine an input value that achieves the target. A well-needed neural network information processing device can be provided.
【図１】本発明のニューラルネットワーク情報処理装置
の一実施例の構成を示した図。FIG. 1 is a diagram showing a configuration of an embodiment of a neural network information processing device of the present invention.
【図２】本発明のニューラルネットワーク情報処理装置
におけるＧｏａｌ−Ｓｅａｋｉｎｇ処理の流れを示した
流れ図。FIG. 2 is a flowchart showing the flow of Goal-Seeking processing in the neural network information processing apparatus of the invention.
【図３】本発明による目標実現の入力値を算出する方法
を説明するためのバックプロパゲーションモデルの構造
を示した図。FIG. 3 is a diagram showing a structure of a back propagation model for explaining a method of calculating an input value for achieving a goal according to the present invention.
１ ニューラルネットワーク情報処理装置 ２ 記憶装置 ２ａ バックプロパゲーションモデルの構造データ ２ｂ 入出力のサンプルパターン ３ 入力装置 ３ｄ 目標設定手段 ３ｅ 入力項目選択手段 ４ 中央処理装置 ４ｂ 入力値算出手段 ５ 出力装置 ５ｃ 出力装置 DESCRIPTION OF SYMBOLS 1 Neural network information processing device 2 Storage device 2a Structural data of back propagation model 2b Input / output sample pattern 3 Input device 3d Target setting means 3e Input item selecting means 4 Central processing unit 4b Input value calculating means 5 Output device 5c Output device
Claims (2)
出力処理を行うニューラルネットワーク情報処理装置に
おいて、 出力の目標値を入力する目標値入力手段と、 Ｎｅｗｔｏｎ−Ｒａｐｈｓｏｎ法、Ｇｒａｅｆｆｅ法、
Ｂｅｒｎｏｕｌｌｉ法のいずれかの代数方程式の数値解
法によって前記目標値を出力するための入力値を算出す
る入力値算出手段と、 前記入力値算出手段が算出した入力値を出力する入力値
出力手段を備えていることを特徴とするニューラルネッ
トワーク情報処理装置。1. A neural network information processing apparatus for performing input / output processing by a back propagation model, a target value input means for inputting a target value of output, a Newton-Raphson method, a Graeffe method,
An input value calculating means for calculating an input value for outputting the target value by a numerical solution of any algebraic equation of the Bernoulli method; and an input value outputting means for outputting the input value calculated by the input value calculating means. A neural network information processing device characterized in that
造データと入出力のサンプルパターンを記憶した記憶装
置と、処理用及び学習用データを入力する入力装置と、
バックプロパゲーションモデルによって入出力処理を行
う中央処理装置と、処理済データを出力する出力装置と
を備えたニューラルネットワーク情報処理装置におい
て、 前記入力装置は、使用するバックプロパゲーションモデ
ルと入出力のサンプルパターンを選択する手段と、選択
したバックプロパゲーションモデルの出力項目の中から
目標値を設定すべき出力項目を選択してその目標値を入
力する目標設定手段と、前記出力の目標値を実現する入
力項目を選択する手段とを有し、 前記中央処理装置は、Ｎｅｗｔｏｎ−Ｒａｐｈｓｏｎ
法、Ｇｒａｅｆｆｅ法、Ｂｅｒｎｏｕｌｌｉ法のいずれ
かの代数方程式の数値解法によって前記目標値を出力す
るための入力値を算出する入力値算出手段を有し、 前記出力装置は、前記入力値算出した入力値を出力する
入力値出力手段を有していることを特徴とするニューラ
ルネットワーク情報処理装置。2. A storage device for storing structural data of a plurality of back propagation models and input / output sample patterns, and an input device for inputting processing and learning data.
In a neural network information processing device comprising a central processing unit that performs input / output processing by a back propagation model and an output device that outputs processed data, the input device is a back propagation model to be used and a sample of input / output. Means for selecting a pattern, target setting means for selecting an output item for which a target value is to be set from the output items of the selected back propagation model and inputting the target value, and realizing the target value of the output And a means for selecting an input item, wherein the central processing unit is a Newton-Raphson.
Method, a Graeffe method, and a Bernoulli method, the method includes an input value calculation means for calculating an input value for outputting the target value by a numerical solution method of an algebraic equation, and the output device calculates the input value. A neural network information processing apparatus having an input value output means for outputting.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5245094A JPH07105165A (en) | 1993-09-30 | 1993-09-30 | Neural network information processor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5245094A JPH07105165A (en) | 1993-09-30 | 1993-09-30 | Neural network information processor |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH07105165A true JPH07105165A (en) | 1995-04-21 |
Family
ID=17128521
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5245094A Pending JPH07105165A (en) | 1993-09-30 | 1993-09-30 | Neural network information processor |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH07105165A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104777356A (en) * | 2015-03-10 | 2015-07-15 | 三峡大学 | Neural-network-based real-time high-accuracy harmonic detection method |
| JP2021523489A (en) * | 2018-07-26 | 2021-09-02 | ディーピング ソース インコーポレイテッド． | A method of concealing data and a data modulation device using this |
| US11216717B2 (en) | 2017-04-04 | 2022-01-04 | Hailo Technologies Ltd. | Neural network processor incorporating multi-level hierarchical aggregated computing and memory elements |
| US11221929B1 (en) | 2020-09-29 | 2022-01-11 | Hailo Technologies Ltd. | Data stream fault detection mechanism in an artificial neural network processor |
-
1993
- 1993-09-30 JP JP5245094A patent/JPH07105165A/en active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104777356A (en) * | 2015-03-10 | 2015-07-15 | 三峡大学 | Neural-network-based real-time high-accuracy harmonic detection method |
| US11216717B2 (en) | 2017-04-04 | 2022-01-04 | Hailo Technologies Ltd. | Neural network processor incorporating multi-level hierarchical aggregated computing and memory elements |
| JP2021523489A (en) * | 2018-07-26 | 2021-09-02 | ディーピング ソース インコーポレイテッド． | A method of concealing data and a data modulation device using this |
| US11221929B1 (en) | 2020-09-29 | 2022-01-11 | Hailo Technologies Ltd. | Data stream fault detection mechanism in an artificial neural network processor |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Schmidhuber | Reinforcement learning in Markovian and non-Markovian environments | |
| Hwang | A conceptual map model for developing intelligent tutoring systems | |
| CN106471525A (en) | Strength neural network is to generate additional output | |
| Granat et al. | Interactive specification and analysis of aspiration-based preferences | |
| KR20090010957A (en) | System for and method for psychological assessment | |
| JPH07105165A (en) | Neural network information processor | |
| JPH07168799A (en) | Learning device for neural network | |
| JPH05265512A (en) | Learning type controller and fuzzy inference device | |
| Reid et al. | Mutual reinforcement learning with heterogenous agents | |
| JP2770523B2 (en) | Figure coloring method | |
| JPH03265064A (en) | Method and device for simulation and production control supporting device and cad device | |
| JPH04317159A (en) | Variable-state displaying method, computing apparatus and solution obtaining method | |
| JPH05128082A (en) | Data processor constituting hierarchical network and its learning processing method | |
| JP7371284B1 (en) | Writing support system, information processing method and program | |
| JPH11175494A (en) | Neural network | |
| CN109388385A (en) | Method and apparatus for application and development | |
| JP4267726B2 (en) | Device for determining relationship between operation signal and operation amount in control device, control device, data generation device, input / output characteristic determination device, and correlation evaluation device | |
| JPH096881A (en) | Neural network | |
| JP3523325B2 (en) | Neural network, signal processing device using the same, autonomous system, autonomous robot, and mobile system | |
| Drossu et al. | A flexible graphical user interface for embedding heterogeneous neural network simulators | |
| JP2553725B2 (en) | Reasoning device | |
| KR20220138513A (en) | Visualization Method of Artificial Neural Network Tensor Flow | |
| JPH11259445A (en) | Learning device | |
| JP2023121251A (en) | Matching apparatus and program | |
| Srbecky et al. | Realization of an Automated Validation of Learning Activities Prerequisites in Courses in the Learning Management System Moodle Considering the Qualifications-Based Learning Model Approach |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |