JPH05342187A - Neural network constituting device - Google Patents
Neural network constituting deviceInfo
- Publication number
- JPH05342187A JPH05342187A JP4147322A JP14732292A JPH05342187A JP H05342187 A JPH05342187 A JP H05342187A JP 4147322 A JP4147322 A JP 4147322A JP 14732292 A JP14732292 A JP 14732292A JP H05342187 A JPH05342187 A JP H05342187A
- Authority
- JP
- Japan
- Prior art keywords
- neural network
- data
- learning
- evaluation
- learning data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Feedback Control In General (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、大規模な神経回路網を
構築する神経回路網構築装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a neural network building apparatus for building a large-scale neural network.
【０００２】[0002]
【従来の技術】バックプロパゲーション・アルゴリズム
に代表される学習機能を有する神経回路網は、学習によ
りデータの入出力関係を自動的に作り上げて行く手法の
一種である。すなわち、この神経回路網は入力データと
その入力データに対しての望ましい出力値がどのような
数式に基づく写像で計算されているかが分からなくて
も、学習によりその写像を近似することができる。2. Description of the Related Art A neural network having a learning function represented by a backpropagation algorithm is one of the methods for automatically creating a data input / output relationship by learning. That is, this neural network can approximate the mapping by learning, even if it is not known what mathematical expression the input data and the desired output value for the input data are calculated by.
【０００３】この神経回路網の学習は、入力データに対
して神経回路網の出力値が望ましい出力値に一致するよ
うに神経回路網の荷重値を修正することで行われる。以
下、入力データと望ましい出力値を対にしたものを学習
データと呼ぶことにする。The learning of the neural network is performed by modifying the weight value of the neural network so that the output value of the neural network matches the desired output value with respect to the input data. Hereinafter, a pair of input data and a desired output value will be referred to as learning data.
【０００４】一般に学習データは複数あり、その学習デ
ータを学習するためには学習データを一つずつ神経回路
網に提示し、すべての入力データに対してそれぞれ望ま
しい出力が得られるまで学習データの入力を繰返す必要
がある。従って、学習データの数が多くなればなるほ
ど、すべてのデータを入力するための回数が増えるの
で、学習に要する時間が長くなる。Generally, there are a plurality of learning data, and in order to learn the learning data, the learning data are presented one by one to the neural network, and the learning data are input until desired outputs are obtained for all the input data. Need to be repeated. Therefore, as the number of learning data increases, the number of times of inputting all the data increases, so that the time required for learning increases.
【０００５】また、大量のデータを一つの神経回路網で
学習させる場合、データを一つ入力する毎に荷重値、閾
値をどれだけ修正するかを決める感度係数をあまり大き
く取ると、データの一部を学習した時点で、神経回路網
が不適切な方向に学習が進んでしまうことが知られてい
る。従って、学習するデータが増えるに連れて感度係数
を小さくする必要がある。このことは、学習データ数が
増えると、神経回路網が望ましい状態になるまでの繰返
し回数が増加することを意味し、学習に要する時間が長
くなる要因となる。Further, when a large amount of data is trained by one neural network, if the sensitivity coefficient that determines how much the weight value and the threshold value are corrected each time one data is input is set too large, the data It is known that at the time of learning a part, learning proceeds in an inappropriate direction in the neural network. Therefore, it is necessary to reduce the sensitivity coefficient as the amount of data to be learned increases. This means that as the number of learning data increases, the number of iterations until the neural network reaches a desired state increases, which becomes a factor of increasing the time required for learning.
【０００６】そこで、この学習データの増加に伴い学習
時間が増加するという問題に対処するため、学習データ
を統計的な手法を用いるなどしていくつかのグループに
分割し、グループ内のデータだけを学習対象とする神経
回路網をグループ毎に作成する方法が考えられている。
この方法は、グループを多く作るほど一つのグループに
属する学習データ数は減少するので、一つの神経回路網
の学習に要する時間は短くて済み、かつグループ毎の神
経回路網を並列に学習させることができるため、神経回
路網全体を学習させるために要する時間を減少させるこ
とができる。Therefore, in order to deal with the problem that the learning time increases with the increase of the learning data, the learning data is divided into several groups by using a statistical method, and only the data within the group is divided. A method of creating a neural network to be learned for each group has been considered.
In this method, the number of learning data belonging to one group decreases as the number of groups increases, so the time required for learning one neural network is short, and the neural networks for each group are trained in parallel. Therefore, the time required to train the entire neural network can be reduced.
【０００７】しかし、このように学習データを分割して
複数の神経回路網を構成する方法では、グループ毎に構
成した神経回路網を繋合せて一つの大規模な神経回路網
を構成しなければならないという問題がある。このた
め、従来では次のような対策が取られてきた。However, in the method of dividing the learning data into a plurality of neural networks in this way, one large-scale neural network must be constructed by connecting the neural networks constructed for each group. There is the problem of not becoming. Therefore, conventionally, the following measures have been taken.
【０００８】 （１）データを統計的手法により大分類する方法 学習データを複数のグループに分割して個々に学習させ
た神経回路網を大規模神経回路網として統合はしない
が、その代わりデータをどの神経回路網に対処させるべ
きかを決めるために、学習データをグループに分けたと
きに用いた統計的手法をそのまま用い、与えられたデー
タがどのグループに属するかを判定し、その判定グルー
プを学習した神経回路網によりデータを処理する。(1) Method of Largely Classifying Data by Statistical Method A neural network that is obtained by dividing learning data into a plurality of groups and individually learning is not integrated as a large-scale neural network, but instead, the data is In order to decide which neural network should be dealt with, the statistical method used when dividing the learning data into groups is used as it is, and it is determined which group the given data belongs to, and Data is processed by the learned neural network.
【０００９】 （２）データを大分類する神経回路網を構成する方法 与えられたデータがどのグループに属するかを判定する
判定用神経回路網を構成する方法で、例えばグループが
全部でｎ種ある場合、ｎ個の出力素子を持つ判定用神経
回路網を用意し、各出力素子をグループ毎に作られたｎ
個の神経回路網に対応させる全学習データが適切なグル
ープに割り振られるまで、判定用神経回路網を学習させ
る。判定用神経回路網の構成には、すべてのデータに対
する学習が必要である。(2) Method of Constructing Neural Network for Largely Classifying Data This is a method of constructing a neural network for judgment for determining to which group the given data belongs, for example, there are n kinds of groups in total. In this case, a neural network for judgment having n output elements is prepared, and each output element is made into n groups.
The judgment neural network is trained until all the learning data corresponding to each neural network is assigned to an appropriate group. The construction of the judgment neural network requires learning for all data.
【００１０】 （３）総合判定をする神経回路網を構成する方法 各神経回路網すべての出力を入力とし、最終的な出力を
行う神経回路網を構成する方法。この神経回路網を構成
する場合にはすべてのデータに対して学習が必要であ
る。(3) Method of constructing neural network for comprehensive judgment Method of constructing neural network for inputting outputs of all neural networks and for making final output. When constructing this neural network, learning is required for all data.
【００１１】（４）グループ毎の神経回路網を構成する
時点で、グループに属さないデータも学習対象にする方
法 与えられたデータを処理することが適切であるか否かを
グループ毎に作られた各神経回路網自身で判定できるよ
うにするため、本来処理の対象とすべきではない他のグ
ループに属するデータを学習データに加える。ただし、
このような不適切な学習データに対しては、それが不適
と判定できるような教示信号を与える。例えば神経回路
網の出力がすべて０となるようにする、あるいは「不適
切なデータ」を表す出力素子を付加し、不適切な入力に
対してはその素子の出力が１となるようにするなどであ
る。そして、与えられたデータはすべての神経回路網に
入力され、それぞれの出力結果の中で「不適切な入力デ
ータ」と判定されなかった神経回路網の出力を採用す
る。(4) Method of making data that does not belong to a group a learning target at the time of constructing a neural network for each group Whether or not it is appropriate to process given data is made for each group. In addition, data belonging to another group that should not be originally processed is added to the learning data so that each neural network itself can make the determination. However,
For such inappropriate learning data, a teaching signal that can be judged as inappropriate is given. For example, all outputs of the neural network are set to 0, or an output element representing "inappropriate data" is added, and the output of that element is set to 1 for inappropriate input. Is. Then, the given data is input to all the neural networks, and the output of the neural network which is not determined as “inappropriate input data” in the output results is adopted.
【００１２】[0012]
【発明が解決しようとする課題】しかし、上記（１）〜
（４）の対処方法には次のような問題がある。However, the above (1)-
The method of dealing with (4) has the following problems.
【００１３】（１）は、統計的な手法により大分類が適
切に行われることが前提となるが、そもそも神経回路網
により処理を行おうとするデータの性質がよく分からな
いことが多く、しかも適切な統計モデルを立てることが
一般に困難であると予想されるため、統計的な手法をベ
ースとした適切な分類器の構成自体が難しい。したがっ
て、学習に用いなかった新しいデータを処理する場合に
は、そのデータが統計ベースの分類器で、適切な神経回
路網に振り分けられることが期待できないと考えられ
る。In (1), it is premised that large classification is appropriately performed by a statistical method, but the nature of the data to be processed by the neural network is often not well understood in the first place, and it is appropriate. Since it is generally expected that it will be difficult to establish a statistical model, it is difficult to construct an appropriate classifier based on a statistical method. Therefore, when processing new data that was not used for learning, it cannot be expected that the data will be distributed to an appropriate neural network by a statistically based classifier.
【００１４】（２）のデータの大分類を行う神経回路
網、そして（３）の総合判定を行う神経回路網は共にす
べてのデータを学習対象としなければならないが、最初
からすべてのデータを学習対象としている訳ではないの
で、零から学習するよりは収束性がよい。しかし、大分
類を行う神経回路網、総合判定を行う神経回路網は両方
とも、学習が良好に行われるためにはデータをどのよう
にしていくつに分割するかを上手に決めなければならな
ず、結果的に分類方法については試行錯誤を必要とす
る。Both the neural network for performing the general classification of the data in (2) and the neural network for performing the comprehensive determination in (3) must be all learning targets, but all the data are learned from the beginning. Since it is not the target, it has better convergence than learning from zero. However, both neural networks that perform large classifications and neural networks that make comprehensive decisions must make good decisions about how to divide the data in order for learning to be successful. As a result, trial and error is required for the classification method.
【００１５】（４）の方法は、不適切なデータの選択方
法が難しい。他のグループに属すデータのすべてを「不
適切データ」として学習することにすると、全部のデー
タを学習対象にすることになる。しかし、「不適切デー
タ」の学習が不十分であると、複数の神経回路網の出力
から適切な出力を選択することが困難になる。In the method (4), it is difficult to select inappropriate data. If all the data belonging to other groups are learned as "inappropriate data", all the data will be the learning target. However, insufficient learning of "inappropriate data" makes it difficult to select an appropriate output from the outputs of a plurality of neural networks.
【００１６】このように（１）〜（４）に共通する問題
は、学習データを複数のグループに分割する方法であ
り、分割の良し悪しが学習の速度や学習が終了した神経
回路網の性能を決める大きな要因になっている。そし
て、従来の技術では、分割は試行錯誤的に行われてお
り、ある分割で神経回路網の学習を行い、それがうまく
いかないときに分割を作り直すという人手により繰返し
ていた。As described above, the problem common to (1) to (4) is a method of dividing the learning data into a plurality of groups, and whether the division is good or bad depends on the speed of learning and the performance of the neural network after the learning. Is a major factor in determining. In the conventional technique, the division is performed by trial and error, and the neural network is learned by a certain division, and when it does not work, the division is recreated manually.
【００１７】本発明は、学習データの分割に際して細か
な解析や人手による試行錯誤をせずに分割を行い、分割
された学習データを複数の神経回路網で並列に学習さ
せ、それらの神経回路網を統合することで学習データす
べてを正しく処理できると共に高速に大規模神経回路網
を構築できる神経回路網構築装置を提供することを目的
とする。According to the present invention, the learning data is divided without performing a detailed analysis or manual trial and error when the learning data is divided, and the divided learning data is learned in parallel by a plurality of neural networks, and the neural networks are combined. It is an object of the present invention to provide a neural network construction device capable of correctly processing all learning data by integrating the above and constructing a large-scale neural network at high speed.
【００１８】[0018]
【課題を解決するための手段】本発明は上記の目的を達
成するため、全学習データを記録すると共に、この学習
データをアクセスする機能を有する全学習データ用デー
タベースと、前記全学習データの全部あるいは一部を評
価用データとして記録すると共に、この評価用データを
アクセスする機能を有する評価用データベースと、前記
学習データの一部または全部を局所的な学習データとし
て記録すると共に、この局所的な学習データをアクセス
する機能を有する局所データベースを個々に有し、この
局所データベースに記録されたデータにより学習を行う
複数の神経回路網と、前記全学習用データベースから全
学習データの一部または全部を複数に分割してその学習
データセットを個々に前記各神経回路網の局所データベ
ースにそれぞれ転送するデータ振分手段と、前記評価用
データベースに記録されている評価データに対する評価
値を前記各神経回路網毎に求める評価手段と、この評価
手段により求まった評価値をもとに評価結果の良好な神
経回路網を前記複数の神経回路網の中から一つまたは複
数選択する選択手段と、この選択手段により選択された
神経回路網の一部または全部を組合わせて新しい神経回
路網を生成する神経回路網生成手段と、この神経回路網
生成手段により生成された神経回路網を前記複数の神経
回路網の中の任意の一つと入替えるデータ入替手段とを
備えたものである。In order to achieve the above-mentioned object, the present invention records all learning data and also has a database for all learning data having a function of accessing this learning data, and all of all the learning data. Alternatively, a part of the learning data is recorded as the evaluation data, the evaluation database having a function of accessing the evaluation data, and a part or all of the learning data is recorded as local learning data, and Each of the plurality of neural network having a local database having a function of accessing the learning data and performing learning by the data recorded in the local database, and a part or all of all the learning data from the all learning database. It is divided into multiple parts and the training data set is individually transferred to the local database of each neural network. A data distribution means, an evaluation means for obtaining an evaluation value for the evaluation data recorded in the evaluation database for each neural network, and a good evaluation result based on the evaluation value obtained by this evaluation means. Means for selecting one or a plurality of different neural networks from among the plurality of neural networks and a part or all of the neural networks selected by the selecting means to generate a new neural network. The neural network generating means and the data replacing means for replacing the neural network generated by the neural network generating means with any one of the plurality of neural networks.
【００１９】[0019]
【作用】このような構成の神経回路網構築装置にあって
は、全学習データベースよりデータ振分手段に全学習デ
ータの一部または全部が取込まれると、この学習データ
はいくつかのグループに分割され、そのグループ数以上
の神経回路網の個々に対してグループ化されたデータを
１セットずつ学習データとして与え、教師あり学習が行
われる。各神経回路網を並列に規定回数学習させ、その
学習結果について評価手段により評価データを用いて評
価し、評価値が規定値を超えていなければ評価値の高い
神経回路網を組合わせて新しい神経回路網を作り、この
神経回路網を複数の神経回路網の中から選択された神経
回路網と入替えられる。In the neural network constructing apparatus having such a configuration, when a part or all of all the learning data is fetched from the all learning database to the data allocating means, the learning data is divided into several groups. The data that is divided and is grouped for each of the neural networks having the number of groups or more is given as a set of learning data, and the supervised learning is performed. Each neural network is trained in parallel for a specified number of times, and the learning result is evaluated by the evaluation means using the evaluation data. If the evaluation value does not exceed the specified value, a neural network with a high evaluation value is combined to create a new neural network. A network is created and this neural network can be replaced with a neural network selected from a plurality of neural networks.
【００２０】従って、神経回路網の構造を可変にし、且
つ各神経回路網が学習対象とするデータセットも動的に
変化するので、全ての学習データを学習対象とするよう
な神経回路網を用いずに、しかも「不適切データ」を注
意深く選択することなく、複数の神経回路網を並列に学
習させることができ、それらの神経回路網を統合するこ
とができる。また、神経回路網が評価値によって篩にか
けられるため、たとえ学習データの分割方法を固定して
学習中にデータの分け方を変えないとしても、神経回路
網の方が入れ替わるので、最終的に得られる神経回路網
は全てのデータを学習したことになる。しかも学習時の
感度係数を小さくする必要もないため、個々の神経回路
網の学習に要する時間は少なくて済む。Therefore, since the structure of the neural network is made variable and the data set to be learned by each neural network also changes dynamically, a neural network which makes all the learning data objects to be learned is used. Multiple neural networks can be trained in parallel and integrated, without the need for careful selection of “inappropriate data”. Also, since the neural network is screened by the evaluation value, even if the method of dividing the learning data is fixed and the way of dividing the data is not changed during learning, the neural network is replaced, so that The neural network to be learned has learned all data. Moreover, since it is not necessary to reduce the sensitivity coefficient at the time of learning, less time is required for learning each neural network.
【００２１】[0021]
【実施例】以下本発明の一実施例を図面を参照して説明
する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of the present invention will be described below with reference to the drawings.
【００２２】図１は３層の層状ネットワークで教師あり
学習を行う場合の神経回路網構築装置全体の構成例を示
すものである。図１において、１は学習に必要なすべて
のデータが記録された全学習データ用データベース、２
は全学習データの一部または全部が記録され、且つ学習
途中の神経回路網の性能を評価するためのデータを記録
するための評価用データベースである。FIG. 1 shows an example of the overall construction of a neural network construction apparatus for performing supervised learning in a three-layered layered network. In FIG. 1, 1 is a database for all learning data in which all data necessary for learning is recorded, 2
Is a database for evaluation in which a part or all of all learning data is recorded and data for evaluating the performance of the neural network during learning is recorded.
【００２３】また、３はｎ個の神経回路網、すなわち神
経回路網３１，神経回路網３２，……，神経回路網３ｎ
からなる神経回路網群で、これら各神経回路網３１〜３
ｎはそれぞれが学習対象とするデータが記録された局所
データベース３ａと、素子数、荷重値、閾値という神経
回路網の構造情報を記録する構造情報記憶部３ｂと、局
所データベース３ａにアクセスしてデータを取出すと共
に、構造情報記憶部３ｂの構造情報を用いて神経回路網
の学習を実行する機能を有する学習実行部３ｃとを備え
ている。Reference numeral 3 denotes n neural networks, that is, the neural network 31, the neural network 32, ..., The neural network 3n.
The neural network group consisting of
n is a local database 3a in which data to be learned is recorded, a structural information storage unit 3b in which structural information of the neural network such as the number of elements, a load value, and a threshold is recorded, and the local database 3a is accessed to access data. And a learning execution unit 3c having a function of executing learning of the neural network using the structure information of the structure information storage unit 3b.
【００２４】一方、４はデータ振分器で、このデータ振
分器４は全学習データ用データベース１よりデータを取
込んで、その一部を評価用データベース２に転送した
り、またデータをいくつかのセットに分割して各神経回
路網３１〜３ｎの局所データベース３ａに転送するもの
である。また、５は評価用データベース２に記録された
データを用いて各神経回路網の性能を評価するための評
価器、６はこの評価器５により得られた評価値に基づい
て神経回路網３１〜３ｎより一つまたは複数の神経回路
網を選択してその構造情報記憶部３ｂより構造情報を取
出すための選択器である。On the other hand, 4 is a data distributor, and this data distributor 4 takes in data from the database 1 for all learning data, transfers a part of it to the database 2 for evaluation, and It is divided into sets and transferred to the local database 3a of each neural network 31 to 3n. Further, 5 is an evaluator for evaluating the performance of each neural network using the data recorded in the evaluation database 2, and 6 is the neural network 31 to 31 based on the evaluation value obtained by the evaluator 5. It is a selector for selecting one or a plurality of neural networks from 3n and extracting structural information from the structural information storage unit 3b.
【００２５】さらに、７は選択器６によって取出された
神経回路網の構造情報を組合わせて新たな神経回路網を
構成するための神経回路網構成器、８はこの神経回路網
構成器７によって構成された新たな神経回路網の構造情
報を前記各神経回路網３１〜３ｎの構造情報記憶部３ｃ
に入替えるためのデータ入替器である。次にこのように
構成された神経回路網構築装置の作用について述べる。Further, 7 is a neural network configurator for constructing a new neural network by combining the structural information of the neural network extracted by the selector 6, and 8 is the neural network configurator 7. The structural information of the new constructed neural network is stored in the structural information storage unit 3c of each of the neural networks 31 to 3n.
It is a data interchanger for exchanging with. Next, the operation of the neural network constructing apparatus thus configured will be described.
【００２６】ここでは、データ振分器４において、ｎ個
の神経回路網用に学習データをｍ個の学習データセット
に分割して記録する場合について説明する。一般に複数
の神経回路網が同一の学習データセットを処理する場合
も含める意味で、学習データセットをｍとしている。従
って、ｍ≦ｎである。Here, a case will be described in which the data distributor 4 records the learning data for n neural networks by dividing it into m learning data sets. In general, the learning data set is m in order to include the case where a plurality of neural networks process the same learning data set. Therefore, m ≦ n.
【００２７】学習データの分割方法は、各学習データセ
ットのサイズが同じ程度になるようにランダムに行う。
すなわち、全学習データ用データベース１に記録されて
いる学習データが全部でＳ個あるとすると、データ振分
器４ではＳ個より非復元抽出で学習データをランダムに
選択し、Ｓ／ｍ個ごとに学習データを分割して各セット
を各神経回路網３１〜３ｎの局所データベース３ａに転
送する。また、評価用データについては評価用データベ
ース２に全学習データの一部または全部が記録される。
この場合、評価用データとしては、始めに決めたものを
最後まで用いてもよいし、各データセットより一定の割
合でランダムに抽出して決めても良い。The learning data is divided at random so that the size of each learning data set is approximately the same.
That is, assuming that there are S pieces of learning data in total in the database 1 for all learning data, the data allocator 4 randomly selects the learning data from S pieces by non-restoration extraction and every S / m pieces. The learning data is divided into 2 and each set is transferred to the local database 3a of each neural network 31 to 3n. As for the evaluation data, a part or all of all the learning data is recorded in the evaluation database 2.
In this case, as the evaluation data, the data determined at the beginning may be used until the end, or may be determined by randomly extracting from each data set at a constant ratio.
【００２８】評価器５では評価用データベース２より評
価データを取込んで評価値計算により各神経回路網の性
能を評価する。この評価値計算は、評価用データベース
２に記録された入力データと望ましい出力値の対を用い
て入力データを神経回路網に入力し、その出力値が望ま
しい出力値とどれくらいずれているかの逆数を算出する
ことで行われる。すなわち、神経回路網の出力がｋ個の
素子から得られるとすると、神経回路網の主力ｏと望ま
しい出力ｔは共にｋ次元のベクトルと見なせるので、評
価値を１／｜ｏ−ｔ｜により計算する。The evaluator 5 fetches the evaluation data from the evaluation database 2 and calculates the evaluation value to evaluate the performance of each neural network. In this evaluation value calculation, the input data is input to the neural network using the pair of the input data and the desired output value recorded in the evaluation database 2, and the reciprocal of how much the output value is equal to the desired output value is calculated. It is done by calculating. That is, if the output of the neural network is obtained from k elements, both the main force o and the desired output t of the neural network can be regarded as a k-dimensional vector, and therefore the evaluation value is calculated by 1 / | o-t | To do.
【００２９】上記評価器５で評価値が求められると、選
択器６では評価値の高いものが高い確率で神経回路網を
選択するように確率的に神経回路網の選択が行なわれ
る。例えば、神経回路網３１〜３ｎの評価値をそれぞれ
ｅ1 ，ｅ2 ，……，ｅn とすると、神経回路網ｋが選択
される確率は ek ／Σｅi となる。When the evaluator 5 obtains the evaluation value, the selector 6 stochastically selects the neural network so that the one having a high evaluation value selects the neural network with a high probability. For example, assuming that the evaluation values of the neural networks 31 to 3n are e 1 , e 2 , ..., E n , respectively, the probability that the neural network k will be selected is e k / Σe i .
【００３０】このようにして選択器６により神経回路網
が選択され、その構造情報が取込まれると、神経回路網
構成器７ではこれらの構造情報を組合わせて新たな神経
回路網を構成する。２つの神経回路網から２つの新しい
神経回路網を構成する方法として手順１、１つの神経回
路網から１つの新しい神経回路網を構成する方法として
手順２、手順３、手順４の３つを用いる。これら合計４
つの手順の内のどれを用いて新しい神経回路網を構成す
るかは確率的に決定する。In this way, when the neural network is selected by the selector 6 and its structural information is taken in, the neural network constructing unit 7 combines these structural information to construct a new neural network. .. Procedure 1 is used as a method of constructing two new neural networks from two neural networks, and three of Procedure 2, Procedure 3, and Procedure 4 are used as a method of constructing one new neural network from one neural network. .. These total 4
Which of the two procedures is used to construct the new neural network is probabilistically determined.
【００３１】３層の層状ネットワークは図２に示すよう
に入力層（２０１）、中間層（２０２）、出力層（２０
３）の３つに素子が分かれている。本実施例では、新し
い神経回路網の構成は中間層の素子およびその素子に到
達あるいは出発している連結を変えることによって行
う。As shown in FIG. 2, the three-layer layered network includes an input layer (201), an intermediate layer (202), and an output layer (20).
The element is divided into 3) of 3). In the present embodiment, the construction of the new neural network is performed by changing the element of the intermediate layer and the connection reaching or starting the element.
【００３２】手順１ 図３に示すように元になる２つの神経回路網の中間層の
素子を一列に並べ、それぞれについて交叉点と呼ばれる
切れ目を入れる。そして、この交叉点の前後で中間素子
を素子につながる連結ごとに入れ替える。交叉点をどの
位置に入れるかはランダムに決定する。Procedure 1 As shown in FIG. 3, the elements of the intermediate layers of the two original neural networks are arranged in a line, and a cut called a crossing point is made for each. Then, before and after this intersection, the intermediate element is replaced for each connection connected to the element. The position at which the intersection is to be inserted is randomly determined.
【００３３】手順２ 図４に示すように元になる１つの神経回路網の中間層に
２つの切れ目を入れ、その間にある中間層の素子を素子
につながる連結ごと削除する。切れ目をどの位置に入れ
るかはランダムに決定する。Procedure 2 As shown in FIG. 4, two cuts are made in the intermediate layer of one original neural network, and the elements in the intermediate layer between them are deleted together with the connections connected to the elements. The position of the break is randomly determined.
【００３４】手順３ 図５に示すように元になる１つの神経回路網の中間層に
１つの切れ目を入れ、その間に素子を追加する。追加さ
れる素子の数、素子につながる連結の荷重値をいくつに
するかは乱数により確率的に決める。例えば追加される
素子の数を１以上１０以下の自然数の中からランダムに
選び、荷重値は［−１，１］の間でランダムに設定する
ことなどが考えられる。Step 3 As shown in FIG. 5, a single cut is made in the intermediate layer of the original neural network, and a device is added between them. The number of elements to be added and the weight value of the connection connected to the elements are stochastically determined by random numbers. For example, the number of elements to be added may be randomly selected from a natural number of 1 or more and 10 or less, and the load value may be randomly set between [-1,1].
【００３５】手順４ 図６に示すように元になる１つの神経回路網の中間層に
２つの切れ目を入れ、その間の素子の並び方を逆転す
る。手順４によって生成された神経回路網はその入出力
関係において、元になった神経回路網とまったく同一で
あるが、中間層の素子の並び方が変わったことで、次に
この新しく生成された神経回路網を元にしてさらに新し
い神経回路網を構成する場合に異なる構造を持つ神経回
路網が生成される。Step 4 As shown in FIG. 6, two cuts are made in the intermediate layer of one original neural network, and the arrangement of the elements between them is reversed. The neural network generated by step 4 is exactly the same as the original neural network in its input / output relationship, but the arrangement of the elements in the intermediate layer has changed, so that the newly generated neural network A neural network having a different structure is generated when a new neural network is constructed based on the network.
【００３６】このようにして神経回路網構成器７によっ
て生成された新たな神経回路網の構造情報はデータ入替
器８に取込まれ、このデータ入替器８ではその構造情報
を各神経回路網３１〜３ｎの構造情報記憶部３ｃの該当
するエリアに書込む。The structural information of the new neural network generated by the neural network constructing device 7 in this manner is taken into the data interchanger 8, and the data interchanger 8 outputs the structural information to each neural network 31. Write to the corresponding area of the structure information storage unit 3c of 3n.
【００３７】なお、データ振分器４により、各局所デー
タベースに学習データを分割して振分ける場合、分割の
仕方はデータの重複がないように分けても良く、また重
複があるように分けることも考えられる。また、一度分
割されたデータは最後までそのままにしてもよく、ある
いは神経回路網の学習の進行に合わせて分け方を動的に
修正することも考えられる。When the learning data is divided and distributed to each local database by the data distributor 4, the division method may be such that the data does not overlap, or if there is overlap. Can also be considered. Further, the data once divided may be left as it is until the end, or the dividing method may be dynamically modified according to the progress of learning of the neural network.
【００３８】また、データ入替器８で、新しく生成され
た神経回路網と入替える古い神経回路網の選択方法につ
いては、全くランダムに選択しても良いし、評価器５の
評価結果を用いて性能の悪いものを優先的に選択するこ
とも考えられる。次に神経回路網の学習処理について図
７に示すフローチャートを参照しながら説明する。The method of selecting the old neural network to be replaced by the newly generated neural network in the data replacement device 8 may be selected at random, or the evaluation result of the evaluation device 5 may be used. It is also possible to preferentially select the one with poor performance. Next, the learning processing of the neural network will be described with reference to the flowchart shown in FIG.
【００３９】図８はｍ個の神経回路網を用いた神経回路
網群８１において、学習が進行する様子を示している。
図７において、まずステップＳ１にてデータ振分器４に
より学習データの一部を評価用データベース２に記録
し、ステップＳ２で神経回路網をｍ個用意する。図８中
の 811,812, ……81m はｍ個用意された神経回路網であ
る。FIG. 8 shows how learning progresses in a neural network group 81 using m neural networks.
In FIG. 7, first, a part of the learning data is recorded in the evaluation database 2 by the data distributor 4 in step S1, and m neural networks are prepared in step S2. 81m, 811, ..., 81m in Fig. 8 are neural network networks prepared in m number.
【００４０】また、ステップＳ３にてデータ振分器４に
より学習データをｎセットに分割（ｎ≦ｍ）し、ステッ
プＳ４にて分割されたデータセットを神経回路網の局所
データベースに一つずつ割当てる。図８では学習データ
を共通部分のないｍセットに分割し、局所データベース
8112,8122, ……81m2に割当てている。Further, the learning data is divided into n sets (n ≦ m) by the data distributor 4 in step S3, and the divided data sets are assigned to the local database of the neural network one by one. .. In Fig. 8, the learning data is divided into m sets with no common parts, and the local database
8112, 8122, ... Allocated to 81 m2.
【００４１】ステップＳ５にて各神経回路網 811,812,
……81m を規定回数学習させる。この場合、神経回路網
の構造情報8111は局所データベース8112に記録されてい
るデータだけを学習し、以下神経回路網の構造情報81s1
は局所データベース81s2に記録されているデータだけを
学習する。ただし、s は1,2,……n である。In step S5, each neural network 811, 812,
…… Learn 81m a specified number of times. In this case, the structure information 8111 of the neural network learns only the data recorded in the local database 8112.
Learns only the data recorded in the local database 81s2. However, s is 1,2, ... n.
【００４２】そして、学習の結果、それぞれ局所データ
ベースに記録されているデータの範囲で、ある程度の収
束が見られたとする。ここで、神経回路網の構造情報 8
111,8121, ……81m1の中間層の素子の斜線部分と黒塗り
部分はそれぞれの局所データベースのデータを学習した
ことを表しているものとする。As a result of the learning, it is assumed that a certain degree of convergence is observed in the range of the data recorded in the local database. Here, the structural information of the neural network 8
111, 8121, ... 81m1 The shaded part and the black part of the element of the intermediate layer indicate that the data of each local database has been learned.
【００４３】次にステップＳ６にて評価器５による評価
演算により求められた評価データを用いて神経回路網 8
11,812, ……81m を評価する。具体的には評価用データ
ベース２に記録された入力データとそのその入力に対し
ての望ましい出力の対を用いて入力データに対する神経
回路網の出力が望ましい出力とどれだけずれているかを
調べ、そのずれが少ないほど評価値が高くなるように評
価演算を行う。Next, in step S6, the neural network 8 is used by using the evaluation data obtained by the evaluation calculation by the evaluator 5.
11,812, ... 81m is evaluated. Specifically, by using a pair of the input data recorded in the evaluation database 2 and the desired output for the input, it is checked how much the output of the neural network with respect to the input data deviates from the desired output, and The evaluation calculation is performed so that the smaller the deviation, the higher the evaluation value.
【００４４】いま、神経回路網群８１において、各神経
回路網のそれぞれが学習したデータに近い評価用データ
については良好な出力が得られるが、それ以外の評価用
データについては望ましい出力が得られなかったとし、
また何ずれの神経回路網の演算結果に対する評価値も同
じ程度で、しかも規定の評価値を超えるものがないもの
とする。Now, in the neural network group 81, good output is obtained for the evaluation data close to the data learned by each neural network, but desirable output is obtained for the other evaluation data. If not,
Further, it is assumed that the evaluation values for the calculation results of the neural network of any deviation are about the same, and none exceed the specified evaluation value.
【００４５】ステップＳ６にてこのような評価が行われ
ると、ステップＳ７では評価値が規定値を超えているも
のがないと判定し、ステップＳ８にて新しい神経回路網
が作られる。この場合、評価値はどれも同じ程度とした
ので、新しい神経回路網を作る元になる可能性は神経回
路網 811,812, ……81m のどれも等確率である。いま、
神経回路網 811の構造情報 8111 と神経回路網 812の構
造情報 8121 から、新しい神経回路網の構造 8211,8221
が先に述べた手順１によって生成されたとする。また、
神経回路網 81mの構造情報 81m1 を用いて先に述べた手
順４により新しい神経回路網の構造情報 82n1 が生成さ
れたとする。これら３つの新しい神経回路網の構造情報
はステップＳ９により、それぞれ 8111,8121, ……,81n
1 と入替えられ、ステップＳ３に戻って学習データの再
分割を行う。When such evaluation is performed in step S6, it is determined in step S7 that the evaluation value does not exceed the specified value, and a new neural network is created in step S8. In this case, since the evaluation values are all set to the same level, the possibility of forming a new neural network is equal to each of the neural networks 811, 812, ... 81m. Now
From the structural information 8111 of the neural network 811 and the structural information 8121 of the neural network 812, the new neural network structure 8211,8221
Is generated by the procedure 1 described above. Also,
It is assumed that new structural information 82n1 of the neural network is generated by the procedure 4 described above using the structural information 81m1 of the neural network 81m. The structural information of these three new neural networks is 8111, 8121, ..., 81n respectively in step S9.
It is replaced with 1, and the process returns to step S3 to re-divide the learning data.
【００４６】ここでは、局所データベースは固定して処
理を継続することにする。すなわち、局所データベース
82s2 の内容は局所データベース 81s2 の内容をそのま
ま複写したものとであるとする（s=1,……n)。神経回路
網の構造情報の入替えと、局所データベースの更新によ
って、新しい神経回路網群８２が構築される。以下この
処理を規定値以上の評価値が得られるまで繰返す。Here, the local database is fixed and the processing is continued. Ie local database
It is assumed that the content of 82s2 is a copy of the content of the local database 81s2 as it is (s = 1, ... n). A new neural network group 82 is constructed by replacing the structural information of the neural network and updating the local database. Hereinafter, this process is repeated until an evaluation value equal to or higher than the specified value is obtained.
【００４７】ところで、神経回路網群８２において、新
しく生成された神経回路網 821ある意は 822は、局所デ
ータベース8112と8122の両方のデータをある程度学習し
たものになっている。その理由を図９を用いて説明す
る。By the way, in the neural network group 82, the newly created neural network 821, that is, 822, is obtained by learning data of both the local databases 8112 and 8122 to some extent. The reason will be described with reference to FIG.
【００４８】図９において、神経回路網 901と神経回路
網 902は異なるデータセットで学習が行われているとす
る。簡単のために、神経回路網 901で学習されたデータ
は、入力用の６つの素子のうち、斜線で塗られた３つの
素子への入力が強く、それ以外の３つの素子への入力が
弱いものばかりであったとする。また、逆に神経回路網
902で学習されたデータは、入力用の６つの素子の内、
斜線で塗られた神経回路網 901とは対称な３つの素子へ
の入力が強く、それ以外の３つの素子への入力が弱いも
のばかりであったとする。In FIG. 9, it is assumed that the neural network 901 and the neural network 902 are trained by different data sets. For simplification, the data learned by the neural network 901 has strong inputs to the three shaded elements among the six input elements, and weak inputs to the other three elements. It is assumed that there were only things. On the contrary, the neural network
The data learned in 902 are the six input elements,
It is assumed that the inputs to the three elements that are symmetrical to the neural network 901, which are shaded, are strong and the inputs to the other three elements are weak.
【００４９】神経回路網の学習では、このようなデータ
を学習すると、荷重値は大きな入力が素子から伸びる連
結では絶対値が大きくなり、小さな入力のあった素子か
ら伸びる連結では絶対値が小さくなることが知られてい
る。つまり、神経回路網 901,902において、太線で描か
れた連結は荷重値の絶対値が大きくなり、破線で描かれ
た連結は荷重値の絶対値が小さくなる。In the learning of the neural network, when such data is learned, the absolute value of the weight value becomes large in the connection in which a large input extends from the element, and becomes small in the connection in which a large input extends from the element. It is known. That is, in the neural networks 901 and 902, the connection drawn with a thick line has a large absolute value of the load value, and the connection drawn with a broken line has a small absolute value of the load value.
【００５０】その結果、神経回路網 901,902ではそれぞ
れ連結が破線になっている素子への入力については鈍感
になってしまい、神経回路網 901は神経回路網 902の学
習に用いたデータを正しく処理できず、神経回路網 902
は神経回路網 901の学習に用いたデータを正しく処理で
きないことになる。As a result, in the neural networks 901 and 902, the inputs to the elements whose connections are broken lines become insensitive, and the neural network 901 cannot correctly process the data used for learning of the neural network 902. No, neural network 902
Means that the data used for learning the neural network 901 cannot be processed correctly.
【００５１】そこで、それぞれの神経回路網の部分を組
合わせて神経回路網 903を構成すれば、すべての入力用
素子からの連結の荷重値の絶対値が大きくなり、すべて
の学習データに対して、敏感にすることができる。Therefore, if the neural network 903 is constructed by combining the respective neural network parts, the absolute value of the connection weight value from all the input elements becomes large, and for all learning data. Can be sensitive.
【００５２】さて、図７の処理の流れに戻り、前述の処
理を繰返すことにより、図８において神経回路網８２を
元にして神経回路網群８３を得ることができる。神経回
路網群８３のうち、神経回路網 822と神経回路網 82mか
ら手順１によって新しく生成された神経回路網を 83kと
すると、図９で説明したように 83kは３つの局所データ
ベースのデータに対して敏感なものになっている。局所
データベースを固定したままでも新しい神経回路網の生
成を log2 m 回繰返せばすべてのデータを一度は学習し
た神経回路網が構成される。勿論、途中でデータの再分
割を行うことでより速く神経回路網を得ることができ
る。By returning to the processing flow of FIG. 7 and repeating the above processing, the neural network group 83 can be obtained based on the neural network 82 in FIG. In the neural network group 83, assuming that the neural network newly created by the procedure 1 from the neural network 822 and the neural network 82m is 83k, 83k corresponds to the data of the three local databases as described in FIG. It's very sensitive. Even if the local database is fixed, if the generation of a new neural network is repeated log 2 m times, a neural network in which all data are learned once is constructed. Of course, the neural network can be obtained faster by subdividing the data on the way.
【００５３】また、図８の神経回路網 83xのように不適
切なものが生成されたとしても、このような神経回路網
は評価値が低くなるので、その次の神経回路網群には反
映されない。Even if an inappropriate one such as the neural network 83x of FIG. 8 is generated, such a neural network has a low evaluation value and is reflected in the next neural network group. Not done.
【００５４】このように本実施例では神経回路網の構造
を可変にし、且つ各神経回路網が学習対象とするデータ
セットも動的に変化させるようにしたので、全ての学習
データを学習対象とするような神経回路網を用いずに、
しかも「不適切データ」を注意深く選択する必要もな
く、複数の神経回路網を並列に学習させることにより、
それらの神経回路網を統合することができる。As described above, in this embodiment, the structure of the neural network is made variable, and the data set to be learned by each neural network is also dynamically changed. Without using a neural network like
Moreover, it is not necessary to carefully select "inappropriate data", and by learning multiple neural networks in parallel,
The neural networks can be integrated.
【００５５】また、神経回路網が評価値によって篩にか
けられるため、たとえ学習データの分割方法を固定して
学習中にデータの分け方を変えない（例えば前記実施例
で局所データベースの内容を固定する）としても、神経
回路網の方が入れ替わるので、最終的に得られる神経回
路網は全てのデータを学習したことになる。しかも学習
時の感度係数を小さくする必要もないため、個々の神経
回路網の学習に要する時間は少なくて済む。従来のよう
に学習時の感度係数を大きく取ると、個々の神経回路網
が局所データベースに記録されている小数のデータだけ
に偏ったものになってしまうが、本実施例では学習の済
んだ神経回路網の一部を組合わせて新たな神経回路網を
生成することで回避できる。Further, since the neural network is screened by the evaluation value, even if the method of dividing the learning data is fixed and the way of dividing the data is not changed during learning (for example, the contents of the local database are fixed in the above embodiment). ), Since the neural network is replaced, the neural network finally obtained will have learned all the data. Moreover, since it is not necessary to reduce the sensitivity coefficient at the time of learning, less time is required for learning each neural network. If the sensitivity coefficient at the time of learning is taken large as in the conventional method, the individual neural network becomes biased only to a small number of data recorded in the local database. This can be avoided by combining parts of the network to generate a new neural network.
【００５６】なお、上記実施例では評価用データベース
２に学習データの一部を固定データとして記録した場合
について述べたが、各神経回路網に学習データセットが
分割される毎に評価用データを変えることにより、各デ
ータがｎ個の神経回路網でどの程度学習が済んでいるか
を反映させることができる。すなわち、全学習データを
すべての神経回路網へ提示して誤差（｜ｏ−ｔ｜）を計
算し、各学習データ毎に平均誤差を計算する。学習デー
タセットは神経回路網構成器７で新たな神経回路網が作
られ、データ入替器８によって古いものと置き換えられ
るたびに分割を変える。この場合の処理の流れは、図７
において、ステップＳ３で学習データをｎセットに分割
した後にステップＳ１による学習データの一部を評価用
データベースに記録してステップＳ４以降の処理が行わ
れる以外は前述と同様の処理が行われる。In the above embodiment, the case where a part of the learning data is recorded as fixed data in the evaluation database 2 has been described, but the evaluation data is changed every time the learning data set is divided into each neural network. Thus, it is possible to reflect how much each data has been learned by n neural networks. That is, all learning data is presented to all neural networks, the error (| o-t |) is calculated, and the average error is calculated for each learning data. The learning data set changes its division every time a new neural network is created by the neural network constructing unit 7 and replaced by the old one by the data replacing unit 8. The flow of processing in this case is shown in FIG.
In step S3, the same processing as that described above is performed except that the learning data is divided into n sets in step S3 and then a part of the learning data in step S1 is recorded in the evaluation database and the processing in step S4 and subsequent steps is performed.
【００５７】このようにすれば、各データセットに属し
ているデータの平均誤差の総和が同じになるようにデー
タを分割することにより、ｎ個の神経回路網の学習の負
荷が均等に分散され、より高速な学習が期待できる。In this way, by dividing the data so that the total sum of the average errors of the data belonging to each data set is the same, the learning load of the n neural networks is evenly distributed. , Expect faster learning.
【００５８】また、評価器５の評価値計算は神経回路網
の誤差を用いる他に、神経回路網の構造を加えることも
できる。例えば学習データを正しく処理できる最小構成
の神経回路網を構成する場合には神経回路網を構成する
素子数ｕを用いて１／（ｕ×｜ｏ−ｔ｜）の式により評
価値を計算することで、最小構成の神経回路網が得られ
る。In addition, the evaluation value calculation of the evaluator 5 may use the structure of the neural network instead of using the error of the neural network. For example, when a neural network having a minimum configuration capable of correctly processing learning data is constructed, the evaluation value is calculated by the formula 1 / (u × | o−t |) using the number u of elements forming the neural network. As a result, a neural network having a minimum configuration can be obtained.
【００５９】[0059]
【発明の効果】以上述べたように本発明によれば、学習
データの分割に際して細かな解析や人手による試行錯誤
をせずに分割を行い、分割された学習データを複数の神
経回路網で並列に学習させ、それらの神経回路網を統合
することで学習データすべてを正しく処理できると共に
高速に大規模神経回路網を構築できる神経回路網構築装
置が提供できる。As described above, according to the present invention, when the learning data is divided, it is divided without performing detailed analysis or trial and error by human, and the divided learning data is parallelized by a plurality of neural networks. A neural network construction device capable of correctly processing all the learning data and constructing a large-scale neural network at a high speed can be provided by training each of the neural networks and integrating those neural networks.
【図面の簡単な説明】[Brief description of drawings]
【図１】本発明による神経回路網構築装置の一実施例の
全体構成を示すブロック図。FIG. 1 is a block diagram showing the overall configuration of an embodiment of a neural network construction device according to the present invention.
【図２】層状ネットワークの構造を示す図。FIG. 2 is a diagram showing a structure of a layered network.
【図３】同実施例の神経回路網構成器において、２つの
神経回路網から新しい神経回路網を生成する手順を示す
図。FIG. 3 is a diagram showing a procedure for generating a new neural network from two neural networks in the neural network constructing device of the embodiment.
【図４】同実施例の神経回路網構成器において、神経回
路網の一部を削除して新たな神経回路網を生成する手順
を示す図。FIG. 4 is a diagram showing a procedure of deleting a part of the neural network and creating a new neural network in the neural network constructing device of the embodiment.
【図５】同実施例の神経回路網構成器において、１つの
神経回路網に一部を付加して新たな神経回路網を生成す
る手順を示す図。FIG. 5 is a diagram showing a procedure of adding a part to one neural network to generate a new neural network in the neural network constructing device of the embodiment.
【図６】同実施例の神経回路網構成器において、１つの
神経回路網の中間層内の素子を並び変えることで新たな
神経回路網を構成する手順を示す図。FIG. 6 is a diagram showing a procedure for forming a new neural network by rearranging elements in an intermediate layer of one neural network in the neural network constructing device of the embodiment.
【図７】同実施例の処理の流れを示すフローチャート。FIG. 7 is a flowchart showing a processing flow of the embodiment.
【図８】本発明を神経回路網群に適用した例を示す図。FIG. 8 is a diagram showing an example in which the present invention is applied to a neural network group.
【図９】本発明による神経回路網構築装置により神経回
路網群の部分を組合わせて新しい神経回路網を生成した
ことによる効果を説明するための図。FIG. 9 is a diagram for explaining the effect of generating a new neural network by combining portions of the neural network group by the neural network construction device according to the present invention.
１……全学習データ用データベース、２……評価用デー
タベース、３……神経回路網群、３１〜３ｎ……神経回
路網、３ａ……局所データベース、３ｂ……学習実行
部、３ｃ……構造情報記憶部、４……データ振分器、５
……評価器、６……選択器、７……神経回路網構成器、
８……データ入替器。1 ... database for all learning data, 2 ... evaluation database, 3 ... neural network group, 31 to 3n ... neural network, 3a ... local database, 3b ... learning execution unit, 3c ... structure Information storage unit, 4 ... Data distributor, 5
…… Evaluator, 6 …… Selector, 7 …… Neural network constructor,
8 ... Data interchanger.
Claims (5)
習データをアクセスする機能を有する全学習データ用デ
ータベースと、前記全学習データの全部あるいは一部を
評価用データとして記録すると共に、この評価用データ
をアクセスする機能を有する評価用データベースと、前
記学習データの一部または全部を局所的な学習データと
して記録すると共に、この局所的な学習データをアクセ
スする機能を有する局所データベースを個々に有し、こ
の局所データベースに記録されたデータにより学習を行
う複数の神経回路網と、前記全学習用データベースから
全学習データの一部または全部を複数に分割してその学
習データセットを個々に前記各神経回路網の局所データ
ベースにそれぞれ転送するデータ振分手段と、前記評価
用データベースに記録されている評価データに対する評
価値を前記各神経回路網毎に求める評価手段と、この評
価手段により求まった評価値をもとに評価結果の良好な
神経回路網を前記複数の神経回路網の中から一つまたは
複数選択する選択手段と、この選択手段により選択され
た神経回路網の一部または全部を組合わせて新しい神経
回路網を構成する神経回路網構成手段と、この神経回路
網構成手段により構成された神経回路網を前記複数の神
経回路網の中の任意の一つと入替えるデータ入替手段と
を備えたことを特徴とする神経回路網構築装置。1. A database for all learning data having a function of accessing all the learning data, and a function for accessing the learning data, and recording all or a part of the all learning data as evaluation data, and An evaluation database having a function of accessing data and a local database having a function of accessing some or all of the learning data as local learning data and having a function of accessing the local learning data are individually provided. , A plurality of neural networks that perform learning based on the data recorded in the local database, and a part or all of all the learning data from the entire learning database is divided into a plurality, and the learning data set is individually divided into the neural networks. The data distribution means to transfer to the local database of the circuit network and the evaluation database are described. An evaluation means for obtaining an evaluation value for the recorded evaluation data for each of the neural networks, and a neural network having a good evaluation result based on the evaluation value obtained by the evaluation means is used for the plurality of neural networks. A selecting means for selecting one or a plurality of them, a neural network configuring means for forming a new neural network by combining a part or all of the neural network selected by the selecting means, and the neural network configuration. An apparatus for constructing a neural network, comprising: a data exchanging means for exchanging a neural network constituted by the means with any one of the plurality of neural networks.
スから取込んだ全学習データの一部または全部を複数に
分割してなる各学習データセットが作られる度に学習デ
ータセットにより一定の割合でランダムに抽出して決め
られたデータを評価用データベースに転送して記録させ
るようにした請求項１に記載の神経回路網構築装置。2. The data allocating means sets a fixed ratio by the learning data set every time each learning data set is created by dividing a part or all of all the learning data acquired from the whole learning database into a plurality of pieces. 2. The neural network construction apparatus according to claim 1, wherein the data randomly extracted by the above method is transferred to and recorded in the evaluation database.
ータの一部または全部を記録し、目的とする神経回路網
が最終的に得られるまで記録された内容を固定した請求
項１に記載の神経回路網構築装置。3. The evaluation database records a part or all of fixed all learning data, and fixes the recorded contents until a target neural network is finally obtained. Neural network construction equipment.
値の対を用いて神経回路網のデータに対する出力値と望
ましい出力値との差の逆数により評価値を求めるように
した請求項１に記載の神経回路網構築装置。4. The evaluation means obtains the evaluation value by using the reciprocal of the difference between the output value and the desired output value for the data of the neural network using the pair of the input data and the desired output value. Neural network building device.
により生成された神経回路網を評価手段の評価結果を用
いて複数の神経回路網の中から性能の悪い神経回路網を
優先的に選択して入替えるようにした請求項１に記載の
神経回路網構築装置。5. The data exchanging means preferentially selects a neural network having poor performance from a plurality of neural networks using the evaluation result of the evaluating means for the neural network generated by the neural network generating means. The neural network construction apparatus according to claim 1, wherein the neural network construction apparatus is replaced with a new one.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4147322A JPH05342187A (en) | 1992-06-08 | 1992-06-08 | Neural network constituting device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4147322A JPH05342187A (en) | 1992-06-08 | 1992-06-08 | Neural network constituting device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH05342187A true JPH05342187A (en) | 1993-12-24 |
Family
ID=15427567
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4147322A Pending JPH05342187A (en) | 1992-06-08 | 1992-06-08 | Neural network constituting device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH05342187A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008171282A (en) * | 2007-01-12 | 2008-07-24 | Fujitsu Ltd | Optimal parameter search program, device and method |
| JP2021015523A (en) * | 2019-07-12 | 2021-02-12 | 株式会社リコー | Learning device and learning method |
-
1992
- 1992-06-08 JP JP4147322A patent/JPH05342187A/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008171282A (en) * | 2007-01-12 | 2008-07-24 | Fujitsu Ltd | Optimal parameter search program, device and method |
| JP2021015523A (en) * | 2019-07-12 | 2021-02-12 | 株式会社リコー | Learning device and learning method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bee-Hua | Evaluating the performance of combining neural networks and genetic algorithms to forecast construction demand: the case of the Singapore residential sector | |
| EP0465489B1 (en) | Genetic synthesis of neural networks | |
| CN110288199A (en) | The method of product quality forecast | |
| EP4075281A1 (en) | Ann-based program test method and test system, and application | |
| CN112436992B (en) | Virtual network mapping method and device based on graph convolution network | |
| Yih et al. | A neural network design for circuit partitioning | |
| WO2005109258A1 (en) | Method for solving the binary minimization problem and a variant thereof | |
| JPH04213750A (en) | Classifying method in layered neural network | |
| JPH05342187A (en) | Neural network constituting device | |
| JP3935211B2 (en) | Reduced neural network | |
| CN110471854A (en) | A kind of defect report assigning method based on high dimensional data mixing reduction | |
| EP3937086A1 (en) | Training a student neural network to mimic a mentor neural network with inputs that maximize student-to-mentor disagreement | |
| Matjašič et al. | blockmodeling: an R package for Generalized Blockmodeling | |
| CN115392434A (en) | Depth model reinforcement method based on graph structure variation test | |
| JP2907486B2 (en) | Neural network device | |
| JP6926045B2 (en) | Neural networks, learning devices, learning methods, and programs | |
| Riessen et al. | PEPNet: parallel evolutionary programming for constructing artificial neural networks | |
| JPH05197821A (en) | Method for optimizing hierarchical neural network and device therefor | |
| JPH05181972A (en) | Method and device for pattern classification | |
| Vai et al. | Representing knowledge by neural networks for qualitative analysis and reasoning | |
| Tagne et al. | Choice Functions Generated by Mallows and Plackett–Luce Relations | |
| JP4267726B2 (en) | Device for determining relationship between operation signal and operation amount in control device, control device, data generation device, input / output characteristic determination device, and correlation evaluation device | |
| CN108363728A (en) | A kind of method and system for excavating extra-high voltage transformer equipment status data correlation rule | |
| CN116610574A (en) | Test case generation method, device, equipment and medium | |
| JPH0944466A (en) | Relational function searching device and method therefor |