JP5002821B2 - ニューラルネットワーク装置及びその方法 - Google Patents
ニューラルネットワーク装置及びその方法 Download PDFInfo
- Publication number
- JP5002821B2 JP5002821B2 JP2008501514A JP2008501514A JP5002821B2 JP 5002821 B2 JP5002821 B2 JP 5002821B2 JP 2008501514 A JP2008501514 A JP 2008501514A JP 2008501514 A JP2008501514 A JP 2008501514A JP 5002821 B2 JP5002821 B2 JP 5002821B2
- Authority
- JP
- Japan
- Prior art keywords
- learning
- layer
- input
- output
- nodes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Description
本発明は、脳の仕組みをまねて作成された情報処理機構を実現したニューラルネットワーク装置に関し、特に、入力層と隠れ層との間の重み係数の局所解ではなく大局解を効率的に求めることができるニューラルネットワーク装置に関する。
ニューラルネットワークとは、人間の脳の仕組みをまねた情報処理機構である。人間の脳はコンピュータでは実現が困難な処理でさえ容易に達成する優れた能力を持っている。現在、私たちが使っているコンピュータはノイマン型と呼ばれ、演算速度が非常に速く、定式化された問題などを解く場合には抜群の威力を発揮するが、人間が普段行っているパターン認識などの問題を解く場合、問題の定式化が難しく、実装するのが非常に困難となる。そこで、人間の脳内の情報処理機構をヒントにして、人間の基本機能である認識や記憶、判断といった処理をコンピュータ上で実現させるため、ニューラルネットワークが誕生した。ニューラルネットワークは脳内の情報処理機構を単純化した構造を持っている。人間の脳内には約１４０億個もの神経細胞が存在しており、それら神経細胞は互いに結び付いている。各神経細胞は他の細胞から入力信号を受け、その入力信号の和がある値を超えた場合に他の細胞へ出力信号を送り出すという働きを持っている。この細胞間の情報の伝播が、人間が普段行っている認識や記憶、判断といった処理を可能としている。脳内の情報処理の最大の特徴は、単純な機能しか持たない細胞が多数集まることにより、全体として複雑で高度な処理を実現しているという点にあり、ニューラルネットワークはこの利点を生かした仕組みとなっている。具体的には、脳内の神経細胞を「ニューロン」と呼ばれる素子としてモデル化し、多数のニューロンを配置・結合することによりネットワークを構築する。実際に応用する場合は、適用する問題に合わせて、各ニューロンのパラメータを変化（学習）させることで、種々の問題に対応することができる。
図１０（ａ）はニューロンの模式図である。細胞体(soma)は核などが含まれている部分で、ニューロンの本体といえる部分であり、樹状突起(dendrite)は細胞体から出ている多数の枝のような部分で、ニューロンの入力端子にあたるところであり、軸索(axon)は細胞体から伸びだし、ニューロンの出力端子にあたる部分であり、シナプス(synapse)は枝の末端にある小さい太い足で他のニューロンに接しており、ニューロンどうしをつなぎ、情報を伝達する役割をする。
モデル化すると、図１０（ｂ）に示すようになり、式で示せば次のとおりとなる。
それをさらに多数組み合わせることによって複雑な計算が可能になる。三層の階層形ニューラルネットワーク（任意の写像が実現可能）を図１０（ｃ）に示す。
ニューラルネットワークの学習は図１０（ｄ）に示すように行われる。
図１１（ａ）はエラー（誤差）を示す。
ニューラルネットワークの学習は図１０（ｄ）に示すように行われる。
図１１（ａ）はエラー（誤差）を示す。
これらの式を満たすように変化させると、時刻ｔに対して誤差Ｅは非増加である。
多くの学習データ（入力と望ましい出力の組）を例示することによってニューラルネットワークの重みを決定する方法がある。最も多用されているのは誤差逆伝播と呼ばれる、最急降下法に基づく学習方法である。
図１１（ｂ）（ｃ）は誤差逆伝播の構造説明図である。
出力層層のj番目のユニットへの総入力は、
多くの学習データ（入力と望ましい出力の組）を例示することによってニューラルネットワークの重みを決定する方法がある。最も多用されているのは誤差逆伝播と呼ばれる、最急降下法に基づく学習方法である。
図１１（ｂ）（ｃ）は誤差逆伝播の構造説明図である。
出力層層のj番目のユニットへの総入力は、
図１１（ｄ）参照。
図１１（ｅ）参照。
まず、
次に、
以上の計算を出力側から入力側へ逆向きに、
を伝搬しながら傾き
の計算が進む。これを誤差逆伝播学習という。
ニューラルネットワークの特徴を挙げると以下のようになる。
（１） 学習能力…提示される入出力サンプルに基づいて必要な機能を自動形成することができる。
（２） 非線形性…学習により、定式化が困難な複雑な写像関係でさえ容易に構築することができる。
（３） 並列処理…入力された信号は結合を通して様々なニューロンへと送られ、並列的に処理される。
ニューラルネットワークの特徴を挙げると以下のようになる。
（１） 学習能力…提示される入出力サンプルに基づいて必要な機能を自動形成することができる。
（２） 非線形性…学習により、定式化が困難な複雑な写像関係でさえ容易に構築することができる。
（３） 並列処理…入力された信号は結合を通して様々なニューロンへと送られ、並列的に処理される。
誤差逆伝播学習に基づく階層型ニューラルネットワークでは、最急降下法に基づく最適化学習を行うため、大域的最適解を保証するものではなく局所解に陥る危険性がある。大域的最適解に到達するための学習方法としてシミュレーテッドアニ−リングがあるが、学習に時間を要することもさることながら、入力データセットと望ましい出力データセット(これらをトレーニングデータセットと呼ぶ)を大量に用意する必要があり現実的ではないという課題を有する。
本発明は前記課題を解決するためになされたものであり、少ないトレーニングデータセットによる短時間での学習によって大域的最適解に到達することが可能であるニューラルネットワーク装置を提供することを目的とする。
発明者のニューラルネットワークへの鋭意的研究の結果、入力データは、学習の進行に伴って入力層と隠れ層を結合している重み係数に相関が高くなることが判明した。隠れ層のノード数にも依存するが、仮に、入力層と重み係数の数が同じである場合(隠れ層のノードを１つとすると、すべての入力層のノードがこの一つの隠れ層のノードに結合され、重み係数の数は入力層のノード数に一致)、入力と望ましい出力を与えて学習が進行したときの重み係数との間には相関、
が高くなる。隠れ層の数が大きくなった場合も同様に、間引くことにより、または、平均化操作を施して入力層の数に合わせると、式の相関係数が計算でき、学習の進行状況を調べることができる。ただし、相関係数の求め方は上式に限らず、相関の程度に数値化できる式であれば用いることができる。
本発明は、最急降下法に基づく誤差逆伝播学習を伴う階層型ニューラルネットワークを基本とし、入力データと入力層と隠れ層との間の重み係数との相関係数を調べることにより、学習の進行状況を調べ、局所解に陥っているか、それとも、大域的最適解に近い準最適解であるのかを判定するものである。また、仮に、誤差逆伝播学習が収束したとしても相関係数が低い場合、すなわち、局所解に陥っているような場合であれば、初期値を変えて学習をやり直すという学習法およびそれを用いたニューラルネットワーク装置も含まれる。
本発明に係るニューラルネットワーク装置は、ノードを有する入力層、隠れ層及び出力層からなり、入力データを入力層に入力して出力層から出力された出力データと入力データに対応する予め用意された教師データとを比較し、比較結果となる誤差を用いて出力層及び隠れ層のノード間の重み係数と隠れ層及び入力層のノード間の重み係数を更新することで学習する誤差逆伝播学習に基づく階層的ニューラルネットワーク装置であって、入力データと入力層及び隠れ層のノード間の重み係数との相関係数が所定閾値以上であるという学習収束条件に該当する場合に学習が収束したと判断する第２の学習収束判断部を備えるものである。
このように本発明によれば、ニューラルネットワークによって生成された出力データと教師データの出力データとの誤差を用いて重み係数を更新し、かかる誤差が小さくなってきた場合に学習を終了するだけではなく、入力データと入力層及び隠れ層の重み係数との相関係数に基づいて学習の収束を判断しているので、重み係数の更新が行き詰るだけで学習の収束状態と判断せずに、入力データと入力層及び隠れ層の重み係数との相関係数も用いて学習の収束を判断しており、局所解で学習が終了することなく、大域的最適解を導出して学習を終了させることができるという効果を奏する。
また、本発明に係るニューラルネットワーク装置は、ノードを有する入力層、隠れ層及び出力層からなり、入力データを入力層に入力して出力層から出力された出力データと入力データに対応する予め用意された教師データとを比較し、比較結果となる誤差を用いて出力層及び隠れ層のノード間の重み係数と隠れ層及び入力層のノード間の重み係数を更新することで学習する誤差逆伝播学習に基づく階層的ニューラルネットワーク装置であって、前記学習の比較結果の誤差に基づいて学習の収束を判断する第１の学習収束判断部と、入力データと入力層及び隠れ層のノード間の重み係数との相関係数が所定閾値以上であるという学習収束条件に該当する場合に学習が収束したと判断する第２の学習収束判断部とを備え、第１の学習収束判断部と第２の学習収束判断部が共に学習が収束していると判断している場合に学習を終了するものである。
第１の学習収束判断部は、より具体的には、今まで求めてきた比較結果の誤差の変動をみており、この変動が略なくなった場合に学習が収束したと判断する。
第１の学習収束判断部は、より具体的には、今まで求めてきた比較結果の誤差の変動をみており、この変動が略なくなった場合に学習が収束したと判断する。
また、本発明に係るニューラルネットワーク装置は、ノードを有する入力層、隠れ層及び出力層からなり、入力データを入力層に入力して出力層から出力された出力データと入力データに対応する予め用意された教師データとを比較し、比較結果となる誤差を用いて出力層及び隠れ層のノード間の重み係数と隠れ層及び入力層のノード間の重み係数を更新することで学習する誤差逆伝播学習に基づく階層的ニューラルネットワーク装置であって、前記学習の比較結果の誤差に基づいて学習の収束を判断する第１の学習収束判断部と、入力データと入力層及び隠れ層のノード間の重み係数との相関係数が所定閾値以上であるという学習収束条件に該当する場合に学習が収束したと判断する第２の学習収束判断部とを備え、第１の学習収束判断部が学習が収束したと判断した後に、第２の学習収束判断部が学習の収束を判断し、第２の学習収束判断部が学習が収束したと判断した場合に、学習を終了するものである。
このように本発明によれば、まずもってニューラルネットワークの生成した出力データと教師データの出力データとの誤差から学習の収束を判断しており、このニューラルネットワークの生成した出力データと教師データの出力データとの誤差は誤差逆伝播学習をする上では重み係数の反映のために必須のものであり、入力データと入力層及び隠れ層の重み係数との相関係数から学習収束を判断する前に、既に求まっている誤差を用いて誤差による学習収束の判断を実施することが効率がよいという効果を有する。
また、本発明に係るニューラルネットワーク装置は、ノードを有する入力層、隠れ層及 び出力層からなり、入力データを入力層に入力して出力層から出力された出力データと入 力データに対応する予め用意された教師データとを比較し、比較結果となる誤差を用いて 出力層及び隠れ層のノード間の重み係数と隠れ層及び入力層のノード間の重み係数を更新 することで学習する誤差逆伝播学習に基づく階層的ニューラルネットワーク装置であって 、入力データと入力層及び隠れ層のノード間の重み係数との相関係数が増大傾向が飽和に 達する学習収束条件に該当する場合に学習が収束したと判断する第２の学習収束判断部を 備えるものである。
また、本発明に係るニューラルネットワーク装置は、ノードを有する入力層、隠れ層及 び出力層からなり、入力データを入力層に入力して出力層から出力された出力データと入 力データに対応する予め用意された教師データとを比較し、比較結果となる誤差を用いて 出力層及び隠れ層のノード間の重み係数と隠れ層及び入力層のノード間の重み係数を更新 することで学習する誤差逆伝播学習に基づく階層的ニューラルネットワーク装置であって 、前記学習の比較結果の誤差に基づいて学習の収束を判断する第１の学習収束判断部と、 入力データと入力層及び隠れ層のノード間の重み係数との相関係数が増大傾向が飽和に達 する学習収束条件に該当する場合に学習が収束したと判断する第２の学習収束判断部とを 備え、第１の学習収束判断部と第２の学習収束判断部が共に学習が収束していると判断し ている場合に学習を終了するものである。
また、本発明に係るニューラルネットワーク装置は、ノードを有する入力層、隠れ層及 び出力層からなり、入力データを入力層に入力して出力層から出力された出力データと入 力データに対応する予め用意された教師データとを比較し、比較結果となる誤差を用いて 出力層及び隠れ層のノード間の重み係数と隠れ層及び入力層のノード間の重み係数を更新 することで学習する誤差逆伝播学習に基づく階層的ニューラルネットワーク装置であって 、前記学習の比較結果の誤差に基づいて学習の収束を判断する第１の学習収束判断部と、 入力データと入力層及び隠れ層のノード間の重み係数との相関係数が増大傾向が飽和に達 する学習収束条件に該当する場合に学習が収束したと判断する第２の学習収束判断部とを 備え、第１の学習収束判断部が学習が収束したと判断した後に、第２の学習収束判断部が 学習の収束を判断し、第２の学習収束判断部が学習が収束したと判断した場合に、学習を 終了するものである。
また、本発明に係るニューラルネットワーク装置は必要に応じて、第２の学習収束判断部は、前記学習収束条件に該当しない場合、重み係数を初期化して改めて学習し直すものである。
また、本発明に係るニューラルネットワーク装置は、ノードを有する入力層、隠れ層及 び出力層からなり、入力データを入力層に入力して出力層から出力された出力データと入 力データに対応する予め用意された教師データとを比較し、比較結果となる誤差を用いて 出力層及び隠れ層のノード間の重み係数と隠れ層及び入力層のノード間の重み係数を更新 することで学習する誤差逆伝播学習に基づく階層的ニューラルネットワーク装置であって 、前記学習の比較結果の誤差に基づいて学習の収束を判断する第１の学習収束判断部と、 入力データと入力層及び隠れ層のノード間の重み係数との相関係数が増大傾向が飽和に達 する学習収束条件に該当する場合に学習が収束したと判断する第２の学習収束判断部とを 備え、第１の学習収束判断部と第２の学習収束判断部が共に学習が収束していると判断し ている場合に学習を終了するものである。
また、本発明に係るニューラルネットワーク装置は、ノードを有する入力層、隠れ層及 び出力層からなり、入力データを入力層に入力して出力層から出力された出力データと入 力データに対応する予め用意された教師データとを比較し、比較結果となる誤差を用いて 出力層及び隠れ層のノード間の重み係数と隠れ層及び入力層のノード間の重み係数を更新 することで学習する誤差逆伝播学習に基づく階層的ニューラルネットワーク装置であって 、前記学習の比較結果の誤差に基づいて学習の収束を判断する第１の学習収束判断部と、 入力データと入力層及び隠れ層のノード間の重み係数との相関係数が増大傾向が飽和に達 する学習収束条件に該当する場合に学習が収束したと判断する第２の学習収束判断部とを 備え、第１の学習収束判断部が学習が収束したと判断した後に、第２の学習収束判断部が 学習の収束を判断し、第２の学習収束判断部が学習が収束したと判断した場合に、学習を 終了するものである。
また、本発明に係るニューラルネットワーク装置は必要に応じて、第２の学習収束判断部は、前記学習収束条件に該当しない場合、重み係数を初期化して改めて学習し直すものである。
このように本発明によれば、ニューラルネットワークの生成した出力データと教師データの出力データとの誤差から学習が収束したと判断した場合で、且つ、入力データと入力層及び隠れ層の重み係数との相関係数から学習が収束していないと判断した場合には、大域的最適解が求まらず局所解に陥っていることとなり、再度重み係数を初期化して誤差逆伝播学習をすることで大域的最適解を求めることができるという効果を有する。局所解に陥っている状態で何度学習しても局所解を脱して大域的最適解に達することは困難であるために、重み係数を初期化することが望ましい。
また、本発明に係るニューラルネットワーク装置は必要に応じて、前記重み係数を初期化する場合には、初期化した重み係数と初期化する前の重み係数の相関係数を求め、この相関係数が所定閾値以上である場合には再度重み係数を初期化するものである。
このように本発明によれば、重み係数を初期化した場合であっても依然の重み係数と同様であれば誤差逆伝播の学習を再度行った場合に同様の局所解に陥る可能性が高く、その場合に、再度初期化することで無駄な学習を回避し、効率的に大域的最適解を求めることができるという効果を有する。
このように本発明によれば、重み係数を初期化した場合であっても依然の重み係数と同様であれば誤差逆伝播の学習を再度行った場合に同様の局所解に陥る可能性が高く、その場合に、再度初期化することで無駄な学習を回避し、効率的に大域的最適解を求めることができるという効果を有する。
また、本発明に係る階層的ニューラルネットワーク装置の誤差逆伝播学習方法は、入力データを入力層に入力して出力層から出力された出力データと入力データに対応する予め用意された教師データとを比較し、比較結果となる誤差を用いて出力層及び隠れ層のノード間の重み係数と隠れ層及び入力層のノード間の重み係数を更新することで学習する階層的ニューラルネットワーク装置の誤差逆伝播学習方法であって、入力データと入力層及び隠れ層のノード間の重み係数との相関係数が所定閾値以上である場合に学習が収束したと判断するものである。
また、本発明に係る階層的ニューラルネットワーク装置の誤差逆伝播学習方法は、入力 データを入力層に入力して出力層から出力された出力データと入力データに対応する予め 用意された教師データとを比較し、比較結果となる誤差を用いて出力層及び隠れ層のノー ド間の重み係数と隠れ層及び入力層のノード間の重み係数を更新することで学習する階層 的ニューラルネットワーク装置の誤差逆伝播学習方法であって、入力データと入力層及び 隠れ層のノード間の重み係数との相関係数が増大傾向が飽和に達する学習収束条件に該当 する場合に学習が収束したと判断するものである。
また、本発明に係る誤差逆伝播学習プログラムは、ノードを有する入力層、隠れ層及び 出力層からなり、入力データを入力層に入力して出力層から出力された出力データと入力 データに対応する予め用意された教師データとを比較し、比較結果となる誤差を用いて出 力層及び隠れ層のノード間の重み係数と隠れ層及び入力層のノード間の重み係数を更新す ることで学習する階層的ニューラルネットワーク装置としてコンピュータを機能させる誤 差逆伝播学習プログラムであって、入力データと入力層及び隠れ層のノード間の重み係数 との相関係数が所定閾値以上である場合に学習が収束したと判断する第２の学習収束判断 部としてコンピュータを機能させるものである。
また、本発明に係る誤差逆伝播学習プログラムは、ノードを有する入力層、隠れ層及び 出力層からなり、入力データを入力層に入力して出力層から出力された出力データと入力 データに対応する予め用意された教師データとを比較し、比較結果となる誤差を用いて出 力層及び隠れ層のノード間の重み係数と隠れ層及び入力層のノード間の重み係数を更新す ることで学習する階層的ニューラルネットワーク装置としてコンピュータを機能させる誤 差逆伝播学習プログラムであって、入力データと入力層及び隠れ層のノード間の重み係数 との相関係数が増大傾向が飽和に達する学習収束条件に該当する場合に学習が収束したと 判断する第２の学習収束判断部としてコンピュータを機能させるものである。
このように本発明は、方法又はプログラムとしても把握することができる。
これら前記の発明の概要は、本発明に必須となる特徴を列挙したものではなく、これら複数の特徴のサブコンビネーションも発明となり得る。
また、本発明に係る階層的ニューラルネットワーク装置の誤差逆伝播学習方法は、入力 データを入力層に入力して出力層から出力された出力データと入力データに対応する予め 用意された教師データとを比較し、比較結果となる誤差を用いて出力層及び隠れ層のノー ド間の重み係数と隠れ層及び入力層のノード間の重み係数を更新することで学習する階層 的ニューラルネットワーク装置の誤差逆伝播学習方法であって、入力データと入力層及び 隠れ層のノード間の重み係数との相関係数が増大傾向が飽和に達する学習収束条件に該当 する場合に学習が収束したと判断するものである。
また、本発明に係る誤差逆伝播学習プログラムは、ノードを有する入力層、隠れ層及び 出力層からなり、入力データを入力層に入力して出力層から出力された出力データと入力 データに対応する予め用意された教師データとを比較し、比較結果となる誤差を用いて出 力層及び隠れ層のノード間の重み係数と隠れ層及び入力層のノード間の重み係数を更新す ることで学習する階層的ニューラルネットワーク装置としてコンピュータを機能させる誤 差逆伝播学習プログラムであって、入力データと入力層及び隠れ層のノード間の重み係数 との相関係数が所定閾値以上である場合に学習が収束したと判断する第２の学習収束判断 部としてコンピュータを機能させるものである。
また、本発明に係る誤差逆伝播学習プログラムは、ノードを有する入力層、隠れ層及び 出力層からなり、入力データを入力層に入力して出力層から出力された出力データと入力 データに対応する予め用意された教師データとを比較し、比較結果となる誤差を用いて出 力層及び隠れ層のノード間の重み係数と隠れ層及び入力層のノード間の重み係数を更新す ることで学習する階層的ニューラルネットワーク装置としてコンピュータを機能させる誤 差逆伝播学習プログラムであって、入力データと入力層及び隠れ層のノード間の重み係数 との相関係数が増大傾向が飽和に達する学習収束条件に該当する場合に学習が収束したと 判断する第２の学習収束判断部としてコンピュータを機能させるものである。
このように本発明は、方法又はプログラムとしても把握することができる。
これら前記の発明の概要は、本発明に必須となる特徴を列挙したものではなく、これら複数の特徴のサブコンビネーションも発明となり得る。
１０ 入力部
２０ ニューラルネットワーク機構部
３０ 出力部
４０ 誤差逆伝播機構
４１ 誤差算出部
４２ 重み係数反映部
４３ 誤差収束判定部
５０ 相関係数機構
５１ 相関係数算出部
５２ 相関係数条件判定部
５３ 初期化部
１００ コンピュータ
１１１ ＣＰＵ
１１２ ＲＡＭ
１１３ ＲＯＭ
１１４ フラッシュメモリ
１１５ ＨＤ
１１６ ＬＡＮカード
１１７ マウス
１１８ キーボード
１１９ ビデオカード
１１９ａ ディスプレイ
１２０ サウンドカード
１２０ａ スピーカ
１２１ ドライブ
２０ ニューラルネットワーク機構部
３０ 出力部
４０ 誤差逆伝播機構
４１ 誤差算出部
４２ 重み係数反映部
４３ 誤差収束判定部
５０ 相関係数機構
５１ 相関係数算出部
５２ 相関係数条件判定部
５３ 初期化部
１００ コンピュータ
１１１ ＣＰＵ
１１２ ＲＡＭ
１１３ ＲＯＭ
１１４ フラッシュメモリ
１１５ ＨＤ
１１６ ＬＡＮカード
１１７ マウス
１１８ キーボード
１１９ ビデオカード
１１９ａ ディスプレイ
１２０ サウンドカード
１２０ａ スピーカ
１２１ ドライブ
（本発明の第１の実施形態）
（１）ブロック構成
図１は本実施形態に係るニューラルネットワーク装置のブロック構成図である。
本実施形態に係るニューラルネットワーク装置は、処理対象の入力データを取り込む入力部１０と、取り込んだ入力データを処理して出力データを生成するニューラルネットワーク機構部２０と、生成した出力データを送り出す出力部３０と、学習時にニューラルネットワーク機構部２０により生成された出力データと教師データの出力データから誤差を求め、求めた誤差から誤差が収束しているか否かを判断し、収束していないと判断した場合には誤差逆伝播を行い重み係数を更新する誤差逆伝播機構４０と、学習時に入力データと入力層と隠れ層との隠れ係数との相関係数を求め、前記誤差逆伝播機構４０が収束していると判断した場合に、直近の相関係数が所定閾値と比べて低いか否か、及び、相関係数が増大傾向であって飽和に達するか否かを判断し、直近の相関係数が所定閾値と比べて低い場合、相関係数が増大傾向ではない場合、または、相関係数が増大傾向でも飽和に達しない場合、ニューラルネットワーク機構部２０を初期化する相関係数機構５０とを備える構成である。
（１）ブロック構成
図１は本実施形態に係るニューラルネットワーク装置のブロック構成図である。
本実施形態に係るニューラルネットワーク装置は、処理対象の入力データを取り込む入力部１０と、取り込んだ入力データを処理して出力データを生成するニューラルネットワーク機構部２０と、生成した出力データを送り出す出力部３０と、学習時にニューラルネットワーク機構部２０により生成された出力データと教師データの出力データから誤差を求め、求めた誤差から誤差が収束しているか否かを判断し、収束していないと判断した場合には誤差逆伝播を行い重み係数を更新する誤差逆伝播機構４０と、学習時に入力データと入力層と隠れ層との隠れ係数との相関係数を求め、前記誤差逆伝播機構４０が収束していると判断した場合に、直近の相関係数が所定閾値と比べて低いか否か、及び、相関係数が増大傾向であって飽和に達するか否かを判断し、直近の相関係数が所定閾値と比べて低い場合、相関係数が増大傾向ではない場合、または、相関係数が増大傾向でも飽和に達しない場合、ニューラルネットワーク機構部２０を初期化する相関係数機構５０とを備える構成である。
誤差逆伝播機構４０は、学習時に入力データの入力毎に出力データと教師データの出力データの誤差を求める誤差算出部４１と、この誤差算出部４１で求めた誤差を用いてニューラルネットワーク機構部２０の重み係数を更新する重み係数反映部４２と、誤差算出部４１が求めた誤差の変動から収束しているか否かを判断する誤差収束判定部４３とからなる。誤差収束判定部４３が収束しないと判断した場合にだけ重み係数反映部４２が重み係数の反映を行う構成にすることもできるし、誤差収束判定部４３に依らず誤差算出部４１で誤差が求められた場合には重み係数反映部４２が重み係数を反映する構成にすることもできる。後者の構成を採った場合にも、誤差収束判定部４３が収束すると判断した場合で且つ、大域的最適解が求まっていれば以降誤差算出部４１及び重み係数反映部４２での処理は行われない。
相関係数機構５０は、学習時に入力データの入力毎に入力データと入力層と隠れ層の重み係数との相関係数を求める相関係数算出部５１と、直近の相関係数が所定閾値と比べて低いか否か、及び、相関係数が増大傾向であって飽和に達するか否かを判断する相関係数条件判定部５２と、この相関係数条件判定部５２が直近の相関係数が所定閾値と比べて低いと判断した場合、相関係数が増大傾向ではないと判断した場合、または、相関係数が増大傾向でも飽和に達しないと判断した場合にニューラルネットワーク機構部２０を初期化する初期化部５３とからなる。
（２）ハードウェア構成
図２は本実施形態に係るニューラルネットワーク装置を構築されているコンピュータのハードウェア構成図である。
ニューラルネットワークが構築されているコンピュータ１００は、ＣＰＵ(Central Processing Unit)１１１、ＲＡＭ(Random Access Memory)１１２、ＲＯＭ(Read Only Memory)１１３、フラッシュメモリ(Flash memory)１１４、外部記憶装置であるＨＤ(Hard disk)１１５、ＬＡＮ(Local Area Network)カード１１６、マウス１１７、キーボード１１８、ビデオカード１１９、このビデオカード１１９と電気的に接続する表示装置であるディスプレイ１１９ａ、サウンドカード１２０、このサウンドカード１２０と電気的に接続する音出力装置であるスピーカ１２０ａ及びフレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の記憶媒体を読み書きするドライブ１２１からなる。なお、所謂当業者であれば、若干のハードウェアの構成要素の変更をすることができ、また、複数コンピュータに対して一つのニューラルネットワークを構築することができる。コンピュータ毎に全てではなく一部の一又は複数のモジュールを構築して負荷分散を図ることができる。勿論、グリッドコンピュータシステム上にニューラルネットワークを構築することもできる。
図２は本実施形態に係るニューラルネットワーク装置を構築されているコンピュータのハードウェア構成図である。
ニューラルネットワークが構築されているコンピュータ１００は、ＣＰＵ(Central Processing Unit)１１１、ＲＡＭ(Random Access Memory)１１２、ＲＯＭ(Read Only Memory)１１３、フラッシュメモリ(Flash memory)１１４、外部記憶装置であるＨＤ(Hard disk)１１５、ＬＡＮ(Local Area Network)カード１１６、マウス１１７、キーボード１１８、ビデオカード１１９、このビデオカード１１９と電気的に接続する表示装置であるディスプレイ１１９ａ、サウンドカード１２０、このサウンドカード１２０と電気的に接続する音出力装置であるスピーカ１２０ａ及びフレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の記憶媒体を読み書きするドライブ１２１からなる。なお、所謂当業者であれば、若干のハードウェアの構成要素の変更をすることができ、また、複数コンピュータに対して一つのニューラルネットワークを構築することができる。コンピュータ毎に全てではなく一部の一又は複数のモジュールを構築して負荷分散を図ることができる。勿論、グリッドコンピュータシステム上にニューラルネットワークを構築することもできる。
（３）動作
図３は本実施形態に係るニューラルネットワーク装置の学習時の動作フローチャートである。
入力部１０が入力データ及び出力データからなる教師データを取り込み、取り込んだ入力データがニューラルネットワーク機構２０で処理され、出力部１０が生成された出力データを出力する。誤差算出部４１は出力データと教師データの出力データとから誤差を算出する（ステップ２０１）。重み係数反映部４２は算出した誤差を用いてニューラルネットワークの重み係数を更新する（ステップ２０２）。相関係数算出部５１は入力層と隠れ層の重み係数と入力データとから相関係数を算出する（ステップ２１１）。誤差収束判定部４３は誤差算出部４１が求めてきた誤差を用いて誤差が収束しているか否かを判断する（ステップ２２１）。ステップ２２１において収束していないと判断した場合にはステップ１００に戻る。ステップ２２１において収束していると判断した場合には、相関係数条件判定部５２は相関係数算出部５１が求めてきた相関係数を用いて直近の相関係数が所定閾値と比べて低いか否かを判断する（ステップ２３１）。ステップ２３１において直近の相関係数が低いと判断した場合には、相関係数が増大傾向であって飽和に達するか否かを判断する（ステップ２３２）。ステップ２３１において相関係数が低くないと判断した場合、又は、ステップ２３２において相関係数が増大傾向であって飽和に達すると判断した場合、大域的最適解が求まったとしてニューラルネットワークの学習を終了する。ステップ２３２において相関係数が増大傾向であって飽和に達してはいないと判断した場合には、局所解が求まったとしてニューラルネットワーク機構２０の初期値を再設定し（ステップ２４１）、ステップ１００に戻る。
図３は本実施形態に係るニューラルネットワーク装置の学習時の動作フローチャートである。
入力部１０が入力データ及び出力データからなる教師データを取り込み、取り込んだ入力データがニューラルネットワーク機構２０で処理され、出力部１０が生成された出力データを出力する。誤差算出部４１は出力データと教師データの出力データとから誤差を算出する（ステップ２０１）。重み係数反映部４２は算出した誤差を用いてニューラルネットワークの重み係数を更新する（ステップ２０２）。相関係数算出部５１は入力層と隠れ層の重み係数と入力データとから相関係数を算出する（ステップ２１１）。誤差収束判定部４３は誤差算出部４１が求めてきた誤差を用いて誤差が収束しているか否かを判断する（ステップ２２１）。ステップ２２１において収束していないと判断した場合にはステップ１００に戻る。ステップ２２１において収束していると判断した場合には、相関係数条件判定部５２は相関係数算出部５１が求めてきた相関係数を用いて直近の相関係数が所定閾値と比べて低いか否かを判断する（ステップ２３１）。ステップ２３１において直近の相関係数が低いと判断した場合には、相関係数が増大傾向であって飽和に達するか否かを判断する（ステップ２３２）。ステップ２３１において相関係数が低くないと判断した場合、又は、ステップ２３２において相関係数が増大傾向であって飽和に達すると判断した場合、大域的最適解が求まったとしてニューラルネットワークの学習を終了する。ステップ２３２において相関係数が増大傾向であって飽和に達してはいないと判断した場合には、局所解が求まったとしてニューラルネットワーク機構２０の初期値を再設定し（ステップ２４１）、ステップ１００に戻る。
（４）本実施形態の効果
このように本実施形態に係るニューラルネットワーク装置によれば、ニューラルネットワークによって生成された出力データと教師データの出力データの誤差を求めて誤差逆伝播させて重み係数を更新させ、求めた誤差を蓄積して誤差の変動から誤差の収束を判断し、誤差が収束している場合に継続して求めてきた相関係数の変動が所定条件を満たすか否かを判断し、ここで所定条件とは相関係数が所定閾値より小さくない、及び、相関係数が増加傾向であって飽和に達していることであり、この条件を満たす場合には大域的最適解が求まったとして学習を終了し、一方、条件を満たさない場合には局所解が求まったとしてニューラルネットワークを初期化して再度学習するので、最急降下法を適用して迅速に学習をさせることができ、また、この最急降下法で学習終了とされたニューラルネットワークが実際に大域的最適解が求まっているか否かを判断しており、学習終了時に局所解ではなく大域的最適解が求まった状態にすることができる。
このように本実施形態に係るニューラルネットワーク装置によれば、ニューラルネットワークによって生成された出力データと教師データの出力データの誤差を求めて誤差逆伝播させて重み係数を更新させ、求めた誤差を蓄積して誤差の変動から誤差の収束を判断し、誤差が収束している場合に継続して求めてきた相関係数の変動が所定条件を満たすか否かを判断し、ここで所定条件とは相関係数が所定閾値より小さくない、及び、相関係数が増加傾向であって飽和に達していることであり、この条件を満たす場合には大域的最適解が求まったとして学習を終了し、一方、条件を満たさない場合には局所解が求まったとしてニューラルネットワークを初期化して再度学習するので、最急降下法を適用して迅速に学習をさせることができ、また、この最急降下法で学習終了とされたニューラルネットワークが実際に大域的最適解が求まっているか否かを判断しており、学習終了時に局所解ではなく大域的最適解が求まった状態にすることができる。
（その他の実施形態）
［誤差による判断と相関係数による判断］
前記第１の実施形態に係るニューラルネットワーク装置においては、出力データと教師データの出力データとの誤差の変動をまず判断し、その後に、相関係数の判断を実行しているが、相関係数の判断をまず実行した後に誤差の変動を判断することもできる。ただし、出力データと教師データの出力データとの誤差は、誤差逆伝播学習においては学習のために必ず導出する必要がある値であるために誤差の変動をまずもって判断する方が望ましい。また、出力データと教師データの出力データとの誤差の変動から学習が収束したと判断した場合には少なくとも局所解は求まっており、一方、相関係数から学習が収束したと判断した場合には局所解すら求まっていない可能性もあり、まずもって出力データと教師データの出力データとの誤差の変動から学習の収束を判断する方が望ましい。
［誤差による判断と相関係数による判断］
前記第１の実施形態に係るニューラルネットワーク装置においては、出力データと教師データの出力データとの誤差の変動をまず判断し、その後に、相関係数の判断を実行しているが、相関係数の判断をまず実行した後に誤差の変動を判断することもできる。ただし、出力データと教師データの出力データとの誤差は、誤差逆伝播学習においては学習のために必ず導出する必要がある値であるために誤差の変動をまずもって判断する方が望ましい。また、出力データと教師データの出力データとの誤差の変動から学習が収束したと判断した場合には少なくとも局所解は求まっており、一方、相関係数から学習が収束したと判断した場合には局所解すら求まっていない可能性もあり、まずもって出力データと教師データの出力データとの誤差の変動から学習の収束を判断する方が望ましい。
［重み係数の初期化］
前記第１の実施形態に係るニューラルネットワーク装置においては、例えば、初期化を乱数により実施するのであるが、この乱数による初期化が初期化前の重み係数と略同様となる可能性もあり、初期化後も略同じ重み係数となった場合には再度同じ局所解に陥る可能性が高く、無駄な学習を実施するのを未然に防止すべく、初期化した後の重み係数と初期化前の重み係数の相関係数が所定閾値以上であれば再度初期化する構成にすることもできる。
前記第１の実施形態に係るニューラルネットワーク装置においては、例えば、初期化を乱数により実施するのであるが、この乱数による初期化が初期化前の重み係数と略同様となる可能性もあり、初期化後も略同じ重み係数となった場合には再度同じ局所解に陥る可能性が高く、無駄な学習を実施するのを未然に防止すべく、初期化した後の重み係数と初期化前の重み係数の相関係数が所定閾値以上であれば再度初期化する構成にすることもできる。
例えば、ステップ２４１に代えて図４に示すように、現在の重み係数を記録し（ステップ２４１１）、重み係数を初期化し（ステップ２４１２）、記録した初期化前の重み係数と初期化後の重み係数の相関係数を求め（ステップ２４１３）、この相関係数が所定閾値以上か否かを判断し（ステップ２４１４）、所定閾値以上であると判断した場合にはステップ２４１１に戻り、所定閾値より小さいと判断した場合にはステップ１００に戻る。
海洋・大気観測衛星NOAA/AVHRR(高空間分解能可視熱赤外放射計)データを用いた海面温度(SST)推定に階層型ニューラルネットワークを用いた。図５または図６は、NOAA/AVHRRバンド4,5の熱赤外画像とMCSST(複数チャンネル海面温度)と呼ばれる方法によって推定された海面温度である。図５（ａ）または図６（ａ）がバンド４の熱赤外画像であり、図５
（ｂ）または図６（ｂ）がバンド５の熱赤外画像であり、図５（ｃ）または図６（ｃ）がMCSSTによる推定実測値である。図５が２００２年５月２０日１７時１１分のものであり、図６が２００４年１１月３０日１６時４５分のものである。
（ｂ）または図６（ｂ）がバンド５の熱赤外画像であり、図５（ｃ）または図６（ｃ）がMCSSTによる推定実測値である。図５が２００２年５月２０日１７時１１分のものであり、図６が２００４年１１月３０日１６時４５分のものである。
図５（ａ）（ｂ）または図６（ａ）（ｂ）を入力データとして、また、図５（ｃ）または図６（ｃ）を望ましい出力と見立てて階層型ニューラルネットワークの誤差逆伝播学習を行った。このとき、望ましい出力と階層型ニューラルネットワークの実際の出力との差の平均を平均誤差として評価した。また、重み係数の初期値は一様乱数によって与えることにした。
学習の経過の一例を図７ないし図９にそれぞれ示す。図７は図６の入力及び望ましい出力に対する解の推移であり、図８または図９は図５に対する場合である。図７及び図８は宮崎県沖の画像領域に関するものであり、図９は小倉沖の画像領域に関するものである。
図７（ａ）は相関係数が増加傾向に転じることなく低い部分で収束していることを示し、図７（ｂ）は誤差が学習回数を経るごとに小さくなっておりその減少傾向も収束の方向に向かっていることを示す。したがって、図７から局所解に陥っていることが分かる。
図８（ａ）は相関係数が増加傾向を経て収束しようとしていることを示し、図８（ｂ）は誤差が学習回数を経るごとに小さくなっておりその減少傾向も収束の方向に向かっていることを示す。したがって、図８から大域的最適解が求まっていることが分かる。
図９（ａ）は相関係数が増加傾向を維持していることを示し、図９（ｂ）は誤差が学習回数を経るごとに小さくなっておりその減少傾向も収束の方向に向かっていることを示す。したがって、図９から大域的最適解が求まっていることが分かる。
これらを見ると、いずれも入力と入力層と隠れ層の間の重み係数との相関係数が高くなり、平均誤差が少なくなる傾向が見られる。すなわち、相関係数が学習収束の指標として用いることができることを表している。
以上の前記各実施形態により本発明を説明したが、本発明の技術的範囲は実施形態に記載の範囲には限定されず、これら各実施形態に多様な変更又は改良を加えることが可能である。そして、かような変更又は改良を加えた実施の形態も本発明の技術的範囲に含まれる。このことは、特許請求の範囲及び課題を解決する手段からも明らかなことである。
Claims (12)
- ノードを有する入力層、隠れ層及び出力層からなり、入力データを入力層に入力して出力層から出力された出力データと入力データに対応する予め用意された教師データとを比較し、比較結果となる誤差を用いて出力層及び隠れ層のノード間の重み係数と隠れ層及び入力層のノード間の重み係数を更新することで学習する誤差逆伝播学習に基づく階層的ニューラルネットワーク装置であって、
入力データと入力層及び隠れ層のノード間の重み係数との相関係数が所定閾値以上であるという学習収束条件に該当する場合に学習が収束したと判断する第２の学習収束判断部を備える誤差逆伝播学習に基づく階層的ニューラルネットワーク装置。 - ノードを有する入力層、隠れ層及び出力層からなり、入力データを入力層に入力して出力層から出力された出力データと入力データに対応する予め用意された教師データとを比較し、比較結果となる誤差を用いて出力層及び隠れ層のノード間の重み係数と隠れ層及び入力層のノード間の重み係数を更新することで学習する誤差逆伝播学習に基づく階層的ニューラルネットワーク装置であって、
前記学習の比較結果の誤差に基づいて学習の収束を判断する第１の学習収束判断部と、
入力データと入力層及び隠れ層のノード間の重み係数との相関係数が所定閾値以上であるという学習収束条件に該当する場合に学習が収束したと判断する第２の学習収束判断部とを備え、
第１の学習収束判断部と第２の学習収束判断部が共に学習が収束していると判断している場合に学習を終了する誤差逆伝播学習に基づく階層的ニューラルネットワーク装置。 - ノードを有する入力層、隠れ層及び出力層からなり、入力データを入力層に入力して出力層から出力された出力データと入力データに対応する予め用意された教師データとを比較し、比較結果となる誤差を用いて出力層及び隠れ層のノード間の重み係数と隠れ層及び入力層のノード間の重み係数を更新することで学習する誤差逆伝播学習に基づく階層的ニューラルネットワーク装置であって、
前記学習の比較結果の誤差に基づいて学習の収束を判断する第１の学習収束判断部と、
入力データと入力層及び隠れ層のノード間の重み係数との相関係数が所定閾値以上であるという学習収束条件に該当する場合に学習が収束したと判断する第２の学習収束判断部とを備え、
第１の学習収束判断部が学習が収束したと判断した後に、第２の学習収束判断部が学習の収束を判断し、
第２の学習収束判断部が学習が収束したと判断した場合に、学習を終了する誤差逆伝播学習に基づく階層的ニューラルネットワーク装置。 - ノードを有する入力層、隠れ層及び出力層からなり、入力データを入力層に入力して出力層から出力された出力データと入力データに対応する予め用意された教師データとを比較し、比較結果となる誤差を用いて出力層及び隠れ層のノード間の重み係数と隠れ層及び入力層のノード間の重み係数を更新することで学習する誤差逆伝播学習に基づく階層的ニューラルネットワーク装置であって、
入力データと入力層及び隠れ層のノード間の重み係数との相関係数が増大傾向が飽和に達する学習収束条件に該当する場合に学習が収束したと判断する第２の学習収束判断部を備える誤差逆伝播学習に基づく階層的ニューラルネットワーク装置。 - ノードを有する入力層、隠れ層及び出力層からなり、入力データを入力層に入力して出力層から出力された出力データと入力データに対応する予め用意された教師データとを比較し、比較結果となる誤差を用いて出力層及び隠れ層のノード間の重み係数と隠れ層及び入力層のノード間の重み係数を更新することで学習する誤差逆伝播学習に基づく階層的ニューラルネットワーク装置であって、
前記学習の比較結果の誤差に基づいて学習の収束を判断する第１の学習収束判断部と、
入力データと入力層及び隠れ層のノード間の重み係数との相関係数が増大傾向が飽和に達する学習収束条件に該当する場合に学習が収束したと判断する第２の学習収束判断部とを備え、
第１の学習収束判断部と第２の学習収束判断部が共に学習が収束していると判断している場合に学習を終了する誤差逆伝播学習に基づく階層的ニューラルネットワーク装置。 - ノードを有する入力層、隠れ層及び出力層からなり、入力データを入力層に入力して出力層から出力された出力データと入力データに対応する予め用意された教師データとを比較し、比較結果となる誤差を用いて出力層及び隠れ層のノード間の重み係数と隠れ層及び入力層のノード間の重み係数を更新することで学習する誤差逆伝播学習に基づく階層的ニューラルネットワーク装置であって、
前記学習の比較結果の誤差に基づいて学習の収束を判断する第１の学習収束判断部と、
入力データと入力層及び隠れ層のノード間の重み係数との相関係数が増大傾向が飽和に達する学習収束条件に該当する場合に学習が収束したと判断する第２の学習収束判断部とを備え、
第１の学習収束判断部が学習が収束したと判断した後に、第２の学習収束判断部が学習の収束を判断し、
第２の学習収束判断部が学習が収束したと判断した場合に、学習を終了する誤差逆伝播学習に基づく階層的ニューラルネットワーク装置。 - 第２の学習収束判断部は、前記学習収束条件に該当しない場合、重み係数を初期化して改めて学習し直す
前記請求項１ないし６のいずれかに記載の誤差逆伝播学習に基づく階層的ニューラルネットワーク装置。 - 前記重み係数を初期化する場合には、初期化した重み係数と初期化する前の重み係数の相関係数を求め、この相関係数が所定閾値以上である場合には再度重み係数を初期化する
前記請求項７に記載の誤差逆伝播学習に基づく階層的ニューラルネットワーク装置。 - 入力データを入力層に入力して出力層から出力された出力データと入力データに対応する予め用意された教師データとを比較し、比較結果となる誤差を用いて出力層及び隠れ層のノード間の重み係数と隠れ層及び入力層のノード間の重み係数を更新することで学習する階層的ニューラルネットワーク装置の誤差逆伝播学習方法であって、
入力データと入力層及び隠れ層のノード間の重み係数との相関係数が所定閾値以上である場合に学習が収束したと判断する階層的ニューラルネットワーク装置の誤差逆伝播学習方法。 - 入力データを入力層に入力して出力層から出力された出力データと入力データに対応する予め用意された教師データとを比較し、比較結果となる誤差を用いて出力層及び隠れ層のノード間の重み係数と隠れ層及び入力層のノード間の重み係数を更新することで学習する階層的ニューラルネットワーク装置の誤差逆伝播学習方法であって、
入力データと入力層及び隠れ層のノード間の重み係数との相関係数が増大傾向が飽和に達する学習収束条件に該当する場合に学習が収束したと判断する階層的ニューラルネットワーク装置の誤差逆伝播学習方法。 - ノードを有する入力層、隠れ層及び出力層からなり、入力データを入力層に入力して出力層から出力された出力データと入力データに対応する予め用意された教師データとを比較し、比較結果となる誤差を用いて出力層及び隠れ層のノード間の重み係数と隠れ層及び入力層のノード間の重み係数を更新することで学習する階層的ニューラルネットワーク装置としてコンピュータを機能させる誤差逆伝播学習プログラムであって、
入力データと入力層及び隠れ層のノード間の重み係数との相関係数が所定閾値以上である場合に学習が収束したと判断する第２の学習収束判断部としてコンピュータを機能させる誤差逆伝播学習プログラム。 - ノードを有する入力層、隠れ層及び出力層からなり、入力データを入力層に入力して出力層から出力された出力データと入力データに対応する予め用意された教師データとを比較し、比較結果となる誤差を用いて出力層及び隠れ層のノード間の重み係数と隠れ層及び入力層のノード間の重み係数を更新することで学習する階層的ニューラルネットワーク装置としてコンピュータを機能させる誤差逆伝播学習プログラムであって、
入力データと入力層及び隠れ層のノード間の重み係数との相関係数が増大傾向が飽和に達する学習収束条件に該当する場合に学習が収束したと判断する第２の学習収束判断部としてコンピュータを機能させる誤差逆伝播学習プログラム。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2006/303147 WO2007096954A1 (ja) | 2006-02-22 | 2006-02-22 | ニューラルネットワーク装置及びその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2007096954A1 JPWO2007096954A1 (ja) | 2009-07-09 |
| JP5002821B2 true JP5002821B2 (ja) | 2012-08-15 |
Family
ID=38437016
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008501514A Active JP5002821B2 (ja) | 2006-02-22 | 2006-02-22 | ニューラルネットワーク装置及びその方法 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP5002821B2 (ja) |
| WO (1) | WO2007096954A1 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104854602B (zh) | 2012-12-03 | 2017-04-19 | Hrl实验室有限责任公司 | 一种神经网络单元、以及相关***和方法 |
| CN111782359B (zh) * | 2020-06-23 | 2022-03-11 | 平安科技（深圳）有限公司 | 分布式计算***任务分配方法及相关设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04319760A (ja) * | 1991-04-19 | 1992-11-10 | Meidensha Corp | 階層結合型ニューロコンピュータ |
| JPH05197821A (ja) * | 1991-11-11 | 1993-08-06 | Omron Corp | 階層型ニューラルネットの最適化方法及び装置 |
| JPH10283334A (ja) * | 1997-04-10 | 1998-10-23 | Fuji Electric Co Ltd | ニューラルネットワークの入力層最適化方法 |
-
2006
- 2006-02-22 WO PCT/JP2006/303147 patent/WO2007096954A1/ja active Application Filing
- 2006-02-22 JP JP2008501514A patent/JP5002821B2/ja active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04319760A (ja) * | 1991-04-19 | 1992-11-10 | Meidensha Corp | 階層結合型ニューロコンピュータ |
| JPH05197821A (ja) * | 1991-11-11 | 1993-08-06 | Omron Corp | 階層型ニューラルネットの最適化方法及び装置 |
| JPH10283334A (ja) * | 1997-04-10 | 1998-10-23 | Fuji Electric Co Ltd | ニューラルネットワークの入力層最適化方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2007096954A1 (ja) | 2009-07-09 |
| WO2007096954A1 (ja) | 2007-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110799994B (zh) | 神经网络的自适应位宽缩减 | |
| CN110168578B (zh) | 具有任务特定路径的多任务神经网络 | |
| EP3992857A1 (en) | Method and device for generating neural network model, and computer-readable storage medium | |
| CN113128678A (zh) | 神经网络的自适应搜索方法及装置 | |
| CN114896899B (zh) | 一种基于信息交互的多智能体分散式决策方法及*** | |
| JP2021526678A (ja) | 画像処理方法、装置、電子装置及び記憶媒体 | |
| CN110751032A (zh) | 一种无需校准的脑机接口模型的训练方法 | |
| JP2020068048A (ja) | 人工ニューラルネットワーク回路及び人工ニューラルネットワーク回路における学習値切替方法 | |
| US20190188571A1 (en) | Training neural networks using evolution based strategies and novelty search | |
| CN113722980A (zh) | 海洋浪高预测方法、***、计算机设备、存储介质、终端 | |
| CN112766496A (zh) | 基于强化学习的深度学习模型安全性保障压缩方法与装置 | |
| JP5002821B2 (ja) | ニューラルネットワーク装置及びその方法 | |
| CN116090536A (zh) | 神经网络的优化方法、装置、计算机设备及存储介质 | |
| CN115168720A (zh) | 内容交互预测方法以及相关设备 | |
| CN115438842A (zh) | 一种基于自适应改进蜉蝣和bp神经网络的负荷预测方法 | |
| JP6986160B2 (ja) | 画像処理方法および画像処理装置 | |
| WO2019240047A1 (ja) | 行動学習装置、行動学習方法、行動学習システム、プログラム、及び記録媒体 | |
| CN112214791B (zh) | 基于强化学习的隐私策略优化方法、***及可读存储介质 | |
| CN116796821A (zh) | 面向3d目标检测算法的高效神经网络架构搜索方法及装置 | |
| Barreto et al. | A self-organizing NARX network and its application to prediction of chaotic time series | |
| KR102624710B1 (ko) | Gru 기반 구조물 시계열 응답 예측 방법 | |
| CN115168722A (zh) | 内容交互预测方法以及相关设备 | |
| Howard et al. | Towards continuous actions in continuous space and time using self-adaptive constructivism in neural XCSF | |
| WO2021145185A1 (ja) | 行動認識装置、行動認識方法、プログラム及び記録媒体 | |
| CN113537318B (zh) | 一种仿人脑记忆机理的机器人行为决策方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081204 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111115 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111220 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120207 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120323 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120424 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |