JPH0644207A - ニューラルネットワーク及びその構成方法 - Google Patents
ニューラルネットワーク及びその構成方法Info
- Publication number
- JPH0644207A JPH0644207A JP5080338A JP8033893A JPH0644207A JP H0644207 A JPH0644207 A JP H0644207A JP 5080338 A JP5080338 A JP 5080338A JP 8033893 A JP8033893 A JP 8033893A JP H0644207 A JPH0644207 A JP H0644207A
- Authority
- JP
- Japan
- Prior art keywords
- layer
- neural network
- value
- values
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 非線形多変数関数の解を表わす値を提供する
ためと、組合せを各々から分離するための学習可能な単
層の重み付けを有する改良されたニューラルネットワー
クを得ること。 【構成】 ニューラルネットワークの入力へ与えられた
一つの変数の関数から各々が導かれる複数の第1値を計
算するための複数のノード401,402を有する第1
処理層を含む。第2処理層は第1処理層により提供され
た複数の第1値の部分集合の和の関数を各々が計算する
ための複数のノード410〜419を含む。本ニューラ
ルネットワークは、さらに、第2処理層を第3処理層に
結合する学習可能な相互接続層425を含む。本ニュー
ラルネットワークは、さらに、第2処理層の複数のノー
ド410〜419により計算された重み付けした値の和
を計算するための第3処理層を含み、学習可能な相互接
続層425により第3処理層が第2処理層の複数のノー
ド410〜419に結合される。
ためと、組合せを各々から分離するための学習可能な単
層の重み付けを有する改良されたニューラルネットワー
クを得ること。 【構成】 ニューラルネットワークの入力へ与えられた
一つの変数の関数から各々が導かれる複数の第1値を計
算するための複数のノード401,402を有する第1
処理層を含む。第2処理層は第1処理層により提供され
た複数の第1値の部分集合の和の関数を各々が計算する
ための複数のノード410〜419を含む。本ニューラ
ルネットワークは、さらに、第2処理層を第3処理層に
結合する学習可能な相互接続層425を含む。本ニュー
ラルネットワークは、さらに、第2処理層の複数のノー
ド410〜419により計算された重み付けした値の和
を計算するための第3処理層を含み、学習可能な相互接
続層425により第3処理層が第2処理層の複数のノー
ド410〜419に結合される。
Description
【0001】
【産業上の利用分野】本発明は、連想記憶などの分野に
関し、より特定すれば、ニューラルネットワーク及びそ
の構成方法に関する。
関し、より特定すれば、ニューラルネットワーク及びそ
の構成方法に関する。
【0002】
【従来の技術】ニューラルネットワークは、例えば、入
力パターンが基準となるパターンを含むものとして認識
されるか又は認識されないかといったパターン認識の問
題で、また、例えば、信号をノイズから分離する問題
で、2組のデータを相互に分離するための周知の機構を
提供した。これらの問題を解決する上で、ニューラルネ
ットワークはデータを分離する見掛けを構築することに
よって2組のデータを解析するものと見做すことができ
る。組の分離の問題を解決するためのこの方法は、一つ
の変数の関数である点の線形に分離可能な組の例におい
てはそれほど困難ではない。データの点を分離する境界
面が複数の変数の関数、特に非線形関数であるとき、デ
ータの組の分離は大幅に複雑さを増すようになる。こう
した状況は普遍的であり、しばしば未知の分析形態を有
する非線形多変数関数の解法を必要とするのが常であ
る。
力パターンが基準となるパターンを含むものとして認識
されるか又は認識されないかといったパターン認識の問
題で、また、例えば、信号をノイズから分離する問題
で、2組のデータを相互に分離するための周知の機構を
提供した。これらの問題を解決する上で、ニューラルネ
ットワークはデータを分離する見掛けを構築することに
よって2組のデータを解析するものと見做すことができ
る。組の分離の問題を解決するためのこの方法は、一つ
の変数の関数である点の線形に分離可能な組の例におい
てはそれほど困難ではない。データの点を分離する境界
面が複数の変数の関数、特に非線形関数であるとき、デ
ータの組の分離は大幅に複雑さを増すようになる。こう
した状況は普遍的であり、しばしば未知の分析形態を有
する非線形多変数関数の解法を必要とするのが常であ
る。
【0003】2組を相互に分離する在来のニューラルネ
ットワーク手法及びこれ以外に非線形多変数関数を計算
するための方法は、誤差後ろ向き伝播を用いて学習する
学習可能な(適応可能な)、少なくとも2層の重み付け
を含む多層ネットワークを用いることで、これはニュー
ラルネットワーク技術において周知のパラダイムになっ
ている。例えば、ジュディス・E・ディホフ(Judith
E. Dayhoff)著、「ニューラルネットワーク・アーキ
テクチャ(Neural Network Architectures)」 ヴァ
ン・ノストランド・ラインホルド刊、ニューヨーク19
90年を参照されたい。誤差後ろ向き伝播を用いて学習
した学習可能な多層の重みを含むニューラルネットワー
クが、非線形多変数関数に関する問題の解明に効率的か
つ正確な解答を得ることが時々あるとしても、こうした
ニューラルネットワークでは計算面の負担が大きく十分
な正確度を提供し得ないこともしばしばである。
ットワーク手法及びこれ以外に非線形多変数関数を計算
するための方法は、誤差後ろ向き伝播を用いて学習する
学習可能な(適応可能な)、少なくとも2層の重み付け
を含む多層ネットワークを用いることで、これはニュー
ラルネットワーク技術において周知のパラダイムになっ
ている。例えば、ジュディス・E・ディホフ(Judith
E. Dayhoff)著、「ニューラルネットワーク・アーキ
テクチャ(Neural Network Architectures)」 ヴァ
ン・ノストランド・ラインホルド刊、ニューヨーク19
90年を参照されたい。誤差後ろ向き伝播を用いて学習
した学習可能な多層の重みを含むニューラルネットワー
クが、非線形多変数関数に関する問題の解明に効率的か
つ正確な解答を得ることが時々あるとしても、こうした
ニューラルネットワークでは計算面の負担が大きく十分
な正確度を提供し得ないこともしばしばである。
【0004】誤差後ろ向き伝播(単に、「バックプロパ
ゲーション」とも称する)により学習した学習可能な多
層の重みを含むニューラルネットワークは、こうしたニ
ューラルネットワークの学習のために膨大な計算資源を
必要とする。これらの問題は十分に記述されている。ま
た、ニューラルネットワーク内部の処理ノードの隠れた
層について必要とされる学習から発生することが殆どで
ある。このようなニューラルネットワークでさらに重要
な欠点は、おそらくエネルギー(エネルギーの大きさ)
平面における大域的極小に収束させることができないネ
ットワークの無力さに起因することが多い不十分な正確
さである。エネルギー平面の複雑さはN次元空間におけ
る関数表面形状から直接得られるものである。
ゲーション」とも称する)により学習した学習可能な多
層の重みを含むニューラルネットワークは、こうしたニ
ューラルネットワークの学習のために膨大な計算資源を
必要とする。これらの問題は十分に記述されている。ま
た、ニューラルネットワーク内部の処理ノードの隠れた
層について必要とされる学習から発生することが殆どで
ある。このようなニューラルネットワークでさらに重要
な欠点は、おそらくエネルギー(エネルギーの大きさ)
平面における大域的極小に収束させることができないネ
ットワークの無力さに起因することが多い不十分な正確
さである。エネルギー平面の複雑さはN次元空間におけ
る関数表面形状から直接得られるものである。
【0005】図1では、少なくとも2層の学習可能な重
み、例えば、相互接続されている層I1及びI2などを
含む周知の多層ニューラルネットワークを示す。I3も
学習可能な重みを有する相互接続層の一つとしてよい。
図1に示したニューラルネットワークはP1,P2,P
3,P4などのニューロン処理ノードを含む4つの処理
層を含む。処理層P1は通常入力層と称され、処理層P
4は通常出力層と称される。入力層P1はノード10〜
14を含み、処理層P2はニューロンのノード20〜2
3を含むのが解る。処理層P2は通常隠蔽層と称されて
おり、このような隠蔽層がネットワークの学習のために
多くの剰余計算ステップを必要とし、また、そのために
誤差後ろ向き伝播を用いる多層ニューラルネットワーク
の学習を難しいものにしている。
み、例えば、相互接続されている層I1及びI2などを
含む周知の多層ニューラルネットワークを示す。I3も
学習可能な重みを有する相互接続層の一つとしてよい。
図1に示したニューラルネットワークはP1,P2,P
3,P4などのニューロン処理ノードを含む4つの処理
層を含む。処理層P1は通常入力層と称され、処理層P
4は通常出力層と称される。入力層P1はノード10〜
14を含み、処理層P2はニューロンのノード20〜2
3を含むのが解る。処理層P2は通常隠蔽層と称されて
おり、このような隠蔽層がネットワークの学習のために
多くの剰余計算ステップを必要とし、また、そのために
誤差後ろ向き伝播を用いる多層ニューラルネットワーク
の学習を難しいものにしている。
【0006】図2は縦軸61がニューラルネットワーク
のエネルギー又は誤差を表わし、横軸60が図1に示し
た層I2などの特定の相互接続層内部の各種の重みの内
の「一つ」を表わすような2次元における「エネルギー
平面」を図示したものである。図2の曲線上の点51が
大域的極小を表わし、また、点53及び56が局部的極
小を表わすのが望ましい。学習可能な相互接続の重みの
多層を含むニューラルネットワークは大域的極小への収
束を行なわないことが多いが、むしろ「エネルギー平
面」のN次元における関数表面の形状の複雑さにより、
例えば、点53,56などの局部的極小への収束を行な
うことになる。
のエネルギー又は誤差を表わし、横軸60が図1に示し
た層I2などの特定の相互接続層内部の各種の重みの内
の「一つ」を表わすような2次元における「エネルギー
平面」を図示したものである。図2の曲線上の点51が
大域的極小を表わし、また、点53及び56が局部的極
小を表わすのが望ましい。学習可能な相互接続の重みの
多層を含むニューラルネットワークは大域的極小への収
束を行なわないことが多いが、むしろ「エネルギー平
面」のN次元における関数表面の形状の複雑さにより、
例えば、点53,56などの局部的極小への収束を行な
うことになる。
【0007】
【発明が解決しようとする課題】よって、例えば、重み
について選択した初期値が適切な範囲内ではない場合、
ニューラルネットワークは、通常、大域的極小へ収束し
ない。大域的極小を見つけるようにニューラルネットワ
ークを強制して動かすような試みもなされてきたが、こ
うした試みはしばしば失敗し(誤差後ろ向き伝播技術の
機能とエネルギー平面の複雑さが原因)、また、学習可
能な多層の重みを有するニューラルネットワークを学習
するためにさらに大きな計算資源を必要とする。
について選択した初期値が適切な範囲内ではない場合、
ニューラルネットワークは、通常、大域的極小へ収束し
ない。大域的極小を見つけるようにニューラルネットワ
ークを強制して動かすような試みもなされてきたが、こ
うした試みはしばしば失敗し(誤差後ろ向き伝播技術の
機能とエネルギー平面の複雑さが原因)、また、学習可
能な多層の重みを有するニューラルネットワークを学習
するためにさらに大きな計算資源を必要とする。
【0008】本発明の目的は、(パターン認識などの用
途のために)2組の値を相互に分離するためと非線形多
変数関数の解法を表わす値を提供するために改良された
ニューラルネットワークを提供することである。本発明
の別の目的は、非線形多変数関数の解法を表わす値を提
供するためと、2組を各々から相互に分離するための単
層の学習可能な重みを有するニューラルネットワークを
提供することでもある。本発明のさらなる目的は、必要
とする計算資源を少なくして各々相互から2組の分離を
なし、また、一層有効かつ正確な非線形多変数関数の解
法の導出をなすような単層の学習可能な重みを有するよ
うに改良されたニューラルネットワーク及びその構成方
法を提供することである。
途のために)2組の値を相互に分離するためと非線形多
変数関数の解法を表わす値を提供するために改良された
ニューラルネットワークを提供することである。本発明
の別の目的は、非線形多変数関数の解法を表わす値を提
供するためと、2組を各々から相互に分離するための単
層の学習可能な重みを有するニューラルネットワークを
提供することでもある。本発明のさらなる目的は、必要
とする計算資源を少なくして各々相互から2組の分離を
なし、また、一層有効かつ正確な非線形多変数関数の解
法の導出をなすような単層の学習可能な重みを有するよ
うに改良されたニューラルネットワーク及びその構成方
法を提供することである。
【0009】
【発明の概要】本発明は、N個なる複数の変数(X1〜
XN)を有する非線形多変数関数を表わす値を提供する
ために単層の学習可能な重みを有するニューラルネット
ワークに関する。本発明のニューラルネットワークは、
入力を受信するための入力手段と、第1処理層と、学習
可能な相互接続層と単一のニューロンノードによる第2
処理層とからなる。学習可能な相互接続層は、通常、複
数のニューロンノードからなる第1処理層を第2処理層
に接続する。入力手段は一つの変数“N”が複数の変数
関数における変数量を表わすような一つの変数の関数の
計算から得られた値を受信する。第1処理層は、入力手
段により受信された値の下位分類の和の関数を各々が計
算するような複数の処理ノード(ニューロンノード)を
含む。第1処理層の各ノードの出力は、学習可能な相互
接続層により重み付けがなされ、また、第2処理層は、
第1処理層からの重み付け出力を加算する。学習可能な
相互接続層の重みは、単一の学習可能な層を有する正帰
還ニューラルネットワークを学習するための通常の方法
で学習される。
XN)を有する非線形多変数関数を表わす値を提供する
ために単層の学習可能な重みを有するニューラルネット
ワークに関する。本発明のニューラルネットワークは、
入力を受信するための入力手段と、第1処理層と、学習
可能な相互接続層と単一のニューロンノードによる第2
処理層とからなる。学習可能な相互接続層は、通常、複
数のニューロンノードからなる第1処理層を第2処理層
に接続する。入力手段は一つの変数“N”が複数の変数
関数における変数量を表わすような一つの変数の関数の
計算から得られた値を受信する。第1処理層は、入力手
段により受信された値の下位分類の和の関数を各々が計
算するような複数の処理ノード(ニューロンノード)を
含む。第1処理層の各ノードの出力は、学習可能な相互
接続層により重み付けがなされ、また、第2処理層は、
第1処理層からの重み付け出力を加算する。学習可能な
相互接続層の重みは、単一の学習可能な層を有する正帰
還ニューラルネットワークを学習するための通常の方法
で学習される。
【0010】ここに、例えばニューラルネットワーク
は、複数の入力の各々が各々の変数の値の入力を受信す
るようになしてある全てのN変数についての複数の入力
を受信するための入力手段と、第1のノード層(ノード
手段)であって入力手段に結合されており多変数関数に
おける変数の数を表わすNが変数であるような一つの変
数の関数の値を所定の入力の一つに与えられた場合にこ
の層内の各々のノード手段で計算するための第1処理層
と、第1のノード層に結合された第2のノード層(ノー
ド手段)であって各ノードが第1処理層で計算された幾
つかの値の合計に基づいて一つの値を計算するようにな
した第2処理層と、この第2処理層で計算された各々の
値について重み付けの値を提供して学習可能な相互接続
手段が複数の重み付けの値を提供するようになしてある
ような第2処理層に結合されている学習可能な相互接続
層と、学習可能な相互接続手段により第2処理層内の各
ノードに結合された単一ノード(ノード手段)よりなる
層であって学習可能な相互接続層からの複数の重み付け
の値の和を計算するための第3処理層を含む。本ニュー
ラルネットワークは、非線形多変数関数の既知の値を変
数の既知の入力値に用いることで学習される。学習は学
習可能な単層の重みを有する在来の正帰還ニューラルネ
ットワークを学習する標準的方法で完了する。
は、複数の入力の各々が各々の変数の値の入力を受信す
るようになしてある全てのN変数についての複数の入力
を受信するための入力手段と、第1のノード層(ノード
手段)であって入力手段に結合されており多変数関数に
おける変数の数を表わすNが変数であるような一つの変
数の関数の値を所定の入力の一つに与えられた場合にこ
の層内の各々のノード手段で計算するための第1処理層
と、第1のノード層に結合された第2のノード層(ノー
ド手段)であって各ノードが第1処理層で計算された幾
つかの値の合計に基づいて一つの値を計算するようにな
した第2処理層と、この第2処理層で計算された各々の
値について重み付けの値を提供して学習可能な相互接続
手段が複数の重み付けの値を提供するようになしてある
ような第2処理層に結合されている学習可能な相互接続
層と、学習可能な相互接続手段により第2処理層内の各
ノードに結合された単一ノード(ノード手段)よりなる
層であって学習可能な相互接続層からの複数の重み付け
の値の和を計算するための第3処理層を含む。本ニュー
ラルネットワークは、非線形多変数関数の既知の値を変
数の既知の入力値に用いることで学習される。学習は学
習可能な単層の重みを有する在来の正帰還ニューラルネ
ットワークを学習する標準的方法で完了する。
【0011】本発明のニューラルネットワークが、ニュ
ーラルネットワークを実現する一般的な方法の何れか
で、例えば、ソフトウェアによって又はソフトウェアと
ハードウェアの組合せによって実現し得ることは当業者
には理解されよう。本発明が本発明の教示に従って組立
てられた在来のニューラルネットワークハードウェア回
路を用いて完全にハードウェアとして実現し得ることも
理解されよう。
ーラルネットワークを実現する一般的な方法の何れか
で、例えば、ソフトウェアによって又はソフトウェアと
ハードウェアの組合せによって実現し得ることは当業者
には理解されよう。本発明が本発明の教示に従って組立
てられた在来のニューラルネットワークハードウェア回
路を用いて完全にハードウェアとして実現し得ることも
理解されよう。
【0012】
【実施例】図4及び図5では図3に図示した処理に従っ
て構築した本発明のニューラルネットワークが図示して
あり、これは本発明によるニューラルネットワークを構
築するための方法の一般的フローチャートを示したもの
である。図3に図示したように、本発明によるニューラ
ルネットワークを構築する過程は特定の多変数関数、例
えば、F(X1〜XN)の変数の決定及び変数の数Nの決
定に関係するステップ301から始まる。本発明のニュ
ーラルネットワークを学習するためには、ステップ30
2において変数X1〜XNの幾つかの既知の入力値につい
て多変数関数の既知の値が作られる必要がある。変数の
数Nの決定後、その変数の数の関数(“Ψ”)が後述す
るようにステップ303で分析的に決定される。次に、
ステップ304で単層の学習可能な相互接続した重みを
有するニューラルネットワークが各種の変数値の入力値
を与えられた一つの変数の関数を計算する第1処理層を
提供することにより、また、第1処理層において計算し
た各々の値についての重み付けの値を提供するための学
習可能な相互接続手段を提供することにより、さらに、
重み付けした値を受信するために学習可能な相互接続層
手段により第1のノードの処理層に結合されている層の
第2処理層を提供することにより構築されている。
て構築した本発明のニューラルネットワークが図示して
あり、これは本発明によるニューラルネットワークを構
築するための方法の一般的フローチャートを示したもの
である。図3に図示したように、本発明によるニューラ
ルネットワークを構築する過程は特定の多変数関数、例
えば、F(X1〜XN)の変数の決定及び変数の数Nの決
定に関係するステップ301から始まる。本発明のニュ
ーラルネットワークを学習するためには、ステップ30
2において変数X1〜XNの幾つかの既知の入力値につい
て多変数関数の既知の値が作られる必要がある。変数の
数Nの決定後、その変数の数の関数(“Ψ”)が後述す
るようにステップ303で分析的に決定される。次に、
ステップ304で単層の学習可能な相互接続した重みを
有するニューラルネットワークが各種の変数値の入力値
を与えられた一つの変数の関数を計算する第1処理層を
提供することにより、また、第1処理層において計算し
た各々の値についての重み付けの値を提供するための学
習可能な相互接続手段を提供することにより、さらに、
重み付けした値を受信するために学習可能な相互接続層
手段により第1のノードの処理層に結合されている層の
第2処理層を提供することにより構築されている。
【0013】図4は、このステップ304の方法で構築
したニューラルネットワークの実施例を示したものであ
る。ステップ305において、構築されたばかりのニュ
ーラルネットワークは、既知の入力に関数F(X1〜
XN)の既知の値を用いる正帰還ニューラルネットワー
クでの標準的学習技術を用いて学習される。これによ
り、学習可能な相互接続手段内の重みの値が変更され、
第2処理層において計算された関数が、組の分離の問題
の解法の表現を正確に提供するように又は非線形多変数
関数の解法を提供するようになされる。学習ステップの
後、ステップ306でニューラルネットワークは、ニュ
ーラルネットワークの利用者が提供する所定の入力を用
いて関数の未知の点で多変数関数の解法を提供するため
に用いられる。組の分離の問題と多変数関数は既知の分
析的形状を有する関数によって記述し得ないことは理解
されよう。しかし、本発明のニューラルネットワーク
は、こうした関数の解法を表わす十分に正確な値を提供
するものである。さらに、本発明のネットワークはネッ
トワークの変更(例えば、変数の数を変更するなど)が
要求される場合に容易に再学習することが可能で、再学
習に相当量の計算資源を要求する従来技術のニューラル
ネットワークとは異なっている。これは、ネットワーク
の再学習が難しく高価な“分野において”使用されてい
る従来技術のネットワークに対する大きな長所を提供す
るものである。
したニューラルネットワークの実施例を示したものであ
る。ステップ305において、構築されたばかりのニュ
ーラルネットワークは、既知の入力に関数F(X1〜
XN)の既知の値を用いる正帰還ニューラルネットワー
クでの標準的学習技術を用いて学習される。これによ
り、学習可能な相互接続手段内の重みの値が変更され、
第2処理層において計算された関数が、組の分離の問題
の解法の表現を正確に提供するように又は非線形多変数
関数の解法を提供するようになされる。学習ステップの
後、ステップ306でニューラルネットワークは、ニュ
ーラルネットワークの利用者が提供する所定の入力を用
いて関数の未知の点で多変数関数の解法を提供するため
に用いられる。組の分離の問題と多変数関数は既知の分
析的形状を有する関数によって記述し得ないことは理解
されよう。しかし、本発明のニューラルネットワーク
は、こうした関数の解法を表わす十分に正確な値を提供
するものである。さらに、本発明のネットワークはネッ
トワークの変更(例えば、変数の数を変更するなど)が
要求される場合に容易に再学習することが可能で、再学
習に相当量の計算資源を要求する従来技術のニューラル
ネットワークとは異なっている。これは、ネットワーク
の再学習が難しく高価な“分野において”使用されてい
る従来技術のネットワークに対する大きな長所を提供す
るものである。
【0014】変数Nの任意の連続する関数F(X1〜
Xn)が、一方が原始関数F(X1〜Xn)における変数
の数(N)にのみ依存しているような一つの変数の2つ
の関数だけの書換えによって表現し得ることは公知であ
る。例えば、スプレッチャー(Sprecher, D.A.)の
「複数変数の連続関数の構造について(On the Struc
ture of continuous Functions of Several Variabl
es)」、アメリカ数学会誌115号、340〜355頁
を参照されたい。また、その他のスプレッチャーの出版
物も参照されたい。より特定すれば、関数F(X1〜
Xn)は(1)式のように表現されることが周知であ
る。
Xn)が、一方が原始関数F(X1〜Xn)における変数
の数(N)にのみ依存しているような一つの変数の2つ
の関数だけの書換えによって表現し得ることは公知であ
る。例えば、スプレッチャー(Sprecher, D.A.)の
「複数変数の連続関数の構造について(On the Struc
ture of continuous Functions of Several Variabl
es)」、アメリカ数学会誌115号、340〜355頁
を参照されたい。また、その他のスプレッチャーの出版
物も参照されたい。より特定すれば、関数F(X1〜
Xn)は(1)式のように表現されることが周知であ
る。
【数1】
【0015】ここで、各々の整数N≧2について、Ψが
Nに依存しNが、2≦n≦Nとなるようなnについての
上限の、実数で一様に増加する関数Ψ(X)∈Lip[ln
2/ln(2N+2)]が存在し、また、関数Ψへの入力は
単位間隔(即ち、0≦入力≦1)の範囲内で単位間隔E
の出力を生成する、即ち、Ψ(E)=Eである。ここで、 ・0<ε<δ(δは予め割当ててある数、δ>0) ・λは関数F(X1〜Xn)とは独立した定数 ・0≦Xp≦1(即ち、入力変数X1〜Xnは単位間隔内
に収まるように標準化される) ・χは実数の連続した関数 ・Lip[α]はψの領域内で全てのxとyについて、
条件
Nに依存しNが、2≦n≦Nとなるようなnについての
上限の、実数で一様に増加する関数Ψ(X)∈Lip[ln
2/ln(2N+2)]が存在し、また、関数Ψへの入力は
単位間隔(即ち、0≦入力≦1)の範囲内で単位間隔E
の出力を生成する、即ち、Ψ(E)=Eである。ここで、 ・0<ε<δ(δは予め割当ててある数、δ>0) ・λは関数F(X1〜Xn)とは独立した定数 ・0≦Xp≦1(即ち、入力変数X1〜Xnは単位間隔内
に収まるように標準化される) ・χは実数の連続した関数 ・Lip[α]はψの領域内で全てのxとyについて、
条件
【数2】 を満たす関数ψのクラスである。
【0016】Ψを決定する方法が用意されており(例え
ば、スプレッチャー、スープラ(Supra)を参照)、以
下にΨを決定するための例を示す。定数λは度数nの代
数的量であり多項の度数nの根に基づく。例えば、N=
2,λ=√2/2=0.70711〜の場合がそれであ
る。値εも定数であるが正確性を改善するために以下に
述べるように変更してもよい。ネットワークの学習で、
λに割当てた値を考慮することができるため、λが正確
に固定されなくてもよいことに注意されたい。関数Ψが
関数F(X1〜Xn)から独立しており、関数F(X1〜Xn)
の引数(変数)の数の上限をなすNにのみ依存する。こ
れは、範囲2≦n≦Nのあらゆる所定のnについて、ま
た、n変数のあらゆる関数F(X1〜Xn)について、関
数Ψが同一であることを意味している。関数Ψが一つの
変数だけを有しており、χの計算までに決定することが
可能であり、また、χが一つの変数の関数でもあること
も重要である。関数ΨがN=4について同じ値をとり、
また、N=5について別の値をとるが、これらの値の双
方が3つの変数(即ち、n=3)をとる関数Fの決定に
用い得ることに注意することも重要である。当然のこと
として、この条件下では、Fの値を決定するためにΨ
(4)又はΨ(5)を用いることで、同一のFについて異な
るχの値が導かれる。言い換えると、関数ΨがN=5に
ついて計算された場合、その関数はn=5又はn=4又
はn=3又はn=2について用いることができると言う
ことになる。
ば、スプレッチャー、スープラ(Supra)を参照)、以
下にΨを決定するための例を示す。定数λは度数nの代
数的量であり多項の度数nの根に基づく。例えば、N=
2,λ=√2/2=0.70711〜の場合がそれであ
る。値εも定数であるが正確性を改善するために以下に
述べるように変更してもよい。ネットワークの学習で、
λに割当てた値を考慮することができるため、λが正確
に固定されなくてもよいことに注意されたい。関数Ψが
関数F(X1〜Xn)から独立しており、関数F(X1〜Xn)
の引数(変数)の数の上限をなすNにのみ依存する。こ
れは、範囲2≦n≦Nのあらゆる所定のnについて、ま
た、n変数のあらゆる関数F(X1〜Xn)について、関
数Ψが同一であることを意味している。関数Ψが一つの
変数だけを有しており、χの計算までに決定することが
可能であり、また、χが一つの変数の関数でもあること
も重要である。関数ΨがN=4について同じ値をとり、
また、N=5について別の値をとるが、これらの値の双
方が3つの変数(即ち、n=3)をとる関数Fの決定に
用い得ることに注意することも重要である。当然のこと
として、この条件下では、Fの値を決定するためにΨ
(4)又はΨ(5)を用いることで、同一のFについて異な
るχの値が導かれる。言い換えると、関数ΨがN=5に
ついて計算された場合、その関数はn=5又はn=4又
はn=3又はn=2について用いることができると言う
ことになる。
【0017】関数ΨがN変数の全ての関数について同一
であることが望ましい。例えば、関数Ψを例えばF=X
1*X2などの特定の関数でのN=2について求めること
が可能であり、この同じ関数Ψを2つの変数のあらゆる
連続関数の表現に用いることが可能である。これは、F
1 =X1+X2を意味しており、2つの変数の全ての他の
連続関数がF1 =X1*X2について計算した同じΨを用
いて表現し得ると言うことである。FとF1 の差分は、
関数χにより取込まれることになる。
であることが望ましい。例えば、関数Ψを例えばF=X
1*X2などの特定の関数でのN=2について求めること
が可能であり、この同じ関数Ψを2つの変数のあらゆる
連続関数の表現に用いることが可能である。これは、F
1 =X1+X2を意味しており、2つの変数の全ての他の
連続関数がF1 =X1*X2について計算した同じΨを用
いて表現し得ると言うことである。FとF1 の差分は、
関数χにより取込まれることになる。
【0018】本発明のニューラルネットワークにおい
て、関数Ψは分析的に計算され、一つの変数の関数でも
あり、典型的なニューロン処理ノードのシグモイド変数
により表現し得る関数χが求められるのが望ましい。学
習可能な相互接続層が関数χを計算するニューラルネッ
トワークの出力に適応可能な重みを与えて、本発明のニ
ューラルネットワークの出力を生成する。2つの変数
(X1及びX2)の関数についての特定の例を以下に解説
する。
て、関数Ψは分析的に計算され、一つの変数の関数でも
あり、典型的なニューロン処理ノードのシグモイド変数
により表現し得る関数χが求められるのが望ましい。学
習可能な相互接続層が関数χを計算するニューラルネッ
トワークの出力に適応可能な重みを与えて、本発明のニ
ューラルネットワークの出力を生成する。2つの変数
(X1及びX2)の関数についての特定の例を以下に解説
する。
【0019】図4及び図5は、本発明のニューラルネッ
トワークの実施例を示し、例えばF(X1,X2)=X1*
X2(*は乗算を表わす)などの2つの変数(n=2)
の何らかの非線形関数の解を表わす値を提供する。この
場合、関数Fは上式(1)を拡張することにより、次の
ように、 F(X1,X2)=X1*X2 =χ[λΨ(X1)+λ2Ψ(X2)] +χ[λΨ(X1+ε)+λ2Ψ(X2+ε)+1] +χ[λΨ(X1+2ε)+λ2Ψ(X2+2ε)+2] +χ[λΨ(X1+3ε)+λ2Ψ(X2+3ε)+3] +χ[λΨ(X1+4ε)+λ2Ψ(X2+4ε)+4] +〜 表わしてもよい。
トワークの実施例を示し、例えばF(X1,X2)=X1*
X2(*は乗算を表わす)などの2つの変数(n=2)
の何らかの非線形関数の解を表わす値を提供する。この
場合、関数Fは上式(1)を拡張することにより、次の
ように、 F(X1,X2)=X1*X2 =χ[λΨ(X1)+λ2Ψ(X2)] +χ[λΨ(X1+ε)+λ2Ψ(X2+ε)+1] +χ[λΨ(X1+2ε)+λ2Ψ(X2+2ε)+2] +χ[λΨ(X1+3ε)+λ2Ψ(X2+3ε)+3] +χ[λΨ(X1+4ε)+λ2Ψ(X2+4ε)+4] +〜 表わしてもよい。
【0020】これは、また次のように、 F(X1,X2)=χ0 +χ1 +χ2 +χ3 +χ4 として書き直すことができる。ここで、 χ0 =χ[λΨ(X1)+λ2Ψ(X2)], χ1 =χ[λΨ(X1+ε)+λ2Ψ(X2+ε)+1], χ2 =… のように置換したものである。
【0021】図5は、n=2として本発明のニューラル
ネットワークの簡略版を示している。図5のニューラル
ネットワーク500は、入力手段(受信手段501〜5
10よりなる)と、第1処理層(処理ノード515,5
20,525,530,535よりなる)と、学習可能
な相互接続層(相互接続手段540,541,542,
543,544よりなる)と、ノード550よりなる第
2処理層を含む。学習可能な相互接続層は第1処理層
(ノード515〜535)を第2処理層(ノード55
0)へ結合する。入力手段が一つの変数の関数の計算か
ら得られた多変数関数の変数の個数をなす値を受け取
る。第1処理層は通常複数の処理ノード(例えば、ニュ
ーロンノード)を含み、その各々が入力手段の受け取っ
た値の部分集合の和の関数を計算する。第1処理層の各
ノードの出力は学習可能な相互接続層により重みが付け
られ、第2処理層が学習可能な相互接続層により提供さ
れた重み付けした値の和を決定する。学習可能な相互接
続層の重みは、単一の学習層を有する正帰還ニューラル
ネットワークで標準的な方法により学習される。
ネットワークの簡略版を示している。図5のニューラル
ネットワーク500は、入力手段(受信手段501〜5
10よりなる)と、第1処理層(処理ノード515,5
20,525,530,535よりなる)と、学習可能
な相互接続層(相互接続手段540,541,542,
543,544よりなる)と、ノード550よりなる第
2処理層を含む。学習可能な相互接続層は第1処理層
(ノード515〜535)を第2処理層(ノード55
0)へ結合する。入力手段が一つの変数の関数の計算か
ら得られた多変数関数の変数の個数をなす値を受け取
る。第1処理層は通常複数の処理ノード(例えば、ニュ
ーロンノード)を含み、その各々が入力手段の受け取っ
た値の部分集合の和の関数を計算する。第1処理層の各
ノードの出力は学習可能な相互接続層により重みが付け
られ、第2処理層が学習可能な相互接続層により提供さ
れた重み付けした値の和を決定する。学習可能な相互接
続層の重みは、単一の学習層を有する正帰還ニューラル
ネットワークで標準的な方法により学習される。
【0022】図4に図示したように、本発明のニューラ
ルネットワークは4つの処理層と3つの相互接続層を含
んでも良い。相互接続手段440〜444を含む相互接
続層445は学習可能な(適用可能な)重みを含む唯一
の層である。相互接続層405及び425は本発明の好
適実施例においては学習されないものとする。
ルネットワークは4つの処理層と3つの相互接続層を含
んでも良い。相互接続手段440〜444を含む相互接
続層445は学習可能な(適用可能な)重みを含む唯一
の層である。相互接続層405及び425は本発明の好
適実施例においては学習されないものとする。
【0023】処理ノードの第1処理層はノード401及
び402を含み、主として2つの変数X1 及びX2 につ
いて入力値の受信と配分の目的に供される。これらのノ
ード401及び402は入力値を受信し、これらの値を
扇状にノード410〜419からなるニューラルネット
ワークの第2処理層の処理ノードへ提供する。つまり、
例えば、ノード401は変数X1 についての入力値をノ
ード410,412,414へ各々相互接続手段405
a,405b,405cを経由して提供する。この第1
処理層(ノード401及び402)は、半導体メモリな
どの標準的なコンピュータ・メモリ手段を用いて実現し
得るものであるが、入力が第2処理層に直接供給し得る
なら必要とされないことが望ましい。例えば、処理ノー
ド410などの第2処理層における処理ノードは変数の
一つについての入力値の一つが与えられた関数Ψの計算
を実行する。よって、例えば、ノード410はΨ(X
1 )を計算し、ノード412はΨ(X1 +ε)を計算す
る。相互接続層425は図4の第2のノード層(ノード
410〜419よりなる)とノード430〜434を含
む第3のノード層の間の接続を提供する。相互接続層4
25は相互接続手段425a〜425jを含む。図4の
第2処理層のノードは、処理の一部として例えばノード
412がλΨ(X1 +ε)を計算するか、又は、λΨ
(X1 +ε)+1を計算し得るように定数λ及び/又は
定数項1,2などに因数分解し得るのが望ましい。ま
た、図4に示したように本発明のニューラルネットワー
クの第3処理層への入力としてΨ関数の出力(図4の第
2処理層で計算される)が用いられるため、εの倍数が
Ψ関数について、また、その結果として第3処理層につ
いてバイアス定数項を構成し得るのが望ましい。ノード
430〜434よりなる第3処理層のニューロン処理ノ
ードは、入力が相互接続層425から提供され入力の既
知の和が与えられたχの値を決定する。χの層のノード
(ノード430〜434)は正弦波である必要はないが
正弦波でもよい。正弦波でない場合、これらは線形関数
である。標準的なニューロンノード処理技術を用い、図
4のニューラルネットワークの処理ノード430の一つ
を示す図8に示されている正弦波関数などの少なくとも
一つの正弦波関数により、χの値が近似し得る。ノード
430への入力は相互接続手段425a,425bとし
て図8に図示してある。相互接続手段425aがノード
430へ値λΨ(X1 )を提供し相互接続手段425b
がノード411〜ノード430により計算されたλ2 Ψ
(X2 )を提供するのが望ましい。処理ノード430は
次に相互接続手段425a,425bの双方からの入力
を加算し、この和をノード430に図示した正弦波関数
への入力として用い、これによって、χ0 を計算する。
図8に示した正弦波関数は、以下に示すように表わせる
一般的正弦波関数(「c」が通常1に等しいような)の
例であることが望ましい。
び402を含み、主として2つの変数X1 及びX2 につ
いて入力値の受信と配分の目的に供される。これらのノ
ード401及び402は入力値を受信し、これらの値を
扇状にノード410〜419からなるニューラルネット
ワークの第2処理層の処理ノードへ提供する。つまり、
例えば、ノード401は変数X1 についての入力値をノ
ード410,412,414へ各々相互接続手段405
a,405b,405cを経由して提供する。この第1
処理層(ノード401及び402)は、半導体メモリな
どの標準的なコンピュータ・メモリ手段を用いて実現し
得るものであるが、入力が第2処理層に直接供給し得る
なら必要とされないことが望ましい。例えば、処理ノー
ド410などの第2処理層における処理ノードは変数の
一つについての入力値の一つが与えられた関数Ψの計算
を実行する。よって、例えば、ノード410はΨ(X
1 )を計算し、ノード412はΨ(X1 +ε)を計算す
る。相互接続層425は図4の第2のノード層(ノード
410〜419よりなる)とノード430〜434を含
む第3のノード層の間の接続を提供する。相互接続層4
25は相互接続手段425a〜425jを含む。図4の
第2処理層のノードは、処理の一部として例えばノード
412がλΨ(X1 +ε)を計算するか、又は、λΨ
(X1 +ε)+1を計算し得るように定数λ及び/又は
定数項1,2などに因数分解し得るのが望ましい。ま
た、図4に示したように本発明のニューラルネットワー
クの第3処理層への入力としてΨ関数の出力(図4の第
2処理層で計算される)が用いられるため、εの倍数が
Ψ関数について、また、その結果として第3処理層につ
いてバイアス定数項を構成し得るのが望ましい。ノード
430〜434よりなる第3処理層のニューロン処理ノ
ードは、入力が相互接続層425から提供され入力の既
知の和が与えられたχの値を決定する。χの層のノード
(ノード430〜434)は正弦波である必要はないが
正弦波でもよい。正弦波でない場合、これらは線形関数
である。標準的なニューロンノード処理技術を用い、図
4のニューラルネットワークの処理ノード430の一つ
を示す図8に示されている正弦波関数などの少なくとも
一つの正弦波関数により、χの値が近似し得る。ノード
430への入力は相互接続手段425a,425bとし
て図8に図示してある。相互接続手段425aがノード
430へ値λΨ(X1 )を提供し相互接続手段425b
がノード411〜ノード430により計算されたλ2 Ψ
(X2 )を提供するのが望ましい。処理ノード430は
次に相互接続手段425a,425bの双方からの入力
を加算し、この和をノード430に図示した正弦波関数
への入力として用い、これによって、χ0 を計算する。
図8に示した正弦波関数は、以下に示すように表わせる
一般的正弦波関数(「c」が通常1に等しいような)の
例であることが望ましい。
【数3】
【0024】処理ノード431〜434はχ1 〜χ4 を
各々が評価して類似の計算を行なう。図4から、相互接
続層425が各々が一つの変数の関数である複数の値を
提供し、第3処理層(ノード430〜434)における
各ノードが部分集合がNの値よりなるこの複数の値の部
分集合の和の関数の値を提供することが理解されよう。
図4の第3処理層における各処理ニューロンノードへの
出力は相互接続層445の適切な相互接続を経て提供さ
れる。よって、例えば、ノード430の出力は相互接続
手段440から処理ノード450へ提供される。処理ノ
ード450は図4に図示したニューラルネットワークの
第3処理層の処理ノード5つ全ての重み付けした出力を
加算する。相互接続手段440〜444を含む相互接続
層445の相互接続における学習可能な重みは、通常の
方法で学習される。図4に示した形式のニューラルネッ
トワークにおいて、第3処理層には(2N+1)個のノ
ードが存在し、第2処理層には(2N+1)個のノード
が存在する。ここで、Nは変数の個数である。
各々が評価して類似の計算を行なう。図4から、相互接
続層425が各々が一つの変数の関数である複数の値を
提供し、第3処理層(ノード430〜434)における
各ノードが部分集合がNの値よりなるこの複数の値の部
分集合の和の関数の値を提供することが理解されよう。
図4の第3処理層における各処理ニューロンノードへの
出力は相互接続層445の適切な相互接続を経て提供さ
れる。よって、例えば、ノード430の出力は相互接続
手段440から処理ノード450へ提供される。処理ノ
ード450は図4に図示したニューラルネットワークの
第3処理層の処理ノード5つ全ての重み付けした出力を
加算する。相互接続手段440〜444を含む相互接続
層445の相互接続における学習可能な重みは、通常の
方法で学習される。図4に示した形式のニューラルネッ
トワークにおいて、第3処理層には(2N+1)個のノ
ードが存在し、第2処理層には(2N+1)個のノード
が存在する。ここで、Nは変数の個数である。
【0025】Ψを計算するための方法を以下に示す。こ
れは、スプレッチャー、スープラが記載した方法に基づ
いている。Ψは単位間隔に沿って間隔を定義する所定の
選択点でのxの値について計算され、x間の跳躍又は間
隔はニューラルネットワークの設計者が選択した所定の
kによって決まる。小さい間隔でのkの値が多いのは間
隔間の小さい跳躍を意味し(多くのΨの計算値を提供す
ることで)、より正確なニューラルネットワークを提供
する傾向にあるのが理解されよう。
れは、スプレッチャー、スープラが記載した方法に基づ
いている。Ψは単位間隔に沿って間隔を定義する所定の
選択点でのxの値について計算され、x間の跳躍又は間
隔はニューラルネットワークの設計者が選択した所定の
kによって決まる。小さい間隔でのkの値が多いのは間
隔間の小さい跳躍を意味し(多くのΨの計算値を提供す
ることで)、より正確なニューラルネットワークを提供
する傾向にあるのが理解されよう。
【0026】この方法は、n,k0 ,γ=2n+2,N
=nについて所定の値を有することから開始される。こ
こで、Nは“n”変数の最大数、k0 はΨ(x)決定の増
分法における最大ステップ数である。初期のステップに
おいて、次のことを仮定する。 (1)=0、かつ、β(1)=0、かつ、j(1)[i(1)] ここで、表現“(j)(1)[i(1)]”において、“1”
は“1”の関数iの関数、“1”のiは数1の関数を示
す。j(1)[i(1)]=0の設定において、Ψ(X=
0)=0と規定する。Ψ(Χ)が一つのXから次のXへ段
階的に反復して求められる。提示した方法は、直前のス
テップで得られた値に次のステップが依存するような再
帰的なものである。
=nについて所定の値を有することから開始される。こ
こで、Nは“n”変数の最大数、k0 はΨ(x)決定の増
分法における最大ステップ数である。初期のステップに
おいて、次のことを仮定する。 (1)=0、かつ、β(1)=0、かつ、j(1)[i(1)] ここで、表現“(j)(1)[i(1)]”において、“1”
は“1”の関数iの関数、“1”のiは数1の関数を示
す。j(1)[i(1)]=0の設定において、Ψ(X=
0)=0と規定する。Ψ(Χ)が一つのXから次のXへ段
階的に反復して求められる。提示した方法は、直前のス
テップで得られた値に次のステップが依存するような再
帰的なものである。
【0027】シーケンスにおけるK番目のステップにつ
いて、次のように仮定する。
いて、次のように仮定する。
【数4】 K番目のステップでは次のようになる。
【数5】
【0028】本明細書に解説した方法において、j(k)
の値はΨ(k)を表わしており、ある程度の範囲の全ての
i(k)について計算されることになる。例えば、K=2
であれば、i(k)={0,…,5}である。k+1<k
0 となる条件に先行する全てのステップについては、
の値はΨ(k)を表わしており、ある程度の範囲の全ての
i(k)について計算されることになる。例えば、K=2
であれば、i(k)={0,…,5}である。k+1<k
0 となる条件に先行する全てのステップについては、
【数6】 かつ、 αμ(k+1)=α(νγ+t)(k+1) を以下に示すように(*は乗算処理を表す)、以下に規
定する3つの式の一つによって決定することが可能で、
tとvによって変化する。
定する3つの式の一つによって決定することが可能で、
tとvによって変化する。
【数7】 又は
【数8】 又は
【数9】
【0029】前述の3つの式は、k=1及びk=k0 以
外の全てのステップについて、Ψ(x)を計算することに
なることに注意されたい。また、μ=0,1,…,γ^
k −1であり、j(k+1)=α0 (k+1),…,α
μ(k+1),…,α(γk-1)(k+1)であることに注意
されたい。最後のk番目のk0 の(k+1=k0 とな
る)ステップでは、次のような特定の値を有する。
外の全てのステップについて、Ψ(x)を計算することに
なることに注意されたい。また、μ=0,1,…,γ^
k −1であり、j(k+1)=α0 (k+1),…,α
μ(k+1),…,α(γk-1)(k+1)であることに注意
されたい。最後のk番目のk0 の(k+1=k0 とな
る)ステップでは、次のような特定の値を有する。
【0030】
【数10】 とすれば、 ε(k0)=(γ−2)*γ−β(k0+1) ただし、αμ(k0)=α(νγ+t)(k0) 以下に示すようなtとvに依存する3つの特定の値の一
つである。
つである。
【数11】 又は、
【数12】 又は、
【数13】 よって、 i(k0) → k0 なるXをセット j(k0) → k0 におけるΨ
【数14】
【外1】 が理解されよう。
【0031】図6及び図7は、n=2についての関数Ψ
のグラフ図を示す。Ψの正確な値は図6及び図7に印を
付けた点で評価され、それ以外の全ての点は2つの隣接
する点の間の線形補間により得られたものである。図7
は計算した値の増加した数からΨ関数が始まることを示
している。
のグラフ図を示す。Ψの正確な値は図6及び図7に印を
付けた点で評価され、それ以外の全ての点は2つの隣接
する点の間の線形補間により得られたものである。図7
は計算した値の増加した数からΨ関数が始まることを示
している。
【0032】本発明のニューラルネットワークは、単一
の学習可能な相互接続層を有するニューラルネットワー
クを学習する周知の方法で学習される。例えば、ε,λ
についての値及びシグモイド関数の「一つの」定数又は
複数定数についての値は予め選択してあり、Fの既知の
出力を有するFについての既知の入力がニューラルネッ
トワークに提供されて、ニューラルネットワークの出
力、例えば、図4のノード450において予想されたF
の値を提供するようになす。この出力値は関数Fの既知
の値に対して比較され、これらの値の差分が図4の相互
接続層445などの相互接続層の重みを変更するために
用いられる。このような重み付けの変更は、単層の学習
可能な相互接続層を有するニューラルネットワークにお
いて、重み付けを変更するための周知の方法で行なわれ
る。既知の出力を有する入力値を用い、本発明のニュー
ラルネットワークを介した複数の正帰還伝播と相互接続
層における重み付けの複数の接続の変更により、しばし
ば信頼性が低く計算量の多い誤差後ろ向き伝播技術によ
り学習されるニューラルネットワークに依存するのでは
なく、非線形の値の組を分離するために、又は、非線形
の多変量関数の解を表わす値を提供するために使用でき
る本発明による学習されたネットワークが得られること
になる。
の学習可能な相互接続層を有するニューラルネットワー
クを学習する周知の方法で学習される。例えば、ε,λ
についての値及びシグモイド関数の「一つの」定数又は
複数定数についての値は予め選択してあり、Fの既知の
出力を有するFについての既知の入力がニューラルネッ
トワークに提供されて、ニューラルネットワークの出
力、例えば、図4のノード450において予想されたF
の値を提供するようになす。この出力値は関数Fの既知
の値に対して比較され、これらの値の差分が図4の相互
接続層445などの相互接続層の重みを変更するために
用いられる。このような重み付けの変更は、単層の学習
可能な相互接続層を有するニューラルネットワークにお
いて、重み付けを変更するための周知の方法で行なわれ
る。既知の出力を有する入力値を用い、本発明のニュー
ラルネットワークを介した複数の正帰還伝播と相互接続
層における重み付けの複数の接続の変更により、しばし
ば信頼性が低く計算量の多い誤差後ろ向き伝播技術によ
り学習されるニューラルネットワークに依存するのでは
なく、非線形の値の組を分離するために、又は、非線形
の多変量関数の解を表わす値を提供するために使用でき
る本発明による学習されたネットワークが得られること
になる。
【0033】図9は本発明により学習されたニューラル
ネットワークから導いた3つのΧ関数のグラフ図であ
る。これらのΧ関数は、関数F=X1*X2について計算
されたものである。曲線901はX0 関数を表し、曲線
902及び曲線903は各々関数F=X1*X2について
X1関数及びX2関数を表している(上述の議論及び図4
を参照)。Χの値はk,m=0,…,35とする点
(X1,X2)=(k,m)/36で学習したニューラルネッ
トワークにより求められた。その他の全ての点でのΧの
値は、ニューラルネットワークにより求められた隣接す
る点の間の線形補間により得られている。図9に示した
各種のΧ関数を導出したネットワークを学習する際に用
いたεの値が0.0055であることが解る。
ネットワークから導いた3つのΧ関数のグラフ図であ
る。これらのΧ関数は、関数F=X1*X2について計算
されたものである。曲線901はX0 関数を表し、曲線
902及び曲線903は各々関数F=X1*X2について
X1関数及びX2関数を表している(上述の議論及び図4
を参照)。Χの値はk,m=0,…,35とする点
(X1,X2)=(k,m)/36で学習したニューラルネッ
トワークにより求められた。その他の全ての点でのΧの
値は、ニューラルネットワークにより求められた隣接す
る点の間の線形補間により得られている。図9に示した
各種のΧ関数を導出したネットワークを学習する際に用
いたεの値が0.0055であることが解る。
【0034】図10(a)(b)は、発明の学習したニュ
ーラルネットワークによる関数F=X1*X2についての
Fの点の値を決定する上での誤差を図示している。図1
0(a)は本発明のニューラルネットワークが学習され
た学習シーケンス中で用いられたのと同一の入力を用い
て学習したネットワークのテストから発生する誤差を示
す。このテストにおけるεが0.0055に設定されて
おり、k及びmが0,…,5であることに注意された
い。図10(a)に図示した学習テストはニューラルネ
ットワークが学習された後で行なわれた。
ーラルネットワークによる関数F=X1*X2についての
Fの点の値を決定する上での誤差を図示している。図1
0(a)は本発明のニューラルネットワークが学習され
た学習シーケンス中で用いられたのと同一の入力を用い
て学習したネットワークのテストから発生する誤差を示
す。このテストにおけるεが0.0055に設定されて
おり、k及びmが0,…,5であることに注意された
い。図10(a)に図示した学習テストはニューラルネ
ットワークが学習された後で行なわれた。
【0035】このテストは、ニューラルネットワークを
介してFの値を提供するためニューラルネットワークの
実際の学習の間に用いられたのと同一の入力値を再適用
することによっている。そのため、同一の点での値が関
数F=X1*X2から直接評価され、また、ニューラルネ
ットワークにより提供された値と関数の直接評価により
提供された値の間の誤差が図10(a)に図示したよう
に様々な点で計算された。y軸はこの学習テストの間に
ニューラルネットワークにより提供された関数Fの値が
式から直接計算した関数Fの値から偏倚する誤差を表わ
す。y軸上の値0.01は1%の誤差である。この誤差
は、関数を実際の関数Fに近似させているΧについての
シグモイド関数の正確度の欠如のために発生している。
図10(a)はX1及びX2の様々に異なる点について百
分率で誤差を示し、ここで、線1001など各々の線は
特定のX1 を表し、また、線に沿った点はそのX1 にお
ける別のX2 を表している。図10(b)はX1及びX2
の値がニューラルネットワークの学習中に用いられなか
った点で学習されたニューラルネットワークのテストシ
ーケンスを示す。図10(b)のy軸は、ここでもニュ
ーラルネットワークにより提供されたFの値と式F=X
1*X2から直接計算したFの値の間の誤差を表してお
り、y軸上の0.01は1%の誤差を表わす。曲線10
02など各々別個の曲線は特定のX1 での値を表し、ま
た、線に沿った点はそのX1 における別のX2 を表して
いる。図10(b)から本発明のニューラルネットワー
クの誤差は通常1%内外でありX2 の値が増加するにつ
れて誤差が大きくなることが解る。ニューラルネットワ
ークの正確度はΨの計算時に小さい増分を用いること
で、又は、Χを近似するために用いられるシグモイド関
数の数を増加させることにより改善し得る。例えば、図
8及び図4に図示したような、処理ノード当たり一つの
シグモイド関数(各々別個に計算したΧについて一つの
シグモイドが用いられる)を有する代りに、シグモイド
を上書きすることにより従来技術において周知のよう
に、一つのシグモイド関数を近似するために幾つかのシ
グモイド関数を用いることが可能である。例えば、G・
サイベンコ(G. Cybenko)の「シグモイド関数の上書
きによる近似(Approximation by Superposition of
a Sigmoidal Function)」、制御信号及びシステムの
数学(1989年)を参照されたい。また、バイアス定
数項εも変更可能であり、εの値を変更して再学習しネ
ットワークの正確度が改善されたかを決定するために、
そのニューラルネットワークを用いてテストを行なうこ
とが可能である。
介してFの値を提供するためニューラルネットワークの
実際の学習の間に用いられたのと同一の入力値を再適用
することによっている。そのため、同一の点での値が関
数F=X1*X2から直接評価され、また、ニューラルネ
ットワークにより提供された値と関数の直接評価により
提供された値の間の誤差が図10(a)に図示したよう
に様々な点で計算された。y軸はこの学習テストの間に
ニューラルネットワークにより提供された関数Fの値が
式から直接計算した関数Fの値から偏倚する誤差を表わ
す。y軸上の値0.01は1%の誤差である。この誤差
は、関数を実際の関数Fに近似させているΧについての
シグモイド関数の正確度の欠如のために発生している。
図10(a)はX1及びX2の様々に異なる点について百
分率で誤差を示し、ここで、線1001など各々の線は
特定のX1 を表し、また、線に沿った点はそのX1 にお
ける別のX2 を表している。図10(b)はX1及びX2
の値がニューラルネットワークの学習中に用いられなか
った点で学習されたニューラルネットワークのテストシ
ーケンスを示す。図10(b)のy軸は、ここでもニュ
ーラルネットワークにより提供されたFの値と式F=X
1*X2から直接計算したFの値の間の誤差を表してお
り、y軸上の0.01は1%の誤差を表わす。曲線10
02など各々別個の曲線は特定のX1 での値を表し、ま
た、線に沿った点はそのX1 における別のX2 を表して
いる。図10(b)から本発明のニューラルネットワー
クの誤差は通常1%内外でありX2 の値が増加するにつ
れて誤差が大きくなることが解る。ニューラルネットワ
ークの正確度はΨの計算時に小さい増分を用いること
で、又は、Χを近似するために用いられるシグモイド関
数の数を増加させることにより改善し得る。例えば、図
8及び図4に図示したような、処理ノード当たり一つの
シグモイド関数(各々別個に計算したΧについて一つの
シグモイドが用いられる)を有する代りに、シグモイド
を上書きすることにより従来技術において周知のよう
に、一つのシグモイド関数を近似するために幾つかのシ
グモイド関数を用いることが可能である。例えば、G・
サイベンコ(G. Cybenko)の「シグモイド関数の上書
きによる近似(Approximation by Superposition of
a Sigmoidal Function)」、制御信号及びシステムの
数学(1989年)を参照されたい。また、バイアス定
数項εも変更可能であり、εの値を変更して再学習しネ
ットワークの正確度が改善されたかを決定するために、
そのニューラルネットワークを用いてテストを行なうこ
とが可能である。
【0036】本発明のニューラルネットワークの別の好
適実施例は、Χの計算における誤差を減少するようなΧ
の表現における対称性を用いて実現してもよい。このよ
うなΧの対称表現は先に用いた式(1)の変更に基づく
ものである。即ち、次式のようになる。
適実施例は、Χの計算における誤差を減少するようなΧ
の表現における対称性を用いて実現してもよい。このよ
うなΧの対称表現は先に用いた式(1)の変更に基づく
ものである。即ち、次式のようになる。
【数15】
【0037】−nから+nまでの一連の値を有するqの
対称的な変化を実現するためには、図4に示した本発明
のニューラルネットワークの第2,第3処理層における
処理ノードの適切な変更が必要とされることになろう。
当業者には本開示及び図4と図5に関連する説明を参照
することで、ニューラルネットワークにはごくわずかの
変更が必要とされるだけであることが理解されよう。例
えば、処理ノード410はΨ(X1 )ではなく関数Ψ(X1
−2ε)の値を計算することになる。
対称的な変化を実現するためには、図4に示した本発明
のニューラルネットワークの第2,第3処理層における
処理ノードの適切な変更が必要とされることになろう。
当業者には本開示及び図4と図5に関連する説明を参照
することで、ニューラルネットワークにはごくわずかの
変更が必要とされるだけであることが理解されよう。例
えば、処理ノード410はΨ(X1 )ではなく関数Ψ(X1
−2ε)の値を計算することになる。
【0038】上述の説明では、定数項の値、関数の変数
の数及びその他の特定の詳細を含め、本発明の特定の好
適実施例を参照して解説したが、特許請求の範囲に述べ
るごとく、本発明の範囲を逸脱することなく本発明に多
くの変化及び変更が加え得ることは明らかである。従っ
て、本明細書及び添付の図面は制約的な意味合いではな
く解説的な意味合いで捉えるべきものである。本発明の
ニューラルネットワークは、ハードウェア及びソフトウ
ェアの組合せを用いるデジタル式コンピュータ上で通常
実現されて本発明のニューラルネットワークを提供する
ことになろう。それ以外では、本発明のニューラルネッ
トワークはハードウェアにおいてニューラルネットワー
クを構築する周知の技術により全体がハードウェアによ
って実現されてもよい。
の数及びその他の特定の詳細を含め、本発明の特定の好
適実施例を参照して解説したが、特許請求の範囲に述べ
るごとく、本発明の範囲を逸脱することなく本発明に多
くの変化及び変更が加え得ることは明らかである。従っ
て、本明細書及び添付の図面は制約的な意味合いではな
く解説的な意味合いで捉えるべきものである。本発明の
ニューラルネットワークは、ハードウェア及びソフトウ
ェアの組合せを用いるデジタル式コンピュータ上で通常
実現されて本発明のニューラルネットワークを提供する
ことになろう。それ以外では、本発明のニューラルネッ
トワークはハードウェアにおいてニューラルネットワー
クを構築する周知の技術により全体がハードウェアによ
って実現されてもよい。
【0039】
【発明の効果】本発明は、上述したようにN個の変数を
有する非線形多変数関数を表わす値を提供するために単
層の学習可能な重みを有するニューラルネットワークに
関し、入力を受信するための入力手段と、第1処理層
と、学習可能な相互接続層と単一のノードによる第2処
理層とからなり、学習可能な相互接続層を複数のノード
からなる第1処理層を第2処理層に接続するものとし、
入力手段は一つの変数が複数の変数関数における変数量
を表わすような一つの変数の関数の計算から得られた値
を受信するものとし、第1処理層は、入力手段により受
信された値の下位分類の和の関数を各々が計算するよう
な複数の処理ノードを含むものとし、第1処理層の各ノ
ードの出力は、学習可能な相互接続層により重み付けが
なされ、また、第2処理層は、第1処理層からの重み付
け出力を加算し、学習可能な相互接続層の重みは、単一
の学習可能な層を有する正帰還ニューラルネットワーク
を学習するための通常の方法で学習するように構成した
ので、例えば、パターン認識などの用途のために2組の
値を相互に分離するためと非線形多変数関数の解法を表
わす値を提供するために改良されたニューラルネットワ
ークを提供でき、また、非線形多変数関数の解法を表わ
す値を提供するためと、2組を各々から相互に分離する
ための単層の学習可能な重みを有するニューラルネット
ワークを提供でき、さらには、必要とする計算資源を少
なくして各々相互から2組の分離をなし、また、一層有
効かつ正確な非線形多変数関数の解法の導出をなすよう
な単層の学習可能な重みを有するように改良されたニュ
ーラルネットワーク及びその構成方法を提供できるもの
となる。
有する非線形多変数関数を表わす値を提供するために単
層の学習可能な重みを有するニューラルネットワークに
関し、入力を受信するための入力手段と、第1処理層
と、学習可能な相互接続層と単一のノードによる第2処
理層とからなり、学習可能な相互接続層を複数のノード
からなる第1処理層を第2処理層に接続するものとし、
入力手段は一つの変数が複数の変数関数における変数量
を表わすような一つの変数の関数の計算から得られた値
を受信するものとし、第1処理層は、入力手段により受
信された値の下位分類の和の関数を各々が計算するよう
な複数の処理ノードを含むものとし、第1処理層の各ノ
ードの出力は、学習可能な相互接続層により重み付けが
なされ、また、第2処理層は、第1処理層からの重み付
け出力を加算し、学習可能な相互接続層の重みは、単一
の学習可能な層を有する正帰還ニューラルネットワーク
を学習するための通常の方法で学習するように構成した
ので、例えば、パターン認識などの用途のために2組の
値を相互に分離するためと非線形多変数関数の解法を表
わす値を提供するために改良されたニューラルネットワ
ークを提供でき、また、非線形多変数関数の解法を表わ
す値を提供するためと、2組を各々から相互に分離する
ための単層の学習可能な重みを有するニューラルネット
ワークを提供でき、さらには、必要とする計算資源を少
なくして各々相互から2組の分離をなし、また、一層有
効かつ正確な非線形多変数関数の解法の導出をなすよう
な単層の学習可能な重みを有するように改良されたニュ
ーラルネットワーク及びその構成方法を提供できるもの
となる。
【図1】誤差後ろ向き伝播を用いて学習される多層の学
習可能な重みを有する従来のニューラルネットワークを
示す模式的結線図である。
習可能な重みを有する従来のニューラルネットワークを
示す模式的結線図である。
【図2】典型的なニューラルネットワークのエネルギー
平面を示す模式図である。
平面を示す模式図である。
【図3】本発明によるニューラルネットワークを構成す
るための処理を示すフローチャートである。
るための処理を示すフローチャートである。
【図4】相互接続手段440〜444の付随する単層の
学習可能な重みを有する本発明の一実施例を示すニュー
ラルネットワークの模式的結線図である。
学習可能な重みを有する本発明の一実施例を示すニュー
ラルネットワークの模式的結線図である。
【図5】一層簡略化された本発明の別の一実施例を示す
ニューラルネットワークの模式的結線図である。
ニューラルネットワークの模式的結線図である。
【図6】N=2についての関数Ψ(X)を示すグラフであ
る。
る。
【図7】N=2についての関数Ψ(X)を示し、Xが0に
近い特定範囲内の場合のグラフである。
近い特定範囲内の場合のグラフである。
【図8】図4に示した処理ノードのχ層における可能な
処理ノードを示す模式図である。
処理ノードを示す模式図である。
【図9】学習されたニューラルネットワークのサンプル
からの異なる3種類のχ関数を示すグラフである。
からの異なる3種類のχ関数を示すグラフである。
【図10】(a)は本発明の学習されたニューラルネッ
トワークの誤差を表わすグラフ、(b)は本発明のニュ
ーラルネットワークを学習した後のテストシーケンス、
即ち、ネットワークを学習するのに用いた入力とは別の
入力を用いる場合において得られた誤差を表わすグラフ
である。
トワークの誤差を表わすグラフ、(b)は本発明のニュ
ーラルネットワークを学習した後のテストシーケンス、
即ち、ネットワークを学習するのに用いた入力とは別の
入力を用いる場合において得られた誤差を表わすグラフ
である。
401,402 ノード 405 相互接続層 410〜419 ノード 425 相互接続層 430〜434 ノード 445 相互接続層 450 ノード 515〜535 ノード 550 ノード
───────────────────────────────────────────────────── フロントページの続き (72)発明者 マリッキー ソフィア アメリカ合衆国 カリフォルニア州 コン トラ コスタバークレイ モンテリー 1819
Claims (19)
- 【請求項1】 N個の変数を有する非線形多変数関数の
解を表わす値を提供するために学習可能な単層の重みを
有し、 N個の変数の内の一つの変数の関数から各々が導かれる
複数の第1値であって、各々が前記一つの変数の関数へ
の入力として前記複数の変数の一つの値を用いることに
より前記一つの変数の関数から導かれる前記第1値を計
算するための複数ノードを有する第1処理層と、 各々が前記第1値の部分集合の和の関数を計算するため
の複数ノードを有して前記第1値を受信するために前記
第1処理層に結合されて複数の第2値を提供するための
第2処理層と、 学習可能な重み付けのなされた相互接続手段よりなり前
記第2処理層に結合されて前記複数の第2値から複数の
重み付けされた値を提供するための第3処理層と、 この第3処理層に結合されて前記複数の重み付けされた
値の和に基づく値を計算するための第4処理層とよりな
ることを特徴とするニューラルネットワーク。 - 【請求項2】 一つの変数の関数への入力として用いら
れる複数の変数の一つの値の各々の一部として、多数の
バイアス定数項を含むものとしたことを特徴とする請求
項1記載のニューラルネットワーク。 - 【請求項3】 多数のバイアス定数項を、第1処理層の
複数ノードにおけるノードの部分集合について0とした
ことを特徴とする請求項2記載のニューラルネットワー
ク。 - 【請求項4】 複数の第1値である(2N+1)個の部
分集合についての和の複数の関数を第2処理層の複数ノ
ードが計算するとともに、この第2処理層を(2N+
1)個のノードが存在するものとしたことを特徴とする
請求項1記載のニューラルネットワーク。 - 【請求項5】 第1処理層をN(2N+1)個のノード
が存在するものとするとともに、複数の第1値の各々の
部分集合がN個の値よりなるものとしたことを特徴とす
る請求項4記載のニューラルネットワーク。 - 【請求項6】 N個の変数を有する非線形多変数関数の
解を表わす値を提供するために学習可能な単層の重みを
有し、 各々が各々の変数の値の入力を受信するようになしてあ
るN個全ての変数についての複数の入力を受信するため
の入力手段と、 各々のノードにおいて前記入力の一つに与えられた一つ
の変数の関数の値を計算するための層であって、前記入
力手段に結合されて複数の第1値を提供するための第1
処理層と、 この第1処理層に結合され前記第1値を受信するための
ノードによる層であって、各々のノードが前記第1値の
部分集合の和の関数を計算するための第2処理層と、 この第2処理層で計算された各々の値について重み付け
した値を提供するために学習可能な相互接続層と、 この相互接続層に結合されたノードよりなり、複数の重
み付けした値の和を計算するための第3処理層とよりな
ることを特徴とするニューラルネットワーク。 - 【請求項7】 バイアス定数の倍数を、第1処理層への
各々の入力の一部として含むものとしたことを特徴とす
る請求項6記載のニューラルネットワーク。 - 【請求項8】 バイアス定数の倍数を、入力の部分集合
について0としたことを特徴とする請求項7記載のニュ
ーラルネットワーク。 - 【請求項9】 複数の第1値である(2N+1)個の部
分集合についての和の複数の関数を第2処理層が計算す
るものとし、かつ、この第2処理層を(2N+1)個の
ノードが存在するものとしたことを特徴とする請求項8
記載のニューラルネットワーク。 - 【請求項10】 第1処理層をN(2N+1)個のノー
ドが存在するものとし、複数の第1値の各々の部分集合
がN個の値よりなるものとしたことを特徴とする請求項
9記載のニューラルネットワーク。 - 【請求項11】 複数の値の部分集合の和の関数を、シ
グモイド関数としたことを特徴とする請求項10記載の
ニューラルネットワーク。 - 【請求項12】 複数の第1値の各々の特定の部分集合
について、第2処理層の複数のAノードにより計算され
た前記第1値の前記特定の部分集合の和の複数のA関数
が存在するものとし、かつ、前記和の前記A関数の各々
をシグモイド関数としたこと特徴とする請求項8記載の
ニューラルネットワーク。 - 【請求項13】 複数の第1値の各々の特定の部分集合
について、第2処理層においてAノードが存在するもの
とし、かつ、前記第1値の各々の部分集合について前記
第1処理層においてANノードが存在するものとしたこ
とを特徴とする請求項12記載のニューラルネットワー
ク。 - 【請求項14】 複数の第1値の各々の特定の部分集合
において、AN個の値が存在するとともに、第2処理層
をA(2N+1)個のノードが存在し、かつ、第1処理
層をAN(A(2N+1))個のノードが存在するもの
としたことを特徴とする請求項13記載のニューラルネ
ットワーク。 - 【請求項15】 非線形の別個の値の組を分離するため
の単一の学習可能な重みの層を有するニューラルネット
ワークであって、 複数の入力を受信するための入力手段と、 各々のノードにおいて前記入力の一つに与えられた一つ
の変数の関数の値を計算するための層であって、前記入
力手段に結合されて複数の第1値を提供するための第1
処理層と、 前記第1値を受信するために前記第1処理層に結合され
た層であって、各々のノードが前記第1値の部分集合の
和の関数を計算するための第2処理層と、 この第2処理層で計算された各々の値について重み付け
した値を提供するために学習可能な相互接続層と、 この相互接続層に結合されたノードよりなり、複数の重
み付けした値の和を計算するための第3処理層とよりな
ることを特徴とするニューラルネットワーク。 - 【請求項16】 入力パターンから基準パターンを分離
することでパターン認識を実行し、前記基準パターンを
認識するように相互接続層が学習されるものとしたこと
を特徴とする請求項15記載のニューラルネットワー
ク。 - 【請求項17】 学習可能な単層の重みを有し、N個の
変数(X1,…,XN)を有する非線形多変数関数の解を
表わす値を提供するためのニューラルネットワーク構成
方法であって、 N個の変数の全てについて複数の入力を受信するための
入力手段を設け、前記複数の入力の各々が各々の変数の
値の入力を受信するようになし、 各々のノードにおいて前記入力の一つに与えられたN個
の変数をなす一つの変数の関数の値を計算するための第
1処理層を前記入力手段に結合して設け、この第1処理
層から複数の第1値を提供するようになし、 これらの第1値を受信するために前記第1処理層に結合
された第2処理層を設け、各々のノードが前記第1値の
部分集合の和の関数を計算するようになし、 学習可能な相互接続層を設けて、前記第2処理層で計算
された各々の値について重み付けした値を提供するよう
になし、 この相互接続層に結合されたノードよりなる第3処理層
を設け、複数の重み付けした値の和を計算するようにな
したことを特徴とするニューラルネットワーク構成方
法。 - 【請求項18】 学習可能な単層の重みを有し、N個の
変数(X1,…,XN)を有する非線形多変数関数の解を
表わす値を提供するためのニューラルネットワーク構成
方法であって、 前記N個の変数の内の一つの値の入力が与えられたN個
の一つの変数の関数の値を決定するための決定手段を設
け、この決定手段が各々が一つの変数の関数をなす複数
の第1値を提供するようになし、 前記決定手段に結合された第1処理層を設け、各々のノ
ードが前記第1値の部分集合の和の関数を決定するよう
になし、 学習可能な相互接続層を設け、前記第1処理層において
決定された各々の値について学習され重み付けされた値
を提供するようになし、 前記相互接続層に結合された第2処理層を設け、この第
2処理層が前記相互接続層により提供された値の和に基
づいて値を決定するようになしたことを特徴とするニュ
ーラルネットワーク構成方法。 - 【請求項19】 学習可能な単層の重みを有し、N個の
変数(X1,…,XN)を有する非線形多変数関数の解を
表わす値を提供するためのニューラルネットワークであ
って、 前記N個の変数の内の一つの値の入力が与えられたN個
の一つの変数の関数の値を決定し、各々が一つの変数の
関数をなす複数の第1値を提供する決定手段と、 この決定手段に結合された層であって、各々のノードが
前記第1値の部分集合の和の関数を決定する第1処理層
と、 複数の重み付けした値を提供するように前記第1処理層
において決定された各々の値について重み付けした値を
提供するための学習可能な相互接続層と、 この相互接続層に結合され、前記複数の重み付けした値
の和に基づく値を決定するようになしてある第2処理層
とよりなることを特徴とするニューラルネットワーク。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US86963292A | 1992-04-16 | 1992-04-16 | |
US07/869,632 | 1992-04-16 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH0644207A true JPH0644207A (ja) | 1994-02-18 |
Family
ID=25353964
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP5080338A Pending JPH0644207A (ja) | 1992-04-16 | 1993-04-07 | ニューラルネットワーク及びその構成方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH0644207A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8373514B2 (en) | 2007-10-11 | 2013-02-12 | Qualcomm Incorporated | Wireless power transfer using magneto mechanical systems |
US8378522B2 (en) | 2007-03-02 | 2013-02-19 | Qualcomm, Incorporated | Maximizing power yield from wireless power magnetic resonators |
US8378523B2 (en) | 2007-03-02 | 2013-02-19 | Qualcomm Incorporated | Transmitters and receivers for wireless energy transfer |
US9774086B2 (en) | 2007-03-02 | 2017-09-26 | Qualcomm Incorporated | Wireless power apparatus and methods |
-
1993
- 1993-04-07 JP JP5080338A patent/JPH0644207A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8378522B2 (en) | 2007-03-02 | 2013-02-19 | Qualcomm, Incorporated | Maximizing power yield from wireless power magnetic resonators |
US8378523B2 (en) | 2007-03-02 | 2013-02-19 | Qualcomm Incorporated | Transmitters and receivers for wireless energy transfer |
US9774086B2 (en) | 2007-03-02 | 2017-09-26 | Qualcomm Incorporated | Wireless power apparatus and methods |
US8373514B2 (en) | 2007-10-11 | 2013-02-12 | Qualcomm Incorporated | Wireless power transfer using magneto mechanical systems |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11250308B2 (en) | Apparatus and method for generating prediction model based on artificial neural network | |
US5606646A (en) | Recurrent neural network-based fuzzy logic system | |
Goh et al. | A complex-valued RTRL algorithm for recurrent neural networks | |
Dudul | Prediction of a Lorenz chaotic attractor using two-layer perceptron neural network | |
US5129038A (en) | Neural network with selective error reduction to increase learning speed | |
Li et al. | Neural input selection—A fast model-based approach | |
Khorasani et al. | Non-asymptotic confidence regions for the parameters of EIV systems | |
Tan et al. | Efficient identification of RBF neural net models for nonlinear discrete-time multivariable dynamical systems | |
JPH0644207A (ja) | ニューラルネットワーク及びその構成方法 | |
Schneidereit et al. | Solving ordinary differential equations using artificial neural networks-a study on the solution variance | |
RU2727080C2 (ru) | Построение нейронной сети на основе нейронов с функциональным преобразованием произвольного вида для входных сигналов | |
Kan et al. | Robust H∞ state estimation for BAM neural networks with randomly occurring uncertainties and sensor saturations | |
Ilin et al. | Cellular SRN trained by extended Kalman filter shows promise for ADP | |
Kinzel | Theory of interacting neural networks | |
Edwards et al. | Toward optimally distributed computation | |
Mardani et al. | Online distributed fuzzy modeling of nonlinear PDE systems: Computation based on adaptive algorithms | |
CN113297540A (zh) | 在边缘物联代理服务下的app资源需求预测方法、装置及*** | |
JP2002042107A (ja) | ニューラルネットワークの学習方法 | |
Choi et al. | A constructive approach for nonlinear system identification using multilayer perceptrons | |
Lin et al. | A neural fuzzy network for word information processing | |
JPH0535710A (ja) | ニユーラルネツトワークの学習方法および学習装置 | |
US5438645A (en) | Neural network which uses a monitor | |
Adams et al. | Neural networks for frequency line tracking | |
JPH0785277A (ja) | データ分類方式 | |
JP2756170B2 (ja) | ニューラルネットワーク学習回路 |