JP3337504B2 - ニューラルネットワーク - Google Patents
ニューラルネットワークInfo
- Publication number
- JP3337504B2 JP3337504B2 JP27287192A JP27287192A JP3337504B2 JP 3337504 B2 JP3337504 B2 JP 3337504B2 JP 27287192 A JP27287192 A JP 27287192A JP 27287192 A JP27287192 A JP 27287192A JP 3337504 B2 JP3337504 B2 JP 3337504B2
- Authority
- JP
- Japan
- Prior art keywords
- output
- layer
- input
- unit
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
Description
【0001】
【産業上の利用分野】本発明は、物体、画像、文字など
の識別及び情報の検索、推論、連想などの情報処理の分
野において利用されるニューラルネットワークの構成に
関する。
の識別及び情報の検索、推論、連想などの情報処理の分
野において利用されるニューラルネットワークの構成に
関する。
【0002】
【従来の技術】従来より、画像や音声などの認識、連
想、推論など情報処理のノイマン型コンピュータが不得
意な情報処理を効果的に行なう方法として、ニューラル
ネットワーク技術が注目されている。特に、ニューラル
ネットワークの学習方法である誤差逆伝搬学習法(以
下、EBPと略称する)を用いて、ネットワーク内のユ
ニット(ニューロンをモデルとした通常多入力1出力の
信号処理素子)間の結合荷重値を決定することにより、
各入力パターンの特徴を捉えたフレキシブルな認識を行
なうことができる。
想、推論など情報処理のノイマン型コンピュータが不得
意な情報処理を効果的に行なう方法として、ニューラル
ネットワーク技術が注目されている。特に、ニューラル
ネットワークの学習方法である誤差逆伝搬学習法(以
下、EBPと略称する)を用いて、ネットワーク内のユ
ニット(ニューロンをモデルとした通常多入力1出力の
信号処理素子)間の結合荷重値を決定することにより、
各入力パターンの特徴を捉えたフレキシブルな認識を行
なうことができる。
【0003】図2は、前記のような従来の代表的ニュー
ラルネットワークの構成を示す構成図である。EBP法
による学習を行なうニューラルネットワークでは、通
常、ネットワーク内のユニットの集合を3層以上の層構
造とし、そのうちで、パターンの信号入力を行なう層を
入力層、認識出力信号を出力する層を出力層、残りを中
間層又は隠れ層と称する。このとき、原則として、同一
層内に含まれるユニット同士の結合は、ないものとし、
また、出力に近い層から入力に近い層への信号のフィー
ドバックは、ないものとする。
ラルネットワークの構成を示す構成図である。EBP法
による学習を行なうニューラルネットワークでは、通
常、ネットワーク内のユニットの集合を3層以上の層構
造とし、そのうちで、パターンの信号入力を行なう層を
入力層、認識出力信号を出力する層を出力層、残りを中
間層又は隠れ層と称する。このとき、原則として、同一
層内に含まれるユニット同士の結合は、ないものとし、
また、出力に近い層から入力に近い層への信号のフィー
ドバックは、ないものとする。
【0004】さて、入力層の各ユニットから出力された
出力層In(n:ユニット番号)は、中間層の各ユニット
への伝搬し、更に中間層の各ユニットから出力された出
力値Cn(n:ユニット番号)は、出力層の各ユニットへ
と伝搬し、この出力層の各ユニットから出力値On(n:
ユニット番号)が得られる。但し、図2においては、入
力層及び中間層ユニットの出力が複数のユニットと結合
しているので、多出力のように見えるが、これは、1つ
のユニットからの出力を複数のユニットに入力している
ためで、出力値は、1つのユニットにつき1つのみであ
る。図2において、各層のユニット間の結合は、矢印で
示されており、入力層のユニットと中間層ユニットとの
結合荷重値を対応するユニット番号を、添え字として付
けたVij(iは中間層ユニット番号、jは入力層ユニッ
ト番号である)で、中間層のユニットと出力層のユニッ
トとの結合荷重値を対応するユニット番号を添え字とし
て付けたWij(iは出力層ユニット番号、jは中間層ユ
ニット番号である)で表すものとする。例えば、中間層
ユニット3と出力層ユニット5との結合荷重値はW53と
表示される。
出力層In(n:ユニット番号)は、中間層の各ユニット
への伝搬し、更に中間層の各ユニットから出力された出
力値Cn(n:ユニット番号)は、出力層の各ユニットへ
と伝搬し、この出力層の各ユニットから出力値On(n:
ユニット番号)が得られる。但し、図2においては、入
力層及び中間層ユニットの出力が複数のユニットと結合
しているので、多出力のように見えるが、これは、1つ
のユニットからの出力を複数のユニットに入力している
ためで、出力値は、1つのユニットにつき1つのみであ
る。図2において、各層のユニット間の結合は、矢印で
示されており、入力層のユニットと中間層ユニットとの
結合荷重値を対応するユニット番号を、添え字として付
けたVij(iは中間層ユニット番号、jは入力層ユニッ
ト番号である)で、中間層のユニットと出力層のユニッ
トとの結合荷重値を対応するユニット番号を添え字とし
て付けたWij(iは出力層ユニット番号、jは中間層ユ
ニット番号である)で表すものとする。例えば、中間層
ユニット3と出力層ユニット5との結合荷重値はW53と
表示される。
【0005】通常、中間層ユニット及び出力層ユニット
の入出力特性は、次の式で表される。 Ci =f(ΣVijIj +ξi) (1) Oi =f(ΣWijCj +θi) (2) f(x) =1/(1+exp(−x)) (3) ここで、i、jは各々、前記のように対応するユニット
番号であり、ξ、θは、各々のユニットにおけるバイア
ス値である。また、(3)に示した関数は、シグモイド
関数と呼ばれている。
の入出力特性は、次の式で表される。 Ci =f(ΣVijIj +ξi) (1) Oi =f(ΣWijCj +θi) (2) f(x) =1/(1+exp(−x)) (3) ここで、i、jは各々、前記のように対応するユニット
番号であり、ξ、θは、各々のユニットにおけるバイア
ス値である。また、(3)に示した関数は、シグモイド
関数と呼ばれている。
【0006】前記のようなニューラルネットワークの構
成において、任意の入力パターン即ち入力層ユニットの
出力ベクトル(I1、I2、I3、I4、I5)を与えたと
きの出力層からの所望の出力と、実際の出力Oi (ここ
では、i=1、2、・・5)との各ユニットの誤差の2
乗和が小さくなるように、各ユニット間の結合荷重値の
大きさを修正することにより、任意の入力パターンに対
して所望の出力パターンを出力するニューラルネットワ
ークを得ることができる。EBP法は、このときの荷重
値の修正係数を計算する方法であり、一般化δルールと
も呼ばれている。この修正係数を用いて効率良く学習を
収束させるために、いくつかの方法が提案されている。
成において、任意の入力パターン即ち入力層ユニットの
出力ベクトル(I1、I2、I3、I4、I5)を与えたと
きの出力層からの所望の出力と、実際の出力Oi (ここ
では、i=1、2、・・5)との各ユニットの誤差の2
乗和が小さくなるように、各ユニット間の結合荷重値の
大きさを修正することにより、任意の入力パターンに対
して所望の出力パターンを出力するニューラルネットワ
ークを得ることができる。EBP法は、このときの荷重
値の修正係数を計算する方法であり、一般化δルールと
も呼ばれている。この修正係数を用いて効率良く学習を
収束させるために、いくつかの方法が提案されている。
【0007】ところが、前記のニューラルネットワーク
においては、認識したいクラスに属する代表的なパター
ンをいくつか提示して学習を行って、結合荷重値を決定
させようとしても、学習を収束するために、多数回の繰
り返し学習を行なうため、ネットワークの構成に時間が
かかり、しかも、必ずしも、学習が収束するとは限ら
ず、所謂、ローカルミニマに落ち込み、不十分な認識結
果を与えることがよく生じる。また、このことは、入力
パターン相互の兼ね合いや、中間層のユニット数によっ
ても左右され、最適な中間ユニット数が試行錯誤的に与
えられることが多かった。このことは、ニューラルネッ
トワークの基本式が(1)〜(3)に与えられているこ
とに起因する。即ち、ある入力パターン間の特徴を反映
した特徴空間を(1),(2)で表されるようなN次元
の面で分割し、識別領域を学習により作成しているため
である。従って、その解は、非常に多くあり、一義的に
決定されるものではない。このことにより、学習時にお
いていくつかのパターンを識別することが困難であった
り、例え、学習時に使用したパターン間の認識ができた
としても他のパターンを認識するときに誤認識するなど
の結果を生じることがあった。また、非常に類似したパ
ターンを識別することも苦手であった。また、一度荷重
値が決定されると、固定化されてしまうので、学習時
に、例えば、時間的に変動して行くような入力に対して
も対応できるように学習セットを用意するなどして、対
応していた。また、汎化の問題にしても、どのように汎
化させるか予め予測した上で、学習セットを用意させる
必要があった。即ち、特徴空間内に空き領域がないため
に、未学習の入力パターンでもいずれかの学習済みの入
力パターンに識別してしまうという欠点があった。
においては、認識したいクラスに属する代表的なパター
ンをいくつか提示して学習を行って、結合荷重値を決定
させようとしても、学習を収束するために、多数回の繰
り返し学習を行なうため、ネットワークの構成に時間が
かかり、しかも、必ずしも、学習が収束するとは限ら
ず、所謂、ローカルミニマに落ち込み、不十分な認識結
果を与えることがよく生じる。また、このことは、入力
パターン相互の兼ね合いや、中間層のユニット数によっ
ても左右され、最適な中間ユニット数が試行錯誤的に与
えられることが多かった。このことは、ニューラルネッ
トワークの基本式が(1)〜(3)に与えられているこ
とに起因する。即ち、ある入力パターン間の特徴を反映
した特徴空間を(1),(2)で表されるようなN次元
の面で分割し、識別領域を学習により作成しているため
である。従って、その解は、非常に多くあり、一義的に
決定されるものではない。このことにより、学習時にお
いていくつかのパターンを識別することが困難であった
り、例え、学習時に使用したパターン間の認識ができた
としても他のパターンを認識するときに誤認識するなど
の結果を生じることがあった。また、非常に類似したパ
ターンを識別することも苦手であった。また、一度荷重
値が決定されると、固定化されてしまうので、学習時
に、例えば、時間的に変動して行くような入力に対して
も対応できるように学習セットを用意するなどして、対
応していた。また、汎化の問題にしても、どのように汎
化させるか予め予測した上で、学習セットを用意させる
必要があった。即ち、特徴空間内に空き領域がないため
に、未学習の入力パターンでもいずれかの学習済みの入
力パターンに識別してしまうという欠点があった。
【0008】
【発明が解決しようとする課題】本発明は、上記の問題
点を解決するためになされたもので、誤認識が起こり難
く、非常に類似したパターンでも認識することができ、
また、入力の変動に対しても簡単に更新手続きで実質的
に荷重値を更新させることができるニューラルネットワ
ークを提供することを目的とする。
点を解決するためになされたもので、誤認識が起こり難
く、非常に類似したパターンでも認識することができ、
また、入力の変動に対しても簡単に更新手続きで実質的
に荷重値を更新させることができるニューラルネットワ
ークを提供することを目的とする。
【0009】
【課題を解決するための手段】本発明は、上記の技術的
な課題の解決のためになされたもので、本発明のニュー
ラルネットワークにおいては、少なくてもN個の入力ユ
ニットを有する入力層と前記入力層の各ユニットに対応
したN個の中間ユニットを前記出力カテゴリーに対応し
てK組揃えた中間ユニット群及びバイアスを与えるユニ
ットを有する中間層とK個の出力ユニットを有する第1
の出力層とから構成され、前記入力層の各ユニットと前
記中間ユニット群との間の結線の荷重値は、全て1で、
前記中間ユニット群の各中間ユニットの入出力特性は、
対応する出力カテゴリーに属する入力パターン群のN個
の各要素毎の代表値とバラツキを示す統計的な量に基づ
き作成された凸のメンバーシップ関数で表され、前記中
間層と前記第1の出力層との間の結線の荷重値は、前記
メンバーシップ関数から出力されるメンバーシップ値を
前記中間ユニット群の出力として、δルールに基づき学
習により決定することを特徴とする前記ニューラルネッ
トワークである。
な課題の解決のためになされたもので、本発明のニュー
ラルネットワークにおいては、少なくてもN個の入力ユ
ニットを有する入力層と前記入力層の各ユニットに対応
したN個の中間ユニットを前記出力カテゴリーに対応し
てK組揃えた中間ユニット群及びバイアスを与えるユニ
ットを有する中間層とK個の出力ユニットを有する第1
の出力層とから構成され、前記入力層の各ユニットと前
記中間ユニット群との間の結線の荷重値は、全て1で、
前記中間ユニット群の各中間ユニットの入出力特性は、
対応する出力カテゴリーに属する入力パターン群のN個
の各要素毎の代表値とバラツキを示す統計的な量に基づ
き作成された凸のメンバーシップ関数で表され、前記中
間層と前記第1の出力層との間の結線の荷重値は、前記
メンバーシップ関数から出力されるメンバーシップ値を
前記中間ユニット群の出力として、δルールに基づき学
習により決定することを特徴とする前記ニューラルネッ
トワークである。
【0010】また、少なくてもN個の入力ユニットを有
する入力層と前記入力層の各ユニットに対応したN個の
中間ユニットを前記出力カテゴリーに対応してK組揃え
た中間ユニット群及びバイアスを与えるユニットを有す
る中間層とK個の出力ユニットを有する第1の出力層と
第2の出力層とから構成され、前記入力層の各ユニット
と前記中間ユニット群との間の結線の荷重値は、全て1
で、前記中間ユニット群の各中間ユニットの入出力特性
は、対応する出力カテゴリーに属する入力パターン群の
N個の各要素毎の代表値とバラツキを示す統計的な量に
基づき作成された凸のメンバーシップ関数で表され、前
記中間層と前記第1の出力層との間の結線の荷重値は、
前記メンバーシップ関数から出力されるメンバーシップ
値を前記中間ユニット群の出力として、δルールに基づ
き学習により決定され、前記第2の出力層からはK個の
出力カテゴリーに対応する各々の前記中間ユニット内の
N個の要素が比較され、最も小さい値が出力カテゴリー
毎に出力され、ある入力に対し、前記第1の出力層が出
力するカテゴリーの真なる程度を、対応する該カテゴリ
ーに対して前記第2の出力層が出力する最も小さい値の
程度で評価するニューラルネットワークを提供する。
する入力層と前記入力層の各ユニットに対応したN個の
中間ユニットを前記出力カテゴリーに対応してK組揃え
た中間ユニット群及びバイアスを与えるユニットを有す
る中間層とK個の出力ユニットを有する第1の出力層と
第2の出力層とから構成され、前記入力層の各ユニット
と前記中間ユニット群との間の結線の荷重値は、全て1
で、前記中間ユニット群の各中間ユニットの入出力特性
は、対応する出力カテゴリーに属する入力パターン群の
N個の各要素毎の代表値とバラツキを示す統計的な量に
基づき作成された凸のメンバーシップ関数で表され、前
記中間層と前記第1の出力層との間の結線の荷重値は、
前記メンバーシップ関数から出力されるメンバーシップ
値を前記中間ユニット群の出力として、δルールに基づ
き学習により決定され、前記第2の出力層からはK個の
出力カテゴリーに対応する各々の前記中間ユニット内の
N個の要素が比較され、最も小さい値が出力カテゴリー
毎に出力され、ある入力に対し、前記第1の出力層が出
力するカテゴリーの真なる程度を、対応する該カテゴリ
ーに対して前記第2の出力層が出力する最も小さい値の
程度で評価するニューラルネットワークを提供する。
【0011】中間ユニット群の各中間ユニットの入出力
特性は、前記第1の出力層或いは第2の出力層により評
価された第1の出力層の出力する値が最も大きいカテゴ
リーに対応する中間ユニットに対し、前記代表値とバラ
ツキを示す値を更新することにより変化させられるもの
が好適である。そして、バイアスを与えるユニットは、
K組揃えた中間ユニット群の各組の中間ユニットに一つ
ずつ付与し、中間層と第1の出力層との間の結線は、出
力カテゴリーに対応した中間ユニット及びバイアスを与
えるユニットと出力カテゴリーに対応する第1の出力層
のユニットのみと結合させるものが好適である。また、
バイアスを与えるユニットは、中間ユニット群に1つ付
与し、中間層と第1の出力層との間の結線は、中間層に
ある全ての中間ユニット及びバイアスを与えるユニット
と出力ユニットに対応する第1の出力層のユニットの全
てと結合させるものが好適である。更に、対応する出力
カテゴリーに属する入力パターン群のN個の各要素の代
表値とバラツキを示す量として、標準偏差或いは分散等
の統計学的な量を用い、バラツキを示す量として、標準
偏差或いは分散等の統計学的な量を用いると好適であ
る。
特性は、前記第1の出力層或いは第2の出力層により評
価された第1の出力層の出力する値が最も大きいカテゴ
リーに対応する中間ユニットに対し、前記代表値とバラ
ツキを示す値を更新することにより変化させられるもの
が好適である。そして、バイアスを与えるユニットは、
K組揃えた中間ユニット群の各組の中間ユニットに一つ
ずつ付与し、中間層と第1の出力層との間の結線は、出
力カテゴリーに対応した中間ユニット及びバイアスを与
えるユニットと出力カテゴリーに対応する第1の出力層
のユニットのみと結合させるものが好適である。また、
バイアスを与えるユニットは、中間ユニット群に1つ付
与し、中間層と第1の出力層との間の結線は、中間層に
ある全ての中間ユニット及びバイアスを与えるユニット
と出力ユニットに対応する第1の出力層のユニットの全
てと結合させるものが好適である。更に、対応する出力
カテゴリーに属する入力パターン群のN個の各要素の代
表値とバラツキを示す量として、標準偏差或いは分散等
の統計学的な量を用い、バラツキを示す量として、標準
偏差或いは分散等の統計学的な量を用いると好適であ
る。
【0012】
【作用】前記のN次元の入力ベクトルとK個の出力カテ
ゴリーを有するニューラルネットワークにおいて、入力
層の各ユニットと中間ユニット群との間の結線の荷重値
は、全て1とする。次に、あるカテゴリーに属させたい
N次元のベクトルよりなる複数の入力パターンの有する
各々のベクトルの各要素の代表値(例えば平均値や中央
値等の統計量)とバラツキを示す量(例えば標準偏差や
分散等のバラツキを示す量)を基準にしてメンバーシッ
プ関数が作成され、これを前記中間ユニット群の各中間
ユニットの入出力特性の関数とすることにより、ある入
力のN次元のベクトルの要素がK個の出力カテゴリー毎
に0−1のメンバーシップ値に変換される。従って、入
力値がどのようなものであっても、0−1のメンバーシ
ップ値に変換される。このメンバーシップ値は、各々の
出力カテゴリーを代表するベクトルの各要素とどの程度
マッチングしているかを示す量である。
ゴリーを有するニューラルネットワークにおいて、入力
層の各ユニットと中間ユニット群との間の結線の荷重値
は、全て1とする。次に、あるカテゴリーに属させたい
N次元のベクトルよりなる複数の入力パターンの有する
各々のベクトルの各要素の代表値(例えば平均値や中央
値等の統計量)とバラツキを示す量(例えば標準偏差や
分散等のバラツキを示す量)を基準にしてメンバーシッ
プ関数が作成され、これを前記中間ユニット群の各中間
ユニットの入出力特性の関数とすることにより、ある入
力のN次元のベクトルの要素がK個の出力カテゴリー毎
に0−1のメンバーシップ値に変換される。従って、入
力値がどのようなものであっても、0−1のメンバーシ
ップ値に変換される。このメンバーシップ値は、各々の
出力カテゴリーを代表するベクトルの各要素とどの程度
マッチングしているかを示す量である。
【0013】さて、これらのN個の要素を有するK個の
ベクトル群の各々のベクトルは、出力カテゴリーの各々
に対応しているので、各々のベクトルにバイアスとなる
要素を加えて、N+1個の要素と対応する出力カテゴリ
ーを結線させるか、又は、N個の要素を有するK個のベ
クトル群にバイアスとなる要素を加えたN×K+1個の
要素と各々の出力カテゴリーを結線させて、ある入力に
対して望ましい出力が得られるようにこの結線の荷重値
をδルールにより学習させて、中間層と第1の出力層と
の結合荷重値を得る。このときの入力は、メンバーシッ
プ関数を作成したときに使用した学習セットでも良い
し、異なるものであっても良い。このようにすると、メ
ンバーシップ関数により、入力ベクトルの各要素の各出
力カテゴリーに属する程度が表わされるので、非常に複
雑な問題に対しても、非常に効率よく学習することがで
きるのである。また、第2の出力層では、中間層のバイ
アスを除いたN個の要素を有するK個のベクトル群の各
々の要素の最小値を各カテゴリーに対応してK個出力さ
せる。
ベクトル群の各々のベクトルは、出力カテゴリーの各々
に対応しているので、各々のベクトルにバイアスとなる
要素を加えて、N+1個の要素と対応する出力カテゴリ
ーを結線させるか、又は、N個の要素を有するK個のベ
クトル群にバイアスとなる要素を加えたN×K+1個の
要素と各々の出力カテゴリーを結線させて、ある入力に
対して望ましい出力が得られるようにこの結線の荷重値
をδルールにより学習させて、中間層と第1の出力層と
の結合荷重値を得る。このときの入力は、メンバーシッ
プ関数を作成したときに使用した学習セットでも良い
し、異なるものであっても良い。このようにすると、メ
ンバーシップ関数により、入力ベクトルの各要素の各出
力カテゴリーに属する程度が表わされるので、非常に複
雑な問題に対しても、非常に効率よく学習することがで
きるのである。また、第2の出力層では、中間層のバイ
アスを除いたN個の要素を有するK個のベクトル群の各
々の要素の最小値を各カテゴリーに対応してK個出力さ
せる。
【0014】さて、前に説明したように、中間層のバイ
アスを除いたN個の要素を有するK個のベクトル群の各
々の要素は、各カテゴリーに属する程度を示しているの
で、N個の要素の中の最小値(出力カテゴリーに対応し
てK個ある)は、入力ベクトルのある要素が各々の出力
カテゴリーに対応する要素と最もマッチングしない程度
を示している。従って、この値が非常に小さければ、統
計的に処理された領域からはずれ、出力カテゴリーとし
てふさわしくない状態を示しているということができ
る。この第2の出力層からの出力値を用いると、第1の
出力層により出力された結果の真なる程度を評価するこ
とができる。
アスを除いたN個の要素を有するK個のベクトル群の各
々の要素は、各カテゴリーに属する程度を示しているの
で、N個の要素の中の最小値(出力カテゴリーに対応し
てK個ある)は、入力ベクトルのある要素が各々の出力
カテゴリーに対応する要素と最もマッチングしない程度
を示している。従って、この値が非常に小さければ、統
計的に処理された領域からはずれ、出力カテゴリーとし
てふさわしくない状態を示しているということができ
る。この第2の出力層からの出力値を用いると、第1の
出力層により出力された結果の真なる程度を評価するこ
とができる。
【0015】即ち、第1の出力層からの出力値が大きく
とも、第2の出力層からの出力層が極めて小さければ、
疑わしい出力だと判断することができる。従って、誤認
識をする可能性を低減させることができる。また、第2
の出力層からの出力値も第1の出力層からの出力値も大
きければ、入力ベクトルがそのカテゴリーに属する程度
は確実であるので、中間ユニット群の各中間ユニットの
入出力特性の関数の持つパラメータを更新することがで
きる。即ち、平均値や中央値或いは標準偏差や分散の量
は、前回までの学習に使用した入力パターン数を覚えて
おけば、簡単に数学的に更新することができるからであ
る。このようにすると、何らかの原因で環境が変化し、
入力が学習時と異なっても変化が急速でなければ、対応
していくことができる。
とも、第2の出力層からの出力層が極めて小さければ、
疑わしい出力だと判断することができる。従って、誤認
識をする可能性を低減させることができる。また、第2
の出力層からの出力値も第1の出力層からの出力値も大
きければ、入力ベクトルがそのカテゴリーに属する程度
は確実であるので、中間ユニット群の各中間ユニットの
入出力特性の関数の持つパラメータを更新することがで
きる。即ち、平均値や中央値或いは標準偏差や分散の量
は、前回までの学習に使用した入力パターン数を覚えて
おけば、簡単に数学的に更新することができるからであ
る。このようにすると、何らかの原因で環境が変化し、
入力が学習時と異なっても変化が急速でなければ、対応
していくことができる。
【0016】次に、本発明のニューラルネットワークに
ついて更に詳しく具体的に以下実施例より、説明する
が、本発明がそれらによって、制限されるものではな
い。
ついて更に詳しく具体的に以下実施例より、説明する
が、本発明がそれらによって、制限されるものではな
い。
【0017】
【実施例1】パターン識別を行なうためには、始めに画
像、文字、音声などの識別したいパターンから、そのパ
ターンの特徴を表すデータを取得する。本実施例では、
入力パターンより2つのデータを取得して、このデータ
をコンピュータに入力し、以後の処理は、コンピュータ
上で行なう。図1は、本発明のニューラルネットワーク
の1実施例の構成を示す構成図である。さて、本発明の
第1の特徴的なことは、各層間の結線のされ方であり、
中間層のバイアスを与えるユニット以外の各ユニット
は、入力層の各ユニットと1対1の結合をすることと、
入力層のユニット数と出力層の出力ユニット数が決まれ
ば、自ずと、中間ユニットの数が決定されるということ
である。即ち、入力ベクトルの要素数をN個とし、出力
カテゴリー数をK個とすると、入力層の各ユニットに対
応したN個の中間ユニットを出力カテゴリーに対応し
て、K個揃えた中間ユニット群及びバイアスを与えるユ
ニットを各中間ユニットに一つずつ付与した総計(N+
1)×K個のユニットを有する中間層よりなる。
像、文字、音声などの識別したいパターンから、そのパ
ターンの特徴を表すデータを取得する。本実施例では、
入力パターンより2つのデータを取得して、このデータ
をコンピュータに入力し、以後の処理は、コンピュータ
上で行なう。図1は、本発明のニューラルネットワーク
の1実施例の構成を示す構成図である。さて、本発明の
第1の特徴的なことは、各層間の結線のされ方であり、
中間層のバイアスを与えるユニット以外の各ユニット
は、入力層の各ユニットと1対1の結合をすることと、
入力層のユニット数と出力層の出力ユニット数が決まれ
ば、自ずと、中間ユニットの数が決定されるということ
である。即ち、入力ベクトルの要素数をN個とし、出力
カテゴリー数をK個とすると、入力層の各ユニットに対
応したN個の中間ユニットを出力カテゴリーに対応し
て、K個揃えた中間ユニット群及びバイアスを与えるユ
ニットを各中間ユニットに一つずつ付与した総計(N+
1)×K個のユニットを有する中間層よりなる。
【0018】さて、上記の内容を図1を用いて説明す
る。ここで、入力ベクトルは、説明を簡単にするため
に、2つの要素からなるものとし、出力カテゴリーの数
を3とする。先ず、入力層ユニットI1とI2は、各々中
間層のユニットC1、C4、C7とC2、C5、C8にしか結
合されておらず、また、中間層のユニットC3、C6、C
9はバイアスを与えるユニットである。従って、入力層
とは結合されていない。次に、中間層と出力層のユニッ
ト間の結合は、一つの出力カテゴリーの出力ユニットO
1を見ると、2つの入力ユニットに対応する中間層の2
つの中間ユニットC1、C2とバイアスを与えるC3と結
合させるのみである。さて、本発明の第2の特徴は、ニ
ューラルネットワークの学習のさせ方であり、入力層と
中間層の間の結線の荷重値は、全て1で、中間ユニット
群の各中間ユニットの入出力特性は、出力カテゴリーに
属さない入力パターン群のN個の各中間ユニットの入出
力特性は、出力カテゴリーに属さない入力パターン群の
N個の各要素の代表値とバラツキを示す統計的な量に基
づいて作成された凸のメンバーシップ関数から出力され
るメンバーシップ値が中間層から出力され、このメンバ
ーシップ値をδルールに基づいて学習することである。
上記の内容を、図1を用いて説明する。
る。ここで、入力ベクトルは、説明を簡単にするため
に、2つの要素からなるものとし、出力カテゴリーの数
を3とする。先ず、入力層ユニットI1とI2は、各々中
間層のユニットC1、C4、C7とC2、C5、C8にしか結
合されておらず、また、中間層のユニットC3、C6、C
9はバイアスを与えるユニットである。従って、入力層
とは結合されていない。次に、中間層と出力層のユニッ
ト間の結合は、一つの出力カテゴリーの出力ユニットO
1を見ると、2つの入力ユニットに対応する中間層の2
つの中間ユニットC1、C2とバイアスを与えるC3と結
合させるのみである。さて、本発明の第2の特徴は、ニ
ューラルネットワークの学習のさせ方であり、入力層と
中間層の間の結線の荷重値は、全て1で、中間ユニット
群の各中間ユニットの入出力特性は、出力カテゴリーに
属さない入力パターン群のN個の各中間ユニットの入出
力特性は、出力カテゴリーに属さない入力パターン群の
N個の各要素の代表値とバラツキを示す統計的な量に基
づいて作成された凸のメンバーシップ関数から出力され
るメンバーシップ値が中間層から出力され、このメンバ
ーシップ値をδルールに基づいて学習することである。
上記の内容を、図1を用いて説明する。
【0019】先ず、入力層と中間層との間の結線の荷重
値は、全て1にする。次に、中間ユニット群の各中間ユ
ニットの入出力特性は、各出力カテゴリーに対応する中
間ユニット(図1においては、例えば、第1の出力カテ
ゴリーの出力O1に対する中間ユニットC1、C2)毎
に、学習するときに用いる対応する出力カテゴリーに属
する入力ベクトルに対する、各要素の平均値mと標準偏
差σを算出して、平均値を中心として、上辺の幅が標準
偏差量で、下辺の幅が標準偏差量の3倍程度であり、高
さが1の台形型のメンバーシップ関数やexp(−(x−m)
2/(2σ2)なる正規分布のメンバーシップ関数とする。
例えば、中間ユニットC1及びC2における入出力特性
は、出力O1に対応する出力カテゴリーに属する複数の
入力ベクトルの各要素I1、I2の平均値や標準偏差によ
り計算される。尚、メンバーシップ関数は、凸の連続的
なメンバーシップ関数であればどのようなものであって
もよい。
値は、全て1にする。次に、中間ユニット群の各中間ユ
ニットの入出力特性は、各出力カテゴリーに対応する中
間ユニット(図1においては、例えば、第1の出力カテ
ゴリーの出力O1に対する中間ユニットC1、C2)毎
に、学習するときに用いる対応する出力カテゴリーに属
する入力ベクトルに対する、各要素の平均値mと標準偏
差σを算出して、平均値を中心として、上辺の幅が標準
偏差量で、下辺の幅が標準偏差量の3倍程度であり、高
さが1の台形型のメンバーシップ関数やexp(−(x−m)
2/(2σ2)なる正規分布のメンバーシップ関数とする。
例えば、中間ユニットC1及びC2における入出力特性
は、出力O1に対応する出力カテゴリーに属する複数の
入力ベクトルの各要素I1、I2の平均値や標準偏差によ
り計算される。尚、メンバーシップ関数は、凸の連続的
なメンバーシップ関数であればどのようなものであって
もよい。
【0020】このようにして、入力層と中間層との結合
荷重値を決定した後に、中間層と出力層との結合荷重値
を通常のδルールで決定する。このとき、使用する学習
データは、メンバーシップ関数を作成するときに使用し
た学習サンプルでも良いし、異なったものでも良いが、
入力層と中間層との間の結合荷重値は全て1であり、中
間ユニット群の各中間ユニットの入出力特性は、既に説
明したメンバーシップ関数により決定されているので、
中間層からの出力は、ある入力ベクトルに対して、0−
1までのメンバーシップ値となる。従って、これらのメ
ンバーシップ値を教師付き学習により学習することによ
り、中間層と出力層との間の結合荷重値を決定すること
ができる。本発明のニューラルネットワークによると、
入力層と中間ユニット群との間の結線は、全て1で、各
中間ユニットの入出力特性を、統計的な諸量を用いて決
定することができ、中間層と出力層との間の結線はδル
ールで決定することができるので、極めて簡単になる。
従って、多くのパターンを学習する必要があり、統計的
に特徴が現れるような応用に対しては極めて効果的であ
る。
荷重値を決定した後に、中間層と出力層との結合荷重値
を通常のδルールで決定する。このとき、使用する学習
データは、メンバーシップ関数を作成するときに使用し
た学習サンプルでも良いし、異なったものでも良いが、
入力層と中間層との間の結合荷重値は全て1であり、中
間ユニット群の各中間ユニットの入出力特性は、既に説
明したメンバーシップ関数により決定されているので、
中間層からの出力は、ある入力ベクトルに対して、0−
1までのメンバーシップ値となる。従って、これらのメ
ンバーシップ値を教師付き学習により学習することによ
り、中間層と出力層との間の結合荷重値を決定すること
ができる。本発明のニューラルネットワークによると、
入力層と中間ユニット群との間の結線は、全て1で、各
中間ユニットの入出力特性を、統計的な諸量を用いて決
定することができ、中間層と出力層との間の結線はδル
ールで決定することができるので、極めて簡単になる。
従って、多くのパターンを学習する必要があり、統計的
に特徴が現れるような応用に対しては極めて効果的であ
る。
【0021】即ち、例えば、2つのカテゴリーを分離す
るとき、2つのカテゴリーに対応する入力ベクトルの要
素の平均値が異なると、大まかに、それらを分離する状
態が各中間ユニットの入出力特性の関数として表現さ
れ、メンバーシップ値として表現される。このメンバー
シップ値は、平均値に近いほど1に近くなり、遠いほど
0に近くなる。従って、各メンバーシップ値に基づい
て、中間層と出力層との間の結合荷重値をδルールによ
り学習すると、ある入力に対して出力されるべきカテゴ
リーに対しては、統計的に処理されているために殆ど必
ず全ての入力ベクトルの要素に対して、メンバーシップ
値を有するが、出力されるべきでないカテゴリーに対し
ては、入力ベクトルのある一部の要素に対しては0に近
い値を有する。従って、δルールにより学習されると、
ある入力ベクトルに対して、出力されるべきでないカテ
ゴリーのメンバーシップ値が0に近い要素ほど結合荷重
値はどんなに強化されてもメンバーシップ値自体が0に
近いので、出力されるべきでないカテゴリーには影響を
与えることがなく、その結果、出力されるべきカテゴリ
ーの要素の他のカテゴリーの要素にはない特徴がどんど
ん強化されていくことになる。また、異なるカテゴリー
間で同じようなメンバーシップ値を有する要素では、互
いに、正の結合荷重と負の結合荷重を有するように学習
が進む。このようにして、中間層と出力層との間の結合
荷重値は、結果として、メンバーシップ値の有する特徴
を更に細かく分離するようになるのである。
るとき、2つのカテゴリーに対応する入力ベクトルの要
素の平均値が異なると、大まかに、それらを分離する状
態が各中間ユニットの入出力特性の関数として表現さ
れ、メンバーシップ値として表現される。このメンバー
シップ値は、平均値に近いほど1に近くなり、遠いほど
0に近くなる。従って、各メンバーシップ値に基づい
て、中間層と出力層との間の結合荷重値をδルールによ
り学習すると、ある入力に対して出力されるべきカテゴ
リーに対しては、統計的に処理されているために殆ど必
ず全ての入力ベクトルの要素に対して、メンバーシップ
値を有するが、出力されるべきでないカテゴリーに対し
ては、入力ベクトルのある一部の要素に対しては0に近
い値を有する。従って、δルールにより学習されると、
ある入力ベクトルに対して、出力されるべきでないカテ
ゴリーのメンバーシップ値が0に近い要素ほど結合荷重
値はどんなに強化されてもメンバーシップ値自体が0に
近いので、出力されるべきでないカテゴリーには影響を
与えることがなく、その結果、出力されるべきカテゴリ
ーの要素の他のカテゴリーの要素にはない特徴がどんど
ん強化されていくことになる。また、異なるカテゴリー
間で同じようなメンバーシップ値を有する要素では、互
いに、正の結合荷重と負の結合荷重を有するように学習
が進む。このようにして、中間層と出力層との間の結合
荷重値は、結果として、メンバーシップ値の有する特徴
を更に細かく分離するようになるのである。
【0022】尚、以上説明したニューラルネットワーク
では、EX−OR等の線形分離が可能でない問題等への
適応はできない。然し乍ら、線形分離可能な問題に対し
ては、従来の3層構造のニューラルネットワークに比較
すると、中間層のユニット数を試行錯誤的に決める必要
もないし、ローカルミニマ等に落ちることもない。従っ
て、確実に収束させることができる。多くのパターン認
識において、線形分離不可能な問題というのは、そんな
に多く現れるものでもなく、本発明のニューラルネット
ワークに入力する入力ベクトルを、何らかの前処理を施
し、特徴ベクトルとして表されるようにしておくと、非
常に効率的な認識を行なうことができる。また、本実施
例で示した統計的な処理による各中間ユニットの入出力
特性であるメンバーシップ関数の作成の基準に、平均値
の代わりに、入力ベクトルの要素の中央値を取っても良
いし、標準偏差の代わりに、分散を用いても同様なこと
ができることは、言うまでもないことである。
では、EX−OR等の線形分離が可能でない問題等への
適応はできない。然し乍ら、線形分離可能な問題に対し
ては、従来の3層構造のニューラルネットワークに比較
すると、中間層のユニット数を試行錯誤的に決める必要
もないし、ローカルミニマ等に落ちることもない。従っ
て、確実に収束させることができる。多くのパターン認
識において、線形分離不可能な問題というのは、そんな
に多く現れるものでもなく、本発明のニューラルネット
ワークに入力する入力ベクトルを、何らかの前処理を施
し、特徴ベクトルとして表されるようにしておくと、非
常に効率的な認識を行なうことができる。また、本実施
例で示した統計的な処理による各中間ユニットの入出力
特性であるメンバーシップ関数の作成の基準に、平均値
の代わりに、入力ベクトルの要素の中央値を取っても良
いし、標準偏差の代わりに、分散を用いても同様なこと
ができることは、言うまでもないことである。
【0023】
【実施例2】本実施例では、実施例1で説明したニュー
ラルネットワークに以下に述べる第2の出力層を追加し
て設けることを特徴としている。さて、図3に示すよう
に、入力層と中間層と出力層1の関係は、実施例1と全
く同じであるので、詳細な説明は省略する。入力層と中
間層と出力層2の関係について主に説明する。入力層と
中間層の結線のされ方、並びに結線荷重の決め方、及
び、中間ユニットの入出力特性の関数の決め方は、実施
例1と同様であり、入力ベクトルの要素数をN個とし、
出力カテゴリー数をK個とすると、入力層の各ユニット
に対応したN個の中間ユニットを出力カテゴリーに対応
してK組揃えた中間ユニット群及びバイアスを与えるユ
ニットを各中間ユニットに一つずつ付与した総計(N+
1)×K個のユニットを有する中間層よりなり、入力層
と中間層の間の結線の荷重値は、全て1で、各中間ユニ
ットの入出力特性は、出力カテゴリーに属させたい入力
パターン群のN個の各要素の代表値とバラツキを示す統
計的な量に基づいて作成された凸のメンバーシップ関数
で表されている。
ラルネットワークに以下に述べる第2の出力層を追加し
て設けることを特徴としている。さて、図3に示すよう
に、入力層と中間層と出力層1の関係は、実施例1と全
く同じであるので、詳細な説明は省略する。入力層と中
間層と出力層2の関係について主に説明する。入力層と
中間層の結線のされ方、並びに結線荷重の決め方、及
び、中間ユニットの入出力特性の関数の決め方は、実施
例1と同様であり、入力ベクトルの要素数をN個とし、
出力カテゴリー数をK個とすると、入力層の各ユニット
に対応したN個の中間ユニットを出力カテゴリーに対応
してK組揃えた中間ユニット群及びバイアスを与えるユ
ニットを各中間ユニットに一つずつ付与した総計(N+
1)×K個のユニットを有する中間層よりなり、入力層
と中間層の間の結線の荷重値は、全て1で、各中間ユニ
ットの入出力特性は、出力カテゴリーに属させたい入力
パターン群のN個の各要素の代表値とバラツキを示す統
計的な量に基づいて作成された凸のメンバーシップ関数
で表されている。
【0024】次に、中間層と出力層2との結線のされ方
は、各出力カテゴリーに対応する中間ユニットと1対1
で結合され、結合の荷重値は1であり、出力層2の各出
力ユニットは、中間層からの出力値であるメンバーシッ
プ値、即ち、入力ベクトルの各要素のメンバーシップ値
の中で最も小さい値を出力するようにする。例えば、出
力カテゴリー1に対応する出力層2の出力ユニットO21
へは、対応する中間層のユニットC1とC2とのみ結線さ
れ、バイアスを与えるユニットとは結線されず、中間層
と出力層2との結線の荷重値は1で、出力層2の出力ユ
ニットO21は、中間ユニットC1、C2の出力する各メン
バーシップ値の最小値を出力する。従って、出力層2か
らの出力値は、統計的に処理された学習パターンの各要
素の平均値から最も大きく離れた要素に対応したメンバ
ーシップ値が出力すれる。即ち、一つでも学習パターン
の要素と大きくずれると、出力値は小さくなるのであ
る。本実施例の特徴は、対応する出力カテゴリーの出力
層1の確からしさを出力層2の出力値で判断することに
ある。
は、各出力カテゴリーに対応する中間ユニットと1対1
で結合され、結合の荷重値は1であり、出力層2の各出
力ユニットは、中間層からの出力値であるメンバーシッ
プ値、即ち、入力ベクトルの各要素のメンバーシップ値
の中で最も小さい値を出力するようにする。例えば、出
力カテゴリー1に対応する出力層2の出力ユニットO21
へは、対応する中間層のユニットC1とC2とのみ結線さ
れ、バイアスを与えるユニットとは結線されず、中間層
と出力層2との結線の荷重値は1で、出力層2の出力ユ
ニットO21は、中間ユニットC1、C2の出力する各メン
バーシップ値の最小値を出力する。従って、出力層2か
らの出力値は、統計的に処理された学習パターンの各要
素の平均値から最も大きく離れた要素に対応したメンバ
ーシップ値が出力すれる。即ち、一つでも学習パターン
の要素と大きくずれると、出力値は小さくなるのであ
る。本実施例の特徴は、対応する出力カテゴリーの出力
層1の確からしさを出力層2の出力値で判断することに
ある。
【0025】このことを図4を用いて説明する。×印、
○印、△印は、各々カテゴリーA、B、Cに属する学習
データを表している。図4の四角で囲まれた領域は、各
カテゴリーに属する7つのデータの平均値と標準偏差に
基づいて作成されたメンバーシップ関数の境界を示して
いて、点線の領域は、説明したように、各カテゴリーに
対応する各中間ユニットの入出力特性を示すメンバーシ
ップ関数(ここでは、正規分布型として考えている)に
おいて、平均値から標準偏差量だけ離れた境界を示し、
一点鎖線は、平均値から3倍の標準偏差量だけ離れた境
界を示している。このように、各中間ユニットの入出力
特性を決定した後に、同じ学習データのセットか、若し
くは、異なる学習データのセットを用いて出力層1と中
間層との間の結線の荷重値をδルールにより決定する点
は、実施例1と同様である。一方、出力層2からの出力
は、入力ベクトルの各要素のメンバーシップ値の中で最
も小さい値を出力する。
○印、△印は、各々カテゴリーA、B、Cに属する学習
データを表している。図4の四角で囲まれた領域は、各
カテゴリーに属する7つのデータの平均値と標準偏差に
基づいて作成されたメンバーシップ関数の境界を示して
いて、点線の領域は、説明したように、各カテゴリーに
対応する各中間ユニットの入出力特性を示すメンバーシ
ップ関数(ここでは、正規分布型として考えている)に
おいて、平均値から標準偏差量だけ離れた境界を示し、
一点鎖線は、平均値から3倍の標準偏差量だけ離れた境
界を示している。このように、各中間ユニットの入出力
特性を決定した後に、同じ学習データのセットか、若し
くは、異なる学習データのセットを用いて出力層1と中
間層との間の結線の荷重値をδルールにより決定する点
は、実施例1と同様である。一方、出力層2からの出力
は、入力ベクトルの各要素のメンバーシップ値の中で最
も小さい値を出力する。
【0026】図5は、以上の操作を行なった後の出力層
1と出力層2の出力結果を示した表である。データ1か
らデータ3までは、学習に使用した各カテゴリーのデー
タである。例えば、データ1に対して、出力層1の認識
結果の第1位の出力は、カテゴリーAで、0.93の値
を示し、第2位の出力は、カテゴリーCで0.001の
出力値を示している。一方、出力層2の認識結果の第1
位の出力は、カテゴリーAで、0.33の値を示し、第
2位の出力は、カテゴリーCで0の出力値を示してい
る。このように、学習されたデータに対しては、出力層
1の出力値は非常に高くなり、また出力層2の出力値も
比較的高い値を有する。ところが、出力層1の出力値は
非常に高くなり、また、出力層2の出力値も比較的高い
値を有する。ところが、出力層1の出力は、学習データ
に基づいて、所謂汎化された領域による出力なので、例
えば、データ4やデータ6の出力のように、カテゴリー
Aである程度高いと判断しているが、統計的な処理によ
る出力層2の出力は、非常に小さい値を示している。従
って、この汎化の程度が正確であるか否かを判断する尺
度として、出力層2からの出力を用いることが本実施例
の特徴である。上記の例では、学習データが十分でない
ために、出力層2の出力が統計的に十分意味を持ってい
ると考え難いが、データ数が十分に多くとれば、統計的
に十分意味を有するようになる。
1と出力層2の出力結果を示した表である。データ1か
らデータ3までは、学習に使用した各カテゴリーのデー
タである。例えば、データ1に対して、出力層1の認識
結果の第1位の出力は、カテゴリーAで、0.93の値
を示し、第2位の出力は、カテゴリーCで0.001の
出力値を示している。一方、出力層2の認識結果の第1
位の出力は、カテゴリーAで、0.33の値を示し、第
2位の出力は、カテゴリーCで0の出力値を示してい
る。このように、学習されたデータに対しては、出力層
1の出力値は非常に高くなり、また出力層2の出力値も
比較的高い値を有する。ところが、出力層1の出力値は
非常に高くなり、また、出力層2の出力値も比較的高い
値を有する。ところが、出力層1の出力は、学習データ
に基づいて、所謂汎化された領域による出力なので、例
えば、データ4やデータ6の出力のように、カテゴリー
Aである程度高いと判断しているが、統計的な処理によ
る出力層2の出力は、非常に小さい値を示している。従
って、この汎化の程度が正確であるか否かを判断する尺
度として、出力層2からの出力を用いることが本実施例
の特徴である。上記の例では、学習データが十分でない
ために、出力層2の出力が統計的に十分意味を持ってい
ると考え難いが、データ数が十分に多くとれば、統計的
に十分意味を有するようになる。
【0027】即ち、正規分布を仮定すれば、平均値から
標準偏差量だけ離れた領域内にあるデータ数は、全デー
タ数のおよそ68%ということになり、平均値から標準
偏差の2倍だけ離れた領域内にあるデータ数は、全デー
タ数のおよそ95%となる。また、平均値からの標準偏
差量だけ離れた点におけるメンバーシップ値は、0.6
06となり、平均値から標準偏差の3倍だけ離れた点に
おけるメンバーシップ値は、0.135となる。従っ
て、認識結果が誤って出力されては困るような応用、例
えば、医療画像の認識や細胞の種類の同定等に使用する
ときには、第2の出力値を重視し、その大きさで第1の
出力層の結果の真なる程度を判断すれば良い。図5を用
いると、出力層2からの出力値が0.135よりも大き
いものを判断の閾値とすると、データ4、6の出力層1
の認識結果は、非常に当てにならないと判断できる。ま
た、データ5の出力に対しては、出力層2からの出力結
果としては、まあまあ当てになろうが、出力層1の出力
自体が小さいので、これも認識結果から省くことができ
る。
標準偏差量だけ離れた領域内にあるデータ数は、全デー
タ数のおよそ68%ということになり、平均値から標準
偏差の2倍だけ離れた領域内にあるデータ数は、全デー
タ数のおよそ95%となる。また、平均値からの標準偏
差量だけ離れた点におけるメンバーシップ値は、0.6
06となり、平均値から標準偏差の3倍だけ離れた点に
おけるメンバーシップ値は、0.135となる。従っ
て、認識結果が誤って出力されては困るような応用、例
えば、医療画像の認識や細胞の種類の同定等に使用する
ときには、第2の出力値を重視し、その大きさで第1の
出力層の結果の真なる程度を判断すれば良い。図5を用
いると、出力層2からの出力値が0.135よりも大き
いものを判断の閾値とすると、データ4、6の出力層1
の認識結果は、非常に当てにならないと判断できる。ま
た、データ5の出力に対しては、出力層2からの出力結
果としては、まあまあ当てになろうが、出力層1の出力
自体が小さいので、これも認識結果から省くことができ
る。
【0028】上記の例では、データ数が少ないので、以
上説明した効果が明確に現れないが、入力ベクトルの要
素数が多く、且つ、学習データ数が多くなると、非常に
効果的になる。尚、出力層2からの出力は、対応する出
力カテゴリーに対応した中間ユニットの要素が比較さ
れ、最も小さい値を出力すれば良いので、簡単な比較器
を用いて演算することができるし、コンピュータ内で計
算して出力しても良い。また、出力カテゴリーに対応し
た中間ユニット群の出力であるメンバーシップ値は、0
−1の値を有するので、この出力値を1から引いて、1
−0の値にして良く知られたウィナー(Winner)テイクー
オール(Take-All)型のニューラルネットワークに入力し
て、入力値の最も大きい値、即ち、中間ユニット群の出
力であるメンバーシップ値としては、最も小さい値に対
応する中間ユニットを決定して、その中間ユニットから
出力されているメンバーシップ値そのものを出力するよ
うにしても良い。この場合には、殆ど主要な部分の構成
を全てニューラルネットワークで構成することができる
ので、コンピュータを用いる場合に比べて、装置が簡単
化できる。
上説明した効果が明確に現れないが、入力ベクトルの要
素数が多く、且つ、学習データ数が多くなると、非常に
効果的になる。尚、出力層2からの出力は、対応する出
力カテゴリーに対応した中間ユニットの要素が比較さ
れ、最も小さい値を出力すれば良いので、簡単な比較器
を用いて演算することができるし、コンピュータ内で計
算して出力しても良い。また、出力カテゴリーに対応し
た中間ユニット群の出力であるメンバーシップ値は、0
−1の値を有するので、この出力値を1から引いて、1
−0の値にして良く知られたウィナー(Winner)テイクー
オール(Take-All)型のニューラルネットワークに入力し
て、入力値の最も大きい値、即ち、中間ユニット群の出
力であるメンバーシップ値としては、最も小さい値に対
応する中間ユニットを決定して、その中間ユニットから
出力されているメンバーシップ値そのものを出力するよ
うにしても良い。この場合には、殆ど主要な部分の構成
を全てニューラルネットワークで構成することができる
ので、コンピュータを用いる場合に比べて、装置が簡単
化できる。
【0029】
【実施例3】本実施例では、前記の実施例1及び2にお
ける学習済みの各中間ユニットの入出力特性を未知の入
力ベクトルがどのカテゴリーに属するかを判定すること
により、簡単に更新させていくことを特徴とするもので
ある。尚、ニューラルネットワーク自体の構成は、前記
の実施例1、2と同様なので説明を省略する。さて、あ
るカテゴリーに対して、学習パターンがN個あったと
し、そのカテゴリーに対応する中間ユニットの入出力特
性の各要素iの平均値をMi (N)、標準偏差量をσ
i(N)とある。そこで、ある未知の入力ベクトルXiを
入力した結果、このカテゴリーに分類される程度が極め
て高いと判断されたとする。このとき、このカテゴリー
に対する各要素iの平均値と標準偏差量を次の様に更新
する。
ける学習済みの各中間ユニットの入出力特性を未知の入
力ベクトルがどのカテゴリーに属するかを判定すること
により、簡単に更新させていくことを特徴とするもので
ある。尚、ニューラルネットワーク自体の構成は、前記
の実施例1、2と同様なので説明を省略する。さて、あ
るカテゴリーに対して、学習パターンがN個あったと
し、そのカテゴリーに対応する中間ユニットの入出力特
性の各要素iの平均値をMi (N)、標準偏差量をσ
i(N)とある。そこで、ある未知の入力ベクトルXiを
入力した結果、このカテゴリーに分類される程度が極め
て高いと判断されたとする。このとき、このカテゴリー
に対する各要素iの平均値と標準偏差量を次の様に更新
する。
【0030】即ち、このデータを含めたN+1個のデー
タに対する平均値Mi(N+1)と標準偏差量σi(N+
1)は、各々、 Mi(N+1)=(N×Mi(N)+Xi)/(N+1) σi(N+1)=√{(Nー1)/N×σi(N)2+(N+1)/N2×[XiーMi(N+1)]2} ・・・・・・・(4) のように、各要素iの平均値と標準偏差量が前回の平均
値と標準偏差量並びに、サンプル数が既知であれば簡単
に求めることができるのである。
タに対する平均値Mi(N+1)と標準偏差量σi(N+
1)は、各々、 Mi(N+1)=(N×Mi(N)+Xi)/(N+1) σi(N+1)=√{(Nー1)/N×σi(N)2+(N+1)/N2×[XiーMi(N+1)]2} ・・・・・・・(4) のように、各要素iの平均値と標準偏差量が前回の平均
値と標準偏差量並びに、サンプル数が既知であれば簡単
に求めることができるのである。
【0031】以下、具体的に図を用いて説明する。ある
未知の入力ベクトルが、例えば、図4に示すデータ4で
与えられたとする。このとき、実施例1の方法では、図
5の出力層1の出力しか得られないので、カテゴリーA
の出力値が1.0で、カテゴリーCの出力値が0.88
となる。このとき、前記の式(4)を用いて、カテゴリ
ーAに対応する中間ユニットの入出力特性であるメンバ
ーシップ関数を更新することができる。一方、実施例2
においては、出力層2の出力結果が、カテゴリーAの出
力値が0.03であり、カテゴリーCの出力値が0とな
るので、未知の入力が、判断することができないとし
て、入出力特性の更新をしない。このような更新は学習
されたサンプル数が多ければ多いほど確度が高いものと
なり、更に、出現頻度が高いカテゴリーほど、少しずつ
ではあるが、認識領域が広くなっていく傾向を有する。
また、従来のニューラルネットワークの場合には、荷重
値の更新は簡単でなく、最初から全ての結線を再学習に
より行なわなければならず、非常に煩雑であった。
未知の入力ベクトルが、例えば、図4に示すデータ4で
与えられたとする。このとき、実施例1の方法では、図
5の出力層1の出力しか得られないので、カテゴリーA
の出力値が1.0で、カテゴリーCの出力値が0.88
となる。このとき、前記の式(4)を用いて、カテゴリ
ーAに対応する中間ユニットの入出力特性であるメンバ
ーシップ関数を更新することができる。一方、実施例2
においては、出力層2の出力結果が、カテゴリーAの出
力値が0.03であり、カテゴリーCの出力値が0とな
るので、未知の入力が、判断することができないとし
て、入出力特性の更新をしない。このような更新は学習
されたサンプル数が多ければ多いほど確度が高いものと
なり、更に、出現頻度が高いカテゴリーほど、少しずつ
ではあるが、認識領域が広くなっていく傾向を有する。
また、従来のニューラルネットワークの場合には、荷重
値の更新は簡単でなく、最初から全ての結線を再学習に
より行なわなければならず、非常に煩雑であった。
【0032】本発明のニューラルネットワークでは、非
常に簡単な更新手続きにより、実質上荷重値を更新する
ので同じ効果が各中間ユニットの入出力特性を変えるこ
とにより実現できる。更に、自己組織的に更新していく
という特徴を有する、例えば、入力の状態が時間的に少
しづつ変動していく場合などには、従来のニューラルネ
ットワークでは、学習時に変動を考慮した学習データを
用意して、結合荷重値を決定していたが、前記の変動が
不規則であったり、予測できないようなものであったり
すると、学習データを用意することができなく、対応す
ることができなかった。本発明のニューラルネットワー
クによると、このような場合でも、各中間層の入出力特
性の関数を更新していくことができるので、ある程度対
処することができるのである。
常に簡単な更新手続きにより、実質上荷重値を更新する
ので同じ効果が各中間ユニットの入出力特性を変えるこ
とにより実現できる。更に、自己組織的に更新していく
という特徴を有する、例えば、入力の状態が時間的に少
しづつ変動していく場合などには、従来のニューラルネ
ットワークでは、学習時に変動を考慮した学習データを
用意して、結合荷重値を決定していたが、前記の変動が
不規則であったり、予測できないようなものであったり
すると、学習データを用意することができなく、対応す
ることができなかった。本発明のニューラルネットワー
クによると、このような場合でも、各中間層の入出力特
性の関数を更新していくことができるので、ある程度対
処することができるのである。
【0033】
【実施例4】本実施例では、実施例1〜3における中間
層のバイアスを与えるユニットの個数と、中間層と出力
層の結線のさせ方が異なることを特徴としている。本実
施例において、入力層と中間層の結線のされ方、並びに
結合荷重値の決め方、及び、各中間ユニットの入出力特
性であるメンバーシップ関数の決め方は、実施例1と同
様である。即ち、入力ベクトルの要素数をN個とし、出
力カテゴリー数をK個とすると、入力層の各ユニットに
対応したN個の中間ユニットを出力カテゴリーに対応し
てK組揃えた中間ユニット群を用意する。ここで、入力
層と中間層の間の結線の荷重値は、全て1で、各中間ユ
ニットの入出力特性は、出力カテゴリーに属させたい入
力パターン群のN個の各要素の代表値とバラツキを示す
統計的な量に基づいて作成された凸のメンバーシップ関
数で表されている。但し、中間ユニット群に付与される
バイアスはただ一つであり、従って、中間ユニット数
は、N×K+1個となる。また、中間層と出力層との間
の結線は、中間層にある全てのユニットと出力層にある
全てのユニットの間でなされる。
層のバイアスを与えるユニットの個数と、中間層と出力
層の結線のさせ方が異なることを特徴としている。本実
施例において、入力層と中間層の結線のされ方、並びに
結合荷重値の決め方、及び、各中間ユニットの入出力特
性であるメンバーシップ関数の決め方は、実施例1と同
様である。即ち、入力ベクトルの要素数をN個とし、出
力カテゴリー数をK個とすると、入力層の各ユニットに
対応したN個の中間ユニットを出力カテゴリーに対応し
てK組揃えた中間ユニット群を用意する。ここで、入力
層と中間層の間の結線の荷重値は、全て1で、各中間ユ
ニットの入出力特性は、出力カテゴリーに属させたい入
力パターン群のN個の各要素の代表値とバラツキを示す
統計的な量に基づいて作成された凸のメンバーシップ関
数で表されている。但し、中間ユニット群に付与される
バイアスはただ一つであり、従って、中間ユニット数
は、N×K+1個となる。また、中間層と出力層との間
の結線は、中間層にある全てのユニットと出力層にある
全てのユニットの間でなされる。
【0034】以上、説明したことを、図を用いて説明す
る。図6は、本実施例の構成を示す構成図である。先
ず、入力ベクトルは、説明を簡単にするために、2つの
要素からなるものとし、出力カテゴリーの数を3とす
る。先ず、入力層のユニットI1とI2は、各々の中間層
のユニットC1、C3、C5とC2、C4、C6にしか結合さ
れておらず、また、中間層のユニットC7は、バイアス
を与えるユニットである。従って、入力層とは結合され
ていない。次に、中間層と出力層のユニット間の結合
は、一つの出力カテゴリーの出力ユニットO1を見る
と、中間層にある全てのユニットC1〜C7と結合されて
いる。その他の出力ユニットについても同様である。さ
て、本実施例のニューラルネットワークの学習のさせ方
も、実施例1と同様なので詳細な説明は省略するが、中
間層から出力される各出力カテゴリーに対応した各要素
のメンバーシップ値を入力して、δルールにより学習し
て中間層と出力層との間の結合荷重値を求めることがで
きる。このように、実施例1と異なるのは、中間層と出
力層の間の結線数が増加していることであり、この分、
学習に時間が掛かるが、より緻密な結合荷重の構造がで
きるので、より複雑な認識領域の作成が可能である。
尚、本実施例のニューラルネットワークにおいて、実施
例2と同様に、出力層2を設け、出力層1の結果の真な
る程度を判定したり、実施例3のように、各中間ユニッ
トの入出力特性であるメンバーシップ関数を更新してい
くようにすることができることは、いうまでもない。ま
た、中間層と出力層との間に更に第2の中間層を設け、
従来のEBPにより各層間の結合荷重値を決めることも
できる。このようにすると、更に、複雑な認識領域を形
成することができる。
る。図6は、本実施例の構成を示す構成図である。先
ず、入力ベクトルは、説明を簡単にするために、2つの
要素からなるものとし、出力カテゴリーの数を3とす
る。先ず、入力層のユニットI1とI2は、各々の中間層
のユニットC1、C3、C5とC2、C4、C6にしか結合さ
れておらず、また、中間層のユニットC7は、バイアス
を与えるユニットである。従って、入力層とは結合され
ていない。次に、中間層と出力層のユニット間の結合
は、一つの出力カテゴリーの出力ユニットO1を見る
と、中間層にある全てのユニットC1〜C7と結合されて
いる。その他の出力ユニットについても同様である。さ
て、本実施例のニューラルネットワークの学習のさせ方
も、実施例1と同様なので詳細な説明は省略するが、中
間層から出力される各出力カテゴリーに対応した各要素
のメンバーシップ値を入力して、δルールにより学習し
て中間層と出力層との間の結合荷重値を求めることがで
きる。このように、実施例1と異なるのは、中間層と出
力層の間の結線数が増加していることであり、この分、
学習に時間が掛かるが、より緻密な結合荷重の構造がで
きるので、より複雑な認識領域の作成が可能である。
尚、本実施例のニューラルネットワークにおいて、実施
例2と同様に、出力層2を設け、出力層1の結果の真な
る程度を判定したり、実施例3のように、各中間ユニッ
トの入出力特性であるメンバーシップ関数を更新してい
くようにすることができることは、いうまでもない。ま
た、中間層と出力層との間に更に第2の中間層を設け、
従来のEBPにより各層間の結合荷重値を決めることも
できる。このようにすると、更に、複雑な認識領域を形
成することができる。
【0035】
【発明の効果】以上説明したように、本発明のニューラ
ルネットワークにより、前記のような効果が得られた。
それらをまとめると、次のような顕著な技術的効果とな
る。即ち、第1に、本発明のニューラルネットワークに
より学習が必ず収束し、また、各中間ユニットの入出力
特性は、統計的な諸量を用いてメンバーシップ関数とし
て表現することができ、中間層と出力層との間の結線
は、δルールで決定することができるので、極めて簡単
になり、中間層ユニットを試行錯誤的に決める必要がな
い。第2に、統計的な諸量を用いて、ニューラルネット
ワークの汎化の真なる程度を判断することができるの
で、正確な判断を必要とする分野の応用に対して非常に
効果的となる。第3に、学習後でも、簡単な手続きによ
り各中間ユニットの入出力特性を更新することができる
ので、入力ベクトルの時間的な変動を吸収したり、出現
頻度の高いものほど認識し易くすることができる。
ルネットワークにより、前記のような効果が得られた。
それらをまとめると、次のような顕著な技術的効果とな
る。即ち、第1に、本発明のニューラルネットワークに
より学習が必ず収束し、また、各中間ユニットの入出力
特性は、統計的な諸量を用いてメンバーシップ関数とし
て表現することができ、中間層と出力層との間の結線
は、δルールで決定することができるので、極めて簡単
になり、中間層ユニットを試行錯誤的に決める必要がな
い。第2に、統計的な諸量を用いて、ニューラルネット
ワークの汎化の真なる程度を判断することができるの
で、正確な判断を必要とする分野の応用に対して非常に
効果的となる。第3に、学習後でも、簡単な手続きによ
り各中間ユニットの入出力特性を更新することができる
ので、入力ベクトルの時間的な変動を吸収したり、出現
頻度の高いものほど認識し易くすることができる。
【図1】本発明のニューラルネットワークの1実施例の
構成を示す模式的構成図である。
構成を示す模式的構成図である。
【図2】従来の代表的3層ニューラルネットワークの構
成を示す構成図である。
成を示す構成図である。
【図3】本発明のニューラルネットワークの他の実施例
の構成を示す構成図である。
の構成を示す構成図である。
【図4】本発明によるニューラルネットワークの認識領
域を説明する模式的構成図である。
域を説明する模式的構成図である。
【図5】本発明のニューラルネットワークの他の実施例
で認識した例を示す表である。
で認識した例を示す表である。
【図6】本発明のニューラルネットワークの更なる他の
実施例を示す構成図である。
実施例を示す構成図である。
I1、I2
入力ユニット C1、C2、C3、C4、C5、C6、C7、C8、C8
中間ユニット O1、O2、O3
出力ユニット
入力ユニット C1、C2、C3、C4、C5、C6、C7、C8、C8
中間ユニット O1、O2、O3
出力ユニット
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平2−189635(JP,A) 特開 平4−127239(JP,A) 特開 平4−23088(JP,A) 特開 平4−76678(JP,A) 特開 平4−92901(JP,A) 特開 平4−536(JP,A) 特開 平2−292602(JP,A) (58)調査した分野(Int.Cl.7,DB名) G06N 3/00 - 3/10 G06F 15/18 G06G 7/60 JICSTファイル(JOIS)
Claims (6)
- 【請求項1】 N次元の入力ベクトルからなる入力パタ
ーンをK個の出力カテゴリーに対応付けするニューラル
ネットワークにおいて、 少なくてもN個の入力ユニットを有する入力層と前記入
力層の各ユニットに対応したN個の中間ユニットを前記
出力カテゴリーに対応してK組揃えた中間ユニット群及
びバイアスを与えるユニットを有する中間層とK個の出
力ユニットを有する第1の出力層とから構成され、前記
入力層の各ユニットと前記中間ユニット群との間の結線
の荷重値は、全て1で、前記中間ユニット群の各中間ユ
ニットの入出力特性は、対応する出力カテゴリーに属す
る入力パターン群のN個の各要素毎の代表値とバラツキ
を示す統計的な量に基づき作成された凸のメンバーシッ
プ関数で表され、前記中間層と前記第1の出力層との間
の結線の荷重値は、前記メンバーシップ関数から出力さ
れるメンバーシップ値を前記中間ユニット群の出力とし
て、δルールに基づき学習により決定することを特徴と
する前記ニューラルネットワーク。 - 【請求項2】N次元の入力ベクトルからなる入力パター
ンをK個の出力カテゴリーに対応付けするニューラルネ
ットワークにおいて、 少なくてもN個の入力ユニットを有する入力層と前記入
力層の各ユニットに対応したN個の中間ユニットを前記
出力カテゴリーに対応してK組揃えた中間ユニット群及
びバイアスを与えるユニットを有する中間層とK個の出
力ユニットを有する第1の出力層と第2の出力層とから
構成され、前記入力層の各ユニットと前記中間ユニット
群との間の結線の荷重値は、全て1で、前記中間ユニッ
ト群の各中間ユニットの入出力特性は、対応する出力カ
テゴリーに属する入力パターン群のN個の各要素毎の代
表値とバラツキを示す統計的な量に基づき作成された凸
のメンバーシップ関数で表され、前記中間層と前記第1
の出力層との間の結線の荷重値は、前記メンバーシップ
関数から出力されるメンバーシップ値を前記中間ユニッ
ト群の出力として、δルールに基づき学習により決定さ
れ、前記第2の出力層からはK個の出力カテゴリーに対
応する各々の前記中間ユニット内のN個の要素が比較さ
れ、最も小さい値が出力カテゴリー毎に出力され、ある
入力に対し、前記第1の出力層が出力するカテゴリーの
真なる程度を、対応する該カテゴリーに対して前記第2
の出力層が出力する最も小さい値の程度で評価すること
を特徴とする前記ニューラルネットワーク。 - 【請求項3】前記中間ユニット群の各中間ユニットの入
出力特性は、前記第1の出力層或いは前記第2の出力層
により評価された前記第1の出力層の出力する値が最も
大きいカテゴリーに対応する中間ユニットに対し、前記
代表値とバラツキを示す量を更新することにより変化さ
せられることを特徴とする請求項1或いは2に記載のニ
ューラルネットワーク。 - 【請求項4】前記バイアスを与えるユニットは、前記K
組揃えた中間ユニット群の各組の中間ユニットに一つず
つ付与し、前記中間層と前記第1の出力層との間の結線
は、出力カテゴリーに対応した中間ユニット及び該バイ
アスを与えるユニットと出力カテゴリーに対応する前記
第1の出力層のユニットのみと結合させることを特徴と
する請求項1〜3のいずれかに記載のニューラルネット
ワーク。 - 【請求項5】前記バイアスを与えるユニットは、前記中
間ユニット群に1つ付与し、前記中間層と前記第1の出
力層との間の結線は、前記中間層にある全ての中間ユニ
ット及び該バイアスを与えるユニットと出力カテゴリー
に対応する前記第1の出力層のユニットの全てと結合さ
せることを特徴とする請求項1〜3のいずれかに記載の
ニューラルネットワーク。 - 【請求項6】前記の対応する出力カテゴリーに属する入
力パターン群のN個の各要素の代表値とバラツキを示す
値は、前記代表値として、平均値或いは中央値等の統計
的な量を用い、前記バラツキを示す量として、標準偏差
或いは分散等の統計的な量をを用いることを特徴とする
請求項1〜5のいずれかに記載のニューラルネットワー
ク。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP27287192A JP3337504B2 (ja) | 1992-10-12 | 1992-10-12 | ニューラルネットワーク |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP27287192A JP3337504B2 (ja) | 1992-10-12 | 1992-10-12 | ニューラルネットワーク |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH06124354A JPH06124354A (ja) | 1994-05-06 |
JP3337504B2 true JP3337504B2 (ja) | 2002-10-21 |
Family
ID=17519928
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP27287192A Expired - Fee Related JP3337504B2 (ja) | 1992-10-12 | 1992-10-12 | ニューラルネットワーク |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3337504B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3619744A1 (de) * | 1986-06-12 | 1987-12-17 | Ant Nachrichtentech | Verfahren zum gewinnen eines phasendifferenzsignals |
JP3304318B2 (ja) * | 1999-08-24 | 2002-07-22 | 株式会社メンテック | 高品質クレープ紙の製造方法 |
JP5782222B2 (ja) * | 2008-08-13 | 2015-09-24 | 帝人デュポンフィルム株式会社 | 液晶表示装置用反射フィルム |
-
1992
- 1992-10-12 JP JP27287192A patent/JP3337504B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH06124354A (ja) | 1994-05-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100442835B1 (ko) | 인공 신경망을 이용한 얼굴 인식 방법 및 장치 | |
JP3329806B2 (ja) | ニューラルネット構築装置 | |
Bengio et al. | Taking on the curse of dimensionality in joint distributions using neural networks | |
Pal | Soft computing for feature analysis | |
Dey et al. | Regularizing multilayer perceptron for robustness | |
JP2747104B2 (ja) | ニューラルネットワーク | |
CN111310068A (zh) | 基于动态图的社交网络节点分类方法 | |
CN113343119A (zh) | 一种基于层次注意力机制的群组推荐方法 | |
CN111079790A (zh) | 一种构建类别中心的图像分类方法 | |
US5274744A (en) | Neural network for performing a relaxation process | |
JP3337504B2 (ja) | ニューラルネットワーク | |
JP3043539B2 (ja) | ニューラル・ネットワーク | |
Vizuete-Luciano et al. | Decision making in the assignment process by using the Hungarian algorithm with OWA operators | |
JP3035106B2 (ja) | 大規模情報認識回路 | |
JP2907486B2 (ja) | ニューラルネットワーク装置 | |
CN113420879A (zh) | 多任务学习模型的预测方法及装置 | |
CN112926738A (zh) | 一种神经网络自适应输出层的设计方法、设备及存储介质 | |
CN115545467B (zh) | 一种基于图神经网络的风险商品识别模型 | |
Wan et al. | Introducing cost-sensitive neural networks | |
Iyoda et al. | Evolutionary design of neurofuzzy networks for pattern classification | |
JP3118018B2 (ja) | ニュ−ラルネットワ−ク | |
JPH07104849B2 (ja) | ニューラル・ネットワークの学習方法 | |
JP3618007B2 (ja) | ニューラルネットワークの学習装置及び学習方法 | |
JP2639028B2 (ja) | 神経回路の学習装置および学習方法 | |
Yildirim et al. | A conic section function network synapse and neuron implementation in VLSI hardware |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
LAPS | Cancellation because of no payment of annual fees |