JP2739804B2 - 双極子推定装置 - Google Patents

双極子推定装置

Info

Publication number
JP2739804B2
JP2739804B2 JP5112564A JP11256493A JP2739804B2 JP 2739804 B2 JP2739804 B2 JP 2739804B2 JP 5112564 A JP5112564 A JP 5112564A JP 11256493 A JP11256493 A JP 11256493A JP 2739804 B2 JP2739804 B2 JP 2739804B2
Authority
JP
Japan
Prior art keywords
unit
electromagnetic field
field distribution
dipole
storage unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP5112564A
Other languages
English (en)
Other versions
JPH06319713A (ja
Inventor
朝春 喜友名
哲司 谷川
憲一 上條
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP5112564A priority Critical patent/JP2739804B2/ja
Priority to US08/242,084 priority patent/US5524086A/en
Priority to CA002123563A priority patent/CA2123563C/en
Publication of JPH06319713A publication Critical patent/JPH06319713A/ja
Application granted granted Critical
Publication of JP2739804B2 publication Critical patent/JP2739804B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S128/00Surgery
    • Y10S128/92Computer assisted medical diagnostics
    • Y10S128/925Neural network
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S706/00Data processing: artificial intelligence
    • Y10S706/902Application using ai with detail of the ai system

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、生体または物体内の電
気的活動に起因して生体または物体上に生じる電磁場分
布を入力とし、電磁場の発生源として生体または物体内
部に1個または2個以上の双極子の存在を仮定し、双極
子の個数、位置、またはモーメントを推定する双極子推
定装置に関する。
【0002】
【従来の技術】従来、生体または物体上に生じる電磁場
分布から双極子の位置およびモーメントを推定する方法
としては、次のようなものがあった。
【0003】まず生体または物体内部に双極子を仮定
し、その双極子によって体表面上に設置した測定点に生
じる電磁場分布を計算する。計算の結果得られたi番目
の測定点に生じる電磁場分布の計算値φi (c) と電磁場
分布の測定値φi (m) との誤差関数として、例えば2乗
誤差r
【0004】
【数1】
【0005】を計算する。もし、rがあらかじめ設定さ
れた基準値よりも大きければ、シンプレックス法などに
代表される数値解析的な最適化手法を用いてrを小さく
するように双極子位置と双極子モーメントを修正する。
誤差rが基準値よりも小さくなるような双極子位置と双
極子モーメントが得られれば、これをもって双極子の位
置と双極子モーメントの推定値とする。上述の方法につ
いては、「エレクトリック・ダイポール・トレーシング
・イン・ザ・ブレイン・バイ・ミーンズ・オブ・ザ・バ
ウンダリ・エレメント・メソッド・アンド・イッツ・ア
キュレイシー,アイ・トリプル・イー・トランザクショ
ンズ・オン・バイオメディカル・エンジニアリング,第
BME−34巻,第6号」(Bin He et a
l.,Electric Dipole Tracin
g in the Brain byMeans of
the Boundary Element Met
hod and Its Accuracy,IEEE
TRANSACTIONSON BIOMEDICA
L ENGINEERING,VOL.BME−34,
NO.6,JUNE 1987,以下「文献1」と記
す)に詳しい。
【0006】
【発明が解決しようとする課題】しかしながら、上述の
方法では、計算開始時点での双極子の個数、位置、およ
びモーメントの初期値設定方法があいまいであり、初期
値によっては双極子の位置を誤って推定してしまうこと
があった。また、上述の方法では最終的に双極子の位置
と双極子モーメントを得るまでに多数回の繰り返し計算
を行う必要があるが、生体の形状を考慮した場合には電
磁場分布の計算が複雑になるため、推定値を得るまでに
膨大な時間を要していた。さらに、双極子の数が複数に
なると1個の場合に比して倍以上の推定時間を必要と
し、また誤差関数の極小点の数が増えるため、あやまっ
た推定結果を与える場合も多かった。
【0007】本発明の目的は、双極子の数が複数の場合
でも、生体または物体の形状を考慮しながら高速・高精
度な双極子推定が可能な双極子推定装置を提供すること
にある。
【0008】
【課題を解決するための手段】第1の発明の双極子推定
方法は、生体または物体上で測定した電磁場分布測定値
と、双極子の個数、位置、モーメントおよびその双極子
によって生体または物体上に生じる電磁場分布から成る
学習データと、生体または物体の形状情報を入力とし、
電磁場分布測定値の源泉として生体または物体内部に双
極子の存在を仮定し、入力層と出力層および1層以上の
中間層から成るニューラル・ネットワーク・システムを
用いて、学習データ中の電磁場分布から双極子の個数、
位置、およびモーメントを算出し、学習データ中の双極
子の個数、位置およびモーメントとニューラル・ネット
ワーク・システムによって算出された双極子の個数、位
置、およびモーメントとの差異を小さくするように結合
係数を修正し、ニューラル・ネットワーク・システムに
よって算出した双極子の個数、位置、およびモーメント
から電磁場分布を計算し、電磁場分布計算値と電磁場分
布測定値との差異を小さくするように双極子の個数、位
置、およびモーメントを修正し、双極子の個数、位置、
モーメントのうちどれか1つ、または2つ以上を組み合
わせて出力する、ことを特徴とする。
【0009】第2の発明の双極子推定装置は、生体また
は物体上の電磁場分布を測定する電磁場分布測定部と、
学習データおよび前記電磁場分布測定部から電磁場分布
の測定値を受け取り、学習データ、電磁場分布の測定値
を正規化するデータ正規化部と、前記データ正規化部か
ら正規化された学習データまたは電磁場分布の正規化さ
れた測定値を受け取り、これらを記憶する入力バッファ
と、前記入力バッファから正規化された学習データまた
は電磁場分布の正規化された測定値を受け取り、これら
を記憶するユニット出力記憶部と、前記入力バッファか
ら正規化された学習データを、前記ユニット出力記憶部
からユニット出力を、前記結合係数記憶部から結合係数
を受け取り、結合係数を修正する結合係数修正部と、入
力層、出力層、および1層以上の中間層から成るニュー
ラル・ネットワーク・システムの、各層のユニット間の
結合係数を記憶する結合係数記憶部と、前記入力バッフ
ァから正規化された学習データまたは電磁場分布の正規
化された測定値を、前記ユニット出力記憶部からユニッ
ト出力を、結合係数記憶部から結合係数を受け取り、ユ
ニット出力を更新するユニット出力更新部と、前記ユニ
ット出力記憶部から正規化された双極子の個数、位置、
およびモーメントを受け取り、これらを元の値に変換す
る双極子情報変換部と、前記双極子情報変換部から双極
子の個数、位置、およびモーメントを受け取り、これら
を記憶する双極子情報記憶部と、生体または物体の形状
を測定する形状情報測定部と、前記形状情報測定部で測
定された形状情報を記憶する形状情報記憶部と、前記双
極子情報記憶部から双極子の個数、位置、およびモーメ
ントを、前記形状情報記憶部から形状情報を受け取り、
電磁場分布を計算する電磁場分布計算部と、前記双極子
情報記憶部から双極子の個数、位置、およびモーメント
を受け取り、双極子の個数、位置、モーメントのうちの
どれか1つ、または2つ以上を組み合わせて表示する双
極子情報表示部と、前記双極子情報記憶部から双極子の
個数、位置、およびモーメントを、前記電磁場分布計算
部から電磁場分布の計算値を、前記電磁場分布測定部か
ら電磁場分布の測定値を受け取り、電磁場分布の計算値
と電磁場分布の測定値との差異を小さくするように双極
子の個数、位置、およびモーメントを修正する双極子情
報修正部と、を備えることを特徴とする。
【0010】
【作用】本発明は、あらかじめ教師付き学習を行ったニ
ューラル・ネットワーク・システムを用いて、生体また
は物体の電磁場分布から、電磁場分布の源泉として仮定
された1個または2個以上の双極子の個数、位置、また
はモーメントを推定しようとするものである。以下で
は、双極子の個数、位置、モーメントのうちのどれか1
つ、または2つ以上を組み合わせたものをまとめて双極
子情報と呼ぶ。
【0011】本発明では、ニューラル・ネットワーク・
システムに対してあらかじめ電磁場分布と、その電磁場
分布の源泉となっている双極子の双極子情報との関係を
学習させておく。ここでいう学習とは、電磁場分布の入
力に対し、その電磁場分布の源泉である双極子の双極子
情報を正しく出力するようにニューラル・ネットワーク
・システムの結合係数を修正することを意味する。ひと
たび学習を終えれば、学習結果はニューラル・ネットワ
ーク・システムの結合係数に反映されているため、実際
の推定の際に行う計算は単にニューラル・ネットワーク
・システムの出力を求めるための順方向計算のみであ
る。したがって本発明では双極子数が複数の場合でも双
極子情報の推定を高速に行うことができる。また、ニュ
ーラル・ネットワーク・システムの学習の際、雑音を付
加した学習データを用いることにより、雑音に強い双極
子推定が可能となる。さらに、ニューラル・ネットワー
ク・システムを用いて推定した双極子情報を初期値と
し、シンプレックス法などの数値解析的な最適化手法と
組み合わせることにより、生体の外部形状を考慮しなが
ら双極子情報をさらに精密に推定することも可能とな
る。この場合、ニューラル・ネットワーク・システムに
よって推定した値を初期値としているが、この時点です
でに真の双極子情報に近い値が得られているため、真の
双極子情報を得るまでに行う繰り返し計算の回数が少な
くて済み、高速な双極子推定が可能となる。
【0012】
【実施例】図1は第1の発明の一実施例を説明する流れ
図である。以下この実施例を第1の実施例と呼ぶ。以下
では人間の脳内に1個の双極子が生じている場合に、頭
皮上の電磁場分布から双極子の個数と位置座標の3成分
とモーメント成分の3成分を推定する場合について説明
する。また、以下では双極子の個数と位置座標の3成分
とモーメント成分の3成分をまとめて双極子情報と呼
ぶ。
【0013】ステップ1では、ニューラル・ネットワー
ク・システムの学習に用いる学習データ、頭皮上の電磁
場分布の測定値を読み込む。学習データは、双極子情報
と、その双極子が脳内に生じたときに頭皮上の各測定点
における電磁場分布の計算値から成る。双極子情報から
電磁場分布を計算するには、次のようにして行う。以下
では、頭部のモデルとして半径Rの一様な導電率を持っ
た導体球を考え、導体球の表面に生じる電位の計算方法
について述べる。導体球の中心を原点とした座標系を取
り、z軸上の原点からrの距離にモーメント成分が(M
t ,0,Mr )の双極子が存在した場合、球面上の位置
(R,θ,ψ)で指定される点に生じる電位φ(R,
θ,ψ)は次のように与えられる。
【0014】
【数2】
【0015】で定義される球面調和関数、Pn m (x)
はLegendreの陪関数、δij
【0016】
【数3】
【0017】で定義されるクロネッカーの記号である。
(2)式は、双極子がz軸上にあり、モーメントのy成
分が0である場合の電位であるが、任意の位置にある双
極子に対しては座標変換を行うことによって(2)式か
ら求めることができる。双極子が複数ある場合には、そ
れぞれの双極子によって生じる電位を単純に足し合わせ
ればよい。
【0018】電磁場分布の計算値は、そのまま学習デー
タとして用いてもよいが、雑音を付加した電磁場分布を
用いてもよい。雑音を付加した電磁場分布φi (L)
は、例えば次のように与えられる。
【0019】
【数4】
【0020】ここでφi (L) は頭皮上のi番目の測定点
での電磁場分布の計算値、ηi はそれに付加された雑音
で、乱数を用いて与えられる。上付き添字のLは電磁場
分布が学習データに用いられることを表す。頭皮上で測
定される電磁場分布には雑音が混ざっている場合が多い
ので、あらかじめ雑音を含んだデータをニューラル・ネ
ットワーク・システムに学習させておけば、雑音に強い
双極子推定装置の実現が可能となる。
【0021】次に学習データについて説明する。学習デ
ータは、学習に先立って次のような方法で生成してお
く。まず頭部モデルとして、例えば上述の均質な導体球
を設定する。球内部にn個の双極子が存在し、i番目の
双極子の位置が(xi ,yi ,zi )、モーメントが
(Mxi ,Myi ,Mzi )であるとする。このとき、
これらの双極子によって球面上のj番目の点に生じる電
磁場分布をφj と書く。電磁場分布の測定点の数がk個
の場合、1個の学習データは、双極子の個数、位置、モ
ーメントおよびその双極子によって生じた電磁場分布
(n,x1 ,y1 ,z1 Mx1 ,My1 ,Mz1 ,・・
・,xn ,yn ,zn Mxn ,Myn ,Mznφ1 ,・
・・,φK )から成る。このような学習データを双極子
の個数、位置、またはモーメントを変えて例えば100
0個から10000個用意し、磁気固定ディスクなどの
記憶装置に保持しておく。ここでは頭部モデルとして導
電率が一様な導体球を例に挙げたが、頭部を構成する
脳、頭蓋骨、および頭皮の導電率の違いを考慮して、導
電率の異なる3層の導体からなる3層同心球モデルや、
実際の頭部形状と同じ形状をもったモデルを用いてもよ
い。頭部モデルと電磁場分布の計算方法については、例
えば「ロケーション・オブ・ソーシズ・オブ・エヴォク
ト・スカルプ・ポテンシャルズ・コレクションズ・フォ
ア・スカル・アンド・スカルプ・シックネス,アイ・ト
リプル・イー・トランザクションズ・オン・バイオメデ
ィカル・エンジニアリング,第BME−28巻,第6
号」(JamesP.Ary et al.,Loca
tion of Sources ofEvoked
Scalp Potentials:Correcti
onsfor Skll and Scalp Thi
ckness,IEEE TRANSACTIONS
ON BIOMEDICAL ENGINEERIN
G,VOL.BME−28,NO.6,JUNE 19
81,以下「文献2」と記す)に詳しい。
【0022】ステップ2は学習データ、および電磁場分
布の測定値を正規化する。正規化は例えば次のように行
う。i番目の測定点での電磁場分布データの計算値をφ
i (L) と書く。このとき、正規化された電磁場分布デー
タφi (N)
【0023】
【数5】
【0024】で定義する。ここでmax|φ|は、全学
習データの中でその絶対値が最大の電磁場分布の値を表
す。aは正規化定数で、例えば0.8などの値が適切で
あるが、その他の正数を用いても差し支えない。入力値
を正規化するのは、入力されたデータの値が大きすぎる
と学習が困難になるためで、入力値の最大値に制限を加
えることによって学習をより効率的に実行できるように
なる。双極子情報のうち、双極子の個数の正規化は例え
ば次のように行う。
【0025】
【数6】
【0026】ここで、N0 は実際の個数、maxN0
個数の取り得る最大値、Nは正規化された双極子数を表
す。aは1>a>0を満たす実数である。双極子情報の
うち、位置座標の正規化は、例えば次のようにする。位
置のx座標の場合、正規化されたx座標xを、
【0027】
【数7】
【0028】で定義する。ここでx0 は実際のx座標の
値、max|x0 |は|x0 |が取り得る最大値を表
し、aは1>a>0を満たす実数である。その他の位置
座標およびモーメントの3成分に対しても同様な方法で
規格化する。正規化を定義する式は上式に限らず、値が
1以下になるようなものであればよい。
【0029】ステップ3ではニューラル・ネットワーク
・システムの結合係数を、乱数などを用いて初期化す
る。
【0030】ステップ4では、ニューラル・ネットワー
ク・システムの入力層に対して学習データの電磁場分布
を入力する。
【0031】ステップ5では、ニューラル・ネットワー
ク・システムを用いて双極子情報を算出する。ニューラ
ル・ネットワーク・システムは、一般に図3のような、
入力層、出力層、および1層以上の中間層と呼ばれる3
種類の層から構成され、さらに各層にはユニット240
と呼ばれる処理単位系が配置される。各ユニット240
は、入力層に近い側の隣接層のユニットから入力を受
け、出力層に近い側の隣接層のユニットに出力する。各
ユニットの入出力関係を、例えば次のように定義するこ
とができる。
【0032】
【数8】
【0033】ここで、hはユニットへの入力、vはユニ
ットからの出力、θはユニットの持つ閾値を表す。上付
きの添字は入力層から数えた階層の数を表し、下付きの
添字は層中のユニットの番号を表す。また、W
ij (l) は、第(l−1)層のj番目のユニットと第l層
のi番目のユニット間の結合係数、g(x)は入出力の
応答関数である。入力層から出力層まで順序よく計算し
て行けば最終的に出力層からの出力が得られる。この出
力が、ニューラル・ネットワーク・システムによって算
出された双極子情報である。応答関数としては、(1
1)式以外にも、例えば、tanh(x)を用いてもよ
いし、これら以外の関数を用いてもよい。また、本実施
例では図3に示す層間のフィードバックのない構造のニ
ューラル・ネットワーク・システムについて説明した
が、図4に示す中間層もしくは出力層が出力層側の隣接
層以外に、その層よりも入力層側に存在する層もしくは
自己自身の層に対しても出力されるリカレント型ネット
ワーク構造を持つ場合にも本実施例で説明する方法を用
いて双極子推定を行うことが可能である。
【0034】ステップ6ではニューラル・ネットワーク
・システムによって算出された双極子情報と、学習デー
タの双極子情報の差異を計算する。以下、この差異を誤
差Eと呼ぶ。誤差Eは、例えば2乗誤差を用いて
【0035】
【数9】
【0036】で定義される。ここでoi は、出力層の第
i番目のユニットからの出力、τi は、そのユニットの
正しい出力である。誤差Eは必ずしも2乗誤差でなくと
もよく、全てのoi ,τi が一致したときに0となるよ
うな非負値の関数であればよい。以下、ニューラル・ネ
ットワーク・システムの正しい出力を教師信号と呼ぶ。
教師信号としては、入力された電位分布データに対応し
た双極子の個数、位置、またはモーメントなどを用いる
ことができるが、双極子の特徴を表すその他のデータを
用いてもよいことはいうまでもない。教師信号データの
与え方の例を図5,図6,図7に示す。図5では、k個
の測定点で測定した電磁場データφj ,(j=1,・・
・,k)を入力データとし、双極子の数がn個の場合の
例を示している。xi ,yi ,zi (i=1,・・・,
n)はそれぞれi番目の双極子位置の規格化されたx,
y,z座標、Mxi ,Myi ,Mzi (i=1,・・
・,n)はそれぞれi番目の双極子モーメントの規格化
されたx,y,z座標である。図6は双極子数の推定を
行う場合の教師信号の一例である。図7は、ユニットの
状態ON/OFFで双極子の位置、およびモーメントを
表した場合の教師信号の一例である。図7では出力層の
ユニットだけを示し、その他の層は省略してある。この
場合、座標値やモーメントの成分を離散化し、その値に
対応するユニットの状態をONに、その他のユニットの
状態をOFFにすることによって位置、およびモーメン
トを表現する。ここでユニット状態のON,OFFは例
えば1,0の数値で表現することができるが、その他の
表現を用いても差し支えない。例えば図8に示すよう
に、位置座標が(1,1,3)[cm],モーメント成
分が(0,1,0)[μA・m]で表される1個の双極
子(矢印で表す)に対しては、図7に示すようなユニッ
トの状態で表現される。図7ではONの状態のユニット
を黒丸で、OFF状態のユニットを白丸で表現してあ
る。図7では1個の双極子の場合を示したが、双極子が
複数の場合でも、それぞれの位置座標、モーメント成分
に対応するユニットをONにすることによって表現でき
る。また複数の双極子が集団となってある領域に広がり
をもって存在する場合、その領域に対応するユニット全
てをONにすることによって表現できる。図7では座標
を1cmごとに、モーメント1μA・mごとに離散化し
てあるが、これをさらに細分化した表現も可能である。
また、図7の例ではデカルト座標系を用いているが、そ
の他の座標系、例えば極座標系や円柱座標系などを用い
てもよい。
【0037】ステップ7では、誤差Eがあらかじめ設定
された基準値以下であるかどうかを調べ、基準値以下な
らステップ9に進み、誤差が基準値以上ならステップ8
に進む。
【0038】ステップ8では、誤差Eを小さくするよう
に結合係数を修正する。結合係数の修正方法としては、
例えば誤差逆伝播学習などを用いる。誤差逆伝播学習を
用いた具体的な修正方法は、例えば「パラレルディスト
リビューテッドプロセシング,第1巻,318−362
頁,1986年」(D.E.Rumelhart et
al.Parallel Distributed
Processing,vol.1,MIT pres
s,pp.318−362(1986))(以下、「文
献3」と記す)に詳しい。
【0039】ステップ9では、頭部の3次元形状を測定
し、形状情報を記憶する。ここで、形状情報とは頭部表
面の3次元形状の座標および測定点の座標を意味する。
頭部形状を測定する方法としては、例えば、複数の断面
で撮影した頭部X線CT写真またはMRI写真から頭部
の輪郭の2次元位置座標を計測し、各断面で計測した頭
部輪郭の2次元座標を組み合わせることにより、頭部の
3次元形状を計測する。また、磁気センサを利用した3
次元位置測定装置を用いることにより、直接頭部の3次
元座標を計測することも可能である。
【0040】ステップ10では、頭皮上の各点での電磁
場分布の実測値をニューラル・ネットワーク・システム
に入力する。
【0041】ステップ11では、電磁場分布の実測値か
らニューラル・ネットワーク・システムを用いて双極子
情報を算出する。算出方法はステップ5と同様である。
【0042】ステップ12では、ニューラル・ネットワ
ーク・システムによって算出された双極子情報を変換す
る。これは、ニューラル・ネットワーク・システムによ
って推定された双極子情報はステップ2に記した方法に
よって規格化されているため、実際の双極子情報を得る
ためには正規化定数を掛ける必要があるからである。例
えば双極子の位置のx座標の場合、ニューラル・ネット
ワーク・システムによる算出値xから実際のx座標の値
0 を得るためには、次のように計算する。
【0043】
【数10】
【0044】他の双極子情報についても同様である。
【0045】ステップ13では、ステップ9で入力した
形状情報とステップ12で求めた双極子情報を用いて、
双極子によって頭皮上の各測定点で生じる電磁場分布を
計算する。
【0046】ステップ14では、電磁場分布の測定値
と、双極子情報の推定値から算出される電磁場分布の計
算値との差異を計算する。この差異を以下誤差rと呼
ぶ。誤差rは、例えば2乗誤差を用いて
【0047】
【数11】
【0048】で定義される。ここで、φi (m) は頭皮上
のi番目の測定点で測定された電磁場分布、φi (c)
双極子情報の推定値から計算される電磁場分布のi番目
の測定点における値である。誤差rは必ずしも2乗誤差
でなくともよく、全てのφi (m) ,φi (c) が一致した
ときに0となるような非負値をとる関数であればよい。
【0049】ステップ15では、誤差rがあらかじめ設
定された基準値以下であるかどうか調べ、基準値以下で
あればステップ17に進み、基準値以上であればステッ
プ16に進む。
【0050】ステップ16では、電磁場分布の実測値
と、双極子情報の推定値から計算される電磁場分布の値
との誤差rを小さくするように双極子情報を修正する。
双極子情報の修正には、例えば、最小二乗法やシンプレ
ックス法などを用いることができる。最小二乗法および
シンプレックス法に関しては、例えば今野浩氏、山下浩
氏による「非線形計画法」、日科技連出版社(以下、
「文献4」と記す)に詳しい。
【0051】ステップ17では、双極子情報を表示す
る。双極子情報を表示する方法としては、例えば、個
数、位置座標の3成分、またはモーメント成分の3成分
を数値で表示する方法や、双極子を3次元空間の座標軸
とともに有向線分で表す方法などがあるが、双極子の位
置を円で表示するなど、それ以外の方法を用いても差し
支えない。
【0052】なお、あらかじめニューラル・ネットワー
ク・システムの学習を完了しておき、適切な結合係数を
固定磁気ディスクなどの記憶装置に保持しておけば、ス
テップ3から8までの手続きは省略することも可能であ
る。
【0053】図2は、第2の発明の一実施例の構成を示
したブロック図である。以下、この実施例を第2の実施
例と呼ぶ。
【0054】電磁場分布測定部100は、頭皮上に生じ
る電磁場分布を頭皮上の複数箇所で測定し、データ正規
化部110に送る。電磁場分布測定部100は、例えば
日本電気三栄(株)製の脳波計、あるいはSQUID素
子を用いた磁束測定装置を用いて実現できる。
【0055】データ正規化部110は、入力された学習
データおよび電磁場測定部100から受け取った電磁場
分布データを正規化し、入力バッファ120に保持す
る。正規化は、第1の実施例のステップ2で説明した方
法で行われる。データ正規化部110は、例えば日本電
気(株)製のPC−9800シリーズ等のパーソナルコ
ンピュータ、日本電気(株)製のEWS4800等のエ
ンジニアリング・ワークステーション等を用いて実現す
ることができる。
【0056】入力バッファ120は、データ正規化部1
10から学習データと電磁場分布の測定値を受け取り、
これらを記憶する。この入力バッファ部120には、大
容量であること、データの読み書きが高速にできること
が要求され、磁気ディスク装置、半導体メモリ記憶装
置、光磁気ディスク装置などを用いて実現できる。
【0057】ユニット出力記憶部130は、入力バッフ
ァ120から電磁場分布の測定値、学習データを受け取
り、記憶する。また、ユニット出力記憶部130は、ユ
ニット出力更新部160からユニット出力を受け取り、
これを記憶する。ユニット出力記憶部130は、結合係
数修正部140から結合係数修正の終了信号を受け取る
と、ニューラル・ネットワーク・システムによって算出
された双極子情報を双極子情報変換部170に送る。ユ
ニット出力記憶部130は、例えば、磁気ディスク装
置、半導体メモリ記憶装置などを用いて実現できる。
【0058】結合係数修正部140は、入力バッファ1
20から教師信号を、ユニット出力記憶部130からユ
ニット出力を、結合係数記憶部150から結合係数を受
け取り、ニューラル・ネットワーク・システムの出力値
と教師信号との誤差を求め、誤差逆伝播学習により結合
係数の修正値を計算し、結合係数記憶部150に保持さ
れている結合係数を更新する。ニューラル・ネットワー
ク・システムの出力値と教師信号との誤差が、ある基準
値、例えば10-3以下になった場合、結合係数修正部1
40はユニット出力記憶部130に結合係数修正終了の
信号を送る。具体的な更新の方法に関しては、「文献
3」に詳しい。結合係数修正部140は、例えば日本電
気(株)製のPC−9800シリーズ等のパーソナルニ
ューロボードNeuro−07、日本電気(株)製のE
WS4800等のエンジニアリング・ワークステーショ
ン等を用いて実現することができる。
【0059】結合係数記憶部150は、ニューラル・ネ
ットワーク・システムの各ユニット間の結合係数を記憶
する。この結合係数記憶部150は、ユニット出力更新
部160、結合係数修正部140から参照され、ニュー
ラル・ネットワーク・システムの各ユニットにおける入
力総和の計算および教師付き学習時の結合係数修正量計
算に用いられる。また、結合係数修正部140により、
その記憶内容が更新される。この結合係数記憶部150
には、例えば磁気ディスク装置、半導体メモリ記憶装置
などを用いることができる。
【0060】ユニット出力更新部160は、入力バッフ
ァ120から学習データを、結合係数記憶部150から
結合係数を、ユニット出力記憶部130から各ユニット
の出力を受け取り、第1の実施例のステップ5に説明し
た方法を用いて各ユニットの出力値を算出する。算出し
た出力値は、ユニット出力記憶部130に送られ、記憶
される。ユニット出力更新部160は、例えば日本電気
(株)製のPC−9800シリーズ等のパーソナルニュ
ーロボードNeuro−07,日本電気(株)製のEW
S4800等のエンジニアリング・ワークステーション
等を用いて実現することができる。
【0061】双極子情報変換部170は、ユニット出力
記憶部130からニューラル・ネットワーク・システム
によって算出された規格化されている双極子情報を受け
取り、これを第1の実施例のステップ12に説明した方
法を用いて実際の双極子情報に変換する。双極子情報変
換部170は、例えば日本電気(株)製のPC−980
0シリーズ等のパーソナルコンピュータ、日本電気
(株)製のEWS4800等のエンジニアリング・ワー
クステーション等を用いて実現することができる。
【0062】双極子情報記憶部180は、双極子情報変
換部170から双極子情報を受け取り、これを記憶す
る。また、双極子情報修正部200から双極子情報修正
の終了信号を受け取ると、双極子情報を双極子情報表示
部190に送る。双極子情報記憶部170は、例えば日
本電気(株)製のPC−9800シリーズ等のパーソナ
ルコンピュータ、磁気ディスク装置、半導体メモリ記憶
装置などを用いて実現できる。
【0063】双極子情報表示部190は、双極子情報記
憶部180に記憶されている双極子情報を受け取り、こ
れを表示する。具体的な表示方法としては、第1の実施
例のステップ17に説明した方法を用いることができ
る。双極子情報表示部180は、例えば日本電気(株)
製のPC−9800シリーズ等のパーソナルコンピュー
タ、日本電気(株)製のEWS4800等のエンジニア
リング・ワークステーション、日本電気(株)製のPC
−PR602PSなどのプリンタを用いて実現すること
ができる。
【0064】双極子情報修正部200は、電磁場分布測
定部100から電磁場分布の実測値を、電磁場分布計算
部210からニューラル・ネットワーク・システムによ
って算出された双極子情報に基づいて計算した電磁場分
布の計算値を受け取り、電磁場分布の実測値と計算値の
誤差を計算し、この誤差を小さくするように双極子情報
を修正する。具体的な双極子情報の修正は、第1の実施
例のステップ16に説明した方法を用いることができ
る。双極子情報修正部200は、誤差があらかじめ設定
された基準値以下になった場合、双極子情報記憶部18
0に双極子情報の修正終了の信号を送る。双極子情報修
正部200は、例えば日本電気(株)製のPC−980
0シリーズ等のパーソナルコンピュータ、日本電気
(株)製のEWS4800等のエンジニアリング・ワー
クステーション等を用いて実現することができる。
【0065】電磁場分布計算部210は、双極子情報記
憶部180から双極子情報を、形状情報記憶部220か
ら形状情報を受け取り、双極子情報に基づいて頭部表面
の各点に生じる電磁場分布を計算し、計算結果を双極子
情報修正部200に送る。電磁場分布計算部200は、
例えば日本電気(株)製のPC−9800シリーズ等の
パーソナルコンピュータ、日本電気(株)製のEWS4
800等のエンジニアリング・ワークステーション等を
用いて実現することができる。
【0066】形状情報記憶部220は、形状情報測定部
230から形状情報を受け取り、これを記憶する。形状
情報記憶部220は、例えば磁気ディスク装置、半導体
メモリ記憶装置などを用いて実現できる。
【0067】形状情報測定部230は、頭部の形状情報
を測定し、形状情報記憶部230に送る。具体的な形状
の測定方法は第1の実施例のステップ9に説明した方法
で行う。形状情報測定部230は、例えば、デジタイ
ザ、日本電気(株)製のPC−9800シリーズ等のパ
ーソナルコンピュータ、日本電気(株)製のEWS48
00等のエンジニアリング・ワークステーション、磁気
変換技術を応用した米ポヒマス(POLHEMUS)社
の3次元位置測定装置などを用いて実現できる。
【0068】以上の実施例では、頭皮上の電磁場分布デ
ータから1個の双極子の双極子情報を出力する場合につ
いて述べたが、双極子の数が複数の場合でも、同様な方
法で双極子情報の推定が可能である。また頭皮上の電磁
場分布に限らず、任意の物体上の電磁場分布に対しても
同様な方法で双極子情報を推定できる。
【0069】
【発明の効果】本発明を用いることにより、生体または
物体上の電磁場分布からその源泉となている双極子の個
数、位置、またはモーメントを高速に推定できる。ま
た、双極子が複数の場合にも、1個の場合と同様な方法
で双極子の個数、位置、およびモーメントを高速に推定
できる。
【図面の簡単な説明】
【図1】第1の発明の一実施例である双極子推定方法を
示した流れ図である。
【図2】第2の発明の一実施例である双極子推定装置の
構成を示したブロック図である。
【図3】第1および第2の発明で用いられる階層型ニュ
ーラル・ネットワーク・システムの構成の一例を示した
説明図である。
【図4】第1および第2の発明で用いられるリカレント
型ニューラル・ネットワーク・システムの構成の一例を
示した説明図である。
【図5】第1および第2の発明で用いられるニューラル
・ネットワーク・システムに対する教師信号の一例であ
る。
【図6】第1および第2の発明で用いられるニューラル
・ネットワーク・システムに対する教師信号の一例であ
る。
【図7】第1および第2の発明で用いられるニューラル
・ネットワーク・システムに対する教師信号の一例であ
る。
【図8】双極子の位置とモーメントの空間表現の一例を
示す図である。
【符号の説明】
1 学習データ・電磁場分布を入力するステップ 2 データを正規化するステップ 3 結合係数を初期化するステップ 4 学習データをニューラル・ネットワーク・システム
に入力するステップ 5 双極子情報を算出するステップ 6 誤差を計算するステップ 7 誤差が基準値以下かどうかを調べるステップ 8 結合係数を修正するステップ 9 形状情報を入力するステップ 10 電磁場分布の実測値データをニューラル・ネット
ワーク・システムに入力するステップ 11 双極子情報を算出するステップ 12 双極子情報を変換するステップ 13 電磁場分布を計算するステップ 14 電磁場分布の実測値と計算値の誤差を計算するス
テップ 15 誤差が基準値以下かどうかを調べるステップ 16 双極子情報を修正するステップ 17 双極子情報を表示するステップ 100 電磁場分布測定部 110 データ正規化部 120 入力バッファ 130 ユニット出力記憶部 140 結合係数修正部 150 結合係数記憶部 160 ユニット出力更新部 170 双極子情報変換部 180 双極子情報記憶部 190 双極子情報表示部 200 双極子情報修正部 210 電磁場分布計算部 220 形状情報記憶部 230 形状情報測定部 240 ユニット

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】 生体または物体上の電磁場分布測定値か
    ら、電磁場分布測定値の源泉として生体または物体内部
    に双極子の存在を仮定し、生体または物体内部の双極子
    を推定する双極子推定装置において、 生体または物体上の電磁場分布を測定する電磁場分布測
    定部と、学習データおよび前記電磁場分布測定部から電
    磁場分布の測定値を受け取り、学習データ、電磁場分布
    の測定値を正規化するデータ正規化部と、前記データ正
    規化部から正規化された学習データまたは電磁場分布の
    正規化された測定値を受け取り、これらを記憶する入力
    バッファと、前記入力バッファから正規化された学習デ
    ータまたは電磁場分布の正規化された測定値を受け取
    り、これらを記憶するユニット出力記憶部と、前記入力
    バッファから正規化された学習データを、前記ユニット
    出力記憶部からユニット出力を、前記結合係数記憶部か
    ら結合係数を受け取り、結合係数を修正する結合係数修
    正部と、入力層、出力層、および1層以上の中間層から
    成るニューラル・ネットワーク・システムの、各層のユ
    ニット間の結合係数を記憶する結合係数記憶部と、前記
    入力バッファから正規化された学習データまたは電磁場
    分布の正規化された測定値を、前記ユニット出力記憶部
    からユニット出力を、結合係数記憶部から結合係数を受
    け取り、ユニット出力を更新するユニット出力更新部
    と、前記ユニット出力記憶部から正規化された双極子の
    個数、位置、およびモーメントを受け取り、これらを元
    の値に変換する双極子情報変換部と、前記双極子情報変
    換部から双極子の個数、位置、およびモーメントを受け
    取り、これらを記憶する双極子情報記憶部と、生体また
    は物体の形状を測定する形状情報測定部と、前記形状情
    報測定部で測定された形状情報を記憶する形状情報記憶
    部と、前記双極子情報記憶部から双極子の個数、位置、
    およびモーメントを、前記形状情報記憶部から形状情報
    を受け取り、電磁場分布を計算する電磁場分布計算部
    と、前記双極子情報記憶部から双極子の個数、位置、お
    よびモーメントを受け取り、双極子の個数、位置、モー
    メントのうちのどれか1つ、または2つ以上を組み合わ
    せて表示する双極子情報表示部と、前記双極子情報記憶
    部から双極子の個数、位置、およびモーメントを、前記
    電磁場分布計算部から電磁場分布の計算値を、前記電磁
    場分布測定部から電磁場分布の測定値を受け取り、電磁
    場分布の計算値と電磁場分布の測定値との差異を小さく
    するように双極子の個数、位置、およびモーメントを修
    正する双極子情報修正部と、を備えることを特徴とする
    双極子推定装置。
JP5112564A 1993-05-14 1993-05-14 双極子推定装置 Expired - Fee Related JP2739804B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP5112564A JP2739804B2 (ja) 1993-05-14 1993-05-14 双極子推定装置
US08/242,084 US5524086A (en) 1993-05-14 1994-05-13 Dipole parameter estimation method and apparatus
CA002123563A CA2123563C (en) 1993-05-14 1994-05-13 Dipole parameter estimation method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5112564A JP2739804B2 (ja) 1993-05-14 1993-05-14 双極子推定装置

Publications (2)

Publication Number Publication Date
JPH06319713A JPH06319713A (ja) 1994-11-22
JP2739804B2 true JP2739804B2 (ja) 1998-04-15

Family

ID=14589847

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5112564A Expired - Fee Related JP2739804B2 (ja) 1993-05-14 1993-05-14 双極子推定装置

Country Status (3)

Country Link
US (1) US5524086A (ja)
JP (1) JP2739804B2 (ja)
CA (1) CA2123563C (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2850763B2 (ja) * 1994-07-22 1999-01-27 日本電気株式会社 生体内部状態伝達装置およびその方法
CA2154406C (en) * 1994-07-22 2000-01-25 Tomoharu Kiyuna System for predicting internal condition of live body
US5783944A (en) * 1996-05-28 1998-07-21 Hughes Electronics Processing method for estimation of magnetizable object or source
US6965792B2 (en) * 1996-06-25 2005-11-15 Mednovus, Inc. Susceptometers for foreign body detection
US5831873A (en) * 1997-01-27 1998-11-03 Kohnen; Kirk K. Magnetic dipole target classifier and method
US5879297A (en) 1997-05-08 1999-03-09 Lucent Medical Systems, Inc. System and method to determine the location and orientation of an indwelling medical device
US6129668A (en) * 1997-05-08 2000-10-10 Lucent Medical Systems, Inc. System and method to determine the location and orientation of an indwelling medical device
US6263230B1 (en) 1997-05-08 2001-07-17 Lucent Medical Systems, Inc. System and method to determine the location and orientation of an indwelling medical device
JPH11319A (ja) 1997-06-13 1999-01-06 Nec Corp 生体内部活動部位推定装置
EP1010094A4 (en) * 1997-09-03 2001-03-07 Commw Scient Ind Res Org MIXED SIGHTING SYSTEM
US6697660B1 (en) 1998-01-23 2004-02-24 Ctf Systems, Inc. Method for functional brain imaging from magnetoencephalographic data by estimation of source signal-to-noise ratio
CA2319227C (en) 1998-01-23 2003-09-30 Ctf Systems Inc. System and method for measuring, estimating and displaying rms current density maps
US6594521B2 (en) * 1999-12-17 2003-07-15 Electrical Geodesics, Inc. Method for localizing electrical activity in the body
CA2388285C (en) * 2001-10-26 2007-11-20 Communications Research Laboratory, Independent Administrative Institution Method of solving magnetoencephalographic and electroencephalographic inverse problems
US7633518B2 (en) * 2002-10-25 2009-12-15 Quantum Magnetics, Inc. Object detection portal with video display overlay
CN101620249B (zh) * 2009-07-27 2012-05-23 张莉 人工电磁材料电磁参数测量的神经网络方法
US8775341B1 (en) 2010-10-26 2014-07-08 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US9015093B1 (en) 2010-10-26 2015-04-21 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
DE102015203686B4 (de) * 2015-03-02 2023-10-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Anordnung zur Positionsbestimmung eines magnetischen Körpers mittels Magnetfeldsensoren
DE102016214061A1 (de) * 2016-07-29 2018-02-01 Siemens Healthcare Gmbh Verfahren zur Ermittlung von zweidimensionalen Bilddaten wenigstens einer Schnittfläche eines Erfassungsvolumens im Rahmen einer Magnetresonanzbildgebung
CA3098085C (en) * 2019-03-06 2021-07-06 Applied Brain Research Inc. Legendre memory units in recurrent neural networks

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4600883A (en) * 1983-09-21 1986-07-15 Honeywell Inc. Apparatus and method for determining the range and bearing in a plane of an object characterized by an electric or magnetic dipole
US5092343A (en) * 1988-02-17 1992-03-03 Wayne State University Waveform analysis apparatus and method using neural network techniques
US4949725A (en) * 1988-07-01 1990-08-21 Bio-Logic Systems Corporation Apparatus and method for displaying electrical activity generated within a living body
US5269325A (en) * 1989-05-26 1993-12-14 Biomagnetic Technologies, Inc. Analysis of biological signals using data from arrays of sensors
US5086479A (en) * 1989-06-30 1992-02-04 Hitachi, Ltd. Information processing system using neural network learning function
EP0443069A1 (de) * 1990-02-22 1991-08-28 Siemens Aktiengesellschaft Verfahren zur Messung des Feldmusters elektrischer oder magnetischer Felder mit Hilfe einer Sensoranordnung
US5182794A (en) * 1990-07-12 1993-01-26 Allen-Bradley Company, Inc. Recurrent neural networks teaching system
US5218529A (en) * 1990-07-30 1993-06-08 University Of Georgia Research Foundation, Inc. Neural network system and methods for analysis of organic materials and structures using spectral data
US5239474A (en) * 1990-11-20 1993-08-24 Hughes Aircraft Company Dipole moment detection and localization
US5247606A (en) * 1990-12-26 1993-09-21 Intel Corporation Adaptively setting analog weights in a neural network and the like
EP0504027A3 (en) * 1991-03-15 1993-04-21 Centro De Neurociencias De Cuba Method and system for three-dimensional tomography of activity and connectivity of brain and heart electromagnetic waves generators
US5264793A (en) * 1991-04-11 1993-11-23 Hughes Aircraft Company Split array dipole moment detection and localization
US5355434A (en) * 1991-08-19 1994-10-11 Toyoda Koki Kabushiki Kaisha Method and apparatus for performing learning in a neural network
US5280792A (en) * 1991-09-20 1994-01-25 The University Of Sydney Method and system for automatically classifying intracardiac electrograms
JP2508946B2 (ja) * 1992-06-05 1996-06-19 日本電気株式会社 生体内等価電流双極子定位装置
EP0582885A3 (en) * 1992-08-05 1997-07-02 Siemens Ag Procedure to classify field patterns
US5263488A (en) * 1992-10-05 1993-11-23 Nicolet Instrument Corporation Method and apparatus for localization of intracerebral sources of electrical activity

Also Published As

Publication number Publication date
CA2123563C (en) 1997-12-30
CA2123563A1 (en) 1994-11-15
US5524086A (en) 1996-06-04
JPH06319713A (ja) 1994-11-22

Similar Documents

Publication Publication Date Title
JP2739804B2 (ja) 双極子推定装置
TWI754195B (zh) 圖像處理方法及其裝置、電子設備及電腦可讀儲存媒體
Chui et al. Deep nets for local manifold learning
Sun et al. Retracted: Gesture recognition algorithm based on multi‐scale feature fusion in RGB‐D images
US20170330075A1 (en) System and method for deep learning based cardiac electrophysiology model personalization
TW202044198A (zh) 一種圖像處理方法、裝置、電子設備及電腦可讀儲存媒介
CN110599526B (zh) 图像配准方法、计算机设备和存储介质
Wismüller et al. The deformable feature map-a novel neurocomputing algorithm for adaptive plasticity in pattern analysis
EP1862813A1 (en) A method for estimating the position of a sound source for online calibration of auditory cue to location transformations
CN117011673B (zh) 基于噪声扩散学习的电阻抗层析成像图像重建方法和装置
Zhang et al. Superellipse fitting to partial data
CN111429481A (zh) 一种基于自适应表达的目标追踪方法、装置及终端
CN109087357B (zh) 扫描定位方法、装置、计算机设备及计算机可读存储介质
Zang et al. Local_inn: Implicit map representation and localization with invertible neural networks
Li et al. Fast vision-based pose estimation iterative algorithm
JP3156772B2 (ja) 生体内部活動領域推定方法、装置及びその記録媒体
US20110276307A1 (en) Method and System for Registering an Object with a Probe Using Entropy-Based Motion Selection and Rao-Blackwellized Particle Filtering
CN114972530A (zh) 一种基于虚拟场景对摄像机的标定方法、装置、设备及存储介质
CN111582208B (zh) 用于生成生物体姿态关键点信息的方法和装置
CN113869186A (zh) 模型训练方法、装置、电子设备和计算机可读存储介质
CN115115722A (zh) 图像重建模型生成及图像重建方法、装置、设备和介质
US6226544B1 (en) Living body internal active source estimation apparatus
JPH0833616A (ja) 生体内部状態伝達装置およびその方法
CN114550235B (zh) 姿态角检测方法、***、电子设备及存储介质
CN112102496B (zh) 牛体格测量方法、模型训练方法和***

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 19971224

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080123

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090123

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100123

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110123

Year of fee payment: 13

LAPS Cancellation because of no payment of annual fees