JP3197077B2 - 定位音像生成装置 - Google Patents

定位音像生成装置

Info

Publication number
JP3197077B2
JP3197077B2 JP27637692A JP27637692A JP3197077B2 JP 3197077 B2 JP3197077 B2 JP 3197077B2 JP 27637692 A JP27637692 A JP 27637692A JP 27637692 A JP27637692 A JP 27637692A JP 3197077 B2 JP3197077 B2 JP 3197077B2
Authority
JP
Japan
Prior art keywords
waveform data
sound image
space
waveform
positions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP27637692A
Other languages
English (en)
Other versions
JPH06133400A (ja
Inventor
潤一 藤森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP27637692A priority Critical patent/JP3197077B2/ja
Publication of JPH06133400A publication Critical patent/JPH06133400A/ja
Application granted granted Critical
Publication of JP3197077B2 publication Critical patent/JP3197077B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Stereophonic System (AREA)
  • Filters That Use Time-Delay Elements (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は空間上の所定の位置に定
位した音像を生成する定位音像生成装置に関する。
【0002】
【従来の技術】音像を所定の位置に定位させる従来の音
像定位装置において、音場を表す頭部伝達関数を用いて
音像を定位させる技術が知られており、この技術を以下
に説明する。まず、空間上の所定の位置の音源から発生
した音が聴取者にどのように伝達されるか、すなわち、
頭部伝達関数を測定する。この測定としては、所定の位
置の音源から発生したインパルスを聴取者の右耳および
左耳内に設置した小型マイクロホンで捉える、いわゆる
インパルスレスポンス法が好適である。
【0003】測定されたインパルスレスポンス波形の各
振幅値を係数としたFIRフィルタを作成し、これを左
右1組として音像定位の畳み込み演算を行う方向付器を
製作し、この方向付器において、入力された波形データ
に畳み込み演算を施す。次に、畳み込み演算を施された
波形データを、ヘッドホンやイヤホンによって両耳それ
ぞれ独立に聴取することにより、聴取者は聴取している
音の音像が所定の位置に定位している感覚を得ることが
できる。
【0004】
【発明が解決しようとする課題】ところで、上述した従
来の音像定位装置においては、畳み込み演算を施す方向
付器は、FIRフィルタにより構成されているが、この
FIRフィルタは膨大な処理(数百回〜数千回の乗算)
を瞬時(例えば、1サンプリングクロックが20μs以
下)に行うことができる高価な回路である必要があるた
めに、製作コストが高くなる一因となった。
【0005】また、上述した音像定位装置は、十分に明
瞭な定位感を得るために、方向付器を音源位置となり得
る空間を十分に細分する位置に対応して密に設ける必要
があった。このために、回路規模が巨大になりがちであ
った。本発明は、このような背景の下になされたもの
で、安価で小規模な回路構成であり、音像の高品位の定
位感および移動感を実現することができる定位音像生成
装置を提供することを目的とする。
【0006】
【課題を解決するための手段】請求項1に記載の定位音
像生成装置は、空間の所定の複数の音像位置に対応して
複数の波形データを記憶した記憶手段と、空間の位置を
指定する位置指定手段と、前記記憶手段から波形データ
を読み出すものであって、前記位置指定手段によって
定された位置に対応して選択的に波形データを発生させ
る波形データ発生手段とを具備することを特徴としてい
る。
【0007】また、請求項2に記載の定位音像生成装置
は、空間の所定の離散した複数の音像位置に対応して複
数の波形データを記憶した記憶手段と、空間の位置を指
定する位置指定手段と、前記記憶手段から波形データを
読み出すものであって、前記位置指定手段によって指定
された位置に応じて読み出された複数の波形データに重
み付け加算する重み付け加算手段とを具備することを特
徴としている。
【0008】また、請求項3に記載の定位音像生成装置
は、請求項1または2記載の定位音像生成装置におい
て、前記記憶手段は前記複数の音像位置について各々空
間の所定の複数の位置に対応した波形データを記憶した
ことを特徴としている。また、請求項に記載の定位音
像生成装置は、空間の鉛直角方向の複数の位置に対応し
て複数の波形データを記憶した記憶手段と、空間の位置
を指定する位置指定手段と、前記記憶手段から波形デー
タを読み出すものであって、前記位置指定手段によって
指定され位置の鉛直角方向の成分に応じて選択的に波
形データを発生させる波形データ発生手段と、前記位置
指定手段によって指定され位置の水平角方向の成分に
応じて前記波形データ発生手段によって発生された波
形データの右チャネル成分と左チャネル成分とに遅延時
間差および振幅差を与える変換手段とを具備することを
特徴としている
【0009】
【作用】請求項1に記載の構成によれば、形データ発
生手段において、空間の所定の複数の音像位置に対応し
て記憶手段に記憶されている複数の波形データから、
置指定手段によって指定された空間の位置に対応した波
形データが選的に読み出されて出力される。また、請
求項2に記載の構成によれば、重み付け加算手段におい
て、空間の所定の離散した複数の音像位置に対応して記
憶手段に記憶されている複数の波形データから位置指
手段によって指定された空間の位置に応じた複数の波
形データが読み出されて重み付け加算されることによ
り、離散した音像位置の間の位置に対応した波形データ
が得られる。
【0010】また、請求項3に記載の構成によれば、請
求項1または2記載の構成において、複数の音像位置に
ついて各々空間の所定の複数の位置に対応した波形デー
タを記憶手段に記憶させておくようにする。また、請求
に記載の構成によれば、空間の鉛直方向に対応し
憶手段記憶された複数の波形データから、位置指
手段により指定された位置の鉛直角方向の成分に対応
した波形データが、波形データ発生手段において選択
に読み出される。次に、変換手段において、指定された
位置の水平角方向の成分に応じて、選択された波形デー
タの右チャネル成分と左チャネル成分とに遅延時間差お
よび振幅差が与えられる。
【0011】
【実施例】本発明の一実施例における定位音像生成装置
は、音源Pへの鉛直角θに対応した複数のサンプル波形
の波形データを記憶している。水平角ψ方向の定位感
は、波形データのR/Lチャネル成分の振幅差および遅
延時間差により十分に表現できるために、サンプル波形
は鉛直角θのみに対応している。まず、サンプル波形の
波形データの採取過程を、図5を参照して説明する。
【0012】図5において、原点Oからの水平角ψと、
鉛直角θと、距離Dとにより特定される音原Pは、原点
Oを中心点とする半径r(r=D)の球面S上に存在す
るものとする。DHは原点Oにその中心を合わせて置か
れた人間の頭部を模した形状のダミーヘッドであり、そ
の右耳および左耳に対応する部分には、音源Pから発生
する音を採取するマイクMRおよびMLが取り付けられ
ている。
【0013】また、点A〜Gは、原点Oとダミーヘッド
DHの正面方向および鉛直方向とで特定される平面と球
面Sとの交線上の点であり、等間隔に配置されている。
点Aに対する鉛直角θは0゜、点Bに対する鉛直角θは
30゜というように、各点は30゜毎に配置され、点G
に対する鉛直角θは180゜である。また、1はマイク
MRおよびMLにおいて採取された音の波形データが記
憶される波形メモリである。
【0014】このような構成において、点A〜Gの一つ
の点上に配置された音源Pから所定の楽器、例えばトラ
ンペットを演奏して音を発生させると、発生した音は空
気中を伝わり、ダミーヘッドDHのマイクMRおよびM
Lに採取され、電気信号に変換される。この電気信号
に、図示せぬA/D変換器によってA/D変換が施され
ると、電気信号はデジタルデータに変換され、波形メモ
リ1に格納される。すなわち、全波形サンプリングを行
うのであるが、このサンプリング時間は長ければ長いほ
どよい(もちろん、メモリ容量の限界以下の長さとな
る)。ここでは、点A〜Gの各点毎に同一の音を発生さ
せて、各々、3秒程度のサンプリングを行う。以上、上
述したように、サンプル波形の波形データの採取過程が
終了する。
【0015】次に、上述した過程を経て作成された波形
メモリ1に基づいた本発明の一実施例について、図面を
参照して説明する。図1は本発明の一実施例による定位
音像生成装置の構成を示すブロック図であり、図1にお
いて、1´は波形メモリ1と同一の波形データを記憶し
ている波形メモリであり、図示せぬ鍵盤等から供給され
る音色データSTに対応した音色の波形データを出力す
る。ここで、出力される波形データは、点A〜Gに対応
した7系列の波形データである。
【0016】また、2は音像を定位させるべき位置(以
後、目的音像位置という)を設定する定位制御装置であ
り、図2に示すように、指示部2aと、制御部2bとか
ら構成されている。さらに、指示部2aは、回転させる
ことにより、鉛直角を指定する鉛直角ダイアル2a
1と、回転させることにより、水平角を指定する水平角
ダイアル2a2と、つまみをスライドさせることによ
り、距離を指定する距離スライダ2a3とを備えてい
る。そして、制御部2bに対し、目的音像位置を特定す
る鉛直角θと水平角ψと距離Dとを供給する。
【0017】ここで、本実施例においては、点A〜Gを
上半球に対応させたので、鉛直角ダイアル2a1は0゜
〜180゜の範囲で回転自由に設定されている。なお、
ダミーヘッドDHの下方の位置において音を発生させて
サンプリングした場合、すなわち、全球を用いる場合
は、0゜〜360゜の範囲で、すなわち、何周でも回転
自由に設定される。また、水平角ダイアル2a2は0゜
〜360゜の範囲で回転自由としてある。
【0018】3は、波形メモリ1´から、点A〜Gに対
応する7系列の波形データを、時分割処理により、一連
のデータ(シリアルデータ)として読み出し、それぞれ
独立した7系列の波形データ(パラレルデータ)に変換
するデマルチプレクサ、4a〜4gはデマルチプレクサ
3から出力された波形データに、各々、対応する乗算係
数GA〜GGを乗ずる乗算器であり、乗算係数GA〜G
Gは、図3に示すように、定位制御装置2の制御部2b
から供給される鉛直角θに応じて制御される。
【0019】次に、5は乗算器4a〜4gから出力され
た7系列の波形データを加算し、一つの波形データを出
力する加算器、6aおよび6bは、図4に示すように、
加算器5から出力された波形データに、制御部2bから
供給される距離Dに応じた乗算係数aおよびbを乗ずる
乗算器、7は乗算器6aから出力された波形データをR
/Lチャネル成分に分離し、各々、遅延させる遅延部で
ある。次に、8aおよび8bは、遅延部7から出力され
たRチャネル成分およびLチャネル成分の波形データ
に、制御部2bから供給される水平角ψに応じた乗算係
数cおよびdを乗ずる乗算器である。
【0020】次に、9は乗算器6bから出力された波形
データをR/Lチャネル成分に分離し、各々に対応した
残響データを生成する残響生成部、10aは、乗算器8
aから出力されたRチャネルの波形データと、残響生成
部9から出力されたRチャネルの残響データとを加算す
る加算器、10bは、乗算器8bから出力されたLチャ
ネルの波形データと、残響生成部9から出力されたLチ
ャネルの残響データとを加算する加算器である。
【0021】次に、11は再生空間のスピーカと聴取者
との位置関係に対応して生じるクロストークの逆特性回
路となるクロストークキャンセラであり、加算器10a
および10bから出力されたR/Lチャネル成分の波形
データに対して、予め、クロストークを打ち消す処理を
施す。12はクロストークキャンセラ11から出力され
た波形データ(デジタルデータ)を音響信号(アナログ
信号)に変換するD/A変換器、13はD/A変換器1
2において変換された音響信号を増幅して図示せぬ左右
のスピーカに供給するアンプである。
【0022】このような構成において、以下に説明する
動作により、鉛直角θ1、水平角ψ1、距離D1で特定さ
れる目的音像位置にある音色の音を定位させることがで
きる。 例えば、図示せぬ鍵盤が押される等の動作によ
り、波形メモリ1´に音色データSTが与えられると、
その音色データSTに対応した音色の7系列の波形デー
タが、時分割シリアルデータとして出力される。その
後、デマルチプレクサ3において、波形メモリ1´から
出力された時分割シリアルデータは、7系列のパラレル
データに変換され、各々の波形データが、対応している
点A〜Gに応じた乗算器4a〜4gに供給される。
【0023】ところで、目的音像位置の鉛直角θ1およ
び水平角ψ1は、指示器2aの鉛直角ダイアル2a1およ
び水平角ダイアル2a2を回転させることにより決定さ
れる。また、距離D1は距離スライダ2a3をスライドさ
せることにより決定される。これらの鉛直角θ1,水平
角ψ1および距離D1が制御部2bに伝達され、制御部2
bから、乗算器4a〜4gには、鉛直角θ1に応じた乗
算係数GA〜GGが、乗算器6aおよび乗算器6bには、
距離D1に応じた乗算係数aおよびbが、乗算器8aお
よび8bには、水平角ψ1に応じた乗算係数cおよびd
が、それぞれ供給される。
【0024】ここで、乗算係数GA〜GGと鉛直角θ1
関係は、図3に示す通りである。図3において、例え
ば、鉛直角θ1=30゜の場合は、乗算係数GA〜GG
おいて、GBのみが1となり、他の乗算係数は0とな
る。次に、指示器2aの鉛直角ダイアル2a1の操作に
より、鉛直角θ1が30゜より大に変化する場合、乗算
係数GBは小になり、乗算係数GCが大になる。なお、こ
の時、他の乗算係数は0のままである。また、乗算係数
BとGCとの和は1になるようになっており、鉛直角θ
1=45゜となった場合には、GB=GC=0.5とな
り、波形データが採取されていない位置の波形データ
を、採取された波形データの補間により合成することが
できる。
【0025】次に、乗算器4a〜4gにおいて、乗算係
数GA〜GGを乗ぜられた各波形データは、加算器5にお
いて加算された後、乗算器6aおよび6bに供給され
る。乗算器6aおよび6bには、図4に示すように、距
離D1が大になるにつれて小となる乗算係数、および、
逆に大となる乗算係数bが、定位制御装置2から供給さ
れている。したがって、乗算器6aにおいて、乗算係数
aを乗ぜられた波形データが、遅延部7に入力され、R
チャネルおよびLチャネル成分に分離され、乗算器8a
および8bに供給される。
【0026】乗算器8aおよび8bには、水平角ψ1
90゜に近い場合、大となる乗算器8aの乗算係数c、
および、逆に小となる乗算係数dが、定位制御装置2か
ら供給されている。したがって、乗算器8aおよび8b
において乗算係数cおよびdを乗ぜられた波形データ
が、加算器10aおよび10bに入力される。また、乗
算器6bにおいて、乗算係数bを乗ぜられた波形データ
は、残響生成部9に入力され、RチャネルおよびLチャ
ネル成分に分離され、残響データに加工される。次に、
RチャネルおよびLチャネル成分の残響データは、加算
器10aおよび10bにおいて、乗算器8aおよび8b
から供給された波形データと加算され、クロストークキ
ャンセラ11に供給される。
【0027】次に、クロストークキャンセラ11におい
て、加算器10aおよび10bから出力されたR/Lチ
ャネル成分の音響信号のクロストークが、予め、打ち消
される。その後、D/A変換器12において、アナログ
の音響信号に変換されて、アンプ13に供給される。ア
ンプ13において、音響信号は所定の増幅を受けて図示
せぬ左右のスピーカに出力される。以上、説明したよう
に、距離D1の定位は音量および残響データの割合、水
平角ψ1の定位は左右チャネル成分の振幅差および遅延
時間差、鉛直角θ1の定位は波形メモリ1´からの波形
データの読み出しと重み付けとによって、それぞれ行わ
れる。
【0028】なお、上述した一実施例においては、7系
列の波形データを全て同時に読み出したが、補間に必要
となる2種の波形のみ読み出すようにしてもよい。その
場合、指定された音像位置の移動により、他の波形デー
タが必要になったときは、その波形データの途中のアド
レスから読み出すように構成して補間するとよい。ま
た、波形メモリ1´に記憶される波形データに周知のル
ープ処理を施してもよい。特に、波形メモリ1´の容量
が小さく、充分に長いサンプリング時間を確保できない
場合には有効である。
【0029】さらに、正面鉛直角方向のみに対応させた
波形データを用いたが、全天に亘って細かく分布させた
位置に対応させた波形データを用いるようにしてもよ
い。また、鉛直角方向に対応させる場合、必ずしも正面
鉛直角方向に対応させなくてもよい。正面からずれた鉛
直角方向に対応させて波形を記憶する場合は、水平角に
よって与えられる遅延差と振幅差とを補正すればよい。
さらに、音響信号を音に変換する装置として、スピーカ
を用いる例を示したためにクロストークキャンセラ11
を必要としているが、ヘッドホンを用いて聴取するので
あれば、クロストークキャンセラ11は必要ない。
【0030】
【発明の効果】以上、詳しく説明したように、請求項1
に記載の発明によれば、空間の所定の複数の音像位置に
対応して、それぞれ、波形データを記憶しておき、指定
された空間位置に対応して、上記波形データを選択的に
発生させるようにしたので、小規模な構成で明瞭な定位
音像を得ることができる。
【0031】また、請求項2に記載の発明によれば、空
間の所定の離散した複数の音像位置に対応して、波形デ
ータを記憶しておき、指定された空間位置に対応して上
記波形データを複数読みだして重み付け加算するように
したので、離散した音像位置の間の位置に対応した波形
データを得ることができる。このようにしたことで、複
数の波形データに与える重み付値を滑らかに変えること
で、音像位置を滑らかに移動させることができる。
【0032】また、請求項に記載の発明によれば、波
形データを空間の所定の複数の鉛直角方向に対応して記
憶しておき、指定された空間位置の鉛直角方向成分に応
じて前記波形データを選択的に発生させ、指定された空
間位置の水平角方向成分に応じて、左右チャネルの遅延
時間差および振幅差を与えるようにしたので、空間の鉛
直角方向および水平角方向で規定される空間上あらゆる
位置の音源に対応する波形データを記憶する場合に比較
して、記憶するデータ量が少なくて済む。
【0033】なお、鉛直角方向の各位置は、両耳から対
称の位置にある為に、明瞭な定位感を得るためにかなり
厳密さが必要となるので、波形を直接対応させた。一
方、水平角方向については、両耳への遅延差と振幅差と
いう信号特性差を付与するだけで十分な定位感が得られ
るので、波形は省略した。つまり、鉛直角、水平角方向
ともに定位感を十分としたまま、記憶するデータ量を少
なくすることができる。
【図面の簡単な説明】
【図1】 本発明の一実施例による定位音像生成装置の
概略構成を示すブロック図である。
【図2】 定位制御装置2の概略構成を示すブロック図
である。
【図3】 鉛直角θと乗算係数GA〜GGとの関係を示す
図である。
【図4】 距離Dと乗算係数aおよびbとの関係を示す
図である。
【図5】 波形メモリ1の波形データの採取方法を説明
するための図である。
【符号の説明】
1´……波形メモリ、2……定位制御装置、4a〜4g
……乗算器、5……加算器、6a,6b……乗算器、7
……遅延部、8a,8b……乗算器、9……残響生成
部。

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項1】 空間の所定の複数の音像位置に対応して
    複数の波形データを記憶した記憶手段と、 空間の位置を指定する位置指定手段と、 前記記憶手段から波形データを読み出すものであって、
    前記位置指定手段によって指定された位置に対応して選
    択的に波形データを発生させる波形データ発生手段とを
    具備することを特徴とする定位音像生成装置。
  2. 【請求項2】 空間の所定の離散した複数の音像位置に
    対応して複数の波形データを記憶した記憶手段と、 空間の位置を指定する位置指定手段と、 前記記憶手段から波形データを読み出すものであって、
    前記位置指定手段によって指定された位置に応じて読み
    出された複数の波形データに重み付け加算する重み付け
    加算手段とを具備することを特徴とする定位音像生成装
    置。
  3. 【請求項3】 前記記憶手段は前記複数の音像位置につ
    いて各々空間の所定の複数の位置に対応した波形データ
    を記憶したこと を特徴とする請求項1または2記載の定
    位音像生成装置。
  4. 【請求項4】 空間の鉛直角方向の複数の位置に対応し
    て複数の波形データを記憶した記憶手段と、 空間の位置を指定する位置指定手段と、 前記記憶手段から波形データを読み出すものであって、
    前記位置指定手段によって指定された位置の鉛直角方向
    の成分に応じて選択的に波形データを発生させる波形デ
    ータ発生手段と、 前記位置指定手段によって指定された位置の水平角方向
    の成分に応じて、前記波形データ発生手段によって発生
    された波形データの右チャネル成分と左チャネル成分と
    に遅延時間差および振幅差を与える変換手段とを具備す
    ることを特徴とする定位音像生成装置。
JP27637692A 1992-10-14 1992-10-14 定位音像生成装置 Expired - Fee Related JP3197077B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP27637692A JP3197077B2 (ja) 1992-10-14 1992-10-14 定位音像生成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP27637692A JP3197077B2 (ja) 1992-10-14 1992-10-14 定位音像生成装置

Publications (2)

Publication Number Publication Date
JPH06133400A JPH06133400A (ja) 1994-05-13
JP3197077B2 true JP3197077B2 (ja) 2001-08-13

Family

ID=17568568

Family Applications (1)

Application Number Title Priority Date Filing Date
JP27637692A Expired - Fee Related JP3197077B2 (ja) 1992-10-14 1992-10-14 定位音像生成装置

Country Status (1)

Country Link
JP (1) JP3197077B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7369665B1 (en) 2000-08-23 2008-05-06 Nintendo Co., Ltd. Method and apparatus for mixing sound signals
WO2002065814A1 (fr) * 2001-02-14 2002-08-22 Sony Corporation Processeur de signaux de localisation d'images sonores

Also Published As

Publication number Publication date
JPH06133400A (ja) 1994-05-13

Similar Documents

Publication Publication Date Title
JP5285626B2 (ja) 音声空間化及び環境シミュレーション
US5500900A (en) Methods and apparatus for producing directional sound
EP0563929B1 (en) Sound-image position control apparatus
US6931134B1 (en) Multi-dimensional processor and multi-dimensional audio processor system
JP4726875B2 (ja) オーディオ信号処理方法および装置
US7076068B2 (en) Three-dimensional sound reproducing apparatus and a three-dimensional sound reproduction method
JP3584800B2 (ja) 音場再現方法およびその装置
Smith et al. Doppler simulation and the Leslie
JP3578783B2 (ja) 電子楽器の音像定位装置
US6091894A (en) Virtual sound source positioning apparatus
JPH0562752B2 (ja)
JP2666058B2 (ja) 収音再生制御装置
JP2005157278A (ja) 全周囲音場創生装置、全周囲音場創生方法、及び全周囲音場創生プログラム
JP3197077B2 (ja) 定位音像生成装置
US6925426B1 (en) Process for high fidelity sound recording and reproduction of musical sound
JP3855490B2 (ja) インパルス応答の収集方法および効果音付加装置ならびに記録媒体
JP2924502B2 (ja) 音像定位制御装置
JP3552244B2 (ja) 音場再生装置
JPH09182200A (ja) 音像制御装置及び音像制御方法
JPH06198074A (ja) テレビゲーム機
JP3090416B2 (ja) 音像制御装置及び音像制御方法
US20240163624A1 (en) Information processing device, information processing method, and program
JP3177714B2 (ja) 多次元パンニング効果装置
JPH07203597A (ja) ヘッドホン再生装置
JPH0715280Y2 (ja) 音響制御装置

Legal Events

Date Code Title Description
S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080608

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090608

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees