JPH10232679A - 物理モデルによる補間音色合成方法 - Google Patents

物理モデルによる補間音色合成方法

Info

Publication number
JPH10232679A
JPH10232679A JP9034913A JP3491397A JPH10232679A JP H10232679 A JPH10232679 A JP H10232679A JP 9034913 A JP9034913 A JP 9034913A JP 3491397 A JP3491397 A JP 3491397A JP H10232679 A JPH10232679 A JP H10232679A
Authority
JP
Japan
Prior art keywords
timbre
interpolated
parameters
sound
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9034913A
Other languages
English (en)
Other versions
JP3508976B2 (ja
Inventor
Takafumi Hikichi
孝文 引地
Naotoshi Kosaka
直敏 小坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP03491397A priority Critical patent/JP3508976B2/ja
Publication of JPH10232679A publication Critical patent/JPH10232679A/ja
Application granted granted Critical
Publication of JP3508976B2 publication Critical patent/JP3508976B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Electrophonic Musical Instruments (AREA)

Abstract

(57)【要約】 【課題】 2つの音色を両端とし、これらに所望の割合
で近い合成音色を合成する。 【解決手段】 打弦・撥弦に対し、初速度V、質量M、
剛性K,p、弦と接触している継続長tを、振動体に対
し、張力T、ヤング率E、密度ρ、半径a、長さL、減
衰係数b1 ,b3 をそれぞれパラメータとし、発音機構
に立脚した微分方程式を解くことにより弦の変位(音響
信号)を得るようにし、このような音色Aの物理モデル
と音色Bの物理モデルについて、合成の組合αで両パラ
メータを線形補間して、新パラメータを作り、その新パ
ラメータを用いて、前記方程式を解いて、合成音色を得
る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は知覚的に異なる二
つの合成音色を両端とし、これらを任意の割合で補間し
た音色を合成する物理モデルによる補間音色合成方法に
関する。
【0002】
【従来の技術】従来の電子楽器において、使用者は様々
な音色を、(1)PCM音源、FM音源などの各種方式
によるプリセット、(2)使用者が音を収録することに
よる付加(サンプリング)、(3)FM音源などモデル
によるパラメータ表現されたものを修正編集した再合
成、(4)各種フィルタ処理、歪み付加等による加工等
の方法により作成してきた。
【0003】また、音色の連続的処理、微妙な処理とい
ったものはフィルタ処理、歪み付加などによる加工処理
によってある程度実現できた。しかし、これらは、ある
一つの音色を崩し、変形させることであり、目標とする
具体的音色を与えてその音色に向けて補間するという、
より高度な音色の制御はできなかった。
【0004】
【発明が解決しようとする課題】この発明の目的は、二
つの異なる音色の両端を含む任意の知覚的内分点となる
音色を合成することができ、また二つの音色の一端から
他端までを連続的に変化させる音色の合成を実現できる
補間音色合成方法を提供することにある。
【0005】
【課題を解決するための手段】図1に示すように音色の
発音機構にそれぞれ立脚した音色Aの物理モデルと音色
Bの物理モデルとを用い、上記音色Aの発音体及び音色
Bの発音体の少くとも物理定数を含む各合成パラメータ
を、音色A,Bへの所望の近さの程度に応じた補間率α
に応じて、補間して新しいパラメータZを作成し、この
新しいパラメータZを用いて、上記音色の発音機構に立
脚した物理モデルにもとづいて音響信号波形を各時点ご
とに計算して補間音色合成する。
【0006】
【発明の実施の形態】この発明を、打撃または撥(は
じ)きにより励起された一次元振動体の発する音色を合
成する場合に適用した実施例を説明する。この実施例で
は、励起モデルには打弦、撥弦を模疑したものを用い、
振動体は剛性をもつ弦のモデルを用いる。まず、利用す
る物理モデルについて述べる。振動体の振舞いは次式の
微分方程式により表される。
【0007】
【数1】 ここで、y:弦の変位、μ:線密度(密度ρ×面積
S)、T:張力、E:ヤング率(剛性を表す)、κ:ジ
ャイレーション半径、S:弦断面積、f(x,x0
t):外力密度、x0 :打弦位置である。右辺第1項は
弦の張力により生じる回復力、第2項は剛性をもつため
に生じる回復力であり、第3、第4項は減衰項であり、
この減衰項は定式化により次式で与えられる周波数に依
存した減衰率dを表現している。
【0008】d(ω)=b1 +b3 ω2 ωは角周波数である。外力項(励起)に関して、ピアノ
ハンマーによる打弦は次式の様にモデル化される。 MH 2 η/dt2 =−FH (t) (2) FH (t) =K|η(t) −y(x0 ,t)|p ,η(t) y(x0 ,t) = 0 ,η(t) <y(x0 ,t) (3) η:ハンマーの変位、FH (t) :弦に加わる力、MH
ハンマーの質量、K、pは実験的に決められる定数であ
る。f(x,x0 ,t)とFH (t) の関係は次式で与え
られる。
【0009】 f(x,x0 ,t)=FH (t) g(x,x0 )/(μ∫g(x,x0 )dx) (4) ∫はx0 −δxからx0 +δxまで、2δx:ハンマー
(励起体)の幅、g(x,x0 ):力の分布を与える関
数である。境界条件は両端支持の場合次式で与える。
【0010】 y(0,t)=y(L,t)=0 (5) ∂2 y(0,t)/∂x2 =∂2 y(L,t)/∂x2 =0 (6) L:振動体の長さである。他に初期条件としてg
(x0 ,x),励起の入力位置x0 、および初速度VHO
を与える。有限差分法を用いてこれらの方程式を解く、
そして合成パラメータとして物理定数を指定し、変位等
を再帰的に計算する。ここではピアノ弦のモデルを用い
たが、振動体パラメータのうち張力を0とし、他のパラ
メータ値に適当な値を用いることにより弾性体の振動、
つまり張力を与えない状態の金属棒をハンマーで励起し
た時の振動が模疑できる。
【0011】以上の物理モデルについては文献A.Ch
aigne等,“Numerical Simulat
ions of Piano Strings.I.A
physical model for a str
uck string using finite d
ifference methods”Journal
of the acoustical societ
y of America,Vol.95,No.2,
Feb.1994に示されている。
【0012】ギターの音のような弦を撥くことにより励
起される音、つまり撥弦の基本的モデルとしては、初期
条件として、初期変位および初速度0を与えるものがあ
る。もう少し複雑なモデルとして指の運動として一定の
加速度を与えるものや、指の抵抗などを考慮したものが
あるが、弦と撥弦体の物理的振る舞いを定式化したもの
は提案されていない。
【0013】そこで、この実施例では図2に示す撥弦モ
デルを提案する。まず撥弦体11がある速度で弦12と
衝突し、弦12と接触を保ちつつ平衡位置から変位を生
じる。接触の際には、打弦モデルと同様の反発力を生じ
るものとする。ある時間経過の後、撥弦体11は弦12
からの反発力が0になる前に弦より離れる。なお撥弦体
11と弦12が接触しつつ移動する間に生じる摩擦力に
ついては無視している。
【0014】この撥弦モデルは次式で表わせる。 FH (t) =K|η(t) −y(x0,t) |p , η(t) y(x0 ,t),t<tp1 = 0 , その他 (7) tp1:撥弦体11と弦12との接触時間(力の継続長)
これは式(3)の打弦モデルに力の継続長tp1を導入し
たものであり、打弦モデルにおける力の継続長をtsと
すると、tp1<tsである。この結果、弦12に加わる
外力は、t=tp1で減衰が急で、ステップ関数的に0に
なる。またpは撥弦体11の材質により異なると考え、
打弦における基準値とは異なる値を用いる。つまり撥弦
時の指先はピアノハンマーよりも柔らかく、生じる反発
力が小さいと考え、p=3.5などを撥弦モデルにおけ
る基準値とする。また力の継続長は例えばtp1=ts/
2とする。ここで継続長tp1を十分長く保った場合、励
起体は自然に弦から離れ力は0となり、これは打弦を模
疑したものであり、この時の継続長はtsである。この
モデルは指数係数pと継続長tp1を操作することによ
り、打弦と撥弦の両方を表現でき、従来のモデルを拡張
したものである。
【0015】有限差分法を用いて、式(1),(2),
(4)〜(7)よりなる方程式を解くと、変位を求める
以下の再帰式が得られる。ここでx=iΔx,t=ηΔ
tと置き換えた。なお再帰式は用いる差分スキームの違
い等により変形が考えられるが、この実施例では前記C
haigne等の文献に示すものを以下に記す。
【0016】
【数2】
【0017】
【数3】
【0018】
【数4】 p1はモード設定時間であり、十分大とすれば打弦音を
表わし、ns /2(ts /2)程度にすれば撥弦音を表
わす。境界条件は次式で表わせる。 y(0,n)=y(N,n)=0 y(−1,n)=−y(1,η),y(N+1,n)=
−y(N−1,n) n:時刻、i:弦上の位置 以下に挙げる物理定数、その他をパラメータとして指定
することにより、n=1からnを順次増加しながら式
(8)と式(9)及び(10)の各演算を交互に行うこ
とにより各位置iの各時点nごとの合成音波形を求める
ことができる。
【0019】振動体に関しては T:張力、E:ヤング率、ρ:密度、a:半径、L:長
さ、b1 :減衰係数、b3 :減衰係数、 励起体に関しては MH :質量、p:指数係数、K:スチフネス係数、
p1:接触時間、 その他として N:振動体の長さLの分割数(その分割された1つの要
素の長さがΔxである)、i0 :励起の入力位置、i
out :変位の出力位置、g(i0 ,i):力の分布関
数、VHO:初速 である。
【0020】この実施例において採用した発音機構モデ
ルにおいて、二つの音色を生じる物理モデルA,Bのパ
ラメータX,Yを求める。ここでは物理的なモデルパラ
メータの推定を行わず、知覚的に異なる二つの合成音が
得られるパラメータを補間に用いる両端に対するパラメ
ータとする。これらX,Yは下記に表わせる。 X=(Tx ,Ex ,ρx ,・・・),Y=(TY ,EY ,ρY ,・・・) (11) これら両端のパラメータX,Yを、与えられた補間率α
を用いて対応するパラメータ間で補間し、新しいパラメ
ータZ(α)を得る。
【0021】 Z(α)=(T(α),E(α),ρ(α),・・・) 以下にパラメータ補間処理の方法の具体例を示す。 1.打撃により励起された弦の音と、打撃により励起さ
れた弾性体の音とを両端音色として、音色合成する場合
(図3) (1)励起パラメータとして、MH ,K,p及び力の継
続長tp1がある。この例では弦、弾性体は共に同一のハ
ンマー(励起体)で打撃するとして、MH ,K,pは、
X,Yに同一値に固定し、tp1を十分大きくとって、つ
まり振動体が反発力で励起体から自然に離れる状態とし
て打撃を模疑する。従ってこの場合は合成音色の演算に
は式(10)の代りに式(3)を用いてもよい。
【0022】(2)振動体のパラメータのうち、密度、
半径、長さ、減衰係数をX,Yに対し、適当な値に固定
し、また弦のヤング率EをES =0とし、弾性体は張力
b=0とする。 (3)発生したい音色の基本周波数f1 から弦の張力T
S 、弾性体のヤング率Eb を、次式により求める。
【0023】f1 =(1/2L)√(Ts /μ)=(1
/2La)√(Ts /ρπ) f1 =(Kπ/2L2 )√(Eb /ρ)=(Ka/4L
2 )√(Eb /ρ) (4)補間率(係数)α(0<α<1)を与え、(3)
で求めたTs 、Eb を次式で線形補間してZ(α)を求
める。 Z(α)=(E(α)=αEb ,T(α)=(1−α)
s ) 2.材質が異なるギター弦の撥弦音を両端音色として補
間音色合成する場合(図4) (1)励起のパラメータを撥弦を模疑する値に固定す
る。
【0024】(2)振動体(ギター弦)のパラメータに
ついて、密度、半径、長さ、減衰係数を与えられた補間
率αでそれぞれ下記のように線形補間する。 (ρ(α),a(α),・・・)=(αρX +(1−
α)ρY ),αaX +(1−α)aY ,・・・) (3)両端について弦の非調波性を表す定数Bi (i=
X,Y)をそれぞれ求め、これをαで次式により線形補
間する。
【0025】 Bi =π3 i 4 i /8Li 2 i ,i=X,Y,B(α)=αBX +( 1−α)BY (12) (4)次式により発生したい基本周波数f1 を与え、こ
れと対応する張力T(α)を決定する。 T(α)=(2L(α)a(α)f1 2 ρ(α)π (13) (5)ヤング率E(α)を次式より求める。
【0026】 E(α)=B(α)8L(α)2 T(α)/π3 a(α)4 (14) (6)(2),(3),(5)で求めた各パラメータを
用いて、nを順次大としながら、各nについて式(8)
と式(9),(10)と交互演算を行い、FH(n)=
0となる最小のn、つまりns を求める。このようにし
て求まった打弦時の継続長ts (ns )の1/2を、
撥弦を模疑する継続長tp1(α)=ts(α)/2(n
p1(α)=ns (α)/2)とする。
【0027】3.ピアノ弦の打弦音とギター弦の撥弦音
とを両端として補間音色合成する場合(図5) (1)励起パラメータのうち、MH ,Kは打弦、撥弦に
対して同一値とし、p,tp1に関して、打弦、撥弦の各
基準値の間を与えられた補間率αで次式により線形に補
間する。
【0028】p(α)=αpx +(1−α)pYp1(α)=αts(α)+(1−α)ts(α)/2 =(1+α)ts(α)/2 このts(α)(ns (α))は前記2の(6)で求め
たようにして求める。この場合のtp1(α)は打弦の継
続長ts(α)と撥弦の継続長ts(α)/2との間を
線形補間したものである。この結果、再帰的に求められ
る外力の関数形も補間される。
【0029】(2)振動体のパラメータについては、密
度、半径、長さ、減衰係数について次によりαで線形補
間する。 (ρ(α),a(α),・・・)=(αρX +(1−
α)ρY ,αaX +(1−α)aY ,・・・) (3)式(12)により非調波性定数Bを求め、これを
線形補間する。
【0030】(4)式(13)より、目的の基本周波数
とする張力T(α)を決定する。 (5)ヤング率E(α)を式(14)より求める。 以上のように補間率αに応じて各種パラメータを線形補
間し、この補間されたパラメータZ(α)を用いて補間
音色を合成する。その音色合成の機能構成を図6に示
す。補間された新パラメータZ(α)はそのパラメータ
中の初速度V、質量MH 、剛性K,p,継続長tが打弦
・撥弦モデルに与えられ、張力T、ヤング率E、密度
ρ、半径a、長さL、減衰係数b1 ,b3 が振動体モデ
ルに設定され、各時点ごとの振動体の変位y(i,n)
と打弦・撥弦モデルのパラメータとを用いて、式
(9),(10)、又は式(9),(3)の演算を行
い、外力FH (n)を求め、このFH (n)と振動体モ
デルのパラメータを用いて式(8)を演算して、振動体
の変位y(i,n+1)を求め、この式(9),(1
0)(又は(9),(3))と式(8)との交互演算を
各時点ごとに行う。ある一点での振動体の変位、または
振動速度を合成音波形Z(n)として出力する。
【0031】上述では補間係数(率)αは合成音色の時
間に対して不変としたが、合成音色と各時点毎に計算す
る過程で変化させれば、時間とともに音色も変化させる
ことができる。例えば時間と共にαを0から1へ連続的
に変化させると、一端の音色から他端の音色へ自然に移
りかわるモルフィングを行うことができる。上述では二
つの原音響信号が与えられた場合のモデルパラメータの
推定については説明しなかったが、ニューラルネットワ
ークなどの手法を利用して原音よりパラメータ推定をし
てもよく、この発明は物理モデルを利用し、そのモデル
パラメータの補間を行うことに特徴がある。
【0032】前記実施例では一次元の振動体の場合を取
り上げ説明したが、二次元の振動体の場合にも同様に実
現できる。すなわちひとたびモデルを構築すれば、発音
体形状の次元によらず音色補間が実現できる。また、共
鳴、放射などの特性をモデル化したものに対してもこの
発明が適用ができる。更に、基本周波数を指定し弦の場
合には張力、弾性体の場合にはヤング率の値を調節する
ことにより、目的とする基本周波数の合成音が得られ
る。これは楽器としての利用を考えた場合大変重要であ
る。
【0033】
【発明の効果】以上述べたようにこの発明によれば、例
えば打弦と撥弦のような異なる音色の補間も可能とな
る。更に、ひとたびモデルを構築すれば、物理パラメー
タを補間することで音色補間が実現できるため、音色補
間の際に制御すべきパラメータが少なく、制御が容易で
ある。二音色に共通な属性があれば補間音色もそれを維
持することができる。これは単に歪みを加える等の目標
のない音色制御と異なり、両端の音色に任意の程度で近
い音色を合成でき、音色制御の自由度が大きくなる。こ
れにより新しい電子楽器としての機能を持たせることが
できる。また、コンピュータグラフィックスでは画像の
連続変形はモルフィングと呼ばれ、すでに実用化され多
用されているが、この画像のモルフィングと合わせて音
のモルフィングを行うことができる。
【0034】更に式(8),(9),(10)、特に
(10)を用いることにより、打弦のみならず撥弦の合
成音波形を、物理パラメータを用いて演算することがで
きる。演算により音色を合成するため、発音体の物理定
数としては現実の楽器と対応したもののみならず、現実
には通常は存在しない、例えば著しく長い弦を想定した
音色を発生することができる。
【図面の簡単な説明】
【図1】この発明の方法の処理手順を示す図。
【図2】撥弦モデルの挙動を示す図。
【図3】打弦音と打撃で励起された弾性体音のパラメー
タの補間の例を示す図。
【図4】材質の異なるギター弦の撥弦音のパラメータ補
間の例を示す図。
【図5】打弦音と撥弦音のパラメータ補間の例を示す
図。
【図6】合成音生成演算を説明するための図。

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 互いに異なる二つの音色よりその音色へ
    の所望の近さの合成音色を生成する方法であって、 上記二つの音色を、それぞれ発音機構に立脚し、発音体
    の物理定数を少くとも含むパラメータにより構成された
    モデルA,Bで表現し、 上記二つの音色への所望の近さの程度に応じて上記モデ
    ルA,Bのパラメータを補間した新しいパラメータを作
    成し、 その新しいパラメータを用いて、上記発音機構に立脚し
    たモデルにもとづいて音響信号波形を、各時点ごとに計
    算して合成音色を得ることを特徴とする物理モデルによ
    る補間音色合成方法。
  2. 【請求項2】 上記発音機構に立脚したモデルA,B
    は、発音体の物理的条件を指定することにより微分方程
    式で表わされ、この方程式を解くことにより上記音響信
    号波形を得ることができるものであることを特徴とする
    請求項1記載の物理モデルによる補間音色合成方法。
  3. 【請求項3】 上記発音機構に立脚したモデルは、励起
    条件に、モード設定時間を用い、モード設定時間を大と
    して振動体に対する打撃音を表現し、モード設定時間を
    小とし、モード設定時間を経過すると振動体に加える外
    力をゼロにして振動体に対する撥き音を表現することを
    特徴とする請求項2記載の物理モデルによる補間音色合
    成方法。
  4. 【請求項4】 上記方程式を解く際に用いられる振動体
    に加えられる外力がゼロとなる継続時間ts を求め、上
    記撥き音の表現におけるモード設定時間をts の半分程
    度にすることを特徴とする請求項3記載の物理モデルに
    よる補間音色合成方法。
JP03491397A 1997-02-19 1997-02-19 補間音色音合成方法 Expired - Fee Related JP3508976B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP03491397A JP3508976B2 (ja) 1997-02-19 1997-02-19 補間音色音合成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03491397A JP3508976B2 (ja) 1997-02-19 1997-02-19 補間音色音合成方法

Publications (2)

Publication Number Publication Date
JPH10232679A true JPH10232679A (ja) 1998-09-02
JP3508976B2 JP3508976B2 (ja) 2004-03-22

Family

ID=12427460

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03491397A Expired - Fee Related JP3508976B2 (ja) 1997-02-19 1997-02-19 補間音色音合成方法

Country Status (1)

Country Link
JP (1) JP3508976B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008203818A (ja) * 2007-01-23 2008-09-04 National Institute Of Advanced Industrial & Technology 音データ生成装置およびプログラム
JP2009103932A (ja) * 2007-10-23 2009-05-14 National Institute Of Advanced Industrial & Technology 音データ生成装置およびプログラム
JP2011013675A (ja) * 2009-06-03 2011-01-20 Yamaha Corp 楽音信号合成方法、プログラムおよび楽音信号合成装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008203818A (ja) * 2007-01-23 2008-09-04 National Institute Of Advanced Industrial & Technology 音データ生成装置およびプログラム
JP2009103932A (ja) * 2007-10-23 2009-05-14 National Institute Of Advanced Industrial & Technology 音データ生成装置およびプログラム
JP2011013675A (ja) * 2009-06-03 2011-01-20 Yamaha Corp 楽音信号合成方法、プログラムおよび楽音信号合成装置

Also Published As

Publication number Publication date
JP3508976B2 (ja) 2004-03-22

Similar Documents

Publication Publication Date Title
US6647359B1 (en) System and method for synthesizing music by scanning real or simulated vibrating object
Suzuki et al. Acoustics of pianos
Issanchou et al. Nonsmooth contact dynamics for the numerical simulation of collisions in musical string instruments
Holm Virtual violin in the digital domain: physical modeling and model-based sound synthesis of violin and its interactive application in virtual environment
US5180877A (en) Musical tone synthesizing apparatus using wave guide synthesis
JPH0437799A (ja) 楽音合成装置
JP3508976B2 (ja) 補間音色音合成方法
US5290969A (en) Musical tone synthesizing apparatus for synthesizing a muscial tone of an acoustic musical instrument having a plurality of simultaneously excited tone generating elements
Kojs et al. Cyberinstruments via physical modeling synthesis: Compositional applications
JP2591198B2 (ja) 電子楽器
Cuzzucoli et al. Classical guitar design
JP3008419B2 (ja) 電子楽器
Van Walstijn et al. The prosthetic conga: Towards an actively controlled hybrid musical instrument
Smith III Nonlinear commuted synthesis of bowed strings
US7381881B1 (en) Simulation of string vibration
US7548837B2 (en) Simulation of string vibration
JP2722727B2 (ja) 電子楽器
JPH0452697A (ja) 楽音合成装置
JP2814699B2 (ja) 楽音合成装置
JP3360104B2 (ja) 楽音信号形成装置
JP2000081887A (ja) 撥弦音合成方法、その装置およびプログラム記憶媒体
Sanders et al. Synthesizing a guitar using physical modeling techniques
Penttinen Loudness and timbre issues in plucked stringed instruments: analysis, synthesis, and design
JP3489180B2 (ja) 楽音合成装置
JP3775121B2 (ja) 楽音合成装置および楽音合成プログラムを記録した記録媒体

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20031218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20031218

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090109

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090109

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100109

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees