JP3334321B2 - X線テレビジョン装置 - Google Patents

X線テレビジョン装置

Info

Publication number
JP3334321B2
JP3334321B2 JP05527894A JP5527894A JP3334321B2 JP 3334321 B2 JP3334321 B2 JP 3334321B2 JP 05527894 A JP05527894 A JP 05527894A JP 5527894 A JP5527894 A JP 5527894A JP 3334321 B2 JP3334321 B2 JP 3334321B2
Authority
JP
Japan
Prior art keywords
image
smoothing
circuit
peak value
display window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP05527894A
Other languages
English (en)
Other versions
JPH07240886A (ja
Inventor
毅 尾崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Priority to JP05527894A priority Critical patent/JP3334321B2/ja
Publication of JPH07240886A publication Critical patent/JPH07240886A/ja
Application granted granted Critical
Publication of JP3334321B2 publication Critical patent/JP3334321B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Television Receiver Circuits (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は、被写体を透過したX
線による画像信号を得るX線テレビジョン装置に関す
る。
【0002】
【従来の技術】X線テレビジョン装置において、被写体
に関するX線透過像のビデオ信号を得てこれをモニター
装置に送りその透過像をリアルタイムで表示することに
よって、いわゆるX線透視を行なう場合、その表示画像
は刻々変化する動画として表わされ、フレーミングや心
拍、呼吸等の動きによって表示画像のコントラストは大
きく変動する。そこで、これらにかかわらずつねに被写
体の状態に合った見易い画像をモニター画面上に表示さ
せるため、AGC(オートゲインコントロール)回路が
使用されている。このAGC回路は、表示画像の輝度に
合わせてビデオ信号のゲインを自動的に調整し、表示画
像の輝度を一定にするものである。また、近年では、こ
のAGC回路の機能を、ビデオ信号をデジタル信号に変
換した上で表示ウインドウ(画素データの表示範囲を定
めるウインドウ)を調整することによって、デジタル的
に実現する方式も用いられている。
【0003】
【発明が解決しようとする課題】しかしながら、上記の
ような回路・方式ではいずれも、被写体のさまざまなコ
ントラストの変化に対してきめ細かな調整をすることが
できず、フレーミング時に瞬時に最適なコントラストの
画像が得られなかったり、逆に心拍運動などの周期的な
画像のコントラストの変動に対して過敏に反応し過ぎて
かえって見づらい画像しか得られないなどの問題があ
る。また、コリメータを挿入したときに、このコリメー
タ部分を被写体の最も厚い部分と判断しこれに合わせて
表示画像の輝度が過度に高められ、あるいは直接にX線
が入射した部分(ハレーション部分)を被写体の最も薄
い部分と判断してこれに応じて表示画像の輝度が必要以
上に低くされることなどがあり、いずれにしても観察し
たい部位のコントラストが小さくなって観察に支障をき
たすという問題もある。
【0004】この発明は、上記に鑑み、どのような画像
の変動に対しても最適なコントラストの画像を表示する
ことができるとともに、ハレーションやコリメータなど
の影響を除いた上でコントラストを最適なものとするこ
とができるように改善した、X線テレビジョン装置を提
供することを目的とする。
【0005】
【課題を解決するための手段】上記の目的を達成するた
め、この発明によるX線テレビジョン装置においては、
被写体に向けてX線を照射するX線発生手段と、該被写
体を透過したX線を受けてX線透過像の画像信号を発生
するX線撮像手段と、該画像信号をデジタル信号に変換
するA/D変換手段と、該デジタル画像信号の1フレー
ム内の大きい方と小さい方のピーク値を検出するピーク
値検出手段と、該ピーク値を多数フレームにわたり時間
方向にスムージングするスムージング手段と、該スムー
ジング後のピーク値から上記デジタル画像信号の表示ウ
インドウを求める手段と、該求められた表示ウインドウ
および上記ピーク値の時間的な変化から上記スムージン
グの係数を求めてこの係数により上記スムージング手段
を制御する手段と、上記A/D変換手段からのデジタル
画像信号のうち、上記の求められた表示ウインドウ内の
階調を、表示する全階調に変換する階調変換手段とを備
えることが特徴となっている。
【0006】そして、上記のピーク値を多数フレームに
わたり時間方向にスムージングするスムージング手段
は、リカーシブフィルタ手段により構成することがで
き、その場合、スムージングの係数はリカーシブフィル
タの係数ということになり、スムージング手段を制御す
る手段は表示ウインドウおよびピーク値の時間的な変化
とからリカーシブフィルタの係数を求めてこの係数によ
りリカーシブフィルタ手段を制御することになる。
【0007】さらに、A/D変換手段からのデジタル画
像信号の大きさの変動を捉え、最大値が一定の範囲で続
く領域をハレーション領域と判定するとともに、最小値
が一定の範囲で続く領域をコリメータ領域と判定して、
これらの各領域を除いた領域でのみ上記のピーク値検出
手段によりピーク値検出を行なわせるピーク値検出制御
手段を備えるようにしてもよい。
【0008】
【作用】デジタル画像信号の表示ウインドウがスムージ
ング後のピーク値から求められる。そして、このピーク
値というのはデジタル画像信号の1フレーム内の大きい
方と小さい方のピーク値としてそれぞれ検出したもので
あり、スムージング後のピーク値というのは、これらの
ピーク値をそれぞれ、多数フレームにわたり時間方向に
スムージングしたものである。さらに、このスムージン
グは、上記の求められた表示ウインドウおよび上記ピー
ク値の時間的な変化により制御される。したがって、結
局、前フレームでの表示ウインドウとピーク値の時間的
な変化とにより現フレームの表示ウインドウを決めるた
め、心拍などの周期的な運動による比較的ゆるやかなコ
ントラストの変化に対しては表示ウインドウの応答を抑
えてコントラストの安定した画像を得、フレーミングな
どによって画像のコントラストが大きく変化するときは
応答感度を高めてすみやかに最適なコントラストへ移す
ことができる。また、表示ウインドウが狭い場合には、
表示ウインドウの変化の応答感度を低くして、表示した
ときに見易い画像となるようにすることができる。
【0009】また、ピーク値を多数フレームにわたり時
間方向にスムージングするスムージング手段をリカーシ
ブフィルタ手段により構成することとすれば、実際上、
簡単な構成で容易に実現可能である。
【0010】さらにピーク値検出制御手段を備えるよう
にし、これによってA/D変換手段からのデジタル画像
信号の大きさの変動を捉えれば、最大値が一定の範囲で
続く領域をハレーション領域と判定することができると
ともに、最小値が一定の範囲で続く領域をコリメータ領
域と判定することができるので、これらの各領域を除い
た領域でのみ上記のピーク値検出手段によりピーク値検
出を行なわせることができる。つまり、X線が直接入射
するハレーション領域と、コリメータによりX線が遮蔽
される領域とでは、上記のピーク値検出を行なわないよ
うにできるので、被写体に関する必要な部分の画像のコ
ントラストに適した表示ウインドウの制御が可能とな
る。
【0011】
【実施例】以下、この発明の好ましい一実施例について
図面を参照しながら詳細に説明する。図1に示す実施例
において、X線管21から被写体10に向けてX線が照
射されるようになっており、被写体10を透過したX線
がイメージインテンシファイア22に入射するようにさ
れている。透過X線によって表わされる被写体10の透
過像は、このイメージインテンシファイア22において
光学的な画像に変換される。このイメージインテンシフ
ァイア22から出力される光学像は、適当な光学系を経
てTVカメラ23に入射させられ、このTVカメラ23
からX線透過像の画像信号が得られる。この画像信号は
A/Dコンバータ24によってデジタル画像信号に変換
された後、デジタル画像処理回路25などを経て階調変
換回路26に送られて階調変換を受け、その後D/Aコ
ンバータ27でアナログの画像信号に戻されて画像モニ
ター装置28に送られ、この画像モニター装置28にお
いてX線透過像が表示されることになる。
【0012】この階調変換回路26は、表示ウインドウ
決定回路39から送られる信号によってその変換特性が
定められる。この表示ウインドウを決定するため、直接
線検出回路31、コリメータ検出回路32、ホワイトピ
ーク検出回路33、ブラックピーク検出回路34、スム
ージング回路35、36、制御回路37、38等が設け
られている。
【0013】直接線検出回路31は、X線が、被写体1
0を透過することによって減弱することなしに直接イメ
ージインテンシファイア22に入射する部分を検出する
ものである。また、コリメータ検出回路32は、コリメ
ータ(図示しない)によってX線が遮蔽されている部分
を検出する回路である。これらが検出された領域ではつ
ぎに説明するホワイトピーク検出回路33とブラックピ
ーク検出回路34が動作しないようにゲートがかけられ
る。
【0014】ホワイトピーク検出回路33とブラックピ
ーク検出回路34はこのようなゲートがかけられていな
い領域において、1フレーム分のデジタル画像信号のホ
ワイトピーク(最大値)WPとブラックピーク(最小
値)BPとを、それぞれ検出する。検出されたWP,B
Pはそれぞれスムージング回路35、36において、時
間方向にスムージングされる。つまり、これらWP,B
Pは、フレームごとに時間的に順次得られるが、その時
間的に順次得られる値の間でスムージングされ、スムー
ジング後のホワイトピークWP’とブラックピークB
P’とが得られる。スムージングの度合は制御回路3
7、38によってそれぞれ制御される。このスムージン
グ後のWP’、BP’は表示ウインドウ決定回路39に
入力され、WP’、BP’の差として表示ウインドウの
値Wが得られる。
【0015】制御回路37、38は、前フレームでのW
P’、BP’と今回のフレームのWP,BPとの差が大
きければ大きいほど、および表示ウインドウWが大きけ
れば大きいほど、時間方向スムージングの度合が少なく
なるような制御を行なう。スムージング回路35、36
は、このようなフレームごとに得られる値の時間方向ス
ムージングを行なうものであるから、積分回路等によっ
ても構成可能であるが、ここでは図2に示すようにリカ
ーシブフィルタ回路により構成している。
【0016】すなわち、スムージング回路35について
説明すると、まず、入力されるWPを乗算回路41で
(1/K)倍に乗算し、加算回路43を経て遅延回路4
4に送る。この遅延回路44は1フレームだけ入力信号
を遅延させるもので、その1フレーム分遅延した信号を
乗算回路42に送る。乗算回路42は、入力された信号
を{1−(1/K)}倍に乗算し、その出力信号を加算
回路43に送る。そこで、加算回路43では、現フレー
ムのWPの乗算回路41を経たものと、前フレームまで
に得られていて遅延回路44で遅延されたWP’の乗算
回路42を経たものとが加算されることになり、この加
算後の値が遅延回路44を経てWP’として出力され
る。つまり、この出力WP’は、現フレームのWPにそ
れ以前のフレームのWPが所定の比率で加わったものと
なるので、時間方向のスムージングがなされたことにな
る。その比率を定める係数がリカーシブフィルタ係数K
(K≧1)である。
【0017】このリカーシブフィルタ係数Kは制御回路
37によって与えられる。制御回路37では、現フレー
ムのWPと前フレームでのWP’との差Δを得るための
減算回路51と、このΔと、表示ウインドウ決定回路3
9から送られる表示ウインドウ値Wとに基づきKの値を
算出するK算出回路52とが備えられている。なお、ス
ムージング回路36および制御回路38は、その入力が
WPでなくてBPとなり出力がWP’の代わりにBP’
となる点を除いてスムージング回路35および制御回路
37と同じなので説明は省略する。
【0018】表示ウインドウ決定回路39では、上記の
ようにスムージング後のWP’,BP’の差からWの値
を求め、さらに図3に示すようにWの下限と上限とに、
ある一定のセットアップ値a,bを加えてW’を求めて
いる。こうして求められたW’が(W’の上限と下限を
表わすW’U,W’Lとともに)階調変換回路26に送
られる。階調変換回路26では入力階調のうち、この
W’で示されるウインドウ部分のみを表示階調の全体に
変換する。つまり図3に示すように、真黒から真白まで
256階調で表示するものとすると、入力された信号の
大きさのうち、表示ウインドウW’に入るもののみが2
56段階の階調に変換されることになる。
【0019】上記の制御回路37において、K算出回路
52は、図4に示すような特性に基づいてKの値を算出
する。すなわち、現フレームのWPと前フレームでのW
P’との差Δが小さいときはKの値が大きく、Δが大き
くなるとKの値が小さくなるようなカーブにしたがって
Kが求められるとともに、Wの値でこのカーブ自体が、
Wが大きいときには小さく、Wが小さいときには大きく
なるように、変化させられる。これにより、WPの時間
的変動が小さいときにはKが大きくされて時間方向のス
ムージング度合が大きくされて応答感度が低くされ、逆
にWPの時間的変動が大きいときはKが小さくされて時
間方向のスムージングの度合が小さくされて応答感度が
高められる。その結果、WPがたとえば図5の実線に示
すように変動したとき、心拍などの周期的な運動による
比較的ゆるやかなWPの変動に対してはその変動を抑え
るよう強いスムージングをかけ、フレーミングなどによ
るWPの急激な変動に対してはスムージング効果を弱め
てそれに直ちに応答するようにし、点線で示すように変
化するWP’を得ることができる。
【0020】このようにスムージングの度合が制御され
ることはBPについても同様であるから、結局、表示ウ
インドウW’を、心拍などの比較的ゆるやかな変動に対
してはあまり影響されないようにしながら、フレーミン
グなどによる急激な変動に対しては直ちに応答させるよ
うにできる。また、表示ウインドウW’が小さいときは
Kを大きくしてWP、BPのスムージング効果を大きく
しているので、WP、BPの変動に対して表示ウインド
ウW’が大きく動くことがない。このように表示ウイン
ドウW’が小さいということは、入力画像のコントラス
トが小さくその小さいコントラスト範囲(W’)を全表
示階調に拡大して表示しているということであるから、
もとの画像のコントラストが強調されており、このよう
な場合にW’を大きく変動させたのではかえって見づら
くなるものであるから、このような実際上の見難さを避
けることができることになる。これに対して、表示ウイ
ンドウW’が大きいときは、W’の応答を良くしても表
示画像が見づらくなることはないので、WP、BPのス
ムージング効果を小さくしてWP、BPの変動に対する
表示ウインドウW’の応答をすばやくすることにより、
画像のコントラスト変化に直ちに追従することができる
ようになっている。
【0021】表示ウインドウ決定回路39で、上記のよ
うにスムージング後のWP’,BP’の差から求めたW
の値の下限と上限とにある一定のセットアップ値a,b
を加えてW’を求めているが、実際の画像モニター装置
28によってはWP’より大きい値はすべて真白に、B
P’より小さい値はすべて真黒に表示したのではかえっ
て見づらい場合があるので、これを考慮したものであ
る。
【0022】ところで、図6のような画像が得られたと
すると、その画像中には、被写体10の部分と、被写体
10をまったく通らずにX線が直接入射してハレーショ
ンを生じた部分(直接線部分)11と、コリメータ部分
(コリメータによってX線が遮蔽された部分)12とが
存在する。この場合、ある一つの走査線13上の信号を
見てみると図7のようになっており、直接線部分11に
対応するAの領域では入力値は最大値(A/Dコンバー
タ24の最大ビット)となっており、コリメータ部分1
2に対応するBの領域では入力値は最小値(A/Dコン
バータ24の最小ビット)となる。そこで、このように
直接線部分11やコリメータ部分12がある入力画像の
場合には、上記のホワイトピーク検出回路33およびブ
ラックピーク検出回路34をそのまま動作させたので
は、被写体10に関する最適な表示コントラストは得ら
れない。
【0023】この不都合を防ぐため、直接線検出回路3
1とコリメータ検出回路32とが備えられている。直接
線検出回路31は、入力信号が最大値になっていること
が一定の画素数以上連続したときに直接線部分11に対
応する領域Aであると判断する。また、コリメータ検出
回路32は、入力信号が最小値になっていることが一定
の画素数以上連続したときにコリメータ部分12に対応
する領域Bであると判断する。そして、この検出した領
域A,Bに一定の幅Cを加えた領域を除いた領域でのみ
ホワイトピーク検出回路33およびブラックピーク検出
回路34が動作するようこれらにゲートをかけている。
したがって、図7のような信号が入力されたときは、被
写体10の部分に対応した領域でのみピーク検出を行な
い、その被写体10の画像部分の画素値のピーク値WP
とBPとを得ることができる。
【0024】
【発明の効果】以上実施例について説明したように、こ
の発明のX線テレビジョン装置によれば、被写体のX線
透過像のコントラストが変動したとき、それがどのよう
なものであっても、つねに最適なコントラストの画像と
して表示することができる。すなわち、心拍や呼吸等の
周期的な比較的ゆるやかなコントラスト変動に対しては
あまり表示コントラストを変動させず、安定なコントラ
ストの画像として表示し、これに対してフレーミング等
の急激なコントラスト変化に対しては表示コントラスト
をただちに対応させるようにしており、いずれの場合も
実際上の見易さを向上させることができる。また、もと
の画像のコントラストが小さくてその小さいコントラス
トを強調して表示している場合には、もとの画像のコン
トラスト変動に対する表示画像のコントラストの追従を
弱めているので、表示コントラスト変動が大きくなり過
ぎることがなく、見易い表示画像が得られる。
【図面の簡単な説明】
【図1】この発明の一実施例のブロック図。
【図2】図1の実施例の回路の一部を詳細に示すブロッ
ク図。
【図3】階調変換特性を示す図。
【図4】リカーシブ係数Kの特性図。
【図5】ピーク値の時間的変化を示すグラフ。
【図6】X線画像の例を示す図。
【図7】図6の走査線13上の信号強度を表わすグラ
フ。
【符号の説明】
10 被写体 11 直接線部分 12 コリメータ部分 13 走査線 21 X線管 22 イメージインテンシファイア 23 TVカメラ 24 A/Dコンバータ 25 デジタル画像処理回路 26 階調変換回路 27 D/Aコンバータ 28 画像モニター装置 31 直接線検出回路 32 コリメータ検出回路 33 ホワイトピーク検出回路 34 ブラックピーク検出回路 35、36 スムージング回路 37、38 制御回路 39 表示ウインドウ決定回路 41、42 乗算回路 43 加算回路 44 遅延回路 51 減算回路 52 K算出回路
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) H04N 5/50 - 5/63 H04N 5/14 - 5/217 H04N 5/30 - 5/335 A61B 6/00 - 6/14

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】 被写体に向けてX線を照射するX線発生
    手段と、該被写体を透過したX線を受けてX線透過像の
    画像信号を発生するX線撮像手段と、該画像信号をデジ
    タル信号に変換するA/D変換手段と、該デジタル画像
    信号の1フレーム内の大きい方と小さい方のピーク値を
    検出するピーク値検出手段と、該ピーク値を多数フレー
    ムにわたり時間方向にスムージングするスムージング手
    段と、該スムージング後のピーク値から上記デジタル画
    像信号の表示ウインドウを求める手段と、該求められた
    表示ウインドウおよび上記ピーク値の時間的な変化から
    上記スムージングの係数を求めてこの係数により上記ス
    ムージング手段を制御する手段と、上記A/D変換手段
    からのデジタル画像信号のうち、上記の求められた表示
    ウインドウ内の階調を、表示する全階調に変換する階調
    変換手段とを備えることを特徴とするX線テレビジョン
    装置。
JP05527894A 1994-02-28 1994-02-28 X線テレビジョン装置 Expired - Fee Related JP3334321B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP05527894A JP3334321B2 (ja) 1994-02-28 1994-02-28 X線テレビジョン装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP05527894A JP3334321B2 (ja) 1994-02-28 1994-02-28 X線テレビジョン装置

Publications (2)

Publication Number Publication Date
JPH07240886A JPH07240886A (ja) 1995-09-12
JP3334321B2 true JP3334321B2 (ja) 2002-10-15

Family

ID=12994133

Family Applications (1)

Application Number Title Priority Date Filing Date
JP05527894A Expired - Fee Related JP3334321B2 (ja) 1994-02-28 1994-02-28 X線テレビジョン装置

Country Status (1)

Country Link
JP (1) JP3334321B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2267655A2 (en) 2009-06-26 2010-12-29 Canon Kabushiki Kaisha Image processing method and image processing apparatus

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0963111A1 (en) * 1998-06-02 1999-12-08 Deutsche Thomson-Brandt Gmbh Method and apparatus for dynamic contrast improvement in video pictures
JP6254813B2 (ja) * 2013-10-10 2017-12-27 キヤノン株式会社 X線画像処理装置および方法、並びにx線撮像装置、プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2267655A2 (en) 2009-06-26 2010-12-29 Canon Kabushiki Kaisha Image processing method and image processing apparatus

Also Published As

Publication number Publication date
JPH07240886A (ja) 1995-09-12

Similar Documents

Publication Publication Date Title
JP4341691B2 (ja) 撮像装置、撮像方法、露光制御方法、プログラム
JP4306750B2 (ja) 撮像装置、撮像方法、露光制御方法、プログラム
EP1302898B1 (en) System and method for digital image tone mapping using an adaptive sigmoidal function based on perceptual preference guidelines
JP3730419B2 (ja) 映像信号処理装置
US5351306A (en) Apparatus for reproducing video signals on a monitor
JP2000513907A (ja) 映像信号の画質補正回路
JP4479527B2 (ja) 画像処理方法、画像処理装置、画像処理プログラム、および電子カメラ
US20100231757A1 (en) Image acquisition apparatus and image acquisition program
JPH0822025B2 (ja) 画像入力装置
US4409615A (en) Video imaging with automatically controlled radiation source
JP3334321B2 (ja) X線テレビジョン装置
JPH07183094A (ja) X線検査装置
JP2007336258A (ja) 映像信号処理装置及び映像信号処理方法
JP3163875B2 (ja) 医用画像処理装置
JP3294089B2 (ja) 撮像装置
JPH0654257A (ja) ディジタル・サブトラクション・アンジアグラフィ装置
JP2006094419A (ja) 画像信号処理装置及び画像信号処理方法
JPH0584235A (ja) X線画像処理装置
US5533086A (en) X-ray examination apparatus
JP3326885B2 (ja) X線テレビジョン装置
US6044127A (en) X-ray examination apparatus including an exposure control system and a method of controlling an amplifier of an image pick-up apparatus
JP3432254B2 (ja) X線診断装置
JPH06169906A (ja) X線画像診断装置
JP3216163B2 (ja) X線テレビジョン装置
JPH0951890A (ja) X線透視撮影方法及びx線透視撮影装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080802

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080802

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090802

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090802

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100802

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110802

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110802

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120802

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120802

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130802

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees