JP2520301B2 - 静止画像フリッカ抑制方法 - Google Patents

静止画像フリッカ抑制方法

Info

Publication number
JP2520301B2
JP2520301B2 JP1107099A JP10709989A JP2520301B2 JP 2520301 B2 JP2520301 B2 JP 2520301B2 JP 1107099 A JP1107099 A JP 1107099A JP 10709989 A JP10709989 A JP 10709989A JP 2520301 B2 JP2520301 B2 JP 2520301B2
Authority
JP
Japan
Prior art keywords
value
field
pixel
difference
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP1107099A
Other languages
English (en)
Other versions
JPH01318376A (ja
Inventor
スチュアート・イー・ラング
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Grass Valley Group Inc
Original Assignee
Grass Valley Group Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Grass Valley Group Inc filed Critical Grass Valley Group Inc
Publication of JPH01318376A publication Critical patent/JPH01318376A/ja
Application granted granted Critical
Publication of JP2520301B2 publication Critical patent/JP2520301B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/93Regeneration of the television signal or of selected parts thereof
    • H04N5/937Regeneration of the television signal or of selected parts thereof by assembling picture element blocks in an intermediate store

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Television Systems (AREA)

Description

【発明の詳細な説明】 [産業上の利用分野] 本発明はビデオ・システムの静止画像フリッカ抑制方
法、特に飛び越し走査ビデオ画像の垂直分解能を犠牲に
せずに静止画像のフリッカを抑制する静止画像フリッカ
抑制方法に関する。
[従来の技術] NTSC方式及びPAL方式の様な商用テレビジョン・シス
テムでは、各ビデオ・フレームは2個の飛び越し走査フ
ィールドから成る。1フレーム内では上から下に向かっ
て各ラインに番号が順に付けられていて、奇数番号のラ
インは奇数フィールドを形成し、偶数番号のラインは偶
数フィールドを形成する。表示対象物が急速に動いてい
る場合、1フレーム内の各フィールドでは表示対象物の
位置が異なる。ビデオ・カセット・レコーダ、スチル画
像記憶装置等の特定の装置では、1フレームのビデオ信
号をフリーズ即ち駒止めすることができる。ビデオ信号
をフリーズした場合、2個の飛び越し走査フィールドが
交互に表示される。1フレームで表す画像内の運動して
いる表示物は、各フィールドでの位置のずれによりフリ
ッカ(ちらつき)を伴って表示される。静止した長方形
の物体と運動した球形とを表示して、第4図にこの現象
を示す。2個のフィールドは、連続的に繰り返し表示さ
れるので、球形の像にはフリッカが生ずる。フリッカな
く球形の静止画像を表示するには、2個のフィールドの
うち一方のフィールドの位置で球形を表示することが必
要である。
従来の簡単な第1の解決方法では、2個のフィールド
の一方を単に選択して両方のフィールドに連続して表示
する。例えば、奇数フィールドを選択すると、ライン1
がライン1及びライン2として交番するフィールドで表
示され、ライン3がライン3及びライン4として交番す
るフィールドで表示され、以下奇数番号ラインが同様に
表示される。この方法によれば偶数ラインの抜けを穴埋
めすることができるが、表示物の輪郭にぎざぎざがはっ
きりと現れるので、かなり見づらい画像になる。
上述の方法を改善したのが、平均化を使用した第2の
方法である。奇数フィールドを再度使用すると仮定する
と、偶数フィールドのラインは平均化により生成され
る。ライン2に表示されるピクセルは、ライン1上のピ
クセル及びライン3上のピクセルを平均することで求め
られる。この第2の方法では、上述の第1の方法よりも
良好な画像が得られるが、依然として画面上で垂直解像
度の劣化が分かる。
[発明が解決しようとする課題] 上述の両方の方法では、画像の殆どの部分が2個のフ
ィールド間で静止していても、垂直解像度は画像全体で
悪くなる。理想的には、画像内の移動している物体と同
様の垂直解像度の劣化が静止物体に起こらないようにし
なければならない。
よって、1個の静止画像フレームを生成するために選
択された2個の連続するフィールド間の表示物の位置の
変化を検出して、位置の変化が検出されたピクセル値の
みを変更してフリッカを抑制し、静止表示物の垂直解像
度の劣化を防止することが必要である。
したがって、本発明の目的は、飛び越し走査ビデオ表
示において、表示対象物の動きが検出されたピクセルの
みについて補間値と置換して静止画像を得る静止画像フ
リッカ抑制方法を提供することである。
[問題を解決するための手段及び作用] 本発明の静止画像フリッカ抑制方法は、2個の飛び越
し走査フィールドで1個のフレームを形成した静止画像
のフリッカを抑制する方法であり、上記静止画像の1個
のフレームの一方のフィールドの各ピクセルが属する表
示対象物が運動しているか否かに応じて、上記一方のフ
ィールドの各ピクセルの値を変更するか、又はそのまま
用いて新たなフィールドを形成し、この新たなフィール
ドと上記1個のフレームの他方のフィールドとを結合し
て新たなフレームを形成する。
更に本発明の表示対象物の動き検出方法では、一方の
フィールドの各ピクセルと同一フィールドの真上及び真
下のピクセルとの差の小さい方である第1フィールド差
値を求める。上記各ピクセルに対し他方のフィールドで
上下に隣接する2個のピクセルから、両方の差である第
2フィールド差値及び平均値である平均ピクセル値を求
める。上記各ピクセル及び対応する平均ピクセル値の差
である上記各ピクセルに関する第3フィールド差値を求
める。上記第1、第2及び第3フィールド差値の関係か
ら上記各ピクセルに対する運動を検出する。以上の方法
により、運動を検出したときにのみ、補間値でピクセル
を置換して静止画像のフリッカを抑制する。
[実施例] 第1(a)〜(g)図を参照して、運動物体表示に関
する本発明を説明する。ここでは、表示するフィールド
のうち、偶数フィールドを保持し、奇数フィールドの運
動物体部分を補間すると仮定する。第1(a)図は第4
図の運動物体を示し、同一フィールドの上下ラインの対
応ピクセル値L1、L5及び反対フィールドの上下ラインの
対応ピクセル値L2、L4を基に、中央ラインのピクセル値
L3に関する判断を後述の如く行う。第1(b)図は第4
図の静止物体を示し、運動物体の場合と同様に中央ライ
ンのピクセル値L3に関する判断を後述の如く行う。運動
物体では、ライン1、3及び5は白(反転像)、ライン
2及び4は黒で表され、静止物体ではライン1及び2が
白、ライン3〜5が黒で表される。
本発明の第1工程を図1(C)に示す。この工程で
は、ピクセル値L3及び同一フィールドの上側及び下側ラ
インのピクセル値L1及びL5との差の絶対値を求める。2
つの絶対値のうち小さい方を選択して、奇数差値ODとす
る。運動球形については、両方の差は共に0で、ODの値
は0である。また、静止した長方形については、一方の
差は0であるが、他方の差は100となる。ここでは、白
の値を100とし、黒の値を0とする。長方形のOD値は、
小さい方の絶対値であるから0である。第1(d)図及
び第1(e)図に示す次の工程では、ピクセル値L3に関
し、反対フィールド内の真上及び真下のピクセル値L2及
びL4を使用する。ピクセル値L2及びL4の差の絶対値を求
め、偶数差値EDとする。ピクセル値L2及びL4の値をの平
均値求め、補間用の交換値即ち交換ピクセル値APとす
る。球形ではAPは黒即ち0であり、長方形ではAPは黒及
び白の中間値即ち50である。
第1(f)図に示す工程では、ピクセル値L3及び交換
ピクセル値APの差の絶対値からフィールド差値FDを求め
る。球形及び長方形に関して、FDは夫々100及び50であ
る。各値OD、ED及びFDを使用して、ピクセルL3に対する
運動を第1(g)図の如く判断できる。OD及びEDの両方
がFDよりも小さければ、ピクセル値L3に対する移動が検
出され、交換ピクセル値APをピクセルL3の代わりに使用
する。球形については、OD及びEDの値は0であり、FDの
値100よりも小さい。したがって、ピクセルL3は黒に相
当するAPの値と置換され、球形を形成するように穴埋め
される。長方形については、OD値はFD値よりも小さい
が、ED値はFD値よりも大きい。したがって、長方形の移
動は無く、ピクセル値L3の値は保持される。
上述した本発明の特徴は、従来の運動検出方法とは違
って固定したスレッショルドを使用しないことである。
データは各ピクセル毎に運動検出用のスレッショルドを
設定する。この技術はルミナンス値に対して同様にクロ
ミナンス値に対しても同じように使用可能である。NTSC
及びPAL方式テレビジョン・システムに共通のYIQ及びYU
Vシステムの様なカラー成分を含むシステムでは、この
技術は各ピクセルのルミナンス及びクロミナンスに関し
て別個に適用する。この場合、表示物の運動をルミナン
ス及びクロミナンス・チャンネルの一方又は両方で検出
し、ルミナンス及びクロミナンスの両方のAP値を置き換
える。RGBについては、ルミナンス成分を最も多く含ん
だグリーン・チャンネルを処理することにより、ルミナ
ンス及びクロミナンスの両方を同時に調べることがで
き、表示物の運動をグリーン信号で検出したとき、RGB
の全信号をAP値に置き換える。
上述の技術は、コンピュータ・ソフトウエア、実時間
処理用デジタル・ハードウエア又はアナログ・ハードウ
エアで実施できる。例えば、第2図に示すように、入力
デジタル・データ信号はマイクロプロセッサ(12)の制
御により、スチル(フレーム)記憶回路(10)に記憶さ
れる。ビデオ・データ信号の偶数フィールドは、表示プ
ロセッサ(14)への出力信号である。表示プロセッサ
(14)は、適当なモニタ(18)に表示するために、運動
検出器(16)の処理に従って奇数フィールドを偶数フィ
ールドと結合させる。処理対象の奇数フィールドのピク
セル値L3に関連して、両方のフィールドのL3ピクセルの
真上及び真下のL1、L5、L2及びL4のピクセルもスチル記
憶回路(10)から出力される。これら5個のピクセル
は、運動検出回路(16)に入力する。ピクセルL1、L3及
びL5は奇数差回路(20)に入力し、一方、ピクセルL2及
びL4は遇数差回路(22)及び交換ピクセル回路(24)に
入力する。フィールド差回路(26)には、ピクセルL3及
び交換ピクセル回路(24)の出力信号を入力する。奇数
差回路(20)、偶数差回路(22)及びフィールド差回路
(26)の各出力信号は論理回路(28)に入力する。論理
回路(28)は、ピクセルL3に対する運動を検出したか否
かにより選択信号を出力する。論理回路(28)からの選
択信号は、ピクセルL3及び交換ピクセル回路(24)の出
力信号と共にマルチプレクサ(30)に入力する。マルチ
プレクサ(30)の出力信号は、奇数フィールドに修正を
加えるために表示プロセッサ(14)に入力する1組のピ
クセル値となる。
第3図を参照して、運動検出器(16)を詳細に説明す
る。奇数フィールドのピクセル値L1、L3及びL5は、減算
回路(32)及び(34)に入力し、差(L3−L1)及び(L3
−L5)を生成する。これらの差を夫々絶対値回路(36)
及び(38)に入力し、各差について絶対値を得る。絶対
値回路(36)及び(38)の出力信号は、比較器(40)及
び選択マルチプレクサ(42)に入力する。|L3−L1|が|L
3−L5|よりも大きければ、比較器(40)を選択マルチプ
レクサ(42)に選択信号を送り、|L3−L5|を奇数差値OD
として出力する。また、|L3−L5|が|L3−L1|よりも大き
ければ、|L3−L1|を奇数差値ODとして出力する。偶数フ
ィールドのピクセルL2及びL4は共に、加算回路(44)及
び減算回路(46)に入力し、夫々ピクセルの和及び差を
得る。ピクセル(L2+L4)の和は割り算器(48)に入力
し、この和を2で割って2個のピクセルの平均値APを得
る。ピクセル(L2−L4)の差は絶対値回路(50)に入力
し、偶数フィールド差値EDとして差の絶対値を得る。AP
及びL3値を他の減算回路(52)に入力して差(L3−AP)
を得て、この差を絶対値回路(54)に入力して、奇数及
び偶数フィールドの差FDを得る。OD、ED及びFD出力は比
較器(56)及び(58)に入力し、OD又はEDがFD以上であ
れば、比較器は“1"を出力する。比較器(56)及び(5
8)の出力信号はORゲート(60)を介して、運動マルチ
プレクサ(30)に選択信号を供給する。比較器(56)及
び(58)の出力信号のいずれか又は両方が“1"であれ
ば、元のピクセル値L3には補間値APが選択される。
本発明の方法は、複数組のフィールドをフリッカ抑制
フレームに変換するのに非常に有効である。表示物の動
きをなくしてそれに応じたフリッカをフレームから除去
するために、奇数又は偶数フィールドのいずれかが選択
される。特にこの方法によるビデオの連続処理は、画像
をフィルムへ転写する場合、各対のフィールド運動を抑
制したフレームに変換して1個のフィルム・フレームに
露光する必要があるので、非常に役立つ。他の利用とし
ては、テレビジョン受信機内で通常行われているビデオ
・フレーム速度の2倍化がある。この場合、現在のビデ
オ・フィールドは常に変化なく表示され、抜けたライン
は前のフィールドのピクセル、又は本発明の運動検出に
基づいて現在のフィールドから補間データで穴埋めされ
る。結局、正確な運動検出を必要とする他の利用では、
例えばビデオ・ノイズ削減のために本発明を使用でき
る。
[発明の効果] 本発明によれば、ピクセル毎に表示物の動きを調べ、
動きを検出したときは補間値を使用して静止画像中の運
動表示物によるフリッカを補償できる。また、動きを検
出しなかったときは、そのままのピクセルを使用して表
示を行い静止表示物の垂直解像度を維持できる。また、
本発明は、表示対象物の動きを検出するのに、上下のピ
クセル値の単なる大小比較ではなく、固定のスレッシホ
ールドを用いずに、これらピクセル値の差を用いて処理
を行っている。よって、表示対象物の動きをより確実に
検出できる。
【図面の簡単な説明】
第1(a)図〜第1(g)図は本発明を説明するための
簡略図、第2図は本発明を実施するためのシステムのブ
ロック図、第3図は第2図の一部の詳細なブロック図、
第4図は静止フレーム内の運動物体により起こるフリッ
カ現象を説明するための簡略図である。 図中において、|L3−L1|又は|L3−L5|は第1フィールド
差値、|L2−L4|は第2フィールド差値、|L2+L4|は交換
ピクセル値、|L3−AP|は第3フィールド差値を示す。

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】2個の飛び越し走査フィールドで1個のフ
    レームを形成した静止画像のフリッカを抑制する方法で
    あって、 一方のフィールドの各ピクセルの値と該ピクセルに関し
    て同一フィールドで上下に隣接する2個のピクセルの値
    との各差の小さい方の第1フィールド差値を求め、 上記各ピクセルに関し他方のフィールドの上下に隣接す
    る2個のピクセルの値の差である第2フィールド差値を
    求め、 上記他方のフィールドの上記隣接する2個のピクセルの
    平均値である平均ピクセル値を求め、 上記各ピクセルの値及び対応する平均ピクセル値の差で
    ある第3フィールド差値を求め、 上記第3フィールド差値が上記第1フィールド差値及び
    上記第2フィールド差値よりも大きいときに、上記各ピ
    クセルに関する表示対象物の動きを検出し、 上記表示対象物の動きが検出されたときには上記一方の
    フィールドの各ピクセルの値を上記平均ピクセル値に変
    更し、上記表示対象物の動きが検出されないときには上
    記一方のフィールドの各ピクセルの値をそのまま用いる
    ことを特徴とする静止画像フリッカ抑制方法。
JP1107099A 1988-05-02 1989-04-26 静止画像フリッカ抑制方法 Expired - Lifetime JP2520301B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US07/189,088 US4845557A (en) 1988-05-02 1988-05-02 Field motion suppression in interlaced video displays
US07/189,088 1988-05-02

Publications (2)

Publication Number Publication Date
JPH01318376A JPH01318376A (ja) 1989-12-22
JP2520301B2 true JP2520301B2 (ja) 1996-07-31

Family

ID=22695878

Family Applications (1)

Application Number Title Priority Date Filing Date
JP1107099A Expired - Lifetime JP2520301B2 (ja) 1988-05-02 1989-04-26 静止画像フリッカ抑制方法

Country Status (2)

Country Link
US (1) US4845557A (ja)
JP (1) JP2520301B2 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2636488A1 (fr) * 1988-09-09 1990-03-16 Labo Electronique Physique Dispositif convertisseur de standards de television
JP2995745B2 (ja) * 1989-03-31 1999-12-27 ソニー株式会社 動き情報抽出装置
JPH02277386A (ja) * 1989-04-19 1990-11-13 Mitsubishi Electric Corp テレビ画像表示装置
US4982280A (en) * 1989-07-18 1991-01-01 Yves C. Faroudja Motion sequence pattern detector for video
JP3106485B2 (ja) * 1990-07-24 2000-11-06 ソニー株式会社 映像信号再生装置及び映像信号処理装置
US5191413A (en) * 1990-11-01 1993-03-02 International Business Machines System and method for eliminating interlace motion artifacts in captured digital video data
EP0598333B1 (en) * 1992-11-19 1998-05-06 THOMSON multimedia Method and apparatus for field rate upconversion
ES2118173T3 (es) * 1992-11-19 1998-09-16 Thomson Multimedia Sa Metodo y aparato para conversion ascendente de frecuencia de campo.
US5561529A (en) * 1992-12-22 1996-10-01 Canon Kabushiki Kaisha Image signal reproducing apparatus
US5696848A (en) * 1995-03-09 1997-12-09 Eastman Kodak Company System for creating a high resolution image from a sequence of lower resolution motion images
US6118488A (en) * 1998-08-31 2000-09-12 Silicon Integrated Systems Corporation Method and apparatus for adaptive edge-based scan line interpolation using 1-D pixel array motion detection
US6591398B1 (en) * 1999-02-12 2003-07-08 Sony Corporation Multiple processing system
US6678003B2 (en) 2002-05-21 2004-01-13 Alcon, Inc. Image deinterlacing system for removing motion artifacts and associated methods
US7280154B1 (en) * 2004-01-23 2007-10-09 Sigmatel, Inc. Interpolative interleaving of video images
US7850120B2 (en) * 2004-05-12 2010-12-14 Vestergaard Company A/S Spray-regulating system incorporated in aircraft anti-icers
US8593572B2 (en) * 2008-01-30 2013-11-26 Csr Technology Inc. Video signal motion detection
EP2239612A1 (de) * 2009-04-06 2010-10-13 Carl Zeiss Surgical GmbH Verfahren und Vorrichtung zum Extrahieren von Standbildern aus Bildaufnahmen eines Operationsmikroskops
JP6827801B2 (ja) * 2016-12-26 2021-02-10 キヤノン株式会社 撮像装置および制御方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3716670A (en) * 1971-12-20 1973-02-13 Ellanin Investments Comb effect elimination
US4663665A (en) * 1985-01-07 1987-05-05 Nippon Hoso Kyokai TV system conversion apparatus
JPS6262680A (ja) * 1985-09-12 1987-03-19 Konishiroku Photo Ind Co Ltd 画像記録装置
JP2605013B2 (ja) * 1986-04-09 1997-04-30 株式会社日立製作所 動き適応映像信号処理回路
US4768092A (en) * 1986-07-23 1988-08-30 Canon Kabushiki Kaisha Image signal conversion device
JPS6386990A (ja) * 1986-09-30 1988-04-18 Nippon Hoso Kyokai <Nhk> 動き検出方法

Also Published As

Publication number Publication date
JPH01318376A (ja) 1989-12-22
US4845557A (en) 1989-07-04

Similar Documents

Publication Publication Date Title
JP2520301B2 (ja) 静止画像フリッカ抑制方法
US5784115A (en) System and method for motion compensated de-interlacing of video frames
US6118488A (en) Method and apparatus for adaptive edge-based scan line interpolation using 1-D pixel array motion detection
US5619272A (en) Process for deinterlacing the frames of a moving image sequence
US5475438A (en) Five field motion detector for a TV scan line doubler
US6421090B1 (en) Motion and edge adaptive deinterlacing
US7280155B2 (en) Method and system for converting interlaced formatted video to progressive scan video
US7057664B2 (en) Method and system for converting interlaced formatted video to progressive scan video using a color edge detection scheme
US8189105B2 (en) Systems and methods of motion and edge adaptive processing including motion compensation features
US6295091B1 (en) Method and apparatus for de-interlacing video fields for superior edge preservation
US6975359B2 (en) Method and system for motion and edge-adaptive signal frame rate up-conversion
US5016101A (en) Video signal to photographic film conversion
US7499102B2 (en) Image processing apparatus using judder-map and method thereof
KR100563023B1 (ko) 인터레이스 대 프로그레시브 변환에 대한 에지 적응보간을 위한 방법 및 시스템
KR20040029161A (ko) 이미지 프로세서 및 상기 이미지 프로세서를 구비한이미지 디스플레이 장치
US6259480B1 (en) Sequential scanning converter
KR100730499B1 (ko) 화상 변환 장치 및 방법
JPH0462234B2 (ja)
JP2508419B2 (ja) ビデオ信号のフレ―ム周波数変換装置
US10264212B1 (en) Low-complexity deinterlacing with motion detection and overlay compensation
JP2003289511A (ja) 画像走査変換方法及び装置
JP3154272B2 (ja) 画像変換装置及び方法
JP4744150B2 (ja) フィールド間の動き検出の3dベクトル法
JP2005527156A (ja) モーションアーティファクトを取り除く画像デインターレースシステム及び関連方法
JP2938677B2 (ja) 動き補償予測方法

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 6

Free format text: PAYMENT UNTIL: 20090425

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 6

Free format text: PAYMENT UNTIL: 20090425

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100425

Year of fee payment: 7

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 8

Free format text: PAYMENT UNTIL: 20110425

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110425

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120425

Year of fee payment: 9

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 9

Free format text: PAYMENT UNTIL: 20120425

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 10

Free format text: PAYMENT UNTIL: 20130425

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140425

Year of fee payment: 11

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250