JP4232509B2 - 信号処理装置および方法、ファインダ、撮像カメラ - Google Patents

信号処理装置および方法、ファインダ、撮像カメラ Download PDF

Info

Publication number
JP4232509B2
JP4232509B2 JP2003097654A JP2003097654A JP4232509B2 JP 4232509 B2 JP4232509 B2 JP 4232509B2 JP 2003097654 A JP2003097654 A JP 2003097654A JP 2003097654 A JP2003097654 A JP 2003097654A JP 4232509 B2 JP4232509 B2 JP 4232509B2
Authority
JP
Japan
Prior art keywords
signal
enhancer
level
video signal
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003097654A
Other languages
English (en)
Other versions
JP2004304682A (ja
Inventor
進 栗田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2003097654A priority Critical patent/JP4232509B2/ja
Publication of JP2004304682A publication Critical patent/JP2004304682A/ja
Application granted granted Critical
Publication of JP4232509B2 publication Critical patent/JP4232509B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Picture Signal Circuits (AREA)
  • Studio Devices (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、信号処理装置および方法、ファインダ、撮像カメラに関し、特に、映像信号にエンハンサ処理を施す信号処理装置および方法、並びにそれを利用するファインダ、撮像カメラに適用して好適なものである。
【0002】
【従来の技術】
ビデオカメラで映像を撮影する場合、撮影者は、撮影している映像をビデオカメラに備えられたファインダにより確認している。特に放送局などでは正確に素早くピント合わせを行う必要があるため、撮影者のピント合わせなどを容易とするために、映像信号に信号処理を施し、ファインダに映しだされる映像の解像感を高めることが行われている。
【0003】
従来から、エンハンサ回路を用いて映像信号の高域を強調することで映像の輪郭を補正し、解像感を高めることを行っていた。下記の非特許文献1には、映像の輪郭を補正するアパーチャ補正回路について記載されている。
【0004】
【非特許文献1】
原 正和、「カラービデオカメラとその使い方」、日本放送出版協会、昭和56年3月20日、第1刷、p.100−104
【0005】
【発明が解決しようとする課題】
しかしながら、上述した信号処理方法には以下に説明するような問題がある。図5は、映像信号にエンハンサ処理を行うエンハンサ回路の出力の例である。なお、横軸は時間を示し、縦軸の正側(上側)は白側を示し、負側(下側)は黒側を示す。映像信号の輝度レベルがゼロの場合には、エンハンサ回路の出力は、図5Aに示すように、平均輝度を中心にプラスマイナスされる形でノイズが強調される。
【0006】
エンハンサ回路の出力信号は、映像信号と足されてファインダの表示素子の表示信号となる。映像信号が黒付近の信号である場合には、エンハンサ回路の出力は、図5Bに示すように、負側の完全な黒(すなわち輝度=0)以下は、ディスプレイでは表現されず、黒側でクリップされ正側のみとなる。人間の目では、その表示が積分された平均値の輝度として映るため、本来の映像信号よりも明るく感じてしまうという現象が生じることがある。
【0007】
映像信号が白付近の信号である場合には、エンハンサ回路の出力は、図5Cに示すように、正側の完全な白(100%白の輝度)以上は、ディスプレイでは表現されず、白側でクリップされ負側のみとなり、平均輝度が下がってしまう。このため、本来の白よりも暗く見えてしまうという現象が生じることがある。
【0008】
したがって、エンハンサ処理を利用した黒または100%白の輝度付近の映像信号をファインダなどに表示する場合、正確に表現されないという問題があった。この問題では、特に黒付近での影響が大きく、エッジ付近がぎらついたように見えてしまっていた。
【0009】
また、上述したように、エンハンサ回路の出力であるエンハンサ信号は、ノイズが強調されてしまうという問題がある。黒付近の映像信号では、特にこのノイズによる影響が大きい。
【0010】
信号対雑音比(以下、SN比と称する)の改善を目的に、レベルの低いエンハンサ信号は切ってしまい、あるレベル以上の信号のみを出力するコアリングと称する方法があるが、この場合、低輝度の解像感がなくなってしまうという欠点がある。
【0011】
さらに、エンハンサ信号を映像信号により変調し、輝度の低い所のSN比を上げる方法もあるが、この場合は、掛け算による高調波が発生するという問題がある。これを避けるためには、映像信号にローパスフィルタを入れるなどの処理が必要であるが、それでも撮影シーンによっては問題が発生する。
【0012】
したがって、この発明の目的は、エンハンサ処理による黒または100%白付近の輝度の変化を防止し、且つSN比の劣化を防ぐことができる信号処理装置および方法、ファインダ、撮像カメラを提供することにある。
【0013】
【課題を解決するための手段】
上記目的を達成するために、請求項1の発明は、映像信号のエッジ部を強調するエンハンサ手段と、エンハンサ手段からのエンハンサ信号の正側を、映像信号の平均輝度のレベルに対して該平均輝度に対応するレベルをさらに加えたレベルで制限する信号制限手段と、映像信号に信号制限手段の出力を加えて出力する出力手段とを有する信号処理装置である。
【0014】
請求項4の発明は、映像信号のエッジ部を強調するエンハンサ手段と、エンハンサ手段からのエンハンサ信号の正側を、映像信号の平均輝度のレベルに対して該平均輝度に対応するレベルをさらに加えたレベルで制限する信号制限手段と、映像信号に信号制限手段の出力を加えて出力する出力手段と、出力手段から出力された映像信号を表示する表示手段とを有するファインダである。
【0015】
請求項6の発明は、撮像レンズと、撮像レンズからの光学像を取り込む撮像素子とを備え、撮像素子に取り込まれた光学像を映像信号として出力する撮像手段と、撮像手段から出力される映像信号のエッジ部を強調するエンハンサ手段と、エンハンサ手段からのエンハンサ信号の正側を、映像信号の平均輝度のレベルに対して該平均輝度に対応するレベルをさらに加えたレベルで制限する信号制限手段と、映像信号に信号制限手段の出力を加えて出力する出力手段と、出力手段から出力される映像信号を表示する表示手段を備えたファインダとを有する撮像カメラである。
【0016】
上述のように構成されたこの発明によれば、エンハンサ信号の正側を、映像信号の平均輝度のレベルに対して該平均輝度に対応するレベルをさらに加えたレベルで制限していることにより、映像信号が黒付近の信号であっても、エンハンサ信号のノイズを負側と同じレベルとすることができ、輝度が変化するのを防止することができる。また、映像信号が黒に近ければ近いほど、エンハンサ信号の輝度の範囲が狭くなるよう制限されるため、映像信号がノイズの目立つ黒に近づくほどSN比が改善され、偽信号を抑圧することができる。
【0017】
さらに、エンハンサ信号の負側を、映像信号の平均輝度から100%白の輝度を減じたレベルから該レベルに対応するレベルをさらに減じたレベルで制限した場合には、映像信号が100%白付近の信号であっても、エンハンサ信号のノイズを正側と同じレベルとすることができ、輝度が変化するのを防止することができる。また、映像信号が白に近ければ近いほど、エンハンサ信号の輝度の範囲が狭くなるよう制限されるため、映像信号が白に近づくほどSN比が改善され、偽信号を抑圧することができる。
【0018】
【発明の実施の形態】
以下、この発明の実施形態について図面を参照しながら説明する。図1はこの発明の一実施形態による信号処理装置を示す。図1に示す信号処理装置10は、クランプ回路1、エンハンサ回路2、マイナス側リミッタ3、プラス側リミッタ4、加算器5,6,8およびコントローラ7により構成される。
【0019】
この信号処理装置10では、以下のような処理が行われる。まず、クランプ回路1に映像信号が入力され、映像信号の黒レベルの変動が取り除かれる。クランプ回路1で黒レベルの変動が取り除かれた映像信号は、エンハンサ回路2、加算器5および加算器8に入力される。
【0020】
エンハンサ回路2では、入力された映像信号のエッジ部の強調処理が行われる。エンハンサ回路2は、輪郭補正を行う機能を有し、この輪郭補正により、クランプ回路1から入力される映像信号のエッジ部の強調処理を行う。これにより、映像信号の高域が強調される。エッジ部の強調処理は、例えば、差分近似フィルタによる2次微分を利用して行われる。エンハンサ回路2で映像信号に対してエッジ部の強調処理が施されたエンハンサ信号は、図5Cに示したような負側のみの信号(信号A)であれば、マイナス側リミッタ3に入力され、図5Cに示したような正側のみの信号(信号B)であれば、プラス側リミッタ4に入力される。
【0021】
プラス側リミッタ4では、クランプ回路1から入力された映像信号に基づいて、エンハンサ回路2から入力される信号Bの制限がなされる。
【0022】
図2は、プラス側リミッタ4での信号の制限を説明するための一例の図である。プラス側リミッタ4では、クランプ回路1から入力される映像信号の本来の平均輝度のレベルに対してその平均輝度に対応する、例えば等しいレベルをさらに加えたレベルがリミッタレベルとされ、信号Bのリミッタレベルより正側が制限される。これは例えばリミッタレベルを超えた部分をフィルタなどにより除去することでなされる。これにより、プラス側リミッタ4の出力信号は、本来の平均輝度の正側の範囲と負側の表現可能な範囲とが等しくなる。なお、クランプ回路1から入力される映像信号の輝度がゼロの場合には、リミッタレベルがゼロとなるのでエンハンサ信号は出力されない。
【0023】
加算器5は、クランプ回路1から入力された映像信号の平均輝度から100%白の信号を減じた信号を出力する。なお、図1では、この減算は加算器を用いて表している。マイナス側リミッタ3では、この加算器5からの出力信号に基づいて、エンハンサ回路2から入力される信号Aの制限がなされる。
【0024】
図3は、マイナス側リミッタ3での信号の制限を説明するための一例の図である。マイナス側リミッタ3では、クランプ回路1から入力される映像信号の本来の平均輝度のレベルに対して加算器5からの出力信号のレベルに対応する、例えば等しいレベルをさらに減じたレベルがリミッタレベルとされ、信号Aのリミッタレベルより負側が制限される。これは例えばリミッタレベルを超えた部分をフィルタなどにより除去することでなされる。これにより、マイナス側リミッタ3の出力信号は、本来の平均輝度の正側の表現可能な範囲と負側の範囲とが等しくなる。なお、クランプ回路1から入力される映像信号の輝度が100%白の場合には、リミッタレベルがゼロとなるのでエンハンサ信号は出力されない。
【0025】
次に、加算器6でマイナス側リミッタ3の出力信号である信号Cとプラス側リミッタ4の出力信号である信号Dとが足されて出力される。加算器6の出力信号は、コントローラ7を介して加算器8へ入力され、クランプ回路1から入力される映像信号に足されて出力される。このとき、コントローラ7により、エンハンサのレベルが調節される。
【0026】
以上説明したように、この一実施形態による信号処理装置10によれば、プラス側リミッタ4で、クランプ回路1から入力される映像信号の本来の平均輝度のレベルに対してその平均輝度に対応するレベルをさらに加えたレベルをリミッタレベルとし、エンハンサ回路2から出力される正側のみの信号である信号Bの、リミッタレベルより正側を制限している。そして、その制限された信号である信号Dを加算器8で、クランプ回路1からの映像信号に足している。これにより、エンハンサ信号が図5Bに示したような正側のみの信号となる場合でも、本来の平均輝度を保つことができる。
【0027】
また、信号Bは、プラス側リミッタ4でノイズの目立つ黒に近いほどノイズ等の偽信号が抑圧されるため、効果的なSN比の改善が行われる。
【0028】
また、マイナス側リミッタ3で、加算器5からの出力信号に基づき、クランプ回路1から入力される映像信号の本来の平均輝度のレベルに対して100%白からその平均輝度までのレベルに対応する、例えば等しいレベルをさらに減じたレベルをリミッタレベルとし、エンハンサ回路2から出力される負側のみの信号である信号Aのリミッタレベルより負側を制限している。そして、その制限された信号である信号Cを加算器8でクランプ回路1からの映像信号に足している。これにより、エンハンサ信号が図5Cに示したような負側のみの信号となる場合でも、本来の平均輝度を保つことができる。
【0029】
また、信号Aは、マイナス側リミッタ3で白に近いほどノイズ等の偽信号が抑圧されるため、効果的なSN比の改善が行われる。
【0030】
加算器6で、信号Cと信号Dを足すことで、エンハンサ信号が正側のみの信号となる場合とエンハンサ信号が負側のみの信号となる場合との両方について、本来の輝度を保つことができ、且つ偽信号を抑圧し、SN比を改善することができる。
【0031】
次に、この発明の他の実施形態について説明する。この発明の他の実施形態は、上述した一実施形態による信号処理装置10を利用したファインダを備えた撮像カメラである。図4は、概略的な撮像カメラの構成の一例を示す。なお、記録/再生部などの図示しない部分においては、従来の構成と同様なため、ここでは説明を省略する。
【0032】
図4に示す撮像カメラは、ディジタルビデオカメラである。レンズ11は、レンズ系駆動回路19によって、アイリス、フォーカス、ズームなどの光学系の調整を行うことができる撮像レンズである。なお、レンズ系駆動回路19は、システムコントローラ17によって制御される。
【0033】
CCD12は、CCD(Charge Coupled Device)、MOS(Metal Oxide Semiconductor)型撮像素子等の撮像素子などを用いて映像信号を出力する。
【0034】
映像処理回路13は、CCD12から出力された映像信号に対して、A/D変換処理、ホワイトバランス処理、ガンマ補正処理、輪郭補正するためのアパーチャー処理、ノイズ減少処理などの所定の映像処理を施す。A/D変換処理、ホワイトバランス処理、ガンマ補正処理、アパーチャー処理、ノイズ減少処理などは、周知の技術であるため、ここでは説明を省略する。この映像処理回路13は、システムコントローラ17によって制御される。
【0035】
圧縮回路14は、映像処理回路13からの映像信号に対してMPEG1(Moving Picture Experts Group 1)、MPEG2−TS、MPEG2−PS方式などによる圧縮処理を施し、出力端子16へ出力する。なお、かかる圧縮処理を施さず、映像信号をそのまま出力しても良い。この圧縮回路14は、システムコントローラ17によって制御される。
【0036】
ビューファインダ15は、映像処理回路13からの映像信号に対して、上述した一実施形態による信号処理装置10で信号処理を施して、その出力をLCD(Liquid Crystal Display)20などの表示装置に供給することで映像を表示する。信号処理装置10には、100%白のレベルが所定に供給される。また、信号処理装置10のコントローラ7は、システムコントローラ17によって制御される。
【0037】
操作部18は、ピントなどの光学系の調節および信号処理回路10でのエンハンサのレベルの調節を手動で行う機能を有し、これらの調節に応じた制御信号をシステムコントローラ17に出力する。映像撮影者は、ビューファインダ15のLCD20に表示される映像を見ながら、操作部18でこれらピントなどの光学系の調節を行い、所望の映像を得る。
【0038】
以上説明したように、この他の実施形態によるビューファインダ15では、入力される映像信号を上述した一実施形態による信号処理装置10を介してLCD20に供給している。そのため、LCD20に映し出される映像は、ノイズなどの偽信号の影響が少なく、且つ本来の輝度による、エンハンサ処理によるぎらつきが抑えられ解像感が高まった良好な映像が表示される。
【0039】
また、この他の実施形態によるディジタルビデオカメラでは、ビューファインダ15を備えることで、良好な映像を出力することができる。映像撮影者は、LCD20に映し出される良好な映像により、ピント等の光学系の調節を容易且つ素早く行うことができる。
【0040】
この発明は、上述したこの発明の実施形態に限定されるものでは無く、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、上述した一実施形態では、マイナス側リミッタ3とプラス側リミッタ4の両方を用いて映像信号の処理を行っているが、映像信号の輝度が高いほどノイズおよびアンバランスなリミッタによる輝度変化は目立ちにくくなるので、マイナス側リミッタ3を省略しても良い。
【0041】
【発明の効果】
以上説明したように、この発明によれば、映像信号のエッジ部が強調されたエンハンサ信号の正側を、映像信号の平均輝度のレベルに対して該平均輝度に対応するレベルをさらに加えたレベルで制限し、映像信号に加えて出力することにより、本来の平均輝度を保つことができる。
【0042】
また、エンハンサ信号のノイズがノイズの目立つ黒に近いほど抑圧され、効果的なSN比の改善が行われる。
【図面の簡単な説明】
【図1】この発明の一実施形態による信号処理装置の構成の一例を示す略線図である。
【図2】この発明の一実施形態による信号処理装置での正側のリミッタレベルを説明するための一例の信号振幅の略線図である。
【図3】この発明の一実施形態による信号処理装置での負側のリミッタレベルを説明するための一例の信号振幅の略線図である。
【図4】この発明の一実施形態による信号処理装置を適用したディジタルビデオカメラの一例を示す略線図である。
【図5】エンハンサ処理後の映像信号を説明するための略線図である。
【符号の説明】
2・・・エンハンサ回路、3・・・マイナス側リミッタ、4・・・プラス側リミッタ、5,6,8・・・加算器、7・・・コントローラ、10・・・信号処理装置、11・・・レンズ、12・・・CCD、13・・・映像処理回路、15・・・ビューファインダ、20・・・LCD

Claims (7)

  1. 映像信号のエッジ部を強調するエンハンサ手段と、
    上記エンハンサ手段からのエンハンサ信号の正側を、上記映像信号の平均輝度のレベルに対して該平均輝度に対応するレベルをさらに加えたレベルで制限する信号制限手段と、
    上記映像信号に上記信号制限手段の出力を加えて出力する出力手段と
    を有することを特徴とする信号処理装置。
  2. 上記エンハンサ手段からのエンハンサ信号の負側を、上記映像信号の平均輝度から100%白の輝度を減じたレベルから該レベルに対応するレベルをさらに減じたレベルで制限する他の信号制限手段をさらに有し、
    上記出力手段は、上記映像信号に対してさらに上記他の信号制限手段の出力を加える
    ことを特徴とする請求項1に記載の信号処理装置。
  3. 入力される映像信号のエッジ部を強調するエンハンサのステップと、
    上記エンハンサのステップからのエンハンサ信号の正側を、上記映像信号の平均輝度のレベルに対して該平均輝度に対応するレベルをさらに加えたレベルで制限する信号制限のステップとを有し、
    上記映像信号に上記信号制限のステップの出力を加えて出力するようにしたことを特徴とする信号処理方法。
  4. 入力される映像信号のエッジ部を強調するエンハンサ手段と、
    上記エンハンサ手段からのエンハンサ信号の正側を、上記映像信号の平均輝度のレベルに対して該平均輝度に対応するレベルをさらに加えたレベルで制限する信号制限手段と、
    上記映像信号に上記信号制限手段の出力を加えて出力する出力手段と、
    上記出力手段から出力された映像信号を表示する表示手段と
    を有することを特徴とするファインダ。
  5. 上記エンハンサ手段からのエンハンサ信号の負側を、上記映像信号の平均輝度から100%白の輝度を減じたレベルから該レベルに対応するレベルをさらに減じたレベルで制限する他の信号制限手段をさらに有し、
    上記出力手段は、上記映像信号に対してさらに上記他の信号制限手段の出力を加える
    ことを特徴とする請求項4に記載のファインダ。
  6. 撮像レンズと、上記撮像レンズからの光学像を取り込む撮像素子とを備え、上記撮像素子に取り込まれた光学像を映像信号として出力する撮像手段と、
    上記撮像手段から出力される映像信号のエッジ部を強調するエンハンサ手段と、上記エンハンサ手段からのエンハンサ信号の正側を、上記映像信号の平均輝度のレベルに対して該平均輝度に対応するレベルをさらに加えたレベルで制限する信号制限手段と、上記映像信号に上記信号制限手段の出力を加えて出力する出力手段と、上記出力手段から出力された映像信号を表示する表示手段を備えたファインダと
    を有することを特徴とする撮像カメラ。
  7. 上記エンハンサ手段からのエンハンサ信号の負側を、上記映像信号の平均輝度から100%白の輝度を減じたレベルから該レベルに対応するレベルをさらに減じたレベルで制限する他の信号制限手段をさらに有し、
    上記出力手段は、上記映像信号に対してさらに上記他の信号制限手段の出力を加える
    ことを特徴とする請求項6に記載の撮像カメラ。
JP2003097654A 2003-04-01 2003-04-01 信号処理装置および方法、ファインダ、撮像カメラ Expired - Fee Related JP4232509B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003097654A JP4232509B2 (ja) 2003-04-01 2003-04-01 信号処理装置および方法、ファインダ、撮像カメラ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003097654A JP4232509B2 (ja) 2003-04-01 2003-04-01 信号処理装置および方法、ファインダ、撮像カメラ

Publications (2)

Publication Number Publication Date
JP2004304682A JP2004304682A (ja) 2004-10-28
JP4232509B2 true JP4232509B2 (ja) 2009-03-04

Family

ID=33409382

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003097654A Expired - Fee Related JP4232509B2 (ja) 2003-04-01 2003-04-01 信号処理装置および方法、ファインダ、撮像カメラ

Country Status (1)

Country Link
JP (1) JP4232509B2 (ja)

Also Published As

Publication number Publication date
JP2004304682A (ja) 2004-10-28

Similar Documents

Publication Publication Date Title
US8587671B2 (en) Digital image processing apparatus, an image processing method, and a recording medium storing the image processing method for obtaining an out-of-focus image by using a plurality of images
JP6603493B2 (ja) 撮像装置、画像処理装置、撮像装置が実行する撮像方法、画像処理装置が実行する画像処理方法、及びプログラム
US8102445B2 (en) Solid-state image-capturing apparatus, camera, and method of processing signal
US20180061029A1 (en) Image processing apparatus, imaging apparatus, image processing method, and storage medium storing image processing program of image processing apparatus
JP2003224769A (ja) デジタルカメラ
JP2003304549A (ja) カメラ及び画像信号処理システム
JP2004363853A (ja) 画像信号のノイズ低減方法及びノイズ低減装置
JP4328115B2 (ja) 固体撮像装置
US8532373B2 (en) Joint color channel image noise filtering and edge enhancement in the Bayer domain
US20080297632A1 (en) Imaging apparatus and image processing program
JP2012175241A (ja) 画像処理装置
US8390693B2 (en) Image processing apparatus
TWI387352B (zh) 畫素插補電路、畫素插補方法及記錄媒體
US20180108115A1 (en) Image processing apparatus, image processing method, and computer-readable storage medium
JP4687454B2 (ja) 画像処理装置および撮像装置
JP2012134745A (ja) 画像信号処理装置
JP2006166108A (ja) 撮像装置および撮像制御方法
JP4232509B2 (ja) 信号処理装置および方法、ファインダ、撮像カメラ
JP2003348382A (ja) 輪郭強調回路
JP5213604B2 (ja) 撮像装置
JP2018181070A (ja) 画像処理装置および画像処理方法
JPH11266391A (ja) 撮像装置
JP2006311501A (ja) 画像信号のノイズ低減方法、ノイズ低減装置及び撮像装置
JP5088225B2 (ja) 映像信号処理装置、撮像装置及び映像信号処理方法
US20080012958A1 (en) White balance system and the method thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060314

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081118

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081201

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111219

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111219

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121219

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees