JPH0678212A - 撮像装置 - Google Patents

撮像装置

Info

Publication number
JPH0678212A
JPH0678212A JP4226888A JP22688892A JPH0678212A JP H0678212 A JPH0678212 A JP H0678212A JP 4226888 A JP4226888 A JP 4226888A JP 22688892 A JP22688892 A JP 22688892A JP H0678212 A JPH0678212 A JP H0678212A
Authority
JP
Japan
Prior art keywords
video signal
image pickup
horizontal scanning
signal
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP4226888A
Other languages
English (en)
Other versions
JP3235200B2 (ja
Inventor
Noriyuki Iura
則行 井浦
Takuya Imaide
宅哉 今出
Toshiro Kinugasa
敏郎 衣笠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP22688892A priority Critical patent/JP3235200B2/ja
Priority to KR1019930015454A priority patent/KR970006299B1/ko
Priority to US08/104,573 priority patent/US5339105A/en
Publication of JPH0678212A publication Critical patent/JPH0678212A/ja
Priority to US08/245,674 priority patent/US5541651A/en
Application granted granted Critical
Publication of JP3235200B2 publication Critical patent/JP3235200B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/665Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S358/00Facsimile and static presentation processing
    • Y10S358/906Hand-held camera with recorder in a single unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Circuits (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【構成】撮像素子の水平走査パルスの周波数を、撮像素
子の有効画素数及び水平走査期間から規定される通常の
水平走査パルスf0よりも高い周波数とし、かつ規格化
されたサンプリング周波数f1の整数倍にし、電子ズー
ム信号処理回路を用いて水平方向のみf/f0倍に拡大
することでディジタル伝送するための符号化装置やディ
ジタル記録装置の入力規格に合致した映像信号を出力す
る。 【効果】本発明によれば、一般的な撮像素子を用いて規
格化されたサンプリング周波数のディジタル映像信号を
容易に生成できるので、大規模な変換回路を用いること
なくテレビ電話等のディジタル伝送システムや、ディジ
タルVTRのようなディジタル記録装置との接続が容易
な撮像装置を提供することができる。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は撮像素子を用いた撮像装
置に係り、特にディジタル伝送装置やディジタル記録装
置に接続するのに好適な撮像装置に関する。
【0002】
【従来の技術】電話回線のディジタル化により、音声に
画像情報を付加して電話回線を用いて通信する、いわゆ
るテレビ電話サービスが今後普及すると考える。映像信
号をテレビ電話用に符号化する際の信号規格としては、
テレビジョン学会誌Vol.46No.4,1992
年,117〜120頁に記載のように、従来の映像信号
規格(NTSC方式等)とは異なった信号規格CIFが
標準規格になっている。従ってテレビ電話を構成するた
めにはCIFの規格に合った撮像素子及び撮像装置が必
要になるが、現在そのような撮像素子は製品化されては
おらず、一般的なビデオカメラ等の撮像装置より得られ
たビデオ信号(アナログ信号)に、A/D変換、サンプ
リング周波数変換等の処理を施してCIFの規格に合っ
たサンプリング周波数の映像信号に変換していた。一
方、ディジタル記録装置へのニーズが高まっていること
から、ディジタルVTRの開発も盛んに行われており、
テレビジョン学会誌Vol.45,No.2,1991
年,67〜70頁に記載されているように、ディジタル
VTRの規格が規定されている。しかしながらディジタ
ルVTRに適した撮像装置は実現されるにいたっていな
い。
【0003】
【発明が解決しようとする課題】上記したようにテレビ
電話システムを構成する上で、撮像されたアナログのビ
デオ信号をCIF規格のサンプリング周波数のディジタ
ル信号に変換するには大規模な変換回路を用いなければ
ならず回路規模の増大という問題があった。また、ディ
ジタルVTR規格のサンプリング周波数のディジタル信
号に変換するにも、大規模な変換回路を要していた。
【0004】本発明の目的は、上記の点に鑑みなされた
もので、その目的とするところは、回路規模の増大を伴
わずにCIF規格やディジタルVTR規格のサンプリン
グ周波数に合致したディジタル映像信号を生成する撮像
装置を提供することにある。
【0005】
【課題を解決するための手段】上記目的を達成するため
に、撮像素子の水平走査パルスの周波数を、撮像素子の
有効画素数及び水平走査期間から規定される通常の水平
走査パルスf0 よりも高い周波数とし、かつ規格化され
たサンプリング周波数f1 の整数倍にする。すなわち水
平走査パルスの周波数fを以下の条件を満たすように設
定する。
【0006】 f=nf1 (nは自然数) ・・・(1) f>f0 また、撮像素子の出力をサンプリング周波数fでA/D
変換して特開平4−10783号に記載の公知技術(以
下電子ズーム信号処理回路と呼ぶ)を用いて水平方向の
みf/f0 倍に拡大する。
【0007】
【作用】撮像素子の水平走査パルスを通常の周波数より
も高速のパルスとし、かつ規格化されたサンプリング周
波数のn倍の周波数のパルスを用いれば、1/nの簡単
なサンプリングをしなおすだけで規格に合致したサンプ
リング周波数の映像信号を得ることができる。またf>
0 としているため、撮像素子からは水平方向に縮小さ
れた信号が出力されるので、このままでは正常なアスペ
クト比を持った映像信号が得られないが、電子ズーム信
号処理回路により水平方向にのみf/f0倍に拡大する
ことによって、アスペクト比が正常な映像信号が得られ
る。
【0008】
【実施例】以下、本発明を図を用いて説明する。
【0009】図1は本発明の第1の実施例に係る撮像装
置の構成図である。同図において、101はレンズ、1
02は撮像素子、103はA/D変換器、104はタイ
ミングパルス発生回路、105は映像信号生成回路、1
06は電子ズーム信号処理回路、107は符号化装置、
108は符号器、109は復号器、110は色信号変調
回路、111はD/A変換器、112はモニタ、113
は伝送I/F回路、114は伝送I/F回路と電話回線
でつながった別の伝送I/F回路であり、撮像素子10
2の具体例を図3に示す。上記構成において、レンズ1
01を通して撮像素子102に入力された光は図3に示
すホトダイオード301により光電変換される信号電荷
は垂直CCD302を経由して水平CCD303に転送
され、タイミングパルス発生回路104より供給される
水平走査パルスに同期して電圧変換されて出力される。
撮像素子102の出力信号は、A/D変換器103によ
って、タイミングパルス発生回路104から供給される
タイミングパルスでサンプリングされたディジタル信号
に変換される。A/D変換器103によりディジタル信
号に変換された信号は、γ補正等の公知の処理を行う映
像信号生成回路105により映像信号に変換される。映
像信号生成回路105の出力映像信号は、タイミングパ
ルス発生回路104に制御された電子ズーム信号処理回
路106により信号処理で水平方向に拡大されて出力さ
れる。電子ズーム信号処理回路106より出力される映
像信号は符号化装置107内の符号器108に入力さ
れ、符号化装置107によって符号化された映像信号は
伝送I/F回路113に入力され、電話回線を通じて別
の伝送I/F回路114に接続される。そして別の伝送
I/F回路114より出力された信号は、電話回線を通
じて伝送I/F回路113に入力され、伝送I/F回路
113の出力信号は、符号化装置107内の復号器10
9によって復号されて色信号変調回路110に出力さ
れ、色信号を変調した後D/A変換器111に入力され
る。D/A変換器111によってアナログ信号に変換さ
れた映像信号は、モニタ112に入力され受像される。
【0010】次に、本発明の第1の実施例の詳細を説明
する。
【0011】レンズ101を通して入力された光を光電
変換するために撮像素子102に配されたホトダイオー
ド301は一般的に有効画素と呼ばれており、有効画素
数水平510画素、垂直492画素の一般的なNTSC
用撮像素子を用いた場合、正規のアスペクト比が得られ
る水平走査パルスの周波数は9.6MHzであり、9.6
MHzの水平走査パルスを用いると図4に示す出力信号が
得られる。本実施例においては水平走査パルスとして
9.6MHzよりも高速であり、かつCIFのサンプリン
グ周波数6.75MHzの整数倍(2倍)にあたる13.
5MHzのパルスをタイミングパルス発生回路104で発
生させる。撮像素子102からは、正規のアスペクト比
よりも9.6/13.5の比率で水平方向に縮小された
図5に示す信号が出力される。撮像素子102の出力は
A/D変換器103に入力され、サンプリング周波数が
13.5MHzのディジタル信号に変換されて映像信号生
成回路105に出力される。映像信号生成回路105
は、水平方向に9.6/13.5の比率で縮小された映
像信号を生成し、電子ズーム信号処理回路106は水平
方向に13.5/9.6倍の拡大を13.5MHzのサン
プリング周波数で行う。従って、13.5MHzのサンプ
リング周波数で正常なアスペクト比を持った図6に示す
映像信号が得られる。サンプリング周波数をCIFの定
める6.75MHzに変換するには、上記した13.5M
Hzサンプリングの映像信号を2個に1個の割合でサンプ
リングしなおせば容易に実現できる。
【0012】本実施例において、用いる撮像素子を変更
する場合は、撮像素子の水平走査パルス周波数を、
(1)式に定めた条件による周波数としてタイミングパ
ルス発生回路104より供給することで、容易に対応で
きる。
【0013】以下、本発明の第2の実施例を図2を用い
て説明する。
【0014】図2において、201はレンズ、202は
撮像素子、203はA/D変換器、204はタイミング
パルス発生回路、205は映像信号生成回路、206は
電子ズーム信号処理回路、207はディジタル記録装
置、208は符号器、209は復号器、210は記録装
置、211は色信号変調回路、212はD/A変換器、
213はモニタであり、上記構成は前述の実施例と共通
する部分があり、異なる点について以下に説明する。符
号器208は入力されたディジタル映像信号を規定され
たフォーマットに変換し、変換された映像信号は記録装
置210に記録される。再生時には復号器209で規定
されたフォーマットからY、Cのビデオ信号に変換し、
色信号変調回路211に出力される。
【0015】次に、本発明の第2の実施例の詳細を説明
する。
【0016】撮像素子202として前述したように有効
画素数水平510画素、垂直492画素の一般的なNT
SC用撮像素子を用いた場合、正規のアスペクト比が得
られる水平走査パルスの周波数は9.6MHzであり、
9.6MHzの水平走査パルスを用いると図4に示す出力
信号が得られる。一方、上記文献2に示されるように、
4:2:2ディジタルVTR規格におけるサンプリング
周波数は13.5MHzである。したがって、本実施例に
おいては水平走査パルスとして9.6MHzよりも高速で
あり、かつディジタル記録装置207のサンプリング周
波数の整数倍(1倍)にあたる13.5MHzのパルスを
タイミングパルス発生回路204より得る。
【0017】撮像素子202からは、正規のアスペクト
比よりも9.6/13.5の比率で水平方向に縮小され
た図5に示す信号が出力される。撮像素子202の出力
はA/D変換器203に入力され、サンプリング周波数
が13.5MHzのディジタル信号に変換されて映像信号
生成回路205に出力される。映像信号生成回路205
は、水平方向に9.6/13.5の比率で縮小された映
像信号を生成し、電子ズーム信号処理回路206は水平
方向に13.5/9.6倍の拡大を13.5MHzのサン
プリング周波数で行なう。したがって、13.5MHzの
サンプリング周波数で正常なアスペクト比を持った図6
に示す映像信号が得られる。この場合、4:2:2ディ
ジタルVTR規格のサンプリング周波数と一致するの
で、前記実施例のようにサンプリングしなおす必要はな
い。
【0018】本実施例においても、用いる撮像素子を変
更する場合は、撮像素子の水平走査パルスを、(1)式
に定めた条件による周波数としてタイミングパルス発生
回路204より供給することで、容易に対応できる。
【0019】
【発明の効果】以上のように本発明によれば、大規模な
変換回路を用いることなく一般的な撮像素子を用いて規
格化されたサンプリング周波数の映像信号を容易に生成
することができる。またテレビ電話等のディジタル伝送
システムだけでなく、ディジタルVTRのようなディジ
タル記録装置との接続も容易になる。
【図面の簡単な説明】
【図1】本発明の第1の実施例に係る撮像装置の構成を
示すブロック図である。
【図2】本発明の第2の実施例に係る撮像装置の構成を
示すブロック図である。
【図3】本発明の第1及び第2の実施例に係る撮像素子
の内部構成を示すブロック図である。
【図4】本発明の第1及び第2の実施例に係る撮像素子
からの出力信号を示すタイミングチャートである。
【図5】本発明の第1及び第2の実施例に係る撮像素子
からの出力信号を示すタイミングチャートである。
【図6】本発明の第1及び第2の実施例に係る電子ズー
ム信号処理回路からの映像信号出力を示すタイミングチ
ャートである。
【符号の説明】
101…レンズ 102…撮像素子 103…A/D変換器 104…タイミングパルス発生回路 105…映像信号生成回路 106…電子ズーム信号処理回路 107…符号化装置 108…符号器 109…復号器 110…色信号変調回路 111…D/A変換器 112…モニタ 113…伝送I/F回路 114…伝送I/F回路と電話回線でつながった別の伝
送I/F回路 201…レンズ 202…撮像素子 203…A/D変換器 204…タイミングパルス発生回路 205…映像信号生成回路 206…電子ズーム信号処理回路 207…ディジタル記録装置 208…符号器 209…復号器 210…記録装置 211…色信号変調回路 212…D/A変換器 213…モニタ

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】タイミングパルス発生回路と、該タイミン
    グパルス発生回路から供給される水平走査パルスに同期
    して信号を出力する撮像素子と、該撮像素子から出力さ
    れる信号を処理し、映像信号を生成する映像信号生成回
    路と、該映像信号生成回路から出力される映像信号を水
    平方向に拡大する電子ズーム信号処理回路とを具備し、
    上記タイミングパルス発生回路は、上記撮像素子の有効
    画素数及び水平走査期間から規定される通常の水平走査
    パルスf0よりも高い周波数fの水平走査パルスを上記
    撮像素子に供給し、上記電子ズーム信号処理回路は、映
    像信号を水平方向にf/f0倍に拡大することを特徴と
    する撮像装置。
  2. 【請求項2】タイミングパルス発生回路と、該タイミン
    グパルス発生回路から供給される水平走査パルスに同期
    して信号を出力する撮像素子と、該撮像素子から出力さ
    れる信号を処理し、映像信号を生成する映像信号生成回
    路と、該映像信号生成回路から出力される映像信号を水
    平方向に拡大する電子ズーム信号処理回路と、該電子ズ
    ーム信号処理回路によって拡大された映像信号を所定の
    フォーマットでサンプリングする符号器とを具備し、上
    記タイミングパルス発生回路は、上記撮像素子の有効画
    素数及び水平走査期間から規定される通常の水平走査パ
    ルスf0よりも高い周波数で、かつ上記符号器のサンプ
    リング周波数f1の整数倍の周波数fの水平走査パルス
    を上記撮像素子に供給し、上記電子ズーム信号処理回路
    は、映像信号を水平方向にf/f0倍に拡大することを
    特徴とする撮像装置。
JP22688892A 1992-08-26 1992-08-26 撮像装置 Expired - Fee Related JP3235200B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP22688892A JP3235200B2 (ja) 1992-08-26 1992-08-26 撮像装置
KR1019930015454A KR970006299B1 (ko) 1992-08-26 1993-08-10 촬상 장치
US08/104,573 US5339105A (en) 1992-08-26 1993-08-11 Multi-format digital image pickup apparatus
US08/245,674 US5541651A (en) 1992-08-26 1994-05-18 Multi-format digital image pickup apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP22688892A JP3235200B2 (ja) 1992-08-26 1992-08-26 撮像装置

Publications (2)

Publication Number Publication Date
JPH0678212A true JPH0678212A (ja) 1994-03-18
JP3235200B2 JP3235200B2 (ja) 2001-12-04

Family

ID=16852159

Family Applications (1)

Application Number Title Priority Date Filing Date
JP22688892A Expired - Fee Related JP3235200B2 (ja) 1992-08-26 1992-08-26 撮像装置

Country Status (3)

Country Link
US (2) US5339105A (ja)
JP (1) JP3235200B2 (ja)
KR (1) KR970006299B1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003077560A1 (fr) * 2000-10-10 2003-09-18 Olympus Optical Co., Ltd. Systeme d'acquisition

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69429677T2 (de) 1993-03-19 2002-08-14 Canon Kk Digitale Videokamera und Aufzeichnungsvorrichtung
JPH0787405A (ja) * 1993-09-14 1995-03-31 Sony Corp 撮像装置
JP4190576B2 (ja) * 1994-08-31 2008-12-03 ソニー株式会社 撮像信号処理装置及び撮像信号処理方法、並びに撮像装置
US6791623B1 (en) 1994-10-24 2004-09-14 Hitachi, Ltd. Image display system
US5978041A (en) * 1994-10-24 1999-11-02 Hitachi, Ltd. Image display system
US5847768A (en) * 1996-04-26 1998-12-08 Lg Electronics Inc. Apparatus for converting screen aspect ratio
US5946033A (en) * 1996-05-28 1999-08-31 Gatan, Inc. Method and apparatus for multiple read-out speeds for a CTD
US5926218A (en) * 1996-06-04 1999-07-20 Eastman Kodak Company Electronic camera with dual resolution sensors
US5663759A (en) * 1996-06-10 1997-09-02 Industrial Technology Research Institute Feature processor for a digital camera
JP4109739B2 (ja) * 1998-01-19 2008-07-02 キヤノン株式会社 カメラ制御装置、カメラ制御システム、カメラ制御装置の制御方法、及び記憶媒体
US6560280B1 (en) * 1998-02-02 2003-05-06 Vcon Ltd. Video transmission system
US6480230B1 (en) * 1998-03-06 2002-11-12 Canon Kabushiki Kaisha Image processing of video signal for display
US7596286B2 (en) * 2003-08-06 2009-09-29 Sony Corporation Image processing apparatus, image processing system, imaging apparatus and image processing method
JP2007019726A (ja) * 2005-07-06 2007-01-25 Olympus Corp 撮像装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4231066A (en) * 1979-01-12 1980-10-28 Honeywell Inc. Electronic zoom system improvement
US4722007A (en) * 1986-12-02 1988-01-26 Rca Corporation TV receiver having zoom processing apparatus
JP2595077B2 (ja) * 1988-12-23 1997-03-26 株式会社日立製作所 撮像装置
US5083208A (en) * 1988-12-26 1992-01-21 Ricoh Company, Ltd. Electronic zoom apparatus
JPH0410783A (ja) * 1990-04-27 1992-01-14 Hitachi Ltd ビデオカメラ装置
JP3271070B2 (ja) * 1991-06-28 2002-04-02 ソニー株式会社 固体イメージセンサ

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003077560A1 (fr) * 2000-10-10 2003-09-18 Olympus Optical Co., Ltd. Systeme d'acquisition
US7821529B2 (en) 2000-10-10 2010-10-26 Olympus Corporation Image pickup system

Also Published As

Publication number Publication date
KR940005102A (ko) 1994-03-16
KR970006299B1 (ko) 1997-04-25
US5339105A (en) 1994-08-16
JP3235200B2 (ja) 2001-12-04
US5541651A (en) 1996-07-30

Similar Documents

Publication Publication Date Title
JP3235200B2 (ja) 撮像装置
KR20010039880A (ko) 촬상 장치 및 촬상 방법
TW201215121A (en) Camera system, video processing apparatus, and camera apparatus
US7388607B2 (en) Digital still camera
JP4475225B2 (ja) 映像信号伝送システム、撮像装置、信号処理装置および映像信号伝送方法
US5914755A (en) Image transmission apparatus
JP4158245B2 (ja) 信号処理装置
KR100220632B1 (ko) 유니버설 시리얼 버스를 이용한 카메라
KR20000056435A (ko) 디지털 비디오 카메라의 비압축 영상 전송 장치
JPH0686130A (ja) 画像処理装置
JPH0564162A (ja) 画像信号処理装置
JP2000115693A (ja) 画像データ記録方法、画像データ記録装置、画像データ再生方法、画像データ再生装置、情報記録媒体及びコンピュータ読み取り可能な記録媒体
JPH0457482A (ja) カメラ一体型記録装置
JPH10262222A (ja) テレビジョン信号方式変換処理方法及びその装置
JP3373359B2 (ja) 撮像装置
JP3427025B2 (ja) イメージフォーマット変換装置
JPH0884299A (ja) 固体撮像装置
JPH0678299A (ja) テレビ電話装置
JPH04373270A (ja) 撮像装置
JP4661222B2 (ja) ビデオカメラ
JPH0818954A (ja) 画像伝送装置
JPH11187306A (ja) 撮像装置
JPH10341407A (ja) 電子スチルカメラの圧縮率設定装置
JPH09270959A (ja) ディジタル電子撮像装置、撮像システムおよび撮像方法
JP2005184518A (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070928

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080928

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080928

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090928

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090928

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100928

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees