JP3967500B2 - 固体撮像装置および信号読出し方法 - Google Patents

固体撮像装置および信号読出し方法 Download PDF

Info

Publication number
JP3967500B2
JP3967500B2 JP25388799A JP25388799A JP3967500B2 JP 3967500 B2 JP3967500 B2 JP 3967500B2 JP 25388799 A JP25388799 A JP 25388799A JP 25388799 A JP25388799 A JP 25388799A JP 3967500 B2 JP3967500 B2 JP 3967500B2
Authority
JP
Japan
Prior art keywords
signal
horizontal
light receiving
imaging
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP25388799A
Other languages
English (en)
Other versions
JP2001078208A5 (ja
JP2001078208A (ja
Inventor
和也 小田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP25388799A priority Critical patent/JP3967500B2/ja
Priority to US09/657,413 priority patent/US7236196B1/en
Publication of JP2001078208A publication Critical patent/JP2001078208A/ja
Publication of JP2001078208A5 publication Critical patent/JP2001078208A5/ja
Application granted granted Critical
Publication of JP3967500B2 publication Critical patent/JP3967500B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、固体撮像装置および信号読出し方法に関し、たとえば、数百万を越えるような画素数の高画素化した撮像部を有するディジタルカメラや画像入力装置等に適用して好適なものである。
【0002】
【従来の技術】
近年、銀塩カメラの画質を目指して、電気的に被写体の画像を撮影するディジタルカメラが画素数を一層高める技術が各種提案されてきている。たとえば、特開平10-136391 号公報には、画像の空間サンプリングの最適化をもたらし、受光効率の向上を図るように画素をずらして配置するとともに、モアレ等の偽信号を抑圧する固体撮像装置が提案されている。
【0003】
【発明が解決しようとする課題】
ところで、高画質を目的として撮像部に高画素化した画素アレイを用いたディジタルカメラ等においては、本撮像(すなわち、スチル撮像)を行う前に、撮像部からAE/AF (Automatic Exposure/Automatic Focusing)動作や液晶画面に画像を表示させるムービー駆動を行っている。この場合、画素アレイの高画素化に伴って撮像により得られた信号電荷を読み出す時間が以前よりも要してしまう。これはフレームレートに問題を生じることを意味している。ここで、高画素とは、たとえば、百万画素以上の画素数、いわゆるメガピクセルのことを示している。
【0004】
この問題の対策として読出しフレームレートを上げるために撮像部で得られた信号電荷を垂直方向に間引き読出しする方法が提案されている。具体的には、たとえば150 万画素(1280×1024)を全画素読出しする際の駆動周波数CLK が12.2725MHzのとき、この駆動周波数CLK を基に1水平同期期間(1H)と1垂直同期期間(1V)は、それぞれ、1H=1560CLK, 1V=1050Hとなる。すなわち、フレームレートは133msec =1/7.5secである。垂直方向に1/2 間引きすると、1Hは同じ時間を要して1V=525H であるから、フレームレートは66.7msec=1/15secになる。さらに、垂直方向に1/4 間引きしても1V=262.5H であるから、33.4msec=1/30sを要することがわかる。
【0005】
ここで、150 万画素を全画素読出しして従来の方式の画像サイズ、すなわち(640 ×480 ) をムービー動作で表示を行う場合、上述した条件で水平・垂直方向にともに1/2 の画素間引きを行う。この結果、画素間引きしても水平方向の画素は640 画素、垂直方向の画素(走査線)は525 本である。また、垂直方向に1/4 間引きする場合、水平方向には1/2 間引きしか行われない。これにより、垂直方向の本数が262.5 本になることから、フレームレートの改善が図られる。しかし、この垂直間引きは480 本に足りないので、所望の本数に合わせるため垂直方向には補間処理が行われる。一方、水平方向について画素は1280画素すべて読み出して後段の信号処理において間引き処理を行って640 画素に合わせている。このことからも明らかなように画素ずらし配置がなされた高画素を有する撮像部からの信号電荷の読出しにおいてフレームレートの改善を厳密に考慮した水平方向に対する画素間引き読出しは行われていない。この結果、本撮像のタイミングに間に合わなくなってしまう虞も生じてくる。
【0006】
本発明はこのような従来技術の欠点を解消し、高画素で高画質化しても予備的な信号読出しの出力レートを改善し、本撮像に影響することなく行うことのできる固体撮像装置および信号読出し方法を提供することを目的とする。
【0007】
【課題を解決するための手段】
本発明は上述の課題を解決するために、光電変換する受光素子の位置を隣接した受光素子に対して互いにずらして2次元配置し、各受光素子に対して被写界からの入射光側に該入射光を色分解する色分解手段が配された撮像手段から信号電荷をすべて読み出す本撮像と、この本撮像の前に行う予備の撮影とで信号電荷の読出しを行い、得られた信号にディジタル信号処理を施して出力する固体撮像装置において、色分解手段における色フィルタの配置パターンを三原色RGB の縦ストライプにし、撮像手段の受光素子から信号電荷を読み出す転送電極を形成し、予備の撮影にて、撮像手段の受光素子の奇数列または偶数列の一方の列の転送電極を介してこの受光素子で得られた信号電荷を垂直方向に転送する垂直転送路への転送タイミング信号、この垂直転送路に供給された信号電荷を垂直転送路と直交する方向に配した水平転送路に転送させる垂直駆動信号およびこの水平転送路に転送された各信号電荷の色を維持してタイミング調整しながら、これら各信号電荷を転送させる水平駆動信号を、それぞれ供給する信号供給手段を含むことを特徴とする。
【0008】
ここで、信号供給手段は、予備の撮影を行う際に水平転送路における信号電荷を格納するパケットの隣接する1つに対して同時に井戸を形成する水平駆動タイミング信号を生成し、供給することが好ましい。
【0009】
信号供給手段は、水平転送路の電極構造に基づく駆動の同相範囲を位相を倍にした駆動信号を供給することが好ましい。
【0010】
具体的には、信号供給手段は、水平転送路が2電極構造の場合、2相分を同相にする駆動信号を供給することが望ましい。
【0011】
本発明の固体撮像装置は、RGB の縦ストライプのパターンを用いているから、予備の撮影にて信号供給手段から供給される駆動信号に応じて撮像した奇数列または偶数列の信号電荷を読み出して転送すると、水平方向に、たとえば1/2 に間引きされた信号電荷、すなわち画素データが水平転送路に転送される。水平転送路には信号供給手段からタイミング調整された水平駆動信号により間引きした半分の画素データをそのままの周波数で読み出すことにより、画素の送出レートを倍にして出力している。
【0012】
また、本発明は上述の課題を解決するために、用意した2次元配置した受光素子が隣接する受光素子と互いに位置がずれた位置関係に配し、複数の受光素子のそれぞれに対応して被写界からの入射光側で各色に色分解し、この色分解した光をそれぞれの受光素子で光電変換して信号電荷を読み出す際に、記録用に撮影した信号電荷を読み出す本撮像と、この本撮像の前に信号電荷を読み出す予備の撮影とに応じて信号電荷を読み出す信号読出し方法において、各色に分解する色フィルタの配置パターンに三原色RGB の縦ストライプパターンを用い、受光素子からの信号電荷読出しに用いる転送電極を該受光素子に接触形成しておき、受光素子にて撮像して得られた信号電荷の読み出しに用いる駆動信号を生成する信号生成工程と、予備の撮影にて、2次元配置の受光素子のうち、信号生成工程で生成した駆動信号を用い、奇数列または偶数列の一方の列の転送電極だけを導通状態にする水平間引き読出し工程と、この水平間引き読出し工程で読み出した信号電荷を信号生成工程で生成した駆動信号を用いて、垂直方向に転送させる垂直転送工程と、この垂直転送工程により転送した信号電荷を垂直転送方向と直交する方向の水平方向への転送において信号生成工程で生成した水平駆動の供給タイミングを調整して水平間引きして読み出した信号電荷を転送し、出力する水平転送工程とを含むことを特徴とする。
【0013】
ここで、信号生成工程は、予備の撮影を行う際に水平方向に信号電荷を格納するパケットの隣接する1つに対して同時に井戸を形成する水平駆動タイミング信号を生成することが好ましい。
【0014】
水平転送工程は、信号電荷の転送に用いる位相駆動信号に関して同相の範囲を倍にした駆動信号を用いることが好ましい。
【0015】
具体的に、水平転送工程は、通常の水平転送に2相駆動信号を用いている場合、水平方向の位相駆動の同相範囲を2相分にした駆動信号を用いることが望ましい。
【0016】
本発明の信号読出し方法は、予備の撮影にて、生成した駆動信号に応じて撮像した奇数列または偶数列の信号電荷を読み出すことにより、たとえば1/2 に間引きされた信号電荷、すなわち画素データが読み出される。この信号電荷を垂直転送すると、水平方向の1ラインには水平方向に配した画素数の半分に相当する信号電荷がRGB の縦ストライプのパターンを用いているからこの1ラインに三原色RGB がたとえば、RGBRGB・・・ と揃って供給される。この際に読み出した信号電荷は通常の本撮像に比して半分である。この半分の信号電荷の水平転送をタイミング調整し、周波数がそのままの水平駆動信号により水平転送するので、画素の送出レートが倍になる。
【0017】
【発明の実施の形態】
次に添付図面を参照して本発明による固体撮像装置の一実施例を詳細に説明する。
【0018】
本発明を適用した実施例のディジタルスチルカメラ10の構成を図1に示す。図1のディジタルスチルカメラ10には、光学レンズ系12、操作部14、システム制御部18、信号発生部20、タイミング信号供給部22、絞り調節機構24、光学ローパスフィルタ26、色分解部28、撮像部30、前処理部32、A/D 変換部34、信号処理部36、圧縮/伸張部38、記録再生部40、およびモニタ42が備えられている。これら各部を順次説明する。光学レンズ系12は、たとえば、複数枚の光学レンズを組み合わせて構成されている。光学レンズ系12には、図示しないが、これら光学レンズの配置する位置を調節して画面の画角を操作部14からの操作信号に応じて調節するズーム機構や被写体とカメラ10との距離に応じてピント調節する、AF(Automatic Focus:自動焦点)調節機構が含まれている。これらの機構の調節は、操作部14の一部を成すレリーズシャッタが、たとえば半押し状態にされた際に予備的な被写界の撮像を行って得られる情報に基づいて行われる(予備の撮像とする)。操作信号は、システムバス16を介してシステム制御部18に供給される。光学レンズ系12には、後述する信号発生部20、タイミング信号供給部22のタイミング信号発生部22a 、ドライバ部22b を介して駆動信号が供給される。本撮像する場合、得られた情報に応じてピント・露出等が設定された状態で上述したレリーズシャッタを全押しすることにより撮像タイミングをシステム制御部18に供給している。システム制御部18は、この信号を受けて本撮像の撮像および信号読出しといった撮像制御を行う。
【0019】
操作部14には、図示しないレリーズシャッタやたとえばモニタ画面に表示される項目を選択する機能が備えられている。特に、レリーズシャッタは、複数の段階のそれぞれでカメラ10の操作を行うようにシステムバス16を介して操作信号をシステム制御部18に出力する。また、本実施例において操作部14は、各種の動作・処理を行う際のモードの選択などを行えるように、モニタに表示されるポインティングデバイスも備えている。この場合の操作部14の操作に応じた信号がシステム制御部18に操作信号として供給される。
【0020】
システム制御部18は、たとえば CPU(Central Processing Unit:中央演算処理装置)を有する。システム制御部18には、ディジタルスチルカメラ10の動作手順が書き込まれた ROM(Read Only Memory:読み出し専用メモリ)がある。システム制御部18は、たとえば、ユーザの操作に伴って操作部14から供給される情報とこの ROMの情報を用いて各部の動作を制御する制御信号を生成する。システム制御部18は、生成した制御信号を信号発生部20、あらわに制御信号の供給を示していないがタイミング信号供給部22、前処理部32、A/D 変換部34の他に、システムバス16を介して信号処理部36、圧縮/伸張部38、記録再生部40およびモニタ42にも供給する。特に、システム制御部18は、後述するタイミング信号供給部22に対して予備の撮像と本撮像とで生成するタイミング信号等が異なるように切換制御している。また、システム制御部18は、後述する信号処理部36に対しても特徴を有する各種の制御を行っている。
【0021】
信号発生部20は、システム制御部18からの制御に応じてシステムクロックを発振器により発生する。信号発生部20は、このシステムクロックをタイミング信号供給部22および信号処理部36に供給する。また、システムクロックは、たとえばシステムバス16を介してシステム制御部18の動作タイミングの基準としても供給される。
【0022】
タイミング信号供給部22には、タイミング信号発生部22a およびドライバ部22b が備えられている。タイミング信号供給部22は、システム制御部18の制御によって予備の撮像と本撮像とで切換制御されることにより、異なるタイミング信号を生成する。
【0023】
タイミング信号発生部22a は供給されるシステムクロックを制御信号に基づいて各部を動作させるタイミング信号を生成する回路を含む。生成するタイミング信号は、たとえばトランスファシフトゲートパルス、垂直転送タイミング信号、および水平転送タイミング信号である。これらの信号は予備の撮像と本撮像とで供給のタイミングや周波数を変更する。ただし、予備の撮像では、基本的に周波数を変更させず、そのまま用いて本撮像の場合と異なるタイミングで信号を供給するように変えている。
【0024】
この供給する信号のタイミングの変更については、受光素子に隣接して形成されたトランスファシフトゲート(転送電極)に印加するトランスファシフトゲートパルスを生成するとともに、フィールド毎に奇数列/偶数列と選択的に供給する。読み出した信号電荷を垂直転送させる垂直転送タイミング信号はこれまでと同様に生成し、供給する。供給された信号電荷を水平転送させる水平転送路は、信号電荷の供給された位置関係に着目すると、水平転送パケットが従来の本撮像時の2パケットに比べて倍のパケット数になっている。これは信号電荷を有する間の転送電極構造が倍の電極数を扱うことを意味する。しかしながら、タイミング信号発生部22a はこの電極数に応じて初めの位相駆動を保ちながら、倍の電極数を信号電荷が移動するように考慮した水平転送タイミング信号を生成し、供給する。より具体的な説明は後段で行う。
【0025】
タイミング信号発生部22a は、基本的にシステム制御部18の制御により撮像のモードに応じてタイミング信号を生成し、この生成したタイミング信号を図1に示すように各部に出力するとともに、ドライバ部22b にも供給する。ドライバ部22b は、各タイミングで供給されるタイミング信号を重畳させて駆動信号を生成している。ドライバ部22b は前述した光学レンズ系12のズーム調節機構およびAF調節機構の他、絞り調節機構24および撮像部30にも駆動信号をそれぞれ供給する。ドライバ部22b もシステム制御部18により直接的に制御させるようにしてもよい。
【0026】
本実施例では、詳述しないが本撮像時の信号電荷読出しに用いる信号の供給も制御している。この信号読出し制御のために切換制御に応じてシステム制御部は、タイミング信号発生部22a に対して生成したフィールドシフトゲートパルスを列、すなわち奇数列と偶数列とを区別して一方の列だけに供給する信号供給制御を行う。また、システム制御部18はドライバ部22b に対して、たとえば読み出したくない列のフィールドシフトゲートパルスの駆動信号への重畳を禁止するようにしてもよい。水平駆動は、予備の撮像により遅いレートで信号電荷を読み出すように駆動周波数を低くして用いる。これにより、読み出した画像が混色してしまう虞れを回避している。
【0027】
絞り調節機構24は、被写体の撮影において最適な入射光の光束を撮像部30に供給するように入射光束断面積(すなわち、絞り開口面積)を調節する機構である。絞り調節機構24にもドライバ部22b から駆動信号が供給される。この駆動信号は、前述したシステム制御部18からの制御に応じて動作させるための信号である。この場合、システム制御部18は、図示しないが、撮像部30で光電変換した信号電荷を基にAE(Automatic Exposure :自動露出)処理として絞り・露光時間を算出している。絞り調節機構24には、この算出した値に対応する制御信号が供給されたタイミング信号発生部22a からの信号に応じた駆動信号がドライバ部22b から供給される。
【0028】
撮像部30は光電変換する撮像素子を光学レンズ系12の光軸と直交する平面が形成されるように配置する。また、撮像素子の入射光側には、個々の撮像素子に対応して光学像の空間周波数をナイキスト周波数以下に制限する光学ローパスフィルタ26と一体的に色分解する色分解部28の色フィルタCFが一体的に配設される。本実施例では単板方式の色フィルタを用いて撮像する。色フィルタCFの種類等については後段でさらに詳述する。撮像素子には、 CCD(Charge Coupled Device:電荷結合素子)や MOS(Metal Oxide Semiconductor:金属酸化型半導体)タイプがある。撮像部30は、供給される駆動信号に応じて光電変換によって得られた信号電荷を予備の撮像と本撮像とそれぞれのモードに合わせて読み出す。
【0029】
本実施例では画素ずらしした、いわゆるハニカム配置していること、および色フィルタパターンに色フィルタR, G, B を縦方向にストライプ状に配したパターンを形成している。この用いている色フィルタ配置パターンをRGB ストライプパターンと呼ぶ(図2を参照)。
【0030】
図1に戻って、前処理部32には、図示しないがCDS (Correlated Double Sampling: 相関二重サンプリング;以下CDS という)部が備えられている。CDS 部は、たとえば、CCD 型の撮像素子を用いて、基本的にその素子により生じる各種のノイズをタイミング信号発生部22a からのタイミング信号によりクランプするクランプ回路と、タイミング信号により信号電荷をホールドするサンプルホールド回路を有する。CDS 部は、ノイズ成分を除去してA/D 変換部34に送る。A/D 変換部34は、供給される信号電荷というアナログ信号の信号レベルを所定の量子化レベルにより量子化してディジタル信号に変換するA/D 変換器を有する。A/D 変換部34は、タイミング信号発生部22a から供給される変換クロック等のタイミング信号により変換したディジタル信号を信号処理部36に出力する。
【0031】
信号処理部36には、図示しないが得られた画像をより一層高画質化するためにデータ補正部、輝度データ生成機能部、輝度データ補間機能部、高解像度プレーン補間機能部、およびマトリクス処理部が含まれる。データ補正部には、色の補正を行うガンマ補正回路や自動的にホワイトバランスの調整を行うAWB (Automatic White Balance)回路等がある。特に、ガンマ補正回路は、 ROM(Read Only Memory)に供給されるディジタル信号とこのディジタル信号に対応して出力する補正データとを組にした複数のデータセットの集まりであるルックアップテーブルを用いる。データ補正部は、この配置に限定されるものでなく、後段に設けてもよいが、この位置に配することにより、ルックアップテーブルの個数が最小で済む。これら一連のデータ補正においてもタイミング信号発生部22a からのタイミング信号に応じて供給される。データ補正部は、この処理した補正データを輝度データ生成機能部に出力する。
【0032】
輝度データ生成機能部はシステム制御部18の制御により動作する。輝度データ生成機能部は、たとえば色の配置を考慮した重み付け演算を行うことにより受光素子の位置する画素での輝度データY を生成し、輝度データ補間機能部に出力する。輝度データ補間機能部は、供給される輝度データY の間にある仮想画素の位置における輝度データの補間生成を行う演算機能部である。輝度データ補間機能部は、プレーンの輝度データYhを生成し、高解像度プレーン補間機能部に供給される。高解像度プレーン補間機能部は、プレーンの輝度データYhとデータ補正した三原色R, G, B の画素データを入力し、これらのデータを用いてR プレーンデータ、G プレーンデータおよびB プレーンデータを生成する演算機能部である。高解像度プレーン補間機能部は、生成した三原色RGB のプレーンデータをマトリクス処理部に出力する。高解像度プレーン補間機能部には、これらの信号処理して得られた画像データを格納するとともに、非破壊読出し可能なメモリがそれぞれ備えられている。高解像度プレーン補間機能部はプレーン補間に用いる画素データを読み出して画素データの算出を行う。マトリクス処理部は、供給される三原色RGB のそれぞれR プレーンデータ、G プレーンデータおよびB プレーンデータを用いて、画像表示に用いる形式、すなわち輝度データY 、色差データ(R-Y), (B-Y)に変換する。これらの出力形式のデータは、各色に定めた混合割合を乗算し演算することから得られる。混合割合を決める係数は、従来からの値を用いる。この変換した3つのデータに各帯域を含み折返し歪が生じないカットオフ周波数に設定してアンチエリアシング処理を施す。このうち、輝度データY をアパーチャ調整部に送って、輝度データY の周波数の高域を持ち上げる。これにより、画像の輪郭が強調される。このようにしてマトリクス処理部は、輝度データY 、色差データ(R-Y), (B-Y)を圧縮/伸張部38およびモニタ42に出力する。マトリクス処理部は、モニタ42に撮像した画像をシステムバス16を介して供給する。
【0033】
このように構成して信号処理部36は、受光素子の画素データを用いて、この際にたとえば、相関の大きい方の画素データから輝度データY および色差データを生成して圧縮/伸張部38およびモニタ42に出力する。
【0034】
圧縮/伸張部38は、たとえば、直交変換を用いたJPEG(Joint Photographic Experts Group)規格での圧縮を施す回路と、この圧縮した画像を再び元のデータに伸張する回路とを有する。圧縮/伸張部38は、システム制御部18の制御により記録時には圧縮したデータをシステムバス16を介して記録再生部40に供給する。また、圧縮/伸張部38は、前述と同様にシステム制御部18の制御により信号処理部36からのデータをスルーさせ、システムバス16を介してモニタ42に供給させてもよい。圧縮/伸張部38が伸張処理を行う場合、逆に記録再生部40から読み出したデータをシステムバス16を介して圧縮/伸張部38に取り込んで処理する。ここで、処理されたデータもモニタ42に供給して表示させる。
【0035】
記録再生部40は、記録媒体に記録する記録処理部と、記録媒体から記録した画像データを読み出す再生処理部とを含む(ともに図示せず)。記録媒体には、たとえば、いわゆる、スマートメディアのような半導体メモリや磁気ディスク、光ディスク等がある。磁気ディスク、光ディスクを用いる場合、画像データを変調する変調部とともに、この画像データを書き込むヘッドがある。モニタ42は、システム制御部18の制御に応じてシステムバス16を介して供給される輝度データおよび色差データまたは三原色RGB のデータを画面の大きさを考慮するとともに、タイミング調整して表示する機能を有する。液晶表示のようなモニタを用いてムービー表示する場合、たとえば、予備の撮像において受光素子、すなわち画素を水平方向の画素数に対して1/2 間引きして得られた画像を表示させる。
【0036】
図1に示すディジタルスチルカメラ10は、このように構成して高画素化した撮像部30を有していながら予備の撮像と本撮像とを切り換えて制御してそれぞれの撮像に応じた適切な撮像を行っている。すなわち、予備の撮像では高速な信号読出しを行って本撮像の露光条件等の設定を迅速に行わせ、本撮像では低照度の画像領域で転送効率の低下に伴う混色の発生の防止を考慮した信号読出しを行って、照度にかかわらず、画像全体の画質を高めている。
【0037】
さらに、撮像部30と色分解部28に用いる色フィルタCFについて説明する。図2は、撮像部30の撮像面およびドライバ部22b からの垂直転送駆動信号V1〜V8を印加する位置関係を示している。撮像部30は、これまで述べてきたように、入射する光を光電変換する受光素子PDに隣接した受光素子PDが垂直方向および水平方向にずらされて2次元配置された受光部30a と、この受光部30a の前面に形成された開口部APを迂回するように配置され、かつ受光素子PDからの信号を取り出す電極ELと、この電極ELを介して供給される信号を受光部30a の垂直方向に順次転送する垂直転送レジスタVRと、垂直転送レジスタVRに対して直交する方向、すなわち水平方向に信号を転送する水平転送レジスタHRとを備えている。
【0038】
垂直転送レジスタVRは、供給される垂直転送駆動信号V1〜V8に応じて信号を転送している。すなわち、垂直転送レジスタは1受光部あたり4電極構造になっている。また、1受光部領域の水平隣接領域とは2電極構造で前述したように画素ずらしされている。これに対応して水平転送レジスタHRも2電極構造になっている。本実施例の撮像部30に形成された開口部APは、六角形のハニカム形状に形成する。開口形状は、一般的に正方格子であるがこの形状は、感度を向上させるとともに、垂直転送レジスタの幅を同じにして転送効率を低下させないようにする条件を満たせばよい。このことから判るように形状は、多角形でもよく、この他の例としては、正方格子を45°回転させた開口形状として、たとえば、菱形等があり、さらに八角形等にしてもよい。
【0039】
開口部APは、図2に示すように各開口部APを覆う色フィルタCFの直下にそれぞれ対応して配置される受光素子PDの間隔を各方向毎の画素ピッチPPとするとき、開口部APの配列は、一列毎に垂直方向にあるいは一行毎に水平方向に画素ピッチPP分だけ移動させた2次元配置になっている。四角形以上の多角形を用いる場合、開口形状に合わせて開口部APを隙間なく、隣接する開口部APが稠密な配置に配置にさせてもよい。このような場合、配置する上での画素ピッチPPは半ピッチのずらしでもよい。図2のように六角形の場合、稠密な配置は、水平・垂直方向とも上述した画素ピッチPPの半分だけずらした配置(|PP|/2)により形成できる。このように稠密な配置を得るには開口部APの形状に依存する。
【0040】
なお、図2(a) の撮像部30は、最も左側に位置し、縦方向にストライプ状に並ぶ色R の受光素子を奇数列とする。また、図2から明らかなように電極ELの設けられている位置に対応してフィールドシフトゲートパルスを含む垂直駆動信号は記号●が示すV1, V3, V5, V7の駆動信号である。
【0041】
次に本実施例の特徴である予備の撮像(レリーズシャッタの半押し操作時)における動作を説明する。図2(a) の撮像部30は、高速読出しを行う予備の撮像時の状態を示している。この図が示す状態に至る前に、まず、奇数列の受光素子PDから信号電荷を読み出す。この読出しのため、タイミング信号供給部22のタイミング信号発生部22a は垂直駆動信号V1, V5だけに生成したフィールドシフトゲートパルスを供給する。この供給を受けてこのパルスが重畳した垂直駆動信号V1, V5を電極ELに供給することにより、フィールドシフトゲートがオン状態になる。この結果、1列おきの垂直転送路VRに信号電荷が読み出される。垂直転送路VRに読み出された信号電荷は、ドライバ部22b から信号線を介して垂直転送路VRに供給される4相の垂直駆動信号により転送される。図2(a) の状態は、垂直転送路VRのパケットを1段転送して水平転送路HRに信号電荷を送った状態である。図2(b) に示すように水平転送路HRには、各パケットに水平駆動信号H1〜H4が順に供給されている。
【0042】
この垂直転送により、水平転送路HRには、色“_,_,_,R,_,_,_B,_,_,_G,_,_,・・・ ”の位置関係に信号電荷が配されることになる。ここで、“_ ”は、信号電荷のない空きパケットを表している。水平転送路HRは、実際電極構造である。ところで、この信号電荷の配置を見ると、4パケット毎に信号電荷があるので、矢印A の方向への信号電荷の転送を行うことは4相駆動と同等の転送レートで転送が行われることがわかる。すなわち、通常4相駆動では1/4 周期で1電極分、(1パケット分)転送されるから、1周期では4電極(パケット)分の転送ができる。2相駆動を元々行っていた4相駆動と同等の転送ができることから、読出し周波数を変えることなく転送レートは2倍に上がることになる。
【0043】
この関係を水平駆動信号H1〜H4の供給タイミングおよびこの信号が供給されることによるポテンシャルの時間変化で確かめる(図3を参照)。水平駆動信号は、同相の領域を倍にするため、水平駆動信号H1, H2を同じ信号にして同時のタイミングで供給する。また、水平駆動信号H3, H4も両者が同じタイミングで供給する(図3(a) を参照)。この水平駆動信号の供給により、2パケット分ポテンシャル井戸を形成し、このパケットを単位に順次信号電荷を転送させていく。結果的に、前述したように、読出し周波数の変更を行うことなく、かつ2相駆動を維持しながら、水平駆動信号の供給タイミングを変えるだけで、水平転送路HRに読み出した信号電荷を2倍の転送レートで読み出すことができる。たとえば、水平方向に1280画素の情報量を有している撮像部では、予備の撮像において読出しが640 画素となり、読出し速度も2倍にすることができる。色フィルタ配置の特徴から垂直方向に画素を混合しても混色することはない。この垂直画素混合および本実施例の水平間引き駆動を併用して読み出せば、たとえば暗いシーンでのAE/AF 等における演算精度も向上させることができる。
【0044】
なお、偶数列の信号電荷だけを読み出す場合、たとえば、タイミング信号発生部22a から垂直駆動タイミング信号とフィールドシフトゲートパルスをドライバ部22b に供給して、重畳させる。ドライバ部22b は重畳して得られた垂直駆動信号V3, V7を撮像部30に印加すればよい。
【0045】
また、水平転送路HRにおいても図3(b) のポテンシャル井戸が示すように信号電荷間に障壁を形成しているので、読み出した信号電荷が混色することなく読み出すことができる。これまで予備の撮像に対して説明してきたが、本撮像においても、ディジタルスチルカメラ10では低照度域での転送が水平駆動周波数の高速化および駆動電圧の低下により転送不良になってしまう傾向にあって、この結果、この領域で混色が発生し、画像の色再現性が悪くなってしまう。この画質劣化は、さらなる高画素化や低消費電力化により一層厳しくなる傾向にある。そこで、本撮像においても奇数列と偶数列の受光素子からそれぞれ異なるタイミングで信号電荷を読み出すことによりたとえば暗いシーン(低照度の撮像)において生じていた混色による画質劣化を防ぐこともできる。ここで、異なるタイミングとは、異なるフィールドやフレーム等を意味する。本撮像後の信号読出しにこのタイミング間隔を用いると、信号読出しに時間的な余裕をもたせることが可能になって、画像信号の質も保って信号電荷を読み出すことができる。
【0046】
これに対して、これまで行われていた撮像部30からの信号読出しを比較例として挙げて説明する。ここで、撮像部30の構成は全く同じである(図4(a) を参照)。本実施例と異なる点は、色フィルタパターンに、たとえばG 正方RB完全市松パターンを用いるとともに、生成した信号の供給の仕方にある。G 正方RB完全市松パターンとは、いわゆるハニカム配置していること、および色フィルタパターンに色フィルタG を正方格子状に配し、正方格子状の中心に色R または色B を配して色RBによる完全市松パターンをこのように呼ぶ。撮像部30の各受光素子PDからの信号電荷読出しは、全画素読出し(プログレッシブ走査)で行われる。タイミング信号発生部22a でフィールドシフトゲートパルスは垂直駆動タイミング信号に供給し、重畳して垂直駆動信号V1, V3, V5, V7を生成する。信号電荷を受光素子PDから読み出す場合、ドライバ部22b はこの垂直駆動信号V1, V3, V5, V7を電極EL(フィールドシフトゲート)に印加する。この印加により、信号電荷が垂直転送路VRに奇数列、偶数列の区別なく読み出される。
【0047】
ところで、単に、本実施例のように奇数列または偶数列だけを読み出した信号電荷が垂直転送路VRを介して垂直下方に転送される読み出してもG 正方RB完全市松パターンを用いているから、ライン毎の読出しは、それぞれ色R, Bと色G だけの水平ライン読出しとなる。このため、三原色RGB が1ラインに揃わないので、信号処理における補間を適切に行えないことになる。しかしながら、この色フィルタパターンは受光素子PDがずらし配されているから、2ライン同時読出しが混色を起こすことなく、水平転送路HRの1ラインに供給することができる。この2ライン同時読出ししたライン状態が図4(a) の状態である。そして、水平転送路HRの各パケットにはそれぞれ、水平駆動信号H1〜H4が供給されている。水平転送路HRは、1パケット分を障壁に用いて信号電荷を転送する2電極構造を用いている(図4(b) を参照)。
【0048】
水平転送路HRの信号電荷を転送する場合、図5(a) に示すように2相駆動が行われる。一方の相の水平駆動信号が水平駆動信号H1, H3であり、他方の水平駆動信号が水平駆動信号H2, H4である。水平駆動信号H1, H3を印加することにより、生成されるポテンシャル井戸は、図4(b) の上段側のように形成される。次に、水平駆動信号H2, H4が印加されると、ポテンシャル井戸は,1パケット分だけ移動する。このような手順を繰り返して2ライン分の信号電荷が1ライン分として読み出される。この信号読出しは水平方向の間引きを何等考慮されていないので高速読出しを行う際に要する時間が本実施例に比べて本撮像と同様に読み出して2倍かかることになる。予備の撮像ではこのように画質優先仕様によって読出し所要時間がかかると、操作上問題が生じる。たとえば、予備の撮像が遅いと、撮りたいタイミングの画像、本撮像までの撮影条件等を設定できなくなることから極端な場合、撮影待機状態となってしまう。
【0049】
以上のように、いわゆるハニカム配置のディジタルスチルカメラ10に色フィルタのパターン配置がRGB 縦ストライプのものを用いて、タイミング信号供給部22から予備の撮像に応じた駆動信号を撮像部30に供給し、具体的には予備の撮影において奇数列または偶数列のいずれか一方から信号電荷を読み出して、水平方向の間引き読出しを行い、読み出した信号電荷を水平転送する際に2つのパケットが同じポテンシャルを形成するように水平駆動信号を供給することによって、読出し周波数を変えることなく、2相駆動でありながら、4相駆動と同等の読み出しを行うことができる。このとき、水平転送レートは2倍にすることができる。このような駆動による信号読出しを行うことによって高画素化した撮像部30を用いても予備の撮像の影響により本撮像のタイミングを外すような操作上の問題等を回避することができるようになる。これにより、ユーザに操作性の違和感を与えることなく、高画質な画像を提供することができる。
【0050】
【発明の効果】
このように本発明の固体撮像装置によれば、RGB の縦ストライプのパターンを用いているから、予備の撮影にて信号供給手段から供給される駆動信号に応じて撮像した奇数列または偶数列の信号電荷を読み出して転送すると、水平方向に、たとえば1/2 に間引きされた信号電荷、すなわち画素データが水平転送路に転送され、水平転送路には信号供給手段からタイミング調整された水平駆動信号により間引きした半分の画素データをそのままの周波数で読み出すと、画素の送出レートを倍にして出力されるので、高画素化した撮像手段を用いても予備の撮像の影響により本撮像のタイミングを外すような操作上の問題等を回避することができる。これにより、ユーザに操作性の違和感を与えることなく、高画質な画像を提供することができる。
【0051】
また、本発明の信号読出し方法によれば、予備の撮影にて、生成した駆動信号に応じて撮像した奇数列または偶数列の信号電荷を読み出すことにより、たとえば1/2 に間引きして信号電荷を読み出し、この信号電荷を垂直転送すると、水平方向の1ラインには水平方向に配した画素数の半分に相当する信号電荷がRGB の縦ストライプのパターンを用いているから混色することなくこの1ラインに三原色RGB が供給される。この際に信号電荷を読み出す水平転送のタイミング調整し、周波数がそのままの水平駆動信号により水平転送することにより、画素の送出レートが倍にして読み出すことができる。したがって、用意した撮像手段が高画素化したものを用いても予備の撮像の影響により、たとえば、本撮像のタイミングを外すような操作上の問題等を回避することができる。この読出しにより、ユーザに操作性の違和感を与えることなく、高画質な画像を提供することができる。
【図面の簡単な説明】
【図1】本発明の固体撮像装置を適用したディジタルスチルカメラの概略的な構成を示すブロック図である。
【図2】図1のディジタルスチルカメラにおける撮像部を入射光側から見た撮像平面を示すとともに、撮像における水平転送の信号電荷の位置関係および水平駆動信号の供給位置の関係を示す模式図である。
【図3】図2の撮像部の水平転送路に供給する水平駆動信号の位相および水平駆動信号により生成されるポテンシャル井戸の時間変化の関係を示す模式図である。
【図4】従来のディジタルスチルカメラにおける撮像部を入射光側から見た撮像平面を示すとともに、撮像における水平転送の信号電荷の位置関係および水平駆動信号の供給位置の関係を示す模式図である。
【図5】図4の撮像部の水平転送路に供給する水平駆動信号の位相および水平駆動信号により生成されるポテンシャル井戸の時間変化の関係を示す模式図である。
【符号の説明】
10 ディジタルスチルカメラ
12 光学レンズ
14 操作部
18 システム制御部
22 タイミング信号供給部
30 撮像部
32 前処理部
34 A/D 変換部
36 信号処理部
38 圧縮/伸張部
42 モニタ
22a タイミング信号発生部
22b ドライバ部

Claims (6)

  1. 光電変換する受光素子の位置を隣接した受光素子に対して水平および垂直方向に互いにずらして2次元配置し、各受光素子に対して被写界からの入射光側に該入射光を色分解する色分解手段が配された撮像手段から信号電荷をすべて読み出す本撮像と、該本撮像の前に行う予備の撮影とで信号電荷の読出しを行い、得られた信号にディジタル信号処理を施して出力する固体撮像装置において、該装置は、
    前記色分解手段における色フィルタの配置パターンを三原色RGB の縦ストライプにし、
    前記撮像手段の受光素子から信号電荷を読み出す転送電極を形成し、
    前記予備の撮影にて、前記撮像手段の受光素子の奇数列または偶数列の一方の列の転送電極を介して該受光素子で得られた信号電荷を垂直方向に転送する垂直転送路への転送タイミング信号、該垂直転送路に供給された受光素子から前記色分解手段の色フィルタセグメントの色で表す色属性を有する信号電荷を前記垂直転送路と直交する方向に配した水平転送路に転送させる垂直駆動信号および該水平転送路に転送された各信号電荷の色属性を維持し、混色を回避してタイミング調整しながら、該各信号電荷を転送させる水平駆動信号を、それぞれ供給する信号供給手段を含み、
    前記信号供給手段は、前記予備の撮影を行う際に前記水平転送路の電極構造に基づく駆動の同相範囲を倍にした駆動信号を供給することを特徴とする固体撮像装置。
  2. 請求項1に記載の装置において、前記信号供給手段は、前記予備の撮影を行う際に前記水平転送路における前記信号電荷を格納するパケットの隣接する1つに対して同時に井戸を形成する水平駆動タイミング信号を生成し、供給することを特徴とする固体撮像装置。
  3. 請求項に記載の装置において、前記信号供給手段は、前記水平転送路が4電極構造の場合、2相分を同相にする駆動信号を供給することを特徴とする固体撮像装置。
  4. 用意した2次元配置した受光素子が隣接する受光素子と水平および垂直方向に互いに位置がずれた位置関係に配し、複数の受光素子のそれぞれに対応して被写界からの入射光側で各色に色分解し、該色分解した光をそれぞれの受光素子で光電変換して信号電荷を読み出す際に、記録用に撮影した信号電荷を読み出す本撮像と、該本撮像の前に信号電荷を読み出す予備の撮影とに応じて信号電荷を読み出す信号読出し方法において、該方法は、
    前記各色に分解する色フィルタの配置パターンに三原色RGB の縦ストライプパターンを用い、前記受光素子からの信号電荷読出しに用いる転送電極を該受光素子に接触形成しておき、前記受光素子にて、撮像して得られた信号電荷の読み出しに用いる駆動信号を生成する信号生成工程と、
    前記予備の撮影にて、前記2次元配置の受光素子のうち、前記信号生成工程で生成した駆動信号を用い、奇数列または偶数列の一方の列の転送電極だけを導通状態にする水平間引き読出し工程と、
    該水平間引き読出し工程で読み出した信号電荷を前記信号生成工程で生成した駆動信号を用いて、垂直方向に転送させる垂直転送工程と、
    該垂直転送工程により転送した信号電荷を垂直転送方向と直交する方向の水平方向への転送において前記信号生成工程で生成した水平駆動の供給タイミングを調整して水平間引きして読み出した信号電荷を転送し、出力する水平転送工程とを含み、
    前記水平転送工程は、前記信号電荷の転送に用いる位相駆動信号に関して同相の範囲を倍にした駆動信号を用いることを特徴とする信号読出し方法。
  5. 請求項に記載の方法において、前記信号生成工程は、前記予備の撮影を行う際に水平方向に前記信号電荷を格納するパケットの隣接する1つに対して同時に井戸を形成する水平駆動タイミング信号を生成することを特徴とする信号読出し方法。
  6. 請求項に記載の方法において、前記水平転送工程は、通常の水平転送に4相駆動信号を用いている場合、水平方向の位相駆動の同相範囲を2相分にした駆動信号を用いることを特徴とする信号読出し方法。
JP25388799A 1999-09-08 1999-09-08 固体撮像装置および信号読出し方法 Expired - Fee Related JP3967500B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP25388799A JP3967500B2 (ja) 1999-09-08 1999-09-08 固体撮像装置および信号読出し方法
US09/657,413 US7236196B1 (en) 1999-09-08 2000-09-08 Solid-state image pickup apparatus for reading out image signals with pixels reduced in a horizontal direction and a signal reading method for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP25388799A JP3967500B2 (ja) 1999-09-08 1999-09-08 固体撮像装置および信号読出し方法

Publications (3)

Publication Number Publication Date
JP2001078208A JP2001078208A (ja) 2001-03-23
JP2001078208A5 JP2001078208A5 (ja) 2005-06-16
JP3967500B2 true JP3967500B2 (ja) 2007-08-29

Family

ID=17257509

Family Applications (1)

Application Number Title Priority Date Filing Date
JP25388799A Expired - Fee Related JP3967500B2 (ja) 1999-09-08 1999-09-08 固体撮像装置および信号読出し方法

Country Status (2)

Country Link
US (1) US7236196B1 (ja)
JP (1) JP3967500B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002344982A (ja) * 2001-05-18 2002-11-29 Sanyo Electric Co Ltd 固体撮像素子及びその駆動方法
JP2005208392A (ja) * 2004-01-23 2005-08-04 Canon Inc 画像撮像装置、画像処理方法、及びプログラム
JP6368999B2 (ja) * 2013-09-26 2018-08-08 株式会社ニコン 撮像素子および撮像装置
WO2016056332A1 (ja) * 2014-10-06 2016-04-14 オリンパス株式会社 撮像システム
JP2018201207A (ja) * 2018-07-12 2018-12-20 株式会社ニコン 撮像素子および撮像装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4558365A (en) * 1983-06-06 1985-12-10 Fuji Photo Film Co., Ltd. High-resolution high-sensitivity solid-state imaging sensor
US5319451A (en) 1988-05-31 1994-06-07 Canon Kabushiki Kaisha Color signal processing apparatus using a common low pass filter for the luminance signal and the color signals
JP2810381B2 (ja) 1988-05-31 1998-10-15 キヤノン株式会社 カラー信号処理装置
US5410349A (en) * 1990-07-06 1995-04-25 Fuji Photo Film Co., Ltd. Solid-state image pick-up device of the charge-coupled device type synchronizing drive signals for a full-frame read-out
JP2825702B2 (ja) * 1992-05-20 1998-11-18 シャープ株式会社 固体撮像素子
JP3547015B2 (ja) * 1993-01-07 2004-07-28 ソニー株式会社 画像表示装置および画像表示装置の解像度改善方法
JPH0738077A (ja) * 1993-07-23 1995-02-07 Sony Corp 固体撮像素子の製造方法及び固体撮像装置
JP2817581B2 (ja) * 1993-08-02 1998-10-30 日本電気株式会社 固体撮像装置
JP2865019B2 (ja) * 1995-05-31 1999-03-08 日本電気株式会社 電荷転送固体撮像装置の駆動方法
US5555464A (en) * 1995-07-28 1996-09-10 Lockheed Martin Corporation Red/near-infrared filtering for CCD cameras
JP3830590B2 (ja) 1996-10-30 2006-10-04 株式会社東芝 固体撮像装置
US6452634B1 (en) * 1996-12-26 2002-09-17 Sony Corporation Charge transfer device and method of driving the same, and solid state imaging device and method of driving the same
JPH10191168A (ja) 1996-12-26 1998-07-21 Sony Corp Ccd撮像素子

Also Published As

Publication number Publication date
US7236196B1 (en) 2007-06-26
JP2001078208A (ja) 2001-03-23

Similar Documents

Publication Publication Date Title
JP3854826B2 (ja) 撮像装置
JP3877565B2 (ja) 撮像装置
JP4658401B2 (ja) 撮像装置
JP4307780B2 (ja) 固体撮像装置およびその信号読出し方法
JPH10210367A (ja) 電子的撮像装置
JP4600315B2 (ja) カメラ装置の制御方法及びこれを用いたカメラ装置
JP4905279B2 (ja) 撮像回路および撮像装置
JP3967853B2 (ja) 固体撮像装置および信号読出し方法
JP4294810B2 (ja) 固体撮像装置および信号読出し方法
JP3893424B2 (ja) 固体撮像装置および信号読出し方法
JP4616429B2 (ja) 画像処理装置
JP2009005390A (ja) 固体撮像装置
JP4317117B2 (ja) 固体撮像装置および撮像方法
JP3967500B2 (ja) 固体撮像装置および信号読出し方法
JP4393242B2 (ja) 固体撮像素子及び固体撮像素子の駆動方法
JP4161309B2 (ja) 固体撮像素子および撮像装置
JP5624228B2 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
JP2004194248A (ja) 撮像素子及び撮像装置
JP4195148B2 (ja) 固体撮像装置および信号読出し方法
JP3999417B2 (ja) 固体撮像装置および信号読出し方法
JP2006041867A (ja) 画像処理方法および画像処理装置並びに撮像装置およびタイミング制御装置
JP2000224598A (ja) 固体撮像装置および信号読出し方法
JP3905342B2 (ja) 固体撮像装置
JP4022682B2 (ja) 撮像装置及び画像出力方法
JP3849230B2 (ja) 信号処理装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040917

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040917

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070508

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070531

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100608

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110608

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110608

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120608

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120608

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130608

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees