JP4015964B2 - デジタルカメラ - Google Patents

デジタルカメラ Download PDF

Info

Publication number
JP4015964B2
JP4015964B2 JP2003080857A JP2003080857A JP4015964B2 JP 4015964 B2 JP4015964 B2 JP 4015964B2 JP 2003080857 A JP2003080857 A JP 2003080857A JP 2003080857 A JP2003080857 A JP 2003080857A JP 4015964 B2 JP4015964 B2 JP 4015964B2
Authority
JP
Japan
Prior art keywords
image
signal
signal processing
ccd
digital camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003080857A
Other languages
English (en)
Other versions
JP2004289636A (ja
Inventor
理 斉藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2003080857A priority Critical patent/JP4015964B2/ja
Publication of JP2004289636A publication Critical patent/JP2004289636A/ja
Application granted granted Critical
Publication of JP4015964B2 publication Critical patent/JP4015964B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、デジタルカメラに係わり、特に、撮像素子により被写体を撮影して、被写体像を表す画像データを取得するデジタルカメラに関する。
【0002】
【従来の技術】
近年、CCD(Charge Coupled Device)、CMOS(Complementary Metal-Oxide Semiconductor)イメージセンサなどの撮像素子の高解像度化に伴い、デジタルカメラの高画素化が進み、1000万画素を超えるようなものも開発されるようになってきている。デジタルカメラでは、画像の画素数が増えると、撮影1回当たりのデータ処理量が増え、撮影間隔(次の撮影が可能になるまでの待ち時間)が長くなってしまう。
【0003】
このための技術として、デジタルカメラに撮影により得られたデジタル画像データ(以下、画像データ)を記録する記憶手段を複数設け、複数の記憶手段に画像データを並行して記録する技術がある(特許文献1参照)。しかしながら、この技術は、画像データの記録処理を高速化するためのものであり、記録処理の前に画像データに施す欠陥画素補正、エッジ強調処理、YC変換処理といった撮影信号処理を高速化することはできず、撮影間隔の短縮には限界があった。このため、近年は、1回の撮影で得られた1画像分の画像データを分割して、複数のプロセッサで1画像分の撮影信号処理を分担(並列処理)するデジタルカメラの開発が進められている。この場合、プロセッサの個数だけ消費電力が増大するため、静止画を撮影する本撮影以外での消費電力を極力抑える必要がある。
【0004】
ところで、デジタルカメラには、液晶モニタなど撮影した画像を表示するための表示手段が一般に設けられている。この表示手段は、撮影の際には、該デジタルカメラが捕らえている被写体像を動画表示し、撮影者が画角や焦点を合わせるためのファインダ(所謂ビューファインダ)として用いられるが、高画素の撮像素子を用いると、フレームレートが低くなってしまう。具体的に、1000万画素を超えるような撮像素子の場合は1コマ/秒程度の速度でしか画像を読み出すことができず、30コマ/秒程度のフレームレートが要求される動画表示機能を達成することはできなかった。このため、従来より、動画には、静止画ほど解像度への要求が高くない点に着目して、動画表示の際に、撮像素子から所定方向に画像を間引いて読み出すことで、読出速度を向上する技術が提案されている(特許文献2参照)。
【0005】
【特許文献1】
特開平10−23365号公報
【特許文献2】
特開平5−91415号公報
【0006】
【発明が解決しようとする課題】
しかしながら、画像を間引いて読み出す従来の技術を、撮影間隔の短縮化のために複数のプロセッサで撮影信号処理を分担するデジタルカメラに単に適用しただけでは、動画では静止画よりも1画像(1フレーム)の画素数が減らされているのにも係わらず、静止画と同数のプロセッサで撮影信号処理が分担されることになり、電力が無駄に消費されるという問題があった。
【0007】
本発明は上記問題点を解消するためになされたもので、高画素化によっても動画表示機能を実現でき、且つ撮影間隔の短縮及び省電力化を図ることができる動画表示機能を備えたデジタルカメラを提供することを目的とする。
【0008】
【課題を解決するための手段】
上記目的を達成するために、請求項1に記載の発明は、被写体像に対応する光を受光して、受光量に応じた電荷を画素毎に蓄積して画像信号を生成すると共に、蓄積した電荷を掃き出す掃出手段を備えた撮像素子と、前記撮像素子から前記画像信号を読み出す読出手段と、前記読出手段により読み出した前記画像信号に基づく画像データに対して所定の撮影信号処理を施すと共に、1被写体像分の前記撮影信号処理を分担して並列処理する複数の撮影信号処理手段と、前記複数の撮影信号処理手段により並列処理された前記画像データを記録メディアに記録する記録手段と、前記被写体像を表示するための表示手段と、を備えたデジタルカメラであって、前記表示手段に前記被写体像を動画表示する場合は、前記読出手段は、前記掃出手段を動作させて前記撮像素子から前記画像信号を所定周期で間引いて読出し、当該読出し結果の画像データに対する前記撮影信号処理を前記複数の撮影信号処理手段の何れか1つのみが担当する、ことを特徴としている。
【0009】
請求項1に記載の発明によれば、撮像素子は、被写体像に対応する光を受光して、受光量に応じた電荷を画素毎に蓄積し、この画素毎の蓄積電荷を画像信号として読出手段により読み出すことで、被写体像を表す画像データが取得される。この被写体像を表す画像データの撮影信号処理を複数の撮影信号処理手段で分担して並列処理する。並列処理した画像データは記録手段により記録メディアに記録され、後からこの記録した画像データを表示手段に再生表示することができる。すなわち、複数の撮影信号処理手段で被写体像を表す画像データの撮影信号処理を分担して並列処理するので、撮影間隔を短縮可能である。なお、記録メディアは、デジタルカメラに内蔵されているものでもよいし、デジタルカメラに着脱可能に装填されているものであってもよい。
【0010】
ここで、この表示手段に被写体像を動画表示する場合には、読出手段では、撮像素子から画像信号を読み出す際に、撮像素子の掃出手段を動作させて蓄積電荷を所定周期で掃き出させ、撮像素子から所定周期で間引きながら画像信号を読出す。これにより、本来の被写体像を縮小した画像データを取得することができ、この画像データの撮影信号処理については、複数の撮影信号処理手段の何れか1つのみが担当する。すなわち、撮像素子から画像信号を間引き読出しすることで、高速読出しが可能となり、動画撮影機能を実現できると共に、撮影信号処理を1つの撮影信号処理手段だけで行い、他の撮影信号処理手段は駆動されないので、省電力化も実現できる。
【0011】
請求項2に記載の発明は、被写体像に対応する光を受光して、受光量に応じた電荷を画素毎に蓄積して画像信号を生成すると共に、蓄積した電荷を掃き出す掃出手段を備えた撮像素子と、前記撮像素子から前記画像信号を読み出す読出手段と、前記読出手段により読み出した前記画像信号に基づく画像データに対して所定の撮影信号処理を施すと共に、1被写体像分の前記撮影信号処理を分担して並列処理する複数の撮影信号処理手段と、前記複数の撮影信号処理手段により並列処理された前記画像データを記録メディアに記録する記録手段と、前記被写体像を表示するための表示手段と、を備えたデジタルカメラであって、前記表示手段に前記被写体像を動画表示する場合は、前記読出手段は、前記掃出手段を動作させて、前記撮像素子から前記被写体像の一部の領域の画像信号を読出し、当該読出し結果の画像データに対する前記撮影信号処理を前記複数の撮影信号処理手段の何れか1つのみが担当する、ことを特徴としている。
【0012】
請求項2に記載の発明によれば、撮像素子は、被写体像に対応する光を受光して、受光量に応じた電荷を画素毎に蓄積し、この画素毎の蓄積電荷を画像信号として読出手段により読み出すことで、被写体像を表す画像データが取得される。この被写体像を表す画像データの撮影信号処理を複数の撮影信号処理手段で分担して並列処理する。この並列処理した画像データは記録手段により記録メディアに記録され、後からこの記録した画像データを表示手段に再生表示することができる。すなわち、複数の撮影信号処理手段で被写体像を表す画像データの撮影信号処理を分担して並列処理するので、撮影間隔を短縮可能である。なお、記録メディアは、デジタルカメラに内蔵されているものでもよいし、デジタルカメラに着脱可能に装填されているものであってもよい。
【0013】
ここで、表示手段に被写体像を動画表示する場合には、読出手段では、撮像素子から画像信号を読み出す際に、撮像素子の掃出手段を動作させて不要領域の蓄積電荷を掃き出させ、撮像素子から被写体像の一部の領域の画像信号を読出す。これにより、本来の被写体像の一部の領域を表す画像データを取得することができる。この画像データの撮影信号処理については、複数の撮影信号処理手段の何れか1つのみが担当する。すなわち、撮像素子から被写体像の一部の領域のみを読出すことで、高速読出しが可能となり、動画撮影機能を実現できると共に、撮影信号処理を1つの撮影信号処理手段だけで行い、他の撮影信号処理手段は駆動されないので、省電力化も実現できる。なお、この場合、請求項3に記載されているように、前記被写体像の一部分を、前記被写体像の焦点を合わせるために用いる画像領域にするとよい。
【0014】
【発明の実施の形態】
次に、図面を参照して本発明に係る実施形態の1例を詳細に説明する。
【0015】
[全体構成]
図1に示すように、本実施の形態に係るデジタルカメラ10は、被写体像を結像させるためのレンズを含んで構成された光学ユニット12と、光学ユニット12を駆動するための駆動回路14と、光学ユニット12の光軸後方に配設され、1000万画素レベルで被写体像を撮影するCCDイメージセンサ(以下、単にCCDと称す)16と、CCD16の駆動を制御すると共に、CCD16から読み出された被写体像を示す出力信号に対して所定のアナログ信号処理を施すアナログフロントエンド18と、主として画像データに対して所定のデジタル信号処理を施すためのデジタル演算処理部20と、記録手段として、記録メディア22に対する各種データの読書きを制御するメディアインタフェース(I/F)24と、表示手段として、撮影によって得られた画像や各種情報を表示するための表示モニタ26と、撮影者によって操作される操作手段28と、所定のケーブルを介して接続されたPCなどの外部装置へ画像データを出力するための外部出力I/F30と、を備えて構成されている。
【0016】
なお、操作手段28には、図示は省略するが、静止画の撮影記録を指示する際に操作されるレリーズボタン、撮影モード/再生モードの何れかを選択するために操作されるモード切替スイッチ、各種パラメータを設定したり、再生モード選択時には再生対象の画像を指定するために操作されるカーソルボタン、本デジタルカメラ10の電源をON/OFFするために操作される電源スイッチなどが含まれる。
【0017】
光学ユニット12は、ステッピングモータ等の駆動源の駆動力により焦点位置を変更可能な機構(オートフォーカス(AF)機構)を備えたズームレンズ(焦点距離可変レンズ)であり、このAF機構及びズーム機構は、駆動回路14によって駆動される。なお、AF機構のみを備えた焦点距離固定レンズを用いてもよい。
【0018】
なお、本実施の形態では、合焦制御として、撮影によって得られた画像のコントラストが最大となるようにレンズ位置を調整する、所謂TTL(Through The Lens)方式を採用しており、撮影エリア内の予め定められた位置(AFフレーム)に存在する被写体に焦点が合うように、自動的に合焦制御が行われるようになっている。具体的には、撮影者による操作手段28のモード切替スイッチの操作により、撮影モードが選択されている場合には、レリーズボタンが半押しされることによって、自動的に合焦制御が行われる。
【0019】
この光学ユニット12の焦点位置に相当する位置に、撮像素子であるCCD16が配設されている。光学ユニット12を通過した光は、CCD16の受光面上に結像されるようになっている。
【0020】
CCD16の受光面上には、多数個の光電変換セルがマトリクス状に配列されており、各々のセルにおいて受光量に応じた信号電荷を蓄積し、当該蓄積した信号がアナログ画像信号として出力される。具体的に、本実施の形態では、CCD16として、所謂電子シャッター機能を有するインターライン型のCCDセンサを用いる。なお、本発明は、CCD16の種類を特に限定するものではない。また、CCD16の代わりに、CMOSイメージセンサを用いることもできる。
【0021】
このCCD16は、アナログフロントエンド18と接続されており、アナログフロントエンド18は、タイミングジェネレータ(TG)32と、アナログ処理回路34と、A/Dコンバータ(A/D)36と、を含んで構成されている。
【0022】
タイミングジェネレータ32は、主として、CCD16、アナログ処理回路34、及びA/Dコンバータ36を駆動させるためのタイミング信号(詳細後述)を生成して、各部に供給するものである。なお、このタイミングジェネレータ32は、アナログフロントエンド18とは別に設けてもよいし、CCD16に内蔵してもよい。
【0023】
CCD16は、このタイミングジェネレータ32からのタイミング信号と同期して、撮影した被写体像を表すアナログ画像信号(受光面上にマトリクス状に配列された多数個の光電変換セルの各々における受光量を表す信号)を出力する。すなわち、タイミングジェネレータ32が本発明の読出手段に対応する。CCD16から出力されたアナログ画像信号は、アナログフロントエンド18に入力されるようになっている。
【0024】
アナログフロントエンド18では、この入力されたアナログ画像信号に対して、タイミングジェネレータ32のタイミング信号と同期して、アナログ処理回路34により相関2重サンプリング処理を施し、且つRGB各色毎の感度調整を行った後、A/Dコンバータ36によりデジタル画像信号に変換して出力する。アナログフロントエンド18の出力端は、デジタル演算処理部20と接続されており、アナログフロントエンド18から出力されたデジタル画像信号は、デジタル演算処理部20へ伝達されるようになっている。
【0025】
デジタル演算処理部20は、撮影信号処理手段として、複数のプロセッサ40を備え、且つ各プロセッサ40に対して、主としてCCD16による撮影によって得られた画像データを一時的に記憶するためのSDRAM42と、各種プログラム、パラメータなどが予め記憶されたROM44とが設けられている。各プロセッサ40は、対応するSDRAM42及びROM44とバス46を介して接続されており、SDRAM42及びROM44に任意にアクセスすることができるようになっている。
【0026】
なお、本実施の形態では一例として、第1〜第3の3つのプロセッサ40を備えた場合を説明する。また、以下では、各プロセッサを区別する場合は、第1のプロセッサ40A、第2のプロセッサ40B、第3のプロセッサ40Cと称し、SDRAM42、ROM44、及びバス46についても対応するプロセッサを示すアルファベット(A/B/C)を符号末尾に付与して説明する。
【0027】
各プロセッサ40は、それぞれアナログフロントエンド18及びメディアI/F24と各種情報を授受可能に接続されている。各プロセッサ40は、アナログフロントエンド18からデジタル演算処理部20に出力されたデジタル画像信号を取り込むことができる。また、各プロセッサ40は、取り込んだデジタル画像信号を、それぞれ対応するSDRAM42の所定領域に画像データとして一旦格納した後、SDRAM42から画像データを読出して、所定のデジタル信号処理を施した後、それぞれ対応するSDRAM42に書き戻す。
【0028】
このときプロセッサ40で実行されるデジタル信号処理には、例えば、CCD16の欠陥画素に対応する画像データを当該欠陥画素の周辺の画素に対応する画像データを用いて補正する欠陥画素補正処理、画像の明るさを補正するγ補正処理、画像を先鋭化にするエッジ強調処理、色のバランス調整を行うゲイン補正処理(所謂、ホワイトバランス補正処理)、及びR(赤)、G(緑)、B(青)の3原色の画像データをY信号(輝度信号)及びC信号(色差信号)に変換するYC変換処理が含まれ、SDRAM42に書き戻されるデータは、YC変換処理後のデータ(YC信号)である。
【0029】
このSDRAM42に書き戻された画像データは、ユーザから撮影記録が指示された場合には、各々対応するプロセッサ40により読み出され、所定の圧縮形式(例えば、JPEG(Joint Photographic Experts Group)形式等)で圧縮する圧縮処理が行われた後、メディアI/F24を介して同一の記録メディア22へ記録される。なお、記録メディア22としては、マイクロドライブ、スマートメディア、PCカート、マイクロドライブ、マルチメディアカード(MMC)、磁気ディスク、光ディスク、光磁気ディスク、メモリスティックなどの種々の形態が可能であり、使用されるメディアに応じた信号処理手段とインターフェースが適用される。
【0030】
なお、以下では、プロセッサ40において画像データに対して実行される処理(デジタル信号処理や圧縮処理)のことを撮影信号処理と総称して説明する。
【0031】
ここで、本実施形態に係わるデジタルカメラ10においては、撮影信号処理の高速化のために、図2に示すように、1回の撮影により得られる1画像(1フレーム)50を3つの領域(担当領域)52に分割し、第1〜第3のプロセッサ40A〜Cに撮影信号処理を分担させて並列処理するようになっている。すなわち、第1〜第3のプロセッサで1画像50分の撮影信号処理を分割処理する。なお、図2では、1画像50が3αライン(α:正の整数)で構成されている場合を示しており、画像をライン方向にαライン毎に均等に3分割した場合を示している。また、図2では、担当領域52の符号末尾に、担当するプロセッサ40A〜Cを表すアルファベット(A/B/C)を付与している。
【0032】
この分割処理のために、各プロセッサ40には、画像データの他に、タイミングジェネレータ32により発生されたタイミング信号もアナログフロントエンド18から供給されるようになっている。
【0033】
詳しくは、前述のアナログフロントエンド18では、タイミングジェネレータ32のタイミング信号に同期して出力された信号に対して、アナログ信号処理及びA/D変換を行って出力するので、デジタル画像信号もタイミングジェネレータ32のタイミング信号に同期してアナログフロントエンド18から出力されることになる。タイミングジェネレータ32のタイミング信号を各プロセッサ40に供給することにより、各プロセッサ40では、このタイミング信号により、画像上におけるアナログフロントエンド18から出力されているデジタル画像信号の位置を把握でき、図2に示すように、各々の担当領域52の撮影信号処理に必要な領域(以下、取込領域)54の画像データを取り込んで、担当領域52の撮影信号処理を行う。なお、図2では、取込領域54の符号末尾に、担当するプロセッサ40A〜Cを表すアルファベット(A/B/C)を付与している。
【0034】
なお、取込領域54については、撮影信号処理に含まれる周辺の多画素を用いた補間処理を考慮して、図2に示すように、担当領域52が隣り合うプロセッサ40間で、画像の分割位置となる両者の担当領域の繋ぎ目Lの近傍が重複するように重複領域56を設けて設定し、第1〜第3のプロセッサ40では、互いに重複領域56を設けながら、画像データを分割して取込むようにするとよい。
【0035】
また、第1〜第3のプロセッサ40A〜Cの各々は、図1に示すようにバス48に接続されており、バス48を介して相互に通信可能となっている。第1〜第3のプロセッサ40A〜Cは、このバス48を介した通信により、各々で処理した画像データを送受信可能であると共に、互いの状況を把握することもできる。
【0036】
第1〜第3のプロセッサ40A〜Cの少なくとも1つ、本実施形態では具体的に第1のプロセッサ40Aは、表示モニタ26及び外部出力I/F30と接続されている。第1のプロセッサ40Aの制御により、撮影した画像を表示モニタ26に表示したり、外部出力I/F30から外部装置に撮影により得られた画像データを出力することができる。なお、外部装置へ出力する画像データの指定は、外部出力I/F30を介して外部装置から入力される。
【0037】
また、表示モニタ26は、撮影モード選択時には、CCD16による連続的な撮像によって得られた動画像(スルー画像)を表示し、ファインダとして使用できるものとして構成されている。なお、撮影画像の表示は、プロセッサ40によるYC変換後の画像データを所定方式(例えば、NTSC方式)の映像信号に変換する表示制御回路(図示省略)を介して表示モニタ26に出力することで行われる。
【0038】
また、第1〜第3のプロセッサ40A〜Cの何れか1つのプロセッサ、本実施形態では具体的に第1のプロセッサ40Aは、他のプロセッサ40の処理を含めた該デジタルカメラ10全体の動作の制御を行うマスタープロセッサとして用いられる。
【0039】
このため、マスタープロセッサとしての第1のプロセッサ40Aは、駆動回路14、タイミングジェネレータ32、及び操作手段28とも接続されている。第1のプロセッサ40Aは、操作手段28の***作に応じて、駆動回路14、タイミングジェネレータ32、及び各プロセッサ40の動作を制御することで、該デジタルカメラ10全体の動作を制御することができる。
【0040】
また、本実施形態に係るデジタルカメラ10においては、動画(スルー画像)表示には、間引き画像を用いるようになっている。すなわち、静止画の撮影記録にはCCD16により得られる画像50全体を用いるが、動画表示については、所定の割合で間引いた縮小画像を用いるようになっている。このために、CCD16として、図3に示す如く信号電荷を掃き出す掃出手段を備えたCCDイメージセンサを用いている。なお、図3は、一般的なインターライン転送型のCCDイメージセンサに行単位で信号電荷を掃き出す掃出手段を設けた例である。
【0041】
図3に示すように、このインターライン転送型のCCD16は、各々入射光に応じた電荷を発生する光電変換セル70が水平方向及び垂直方向に所定ピッチで配置されている。なお、同図において光電変換セル70毎に表記されている‘R’、‘G’、‘B’は、対応する光電変換セル70の受光面上に設けられた色分解フィルタ(図示省略)の対応色を示すものであり、‘R’は赤を、‘G’は緑を、‘B’は青を、各々示している。また、CCD16には、受光部列の間の各々に、各受光部列の各々に対応して垂直転送路74が形成されている。垂直転送路74は、光電変換セル70の各々に対応して設けられた、垂直転送電極Vを備えた垂直転送CCDを含んで構成されている。
【0042】
また、CCD16には、電気的に接続された垂直転送電極Vに所定レベルの電圧が印加されることにより、光電変換セル70で発生された信号電荷を当該光電変換セル70から対応する垂直転送CCDに転送させるトランスファーゲート(転送ゲート)76が各光電変換セル70に対応して設けられている。
【0043】
ここで、垂直転送電極Vは各行毎に電気的に接続されている。また、このCCD16には、垂直転送電極Vに対し、垂直転送路74による電荷転送方向(垂直方向)に沿って7つおきに共通の垂直駆動信号が供給されるように垂直駆動信号用配線78が設けられている。すなわち、CCD16は、垂直転送路74を8相の垂直駆動信号φV1〜φV8によって駆動させるものとして構成されており、垂直駆動信号φV1、φV2、・・・、φV8は、各々、垂直転送電極V1、V2、・・・、V8に印加される。
【0044】
また、CCD16には、各垂直転送路74の電荷転送方向最下流に位置する垂直転送CCDに隣接して、各垂直転送路74から転送された電荷を水平方向に転送する水平転送路82が形成されている。水平転送路82は、対応する垂直転送路74の各々に対応して設けられた、水平転送電極Hを備えた水平転送CCDを含んで構成されている。水平転送電極Hは、水平転送路82による電荷転送方向に沿って2つおきに水平駆動信号が供給されるように構成されている。すなわち、CCD16は、水平転送路82を2相の水平駆動信号φH1、φH2によって駆動させるものとして構成されており、水平転送路82では水平駆動信号φH1、φH2が各々水平転送電極H1L、H2Lに印加される。CCD16では、垂直転送路から転送されてきた電荷を水平転送路82において水平駆動信号に同期して所定方向に転送して、当該所定方向の端部から画像信号として出力する。以上が、一般的なインターライン転送型のCCDイメージセンサの構成である。
【0045】
図3に示すCCD16は、上記のような一般的なインターライン転送型のCCDイメージセンサに対して、リセット信号φRとして、所定レベルの電圧を印加することにより、水平転送路82に含まれる水平転送CCDに蓄積された電荷を掃き出す水平リセットドレイン88を更に設けて構成されている。すなわち、不要部分の信号電荷については、垂直転送路74から水平転送路82に転送され、水平転送CCDに蓄積されている時点で、水平リセットドレイン88にリセット信号φR、すなわち所定レベルの電圧を印加して行単位で掃き出すことがっできる。
【0046】
なお、CCD16を駆動するためのタイミング信号である垂直駆動信号φV1〜φV8、水平駆動信号φH1、φH2、及びリセット信号φRは、タイミングジェネレータ32から供給される。
【0047】
なお、本実施の形態では、説明の簡便化のために、CCD16を行単位で信号電荷を掃き出し可能に構成した場合(図3参照)を説明するが、CCD16は、列単位で信号電荷を掃き出し可能に構成してもよいし、行・列の両単位で信号電荷を掃き出し可能に構成してもよい。
【0048】
次に、本実施の形態の作用を説明する。
【0049】
本実施形態に係わるデジタルカメラ10においては、撮影者による操作手段28の電源スイッチの操作により、電源がONされると起動される。撮影者は、該デジタルカメラ10で撮影を行う場合には、操作手段28のモード切替スイッチを操作して撮影モードを選択する。撮影者により撮影モードが選択された場合は、デジタルカメラ10では、図4に示す如く動作する。
【0050】
すなわち、デジタルカメラ10は、撮影モードが選択されると、まず図4のステップ100において、マスタープロセッサとしての第1のプロセッサ40Aの制御により、タイミングジェネレータ32を駆動し、光学ユニット12を介したCCD16の連続的な撮影を開始し、次のステップ102で、各撮影毎に、CCD16からアナログ画像信号を間引いて読み出すようになっている。
【0051】
詳しくは、光学ユニット12によりCCD16の光電変換セル70側表面に被写体の光学像が結像されると、各光電変換セル70では光電変換が行われ、光の強さと時間に応じて信号電荷が蓄積される。これによって電荷像ができる。
【0052】
ここで、垂直駆動信号φV1〜φV8が所定レベルの電圧とされて対応するトランスファーゲート76がオンされることにより、全ての光電変換セル70によって蓄積された信号電荷が一斉に対応する垂直転送CCDに転送される。垂直転送CCDに読み出された信号電荷は、各垂直転送CCDの垂直転送電極Vに印加された垂直駆動信号に同期して、水平転送路側に順次転送される。以上の動作により、水平転送路82の垂直転送路74に対応する水平転送CCDには、1行毎の信号電荷が次々に転送されることになる。
【0053】
そして、水平転送路82にある行の信号電荷が転送されてきた場合は、水平転送路82の水平転送電極Hへの水平駆動信号φH1、φH2の供給を行い、転送されてきた当該行の信号電荷を出力する。また、水平転送路82に別のある行の信号電荷が転送されてきた場合には、水平転送路82の水平転送電極Hへの水平駆動信号φH1、φH2の供給を停止し、水平リセットドレイン88に所定レベルの電圧を印加することにより、転送されてきた当該行の信号電荷を掃き出す。
【0054】
このような行単位の信号電荷の出力及び掃き出しを、例えば信号電荷を1行出力したら2行続けて掃き出すなど、所定周期で繰り返すことで、CCD16から垂直方向に間引いて画像信号を読み出すことになり、全ての画像信号を読み出すのに比べて大幅に読み出し時間を短縮可能である。また、この間引き読出しにより、アナログフロントエンド18には、垂直方向に縮小した画像を表すアナログ画像信号が入力されることになる。アナログフロントエンド18では、入力されたアナログ画像信号に対して、相関2重サンプリング処理、及びRGB各色毎の感度調整といった所定のアナログ信号処理を施した後A/D変換し、デジタル画像信号を出力する。
【0055】
次のステップ104では、第1のプロセッサ40Aにより、アナログフロントエンド18から出力されたデジタル画像信号を画像データとして取り込んで、撮影信号処理を行う。
【0056】
なお、本実施の形態では、CCD16が行単位で信号電荷を掃き出す掃出手段を備え、CCD16からの読出し時に垂直方向についてのみ間引きを行うようにしたため、アナログフロントエンド18から出力される画像信号が表す画像は、本来の画像の縦横比と異なる。このため、第1のプロセッサ40Aにより、取り込んだ画像データに対して水平方向に間引くデジタル画像処理を施してもよい。なお、行・列の両単位で信号電荷を掃き出し可能にCCD16を構成した場合には、CCD16から垂直・水平の両方向に間引いて画像信号を読み出せばよい。
【0057】
また、或いは、第1のプロセッサ40Aによりデジタル画像信号を所定画素毎に間引いて取込み、画像データの取り込みと共に水平方向への間引きも行われるようにしてもよい。なお、この間引き取込は、タイミングジェネレータ32のタイミング信号を用いることで容易に可能である。詳しくは、前述のアナログフロントエンド18では、タイミングジェネレータ32のタイミング信号に同期して出力された信号に対して、アナログ信号処理及びA/D変換を行って出力するので、デジタル画像信号もタイミングジェネレータ32のタイミング信号に同期してアナログフロントエンド18から出力されることになる。タイミングジェネレータ32のタイミング信号は、各プロセッサ40にも供給されているので、第1のプロセッサ40Aでは、このタイミング信号により、画像上におけるアナログフロントエンド18から出力されているデジタル画像信号の位置を把握し、必要な画素に相当するデジタル画像信号を選択して取り込むことができる。
【0058】
そして、次のステップ106では、第1のプロセッサ40Aにより、撮影信号処理後の画像データを表示制御回路(図示省略)を介して表示モニタ26へ出力することで、動画表示する(スルー画像表示)。これにより、CCD16による連続的な撮影により得られた画像を動画表示する際には、CCD16から画像信号を間引いて読出して、本来の画像を縮小した縮小画像が動画として表示されることになる。その後、撮影記録指示が入力されるまでは、次のステップ108からステップ102に戻り、略リアルタイムで当該デジタルカメラ10が捕らえている被写体像がスルー画像として動画表示されることになる。
【0059】
撮影者は、表示モニタ26に表示されたスルー画像により被写体像を確認しながら撮影画角を調整して、操作手段28のレリーズスイッチを操作する。詳しくは、レリーズスイッチを半押して、デジタルカメラ10に合焦制御(第1のプロセッサ40Aの制御により駆動回路14を駆動し、コントラスト最大となる位置にフォーカスレンズを移動する)を実行させ、その後、レリーズボタンが全押しして、静止画の撮影記録指示を入力する。
【0060】
デジタルカメラ10では、この操作手段28のレリーズスイッチの***作により、撮影記録指示が入力されると、次のステップ108からステップ110に進む。ステップ110では、第1のプロセッサ40の制御によりタイミングジェネレータ32が駆動されて、CCD16から撮影された画像を表す全画素の画像信号を読み出す。すなわち、静止画撮影記録時は、水平リセットドレイン88を駆動せずに、全ての行の信号電荷がCCD16から順次出力されることになる。
【0061】
これにより、タイミングジェネレータ32のタイミング信号に同期して、撮影された被写体像を表すアナログ画像信号がCCD16から順次出力されてアナログフロントエンド18に入力される。そして、アナログフロントエンド18により、CCD16から入力されたアナログ画像信号に対して、相関2重サンプリング処理、及びRGB各色毎の感度調整といった所定のアナログ信号処理が施された後A/D変換されて、デジタル画像信号が出力される。
【0062】
次のステップ112では、第1〜第3のプロセッサ40A〜Cにより、アナログフロントエンド18から出力される1画像分のデジタル画像信号を、図2で示したように互いに重複領域56を設けながら分割して取込み、各々の担当領域52A〜Cについての撮影信号処理を行う。なお、第1〜第3のプロセッサ40A〜Cでは、タイミングジェネレータ32からのタイミング信号を用いることで、各々の取込領域54のデジタル画像信号を選択して取込むことができ、容易に上記の分割取込を実行できる。
【0063】
そして、次のステップ114では、全てのプロセッサ40での撮影信号処理が終了するまで待機する。なお、撮影信号処理の終了判断については、本実施の形態では、各プロセッサ40が圧縮処理が終了したものから処理終了を互いに通知し合い、この通知により、マスタープロセッサとしての第1のプロセッサ40Aにおいて、全てのプロセッサ40の撮影信号処理が終了したか否かを判断するようになっている。
【0064】
全てのプロセッサ40での撮影信号処理が終了したら、ステップ114からステップ116に進み、各プロセッサ40により、撮影信号処理後の各々の担当領域52の画像データを、メディアI/F24を介して記録メディア22に順に記録する。すなわち、第1〜第3のプロセッサ40A〜Cにより分割処理した1画像分の画像データが同一の記録メディア22に記録されることになる。このとき、第1〜第3のプロセッサ40A〜Cにより分割処理した各々の担当領域52の画像データは、1つのファイルとして記録メディア22に記録してもよいし、それぞれ別々のファイルとして記録メディア22に記録してもよい。
【0065】
上記をまとめると、第1の実施の形態では、静止画撮影記録時には、CCD16から全画素の画像信号を読み出し、複数のプロセッサ40により1画像分の撮影信号処理を分担して並列処理する(分割処理)するが、動画表示の際には、CCD16から画像信号を間引いて読出し、1つのプロセッサ40(上記では具体的には第1のプロセッサ40Aとした)により撮影信号処理を行なって、CCD16の撮影により得られる本来の画像の縮小画像をスルー画像として動画表示させるようになっている。
【0066】
すなわち、静止画撮影記録時は、複数のプロセッサ40で1画像分の撮影信号処理を分割処理するので、たとえ1000万画素レベルのデジタルカメラ10であっても、撮影間隔の短縮化を図ることができる。また、CCD16から画像信号を間引いて読み出すことで高速読出しが可能となり、フレームレートの向上、すなわち動画表示機能を実現できると共に、動画表示に用いる縮小画像の撮影信号処理を1つのプロセッサ40(具体的には第1のプロセッサ40A)だけで行い、他のプロセッサ(具体的には第2、第3のプロセッサ40B、40C)は駆動されないので、省電力化も実現できる。また、縮小画像を動画表示するようにしたことで、デジタルカメラ10が捕らえている被写体像の全体の様子を撮影者が把握することができるという効果もある。
【0067】
[第2の実施の形態]
第2の実施の形態では、図4に示すように、動画(スルー画像)表示に、例えば焦点を合わせたい画像領域など、画像50の予め定められた一部の領域(以下、動画表示用領域)58のみを用いる場合を説明する。なお、デジタルカメラの構成については、第1の実施の形態と同様でよいため、ここでは説明を省略する。
【0068】
第2の実施の形態に係るデジタルカメラ10は、撮影者による操作手段28の電源スイッチの操作により、電源がONされて起動され、操作手段28のモード切替スイッチの操作により撮影モードが選択された場合は、図6に示す如く動作するようになっている。なお、図6では、図4と同様の処理については、同一のステップ番号を付与しており、以下では詳細な説明を省略する。
【0069】
すなわち、デジタルカメラ10は、撮影モードが選択され、図6のステップ100でCCD16による連続撮影を開始すると、次のステップ102Aにおいて、CCD16から動画表示に必要な領域に相当する画像信号のみ読み出す。
【0070】
詳しくは、第1の実施と同様に、各光電変換セル70に蓄積された信号電荷を垂直転送CCDに転送し、垂直転送CCDに読み出された信号電荷を垂直同期信号と同期させて水平転送路74側に順次転送することで、水平転送路82に1行毎の信号電荷を次々に転送する。
【0071】
そして、水平転送路82に、動画表示用領域58を含まない行の信号電荷が転送されてきた場合には、水平転送路82の水平転送電極Hへの水平駆動信号φH1、φH2の供給を停止し、水平リセットドレイン88に所定レベルの電圧を印加することにより、転送されてきた当該行の信号電荷を掃き出す。
【0072】
これに対し、水平転送路82に、動画表示用領域58を含む行の信号電荷が転送されてきた場合には、水平転送路82の水平転送電極Hへの水平駆動信号φH1、φH2の供給を行い、転送されてきた当該行の信号電荷を1画素毎に順次出力する。
【0073】
これにより、動画表示用領域58を含まない行については水平リセットドレイン88により掃き出して、CCD16からは、結果として、動画表示用領域58を含む行の画像信号のみを読み出すことになるので、全ての画像信号を読み出すのに比べて大幅に読み出し時間を短縮可能である。具体的に、図5の例では、CCD16からは、画像50の中央部の動画表示用領域58を含む行で構成された領域60に相当する画像信号のみが読み出され、領域60の上下に位置するCCD16から58を含まない行で構成された領域62については、掃き出されることになる。
【0074】
なお、水平転送路82に、動画表示用領域58を含む行の信号電荷が転送されてきた場合に、水平転送路82の水平転送電極Hへの水平駆動信号φH1、φH2の供給を行い、当該動画表示用領域58を含む行の信号電荷を1画素毎に順次出力していき、動画表示用領域58内に対応する信号電荷が出力された時点で、水平転送電極Hへの水平駆動信号φH1、φH2の供給を停止し、水平リセットドレイン88に所定レベルの電圧を印加することにより、その時点で各水平転送CCDに残存していた信号電荷を掃き出すようにするとよい。これにより、動画表示用領域58を含む行で構成された領域60のうち、動画表示用領域58よりも、1行分の画像信号を読み出す際の読出し方向終端側の領域60Aについても、水平リセットドレイン88により掃き出すことができ、読出時間を更に短縮することがでいる。
【0075】
また、動画表示用領域58を含む行で構成された領域60内について、第1の実施の形態で説明したように間引き読出しを行うようにしてもよい。
【0076】
また、行・列の両単位で信号電荷を掃き出し可能にCCD16を構成した場合には、CCD16に不要な行と列の信号電荷は掃き出させて、動画表示用領域58の画像信号のみをCCD16から読み出せばよい。
【0077】
このようにしてCCD16から読み出されたアナログ画像信号は、第1の実施の形態と同様に、アナログフロントエンド18に入力され、所定の所定のアナログ信号処理が施され、A/D変換されて、当該アナログフロントエンド18から出力される。
【0078】
図6の次のステップ104Aでは、第1のプロセッサ40Aにより、アナログフロントエンド18から出力された行単位のデジタル画像信号から動画表示用領域58に相当する画像信号のみを選択して、画像データとして取り込み、動画表示用領域58の撮影信号処理を行う。この選択取込は、タイミングジェネレータ32からのタイミング信号を用いることで容易に実現可能である。なお、選択取込に代えて、第1のプロセッサ40Aにより画像データを取り込んでから、動画表示用領域58を切り出すデジタル画像処理を施してもよい。
【0079】
そして、次のステップ106Aでは、第1のプロセッサ40Aにより、撮影信号処理後の画像データを表示制御回路(図示省略)を介して表示モニタ26へ出力することで、動画表示する(スルー画像表示)。これにより、CCD16による連続的な撮影により得られた画像を動画表示する際には、画像50の一部である動画表示用領域58のみが動画として表示されることになる。その後は、撮影記録指示が入力されるまでは、次のステップ108からステップ102Aに戻り、略リアルタイムで当該デジタルカメラ10が捕らえている被写体像のうち、動画表示用領域58内だけがスルー画像として動画表示されることになり、撮影記録指示が入力されたらステップ108からステップ110に進み、以降は第1の実施の形態と同様の動作となる。
【0080】
上記をまとめると、第2の実施の形態では、静止画撮影記録時には、CCD16から全画素の画像信号を読み出し、複数のプロセッサ40により1画像分の撮影信号処理を分担して並列処理する(分割処理)するが、動画表示の際には、CCD16から予め定められた動画表示用領域58外の行により構成された領域62に相当する画像信号については掃き出して、1つのプロセッサ40(上記では具体的には第1のプロセッサ40Aとした)により動画表示用領域58についてのみ撮影信号処理を行なって、CCD16の撮影により得られる本来の画像の一部分のみをスルー画像として動画表示表示させるようになっている。
【0081】
すなわち、静止画撮影記録時は、複数のプロセッサ40で1画像分の撮影信号処理を分割処理するので、たとえ1000万画素レベルのデジタルカメラ10であっても、撮影間隔の短縮化を図ることができる。また、CCD16から動画表示に不要な領域62に相当する画像信号を掃き出して、動画表示に必要な領域60のみを読み出すことで高速読出しが可能となり、フレームレートの向上、すなわち動画表示機能を実現できると共に、動画表示する動画表示用領域58の撮影信号処理を1つのプロセッサ40(具体的には第1のプロセッサ40A)だけで行い、他のプロセッサ(具体的には第2、第3のプロセッサ40B、40C)は駆動されないので、省電力化も実現できる。また、動画表示用領域58を焦点を合わせたい画像領域とすることで、高精度に焦点合わせを実施することができる。
【0082】
なお、上記では、説明の簡便化のために、CCD16として、画像の圧縮処理方向と同一の方向に画像信号を読み出すタイプ(水平読出タイプと称す)のCCDセンサを用いる場合を前提に説明したが、本発明は、これに限定されるものではなく、より高速に画像信号が読み出すために注目されている圧縮方向と読出し方向が直交するタイプ(垂直読出タイプと称す)のCCDセンサを用いてもよい。垂直読出タイプのCCDセンサを用いる場合は、画像データの各画素の配置を縦横並び替えて、90度回転させる処理が必要となるが、複数のプロセッサ40を用いて分割処理することにより、この回転処理も高速に処理することができ、撮影信号処理に回転処理が追加されたとしても、垂直読出タイプのCCDを用いたことによるメリットを享受することができる。言いかえると、複数のプロセッサ40を用いて画像データを分割処理することにより、撮影信号処理として、従来技術では処理速度の点から断念せざる得なかった処理を実行することができる。
【0083】
【発明の効果】
上記に示したように、本発明は、デジタルカメラにおいて、高画素化によっても動画表示機能を実現でき、且つ撮影間隔の短縮及び省電力化を図ることができるという優れた効果を有する。
【図面の簡単な説明】
【図1】 第1の実施の形態に係るデジタルカメラの電気系の構成を示すブロック図である。
【図2】 第1〜第3のプロセッサにより1画像を分割処理するために定めた各々の担当領域と取込領域の関係を示す概念図である。
【図3】 不要部分の信号電荷を掃き出す掃出手段を備えたCCDイメージセンサの構成一例を示す図である。
【図4】 第1の実施の形態に係るデジタルカメラの撮影モード選択時の動作を示すフローチャートである。
【図5】 第2の実施の形態に係るデジタルカメラにおいて動画表示に用いる画像領域を説明するための概念図である。
【図6】 第2の実施の形態に係るデジタルカメラの撮影モード選択時の動作を示すフローチャートである。
【符号の説明】
10 デジタルカメラ
12 光学ユニット
14 駆動回路
16 CCDセンサ
18 アナログフロントエンド
20 デジタル演算処理部
22 記録メディア
24 メディアI/F
26 表示モニタ
28 操作手段
32 タイミングジェネレータ
34 アナログ処理回路
36 A/Dコンバータ
40 プロセッサ
50 画像
52 担当領域
58 動画表示用領域
88 水平リセットドレイン

Claims (3)

  1. 被写体像に対応する光を受光して、受光量に応じた電荷を画素毎に蓄積して画像信号を生成すると共に、蓄積した電荷を掃き出す掃出手段を備えた撮像素子と、
    前記撮像素子から前記画像信号を読み出す読出手段と、
    前記読出手段により読み出した前記画像信号に基づく画像データに対して所定の撮影信号処理を施すと共に、1被写体像分の前記撮影信号処理を分担して並列処理する複数の撮影信号処理手段と、
    前記複数の撮影信号処理手段により並列処理された前記画像データを記録メディアに記録する記録手段と、
    前記被写体像を表示するための表示手段と、を備えたデジタルカメラであって、
    前記表示手段に前記被写体像を動画表示する場合は、前記読出手段は、前記掃出手段を動作させて前記撮像素子から前記画像信号を所定周期で間引いて読出し、当該読出し結果の画像データに対する前記撮影信号処理を前記複数の撮影信号処理手段の何れか1つのみが担当する、
    ことを特徴とするデジタルカメラ。
  2. 被写体像に対応する光を受光して、受光量に応じた電荷を画素毎に蓄積して画像信号を生成すると共に、蓄積した電荷を掃き出す掃出手段を備えた撮像素子と、
    前記撮像素子から前記画像信号を読み出す読出手段と、
    前記読出手段により読み出した前記画像信号に基づく画像データに対して所定の撮影信号処理を施すと共に、1被写体像分の前記撮影信号処理を分担して並列処理する複数の撮影信号処理手段と、
    前記複数の撮影信号処理手段により並列処理された前記画像データを記録メディアに記録する記録手段と、
    前記被写体像を表示するための表示手段と、を備えたデジタルカメラであって、
    前記表示手段に前記被写体像を動画表示する場合は、前記読出手段は、前記掃出手段を動作させて、前記撮像素子から前記被写体像の一部の領域の画像信号を読出し、当該読出し結果の画像データに対する前記撮影信号処理を前記複数の撮影信号処理手段の何れか1つのみが担当する、
    ことを特徴とするデジタルカメラ。
  3. 前記被写体像の一部分が、前記被写体像の焦点を合わせるための画像領域である、ことを特徴とする請求項2に記載のデジタルカメラ。
JP2003080857A 2003-03-24 2003-03-24 デジタルカメラ Expired - Fee Related JP4015964B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003080857A JP4015964B2 (ja) 2003-03-24 2003-03-24 デジタルカメラ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003080857A JP4015964B2 (ja) 2003-03-24 2003-03-24 デジタルカメラ

Publications (2)

Publication Number Publication Date
JP2004289636A JP2004289636A (ja) 2004-10-14
JP4015964B2 true JP4015964B2 (ja) 2007-11-28

Family

ID=33294604

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003080857A Expired - Fee Related JP4015964B2 (ja) 2003-03-24 2003-03-24 デジタルカメラ

Country Status (1)

Country Link
JP (1) JP4015964B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4710694B2 (ja) * 2006-04-04 2011-06-29 セイコーエプソン株式会社 トリミング装置およびその方法並びにコンピュータプログラム
JP5251684B2 (ja) 2009-04-01 2013-07-31 富士通セミコンダクター株式会社 画像処理装置
JP2011029879A (ja) * 2009-07-24 2011-02-10 Ricoh Co Ltd 撮像装置および撮像方法

Also Published As

Publication number Publication date
JP2004289636A (ja) 2004-10-14

Similar Documents

Publication Publication Date Title
JP3592147B2 (ja) 固体撮像装置
JP4738907B2 (ja) 固体撮像素子および固体撮像装置
US7365777B2 (en) Digital camera
JP2003299112A (ja) デジタルカメラ
JP3893424B2 (ja) 固体撮像装置および信号読出し方法
JP4616429B2 (ja) 画像処理装置
JP2001275028A (ja) デジタルカメラ
JP4317117B2 (ja) 固体撮像装置および撮像方法
JP3967853B2 (ja) 固体撮像装置および信号読出し方法
JP2004320119A (ja) 画像記録装置
JP4015964B2 (ja) デジタルカメラ
JP2009302946A (ja) 固体撮像素子,固体撮像素子の駆動方法及び撮像装置
JP4199381B2 (ja) 固体撮像装置および固体撮像素子駆動方法
JP4161309B2 (ja) 固体撮像素子および撮像装置
JP4200485B2 (ja) 撮像装置
JP3967500B2 (ja) 固体撮像装置および信号読出し方法
JP2000224599A (ja) 固体撮像装置および信号読出し方法
JP5550333B2 (ja) 撮像装置、現像方法及びプログラム
JP4069000B2 (ja) デジタルカメラ
JP4630200B2 (ja) 固体撮像素子および撮像装置
JP2000224598A (ja) 固体撮像装置および信号読出し方法
JP2004222178A (ja) 撮像装置
JP3999417B2 (ja) 固体撮像装置および信号読出し方法
JP2005012403A (ja) デジタルカメラ及び画像情報取得方法
JP2000286408A (ja) 固体撮像装置および信号読出し方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050303

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070911

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070914

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100921

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100921

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110921

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120921

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130921

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees