JP3700187B2 - Timing generation circuit, solid-state imaging device using this circuit, video camera equipped with this device, and exposure time control method - Google Patents

Timing generation circuit, solid-state imaging device using this circuit, video camera equipped with this device, and exposure time control method Download PDF

Info

Publication number
JP3700187B2
JP3700187B2 JP24515494A JP24515494A JP3700187B2 JP 3700187 B2 JP3700187 B2 JP 3700187B2 JP 24515494 A JP24515494 A JP 24515494A JP 24515494 A JP24515494 A JP 24515494A JP 3700187 B2 JP3700187 B2 JP 3700187B2
Authority
JP
Japan
Prior art keywords
data
shutter speed
limiter
shutter
speed data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP24515494A
Other languages
Japanese (ja)
Other versions
JPH08111820A (en
Inventor
浩史 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP24515494A priority Critical patent/JP3700187B2/en
Publication of JPH08111820A publication Critical patent/JPH08111820A/en
Application granted granted Critical
Publication of JP3700187B2 publication Critical patent/JP3700187B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)

Description

【0001】
【産業上の利用分野】
本発明は、電子シャッタ機能を有する固体撮像素子を駆動するためのタイミング発生回路、この回路を用いた固体撮像装置及びこの装置を搭載したビデオカメラ、並びに露光時間制御方法に関し、特に固体撮像素子の出力信号レベルに基づいてシャッタパルスを発生するタイミング発生回路、この回路を用いた固体撮像装置及びこの装置を搭載したビデオカメラ、並びに露光時間制御方法に関する。
【0002】
【従来の技術】
固体撮像素子には、センサ部における信号電荷の蓄積時間(露光時間)の制御が可能ないわゆる電子シャッタ機能を有するものがある。その基本原理は、センサ部において信号電荷(光電荷)の読み出しを行う直前の所望期間だけ電荷蓄積を行い、それ以前の信号電荷を別の場所(例えば、基板)に掃き出してしまうというものである。そのタイミングチャートを図4に示す。垂直同期信号VDに同期したタイミングで信号電荷をセンサ部から垂直転送レジスタに読み出すが、その読み出しタイミングから遡ったある時期(露光タイミング)に、それ以前にセンサ部に蓄積された信号電荷を掃き出すパルスを与える。この露光タイミングから読み出しタイミングまでの期間が露光期間(露光時間)となる。
【0003】
ところで、固体撮像装置において、その機能の一つとして、CCD固体撮像素子の電子シャッタ機能を利用して露光制御を行ういわゆる電子アイリスシステムが知られている。この電子アイリスシステムでは、被写体の明るさに応じてシャッタスピード(露光時間)が変化し、明るい場合にはシャッタスピードが速くなり、反対に暗い場合にはシャッタスピードが遅くなるように制御がかかる。このシャッタスピードの制御は、センサ部に蓄積された信号電荷を例えば基板に掃き出すために基板に印加するパルス(以下、シャッタパルスと称する)の発生タイミングによって行われる。
【0004】
このシャッタパルスを発生するタイミング発生回路の従来例を図5に示す。このタイミング発生回路は、基本的に、CCD固体撮像素子の出力信号を時間的に積分することによって得られる検波電圧に基づくタイミングでシャッタパルスを発生するものである。図5において、CCD出力に基づく検波電圧は、互いに異なる基準電圧E1,E2(E1>E2)を有する2つのコンパレータ51,52の比較入力となる。コンパレータ51,52の各比較出力は、デコーダ53に供給される。
【0005】
デコーダ53は、コンパレータ51,52の各比較出力に基づいてシャッタスピードのアップ/ダウン/ホールドを指定するデータを加算/減算器54に与える。加算/減算器54は、デコーダ53からのデータに応じてシャッタスピードデータを1ステップアップ、ダウンまたはホールドする。このシャッタスピードデータは、フリップフロップ(F.F.)55にロードされる。最終段のシャッタパルス生成回路56は、フリップフロップ55に保持されたシャッタスピードデータに対応したタイミングでシャッタパルスを発生する。
【0006】
次に、上記構成の従来のタイミング発生回路の回路動作について説明する。CCD固体撮像素子の出力信号を時間的に積分して得られる検波電圧は、コンパレータ51,52で2つの基準電圧E1,E2と比較される。この比較結果を受けるデコーダ53は、検波電圧が2つの基準電圧E1,E2の間にあるときはシャッタスピードをホールド、上側の基準電圧E1よりも高いときはアップ、下側の基準電圧E2よりも低いときはダウンさせるようなデータを加算/減算器54に対して出力する。
【0007】
加算/減算器54は、デコーダ53から受けたデータに応じて現状のシャッタスピードデータに±0/+1/−1の演算を行う。この演算によって更新された新たなシャッタスピードデータは、フリップフロップ55でラッチされる。シャッタパルス生成回路56は、そのシャッタスピードデータに応じたシャッタパルスを発生し、CCD固体撮像素子の露光時間を制御する。この一連の動作は、通常ある周期毎に行われ、検波電圧が2つの基準電圧E1,E2の間に入るまで1ステップずつ続けられる。
【0008】
シャッタスピードデータによって選択されるシャッタスピードは、図6(a)に示すように何通りかが準備されている。そして、被写体が明るい場合には、図6(b)に示すように高速側のシャッタスピードが、被写体が暗い場合には、図6(c)に示すように低速側のシャッタスピードがそれぞれ最終的に選択されることになる。
【0009】
【発明が解決しようとする課題】
しかしながら、上記構成の従来のタイミング発生回路においては、低照度の状態では無条件に最低速のシャッタスピードが、即ちNTSC/EIAでは1/60秒、PAL/CCIRでは1/50秒が選択されることになるため、仮にEIAの固体撮像装置を発光周期が1/100Hzの蛍光燈の下で動作させた場合には、図7に示すように、20Hzのフリッカが発生することになる。すなわち、蛍光燈の発光周期は10msec.であり、60Hzの露光動作の1周期は16.7msec.である。これらの最小公倍数は50msec.となり、3回の露光動作で両者の関係は元に戻る。したがって、露光期間の種類としては3種類となり、これらの間でCCD固体撮像素子の出力信号レベルが異なることが、20Hzのフリッカ発生の原因となっている。
【0010】
このフリッカを抑圧するために、照度検出器を有し、この照度検出器にて被写体を照明する光源の特性を検出し、この検出信号に基づいてCCD固体撮像素子のシャッタスピードを制御する構成のビデオカメラが提案されている(特開平3−16471号公報参照)。しかしながら、このビデオカメラでは、被写体を照明する光源の特性を検出する専用の照度検出器を設けなければならなく、しかもその信号処理のための回路も必要となることから、構成が複雑化するとともに、コスト高となる問題があった。
【0011】
本発明は、上記課題に鑑みてなされたものであり、その目的とするところは、電子アイリス動作を行いながら、外部回路の追加なしに低コストにて低照度撮像状態での蛍光燈フリッカの抑圧を可能としたタイミング発生回路、この回路を用いた固体撮像装置及びこの装置を搭載したビデオカメラ、並びに露光時間制御方法を提供することにある。
【0012】
【課題を解決するための手段】
本発明によるタイミング発生回路は、電子シャッタ機能を有する固体撮像素子を駆動するために、固体撮像素子の出力信号レベルに基づいてシャッタパルスを発生するタイミング発生回路であって、固体撮像素子の出力に基づく検波電圧が入力され、当該検波電圧を互いに異なる第1 , 第2の基準電圧と比較する2つのコンパレータと、これら2つのコンパレータの各比較出力に基づいてシャッタスピードデータを設定するシャッタスピードデータ設定手段と、室内光源の発光周波数に応じて予め設定されたリミッタデータを発生するリミッタデータ発生手段と、シャッタスピードデータとリミッタデータとを比較し、シャッタスピードデータがリミッタデータよりも大なるときシャッタスピードデータを、シャッタスピードデータがリミッタデータ以下のときリミッタデータをそれぞれ選択するデータ選択手段と、このデータ選択手段にて選択されたシャッタスピードデータ又はリミッタデータに対応したシャッタパルスを生成するシャッタパルス生成手段とを備えた構成となっている。
【0013】
【作用】
上記構成のタイミング発生回路において、通常動作時には、固体撮像素子の出力信号を時間的に積分して得られる検波電圧が、2つのコンパレータで第1,第2の基準電圧と比較され、その比較結果に基づいてシャッタスピードデータが増減される。これにより、検波電圧の方が高い場合にはシャッタスピードが速くなるように、反対に検波電圧の方が低い場合にはシャッタスピードが遅くなるように、シャッタパルスのタイミング制御が行われ、固体撮像素子の露光時間がコントロールされる。一方、リミッタモード指定時には、シャッタスピードデータがリミッタデータと比較され、シャッタスピードデータがリミッタデータ以下となった場合はリミッタデータが選択される。このリミッタデータは、低速側のシャッタスピードを規制するものであることから、低照度撮像時には、このリミッタデータに基づくシャッタスピードが最低速のシャッタスピードとして設定される。
【0014】
【実施例】
以下、本発明の実施例について図面を参照しつつ詳細に説明する。
【0015】
図1は、例えばインターライン転送方式のCCD固体撮像素子に適用された本発明の一実施例を示す構成図である。図1において、行方向(垂直方向)及び列方向(水平方向)にマトリクス状に配列されて入射光量に応じた信号電荷を蓄積する複数個のセンサ部(光電変換部)11と、これらセンサ部11の垂直列ごとに配列されて各センサ部11から読み出された信号電荷を垂直転送する複数本の垂直転送レジスタ12とによって撮像領域13が構成されている。
【0016】
この撮像領域13において、センサ部11は例えばPN接合のフォトダイオードからなり、垂直転送レジスタ12はCCDによって構成されている。センサ部11に蓄積された信号電荷は、図示せぬ読出しゲートに読出しパルスXSGが印加されることにより垂直転送レジスタ12に読み出される。垂直転送レジスタ12は、例えば4相の垂直転送クロックφV1〜φV4によって転送駆動される。垂直転送レジスタ12に読み出された信号電荷は、水平ブランキング期間の一部にて1走査線に相当する部分ずつ順に垂直方向に転送される。
【0017】
撮像領域13の図面上の下側には、複数本の垂直転送レジスタ12から1走査線に相当する信号電荷が順次転送されるCCDからなる水平転送レジスタ14が配されている。この水平転送レジスタ14は、2相の水平転送クロックφH1,φH2によって転送駆動される。これにより、1ライン分の信号電荷は、水平ブランキング期間後の水平走査期間において順次水平方向に転送される。水平転送レジスタ14の端部には例えばフローティング・ディフュージョン構成の電荷検出部15が配されており、水平転送された信号電荷はこの電荷検出部15で順次電圧信号に変換される。そして、この電圧信号は出力アンプ16において増幅された後、被写体からの光の入射量に応じたCCD出力として導出される。
【0018】
以上により、インターライン転送方式のCCD固体撮像素子10が構成されている。このCCD固体撮像素子10は、基板にシャッタパルスを印加し、各センサ部11に蓄積された信号電荷を基板に掃き出させることによってセンサ部11での信号電荷の蓄積時間(露光時間)を制御する電子シャッタ機能を有している。すなわち、通常の動作時には、一定の設定電圧(基板電圧)で基板をバイアスしておくことで、センサ部11に信号電荷が蓄積されるのに対し、電子シャッタ時には、基板電圧にさらにシャッタパルスを加えることにより、基板側のバリアが崩れ、センサ部11に蓄積された信号電荷が基板へ掃き出されるのである。
【0019】
このシャッタパルスは、タイミング発生回路20において、CCD固体撮像素子11の出力信号を時間的に積分することによって得られる検波電圧に応じたタイミングで発生される。このタイミング発生回路20において、CCD出力に基づく検波電圧は、互いに異なる基準電圧E1,E2(E1>E2)を有する2つのコンパレータ21,22の比較入力となる。コンパレータ21,22の各比較出力は、デコーダ23に供給される。
【0020】
デコーダ23は、コンパレータ21,22の各比較出力に基づいてシャッタスピードのアップ/ダウン/ホールドを指定するデータを加算/減算器24に与える。加算/減算器24は、デコーダ23からのデータに応じてシャッタスピードデータを1ステップアップ、ダウンまたはホールドする。以上、デコーダ23及び加算/減算器24が、CCD固体撮像素子10の出力信号レベルである検波電圧に基づいてシャッタスピードデータを設定するシャッタスピードデータ設定手段を構成している。
【0021】
このシャッタスピードデータは、セレクタ25の一方の入力となる。セレクタ25の他方の入力としては、リミッタデータ発生回路26で発生されるリミッタデータが与えられる。リミッタデータ発生回路26は、シャッタスピードの低速側を規制するリミッタデータを発生する。このリミッタデータは、室内光源(例えば、蛍光燈)の発光周波数に対応して予め設定されるデータであり、例えば、NTSC及びEIAの固体撮像装置で100HZ の蛍光燈下で撮像する場合には1/100秒に相当するデータ、PAL及びCCIRの固体撮像装置で120HZ の蛍光燈下で撮像する場合には1/120秒に相当するデータがそれぞれ最低速のシャッタスピードデータとして設定される。
【0022】
セレクタ25は、ユーザによるリミッタモードスイッチ(図示せず)の操作によってリミッタモードが指定されると、このリミッタモード指定時には加算/減算器24からのシャッタスピードデータDとリミッタデータ発生回路26からのリミッタデータLとを比較し、D>LのときはシャッタスピードデータDを選択し、D≦LのときはリミッタデータLをそれぞれ選択し、また通常動作モード時には常時シャッタスピードデータDを選択する。セレクタ25で選択されたシャッタスピードデータD又はリミッタデータLは、フリップフロップ(F.F.)27にロードされる。最終段のシャッタパルス生成回路28は、フリップフロップ27に保持されたシャッタスピードデータD又はリミッタデータLに対応したタイミングでシャッタパルスを発生する。
【0023】
次に、上記構成のタイミング発生回路20の回路動作について説明する。通常動作モード時の回路動作は従来技術と同じである。すなわち、CCD固体撮像素子10の出力信号を時間的に積分して得られる検波電圧は、コンパレータ21,22で2つの基準電圧E1,E2と比較される。この比較結果を受けるデコーダ23は、検波電圧が2つの基準電圧E1,E2の間にあるときはシャッタスピードをホールドし、上側の基準電圧E1よりも高いときはアップ、下側の基準電圧E2よりも低いときはダウンさせるようなデータを加算/減算器24に対して出力する。
【0024】
加算/減算器24は、デコーダ23から受けたデータに応じて現状のシャッタスピードデータに±0/+1/−1の演算を行う。この演算によって更新された新たなシャッタスピードデータはセレクタ25に入力され、通常動作モード時にはそのままフリップフロップ27に与えられてラッチされる。シャッタパルス生成回路28は、そのシャッタスピードデータに応じたシャッタパルスを発生し、CCD固体撮像素子10の露光時間を制御する。この一連の動作は、通常ある周期毎に行われ、検波電圧が2つの基準電圧E1,E2の間に入るまで1ステップずつ続けられる。
【0025】
続いて、ユーザによるリミッタモード指定時の回路動作について説明する。このリミッタモード指定時には、加算/減算器24で更新された新たなシャッタスピードデータDはセレクタ25に入力され、リミッタデータ発生回路26からのリミッタデータLと比較される。このデータ比較において、D>Lであれば、セレクタ25によってシャッタスピードデータDが選択され、フリップフロップ27にラッチされる。そして、シャッタパルス生成回路28において、このシャッタスピードデータに応じたシャッタパルスの生成が行われる。この回路動作は、通常動作モード時の回路動作と同じである。
【0026】
一方、D≦Lの場合には、シャッタスピードデータDの値に関係なく、リミッタデータLがセレクタ25によって選択され、フリップフロップ27にラッチされる。そして、シャッタパルス生成回路28において、このリミッタデータLに応じたシャッタパルスの生成が行われる。これにより、リミッタモード指定時においては、シャッタスピードは必ずリミッタデータLに対応したスピードより遅くなることはなく、例えば、NTSC及びEIAの固体撮像装置で100HZ の蛍光燈下で撮像する場合には1/100秒が、PAL及びCCIRの固体撮像装置で120HZ の蛍光燈下で撮像する場合には1/120秒が最低速のシャッタスピードとなる。
【0027】
すなわち、リミッタモードでは、被写体が暗く、D≦Lとなるような場合は室内光源、例えば蛍光燈の下での撮像であると判断し、シャッタスピードの低速側を規制するリミッタデータLに対応したシャッタスピードを設定するのである。したがって、例えばEIAの場合では、1/60秒ではなく、1/100秒が最低速のシャッタスピードとなる。このように、一例として、NTSC/EIAの固体撮像装置の場合には、最低速のシャッタスピードが1/100秒に規制されることにより、発光周波数が100Hzの蛍光燈の下での低照度撮像状態においても、図2に示すように、蛍光燈の発光周期に対してシャッタパルスで決まる露光時間が一定となり、CCD固体撮像素子10の出力信号レベルが常に一定となるため、蛍光燈の発光周波数に起因するフリッカを抑圧できることになる。
【0028】
なお、上記実施例においては、NTSC/EIAの固体撮像装置と発光周波数100Hzの蛍光燈の組合せでの具体例を引用したが、PAL/CCIRの固体撮像装置と発光周波数120Hzの蛍光燈の組合せにおいても、最低速のシャッタスピードを1/120秒に規制に規制することで、同様にフリッカを抑制できることになる。
【0029】
また、上記実施例では、リミッタモード指定時において、シャッタスピードDとリミッタデータLとを比較し、その比較結果に応じていずれかのデータを選択する手段としてセレクタ25を用いた場合について説明したが、これに限定されるものではく、同様の機能を有する回路構成のものであれば良い。
【0030】
図3は、上記構成の本発明に係るCCD固体撮像装置を搭載したビデオカメラの一例を示す構成図である。図3において、被写体からの光はレンズ31によって取り込まれ、光学フィルタ32を経た後、上記構成のCCD固体撮像素子10の撮像領域13(図1参照)に入射する。このCCD固体撮像素子10は、上述したタイミング発生回路20から発生されるシャッタパルスを含む各種のタイミング信号に基づいて駆動回路33によって駆動される。
【0031】
CCD固体撮像素子10の出力信号は、レンズ31及び光学フィルタ32を経て入射した光の強弱に応じて信号の大小が変化するものであり、信号処理回路34で相関二重サンプリング(CDS)等の信号処理がなされた後、ビデオ信号として出力されるとともに、検波回路35に供給される。検波回路35は、信号処理回路34を経たCCD固体撮像素子10の出力信号の大小を検出し、時間的に積分して検波電圧を得る。この検波電圧は、先述したタイミング発生回路20に供給される。
【0032】
タイミング発生回路20においては、先述したように、検波電圧を基準電圧と比較し、検波電圧の方が高い場合には電子シャッタスピードが速くなるように、反対に検波電圧の方が低い場合には電子シャッタスピードが遅くなるようにシャッタパルスのタイミング制御を行い、駆動回路33を介してCCD固体撮像素子10の露光時間をコントロールする。この一連の制御により、自動的に常に基準電圧によって定められた一定のCCD出力信号を得ることができる。また、タイミング発生回路20において、低照度撮像時に最低速のシャッタスピードを規制することで、室内光源の発光周波数に起因するフリッカも抑制できる。
【0033】
【発明の効果】
以上説明したように、本発明によれば、室内光源の発光周波数に対応して設定されたリミッタデータを発生する手段を設け、低照度撮像時にはこのリミッタデータに基づいてシャッタスピードを設定し、最低速のシャッタスピードを規制するようにしたので、室内光源下での撮像時においても、電子アイリス動作を行いながら、外部回路の追加なしに低コストにて光源周波数に起因するフリッカを抑圧できることになる。
【図面の簡単な説明】
【図1】インターライン転送方式のCCD固体撮像素子に適用された本発明の一実施例を示す構成図である。
【図2】フリッカレスの説明図である。
【図3】本発明に係るビデオカメラの一例を示す構成図である。
【図4】電子シャッタのタイミングチャートである。
【図5】従来例を示すブロック図である。
【図6】何通りかのシャッタスピードの例を示すタイミングチャートである。
【図7】フリッカの説明図である。
【符号の説明】
10 CCD固体撮像素子
11 センサ部
12 垂直転送レジスタ
14 水平転送レジスタ
20 タイミング発生回路
21,22 コンパレータ
23 デコーダ
24 加算/減算器
25 セレクタ
26 リミッタデータ発生回路
28 シャッタパルス生成回路
[0001]
[Industrial application fields]
The present invention relates to a timing generation circuit for driving a solid-state image pickup device having an electronic shutter function, a solid-state image pickup device using the circuit , a video camera equipped with the device, and an exposure time control method . The present invention relates to a timing generation circuit that generates a shutter pulse based on an output signal level, a solid-state imaging device using the circuit , a video camera equipped with the device, and an exposure time control method .
[0002]
[Prior art]
Some solid-state imaging devices have a so-called electronic shutter function capable of controlling a signal charge accumulation time (exposure time) in a sensor unit. The basic principle is that the sensor unit accumulates charges only for a desired period immediately before reading out signal charges (photocharges) and sweeps out the previous signal charges to another location (for example, a substrate). . The timing chart is shown in FIG. A signal charge is read out from the sensor unit to the vertical transfer register at a timing synchronized with the vertical synchronization signal VD, and a pulse that sweeps out the signal charge previously accumulated in the sensor unit at a certain time (exposure timing) that goes back from the read timing. give. A period from the exposure timing to the read timing is an exposure period (exposure time).
[0003]
By the way, as a function of the solid-state imaging device, a so-called electronic iris system that performs exposure control using an electronic shutter function of a CCD solid-state imaging device is known. In this electronic iris system, the shutter speed (exposure time) changes according to the brightness of the subject, and control is performed so that the shutter speed increases when it is bright, and the shutter speed decreases when it is dark. The control of the shutter speed is performed according to the generation timing of a pulse (hereinafter referred to as a shutter pulse) that is applied to the substrate in order to sweep the signal charge accumulated in the sensor unit to the substrate, for example.
[0004]
FIG. 5 shows a conventional example of a timing generation circuit for generating the shutter pulse. This timing generation circuit basically generates a shutter pulse at a timing based on a detection voltage obtained by temporally integrating the output signal of the CCD solid-state imaging device. In FIG. 5, the detection voltage based on the CCD output is a comparison input of two comparators 51 and 52 having different reference voltages E1 and E2 (E1> E2). The comparison outputs of the comparators 51 and 52 are supplied to the decoder 53.
[0005]
The decoder 53 supplies data specifying the shutter speed up / down / hold to the adder / subtractor 54 based on the comparison outputs of the comparators 51 and 52. The adder / subtracter 54 steps up, down, or holds the shutter speed data in accordance with the data from the decoder 53. This shutter speed data is loaded into a flip-flop (FF) 55. The shutter pulse generation circuit 56 at the final stage generates a shutter pulse at a timing corresponding to the shutter speed data held in the flip-flop 55.
[0006]
Next, the circuit operation of the conventional timing generation circuit having the above configuration will be described. A detection voltage obtained by temporally integrating the output signal of the CCD solid-state imaging device is compared with two reference voltages E1 and E2 by comparators 51 and 52. The decoder 53 receiving the comparison result holds the shutter speed when the detection voltage is between the two reference voltages E1 and E2, up when the detection voltage is higher than the upper reference voltage E1, and higher than the lower reference voltage E2. When it is low, the data to be lowered is output to the adder / subtracter 54.
[0007]
The adder / subtracter 54 calculates ± 0 / + 1 / −1 on the current shutter speed data according to the data received from the decoder 53. New shutter speed data updated by this calculation is latched by the flip-flop 55. The shutter pulse generation circuit 56 generates a shutter pulse corresponding to the shutter speed data, and controls the exposure time of the CCD solid-state imaging device. This series of operations is normally performed every certain period, and is continued step by step until the detection voltage enters between the two reference voltages E1 and E2.
[0008]
Several shutter speeds selected by the shutter speed data are prepared as shown in FIG. When the subject is bright, the shutter speed on the high speed side is final as shown in FIG. 6B, and when the subject is dark, the shutter speed on the low speed side is final as shown in FIG. 6C. Will be selected.
[0009]
[Problems to be solved by the invention]
However, in the conventional timing generation circuit configured as described above, the lowest shutter speed is unconditionally selected in a low illumination state, that is, 1/60 second is selected for NTSC / EIA, and 1/50 second is selected for PAL / CCIR. Therefore, if the EIA solid-state imaging device is operated under a fluorescent lamp having a light emission period of 1/100 Hz, flicker of 20 Hz occurs as shown in FIG. That is, the light emission period of the fluorescent lamp is 10 msec., And one period of the 60 Hz exposure operation is 16.7 msec. These least common multiples are 50 msec., And the relationship between the two is restored after three exposure operations. Therefore, there are three types of exposure periods, and the difference in the output signal level of the CCD solid-state image sensor between these causes the occurrence of 20 Hz flicker.
[0010]
In order to suppress this flicker, an illuminance detector is provided, the characteristics of the light source that illuminates the subject are detected by the illuminance detector, and the shutter speed of the CCD solid-state imaging device is controlled based on the detection signal. A video camera has been proposed (see Japanese Patent Laid-Open No. 3-16471). However, in this video camera, a dedicated illuminance detector for detecting the characteristics of the light source that illuminates the subject must be provided, and a circuit for signal processing is also required, which complicates the configuration. There was a problem of high costs.
[0011]
The present invention has been made in view of the above problems, and the object of the present invention is to suppress fluorescent light flicker in a low-light imaging state at low cost without adding an external circuit while performing an electronic iris operation. The present invention provides a timing generation circuit that enables the above, a solid-state imaging device using this circuit, a video camera equipped with this device, and an exposure time control method .
[0012]
[Means for Solving the Problems]
Timing generating circuit according to the invention, in order to drive the solid-state imaging device having an electronic shutter function, a timing generation circuit for generating a shutter pulse based on the output signal level of the solid-state imaging device, the output of the solid-state imaging device Based on the detection voltage based on the input, two comparators that compare the detection voltage with different first and second reference voltages, and shutter speed data setting that sets the shutter speed data based on the comparison outputs of the two comparators Means, limiter data generating means for generating limiter data set in advance according to the light emission frequency of the indoor light source, and comparing the shutter speed data with the limiter data, and when the shutter speed data is larger than the limiter data, the shutter speed The data is limited by the shutter speed data. Data selection means for selecting the limiter data when the data is less than or equal to the data, and shutter pulse generation means for generating a shutter pulse corresponding to the shutter speed data or limiter data selected by the data selection means. Yes.
[0013]
[Action]
In the timing generation circuit configured as described above, during normal operation, the detection voltage obtained by temporally integrating the output signal of the solid-state imaging device is compared with the first and second reference voltages by the two comparators, and the comparison result The shutter speed data is increased or decreased based on the above. As a result, the shutter pulse timing is controlled so that the shutter speed is faster when the detection voltage is higher, and the shutter speed is slower when the detection voltage is lower. The exposure time of the element is controlled. On the other hand, when the limiter mode is designated, the shutter speed data is compared with the limiter data. When the shutter speed data is equal to or lower than the limiter data, the limiter data is selected. Since this limiter data regulates the shutter speed on the low speed side, the shutter speed based on this limiter data is set as the lowest shutter speed during low-illuminance imaging.
[0014]
【Example】
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0015]
FIG. 1 is a block diagram showing an embodiment of the present invention applied to, for example, an interline transfer type CCD solid-state imaging device. In FIG. 1, a plurality of sensor units (photoelectric conversion units) 11 that are arranged in a matrix in the row direction (vertical direction) and the column direction (horizontal direction) and accumulate signal charges according to the amount of incident light, and these sensor units An imaging region 13 is configured by a plurality of vertical transfer registers 12 arranged in every 11 vertical columns and vertically transferring signal charges read from each sensor unit 11.
[0016]
In the imaging region 13, the sensor unit 11 is composed of, for example, a PN junction photodiode, and the vertical transfer register 12 is constituted by a CCD. The signal charge accumulated in the sensor unit 11 is read to the vertical transfer register 12 by applying a read pulse XSG to a read gate (not shown). The vertical transfer register 12 is driven to transfer by, for example, four-phase vertical transfer clocks φV1 to φV4. The signal charges read to the vertical transfer register 12 are transferred in the vertical direction in order corresponding to one scanning line in a part of the horizontal blanking period.
[0017]
A horizontal transfer register 14 composed of a CCD to which signal charges corresponding to one scanning line are sequentially transferred from a plurality of vertical transfer registers 12 is arranged on the lower side of the imaging region 13 in the drawing. The horizontal transfer register 14 is driven to transfer by two-phase horizontal transfer clocks φH1 and φH2. Thereby, the signal charge for one line is sequentially transferred in the horizontal direction in the horizontal scanning period after the horizontal blanking period. At the end of the horizontal transfer register 14, for example, a charge detection unit 15 having a floating diffusion configuration is disposed, and the signal charges transferred horizontally are sequentially converted into voltage signals by the charge detection unit 15. The voltage signal is amplified by the output amplifier 16 and then derived as a CCD output corresponding to the amount of incident light from the subject.
[0018]
The interline transfer type CCD solid-state imaging device 10 is configured as described above. The CCD solid-state imaging device 10 controls the accumulation time (exposure time) of signal charges in the sensor unit 11 by applying a shutter pulse to the substrate and sweeping out the signal charges accumulated in each sensor unit 11 to the substrate. Has an electronic shutter function. In other words, during normal operation, signal charges are accumulated in the sensor unit 11 by biasing the substrate with a constant set voltage (substrate voltage), whereas during electronic shutter, a shutter pulse is further added to the substrate voltage. In addition, the barrier on the substrate side is broken, and the signal charges accumulated in the sensor unit 11 are swept out to the substrate.
[0019]
The shutter pulse is generated at a timing according to the detection voltage obtained by temporally integrating the output signal of the CCD solid-state imaging device 11 in the timing generation circuit 20. In the timing generation circuit 20, the detection voltage based on the CCD output is a comparison input of two comparators 21 and 22 having different reference voltages E1 and E2 (E1> E2). The comparison outputs of the comparators 21 and 22 are supplied to the decoder 23.
[0020]
The decoder 23 supplies data specifying the shutter speed up / down / hold to the adder / subtracter 24 based on the comparison outputs of the comparators 21 and 22. The adder / subtracter 24 increases, decreases, or holds the shutter speed data by one step according to the data from the decoder 23. Above, the decoder 23 and the adder / subtracter 24 constitute a shutter speed data setting means for setting shutter speed data on the basis of the detection voltage which is the output signal level of the CCD solid-state imaging device 10.
[0021]
This shutter speed data is one input of the selector 25. As the other input of the selector 25, the limiter data generated by the limiter data generation circuit 26 is given. The limiter data generation circuit 26 generates limiter data that regulates the low speed side of the shutter speed. The limiter data, indoor light sources (e.g., fluorescent lamp) is a data set in advance corresponding to the emission frequency of, for example, in the case of imaging a fluorescent燈下of 100H Z in the solid-state imaging device of the NTSC and the EIA data corresponding to 1/100 second, data corresponding to 1/120 second is set as the shutter speed data slowest respectively in the case of imaging a fluorescent燈下of 120H Z in the solid-state imaging device of the PAL and CCIR.
[0022]
When the limiter mode is designated by the operation of a limiter mode switch (not shown) by the user, the selector 25 designates the shutter speed data D from the adder / subtracter 24 and the limiter data from the limiter data generation circuit 26 when the limiter mode is designated. Compared with the data L, the shutter speed data D is selected when D> L, the limiter data L is selected when D ≦ L, and the shutter speed data D is always selected during the normal operation mode. The shutter speed data D or limiter data L selected by the selector 25 is loaded into a flip-flop (FF) 27. The final-stage shutter pulse generation circuit 28 generates a shutter pulse at a timing corresponding to the shutter speed data D or limiter data L held in the flip-flop 27.
[0023]
Next, the circuit operation of the timing generation circuit 20 configured as described above will be described. The circuit operation in the normal operation mode is the same as that of the prior art. That is, the detection voltage obtained by temporally integrating the output signal of the CCD solid-state imaging device 10 is compared with the two reference voltages E1 and E2 by the comparators 21 and 22. The decoder 23 receiving the comparison result holds the shutter speed when the detection voltage is between the two reference voltages E1 and E2, and is up when the detection voltage is higher than the upper reference voltage E1, and is higher than the lower reference voltage E2. If it is lower, data to be lowered is output to the adder / subtracter 24.
[0024]
The adder / subtracter 24 calculates ± 0 / + 1 / −1 on the current shutter speed data according to the data received from the decoder 23. New shutter speed data updated by this calculation is input to the selector 25, and is supplied to the flip-flop 27 as it is and latched in the normal operation mode. The shutter pulse generation circuit 28 generates a shutter pulse corresponding to the shutter speed data, and controls the exposure time of the CCD solid-state imaging device 10. This series of operations is normally performed every certain period, and is continued step by step until the detection voltage enters between the two reference voltages E1 and E2.
[0025]
Next, the circuit operation when the limiter mode is designated by the user will be described. When this limiter mode is designated, the new shutter speed data D updated by the adder / subtracter 24 is input to the selector 25 and compared with the limiter data L from the limiter data generation circuit 26. In this data comparison, if D> L, the shutter speed data D is selected by the selector 25 and latched in the flip-flop 27. The shutter pulse generation circuit 28 generates a shutter pulse corresponding to the shutter speed data. This circuit operation is the same as the circuit operation in the normal operation mode.
[0026]
On the other hand, when D ≦ L, the limiter data L is selected by the selector 25 and latched by the flip-flop 27 regardless of the value of the shutter speed data D. The shutter pulse generation circuit 28 generates a shutter pulse according to the limiter data L. Thus, at the time of limiter mode designation, the shutter speed is not that always slower than the speed corresponding to the limiter data L, such as in the case of imaging a fluorescent燈下of 100H Z in the solid-state imaging device of the NTSC and the EIA 1/100 seconds, 1/120 seconds is the slowest shutter speed in the case of imaging a fluorescent燈下of 120H Z in the solid-state imaging device of the PAL and CCIR.
[0027]
That is, in the limiter mode, when the subject is dark and D ≦ L, it is determined that the image is taken under an indoor light source, for example, a fluorescent lamp, and the limiter data L that regulates the low speed side of the shutter speed is supported. The shutter speed is set. Therefore, for example, in the case of EIA, 1/100 seconds, not 1/60 seconds, is the lowest shutter speed. Thus, as an example, in the case of an NTSC / EIA solid-state imaging device, the lowest shutter speed is restricted to 1/100 second, so that low-illuminance imaging is performed under a fluorescent lamp with a light emission frequency of 100 Hz. Even in this state, as shown in FIG. 2, the exposure time determined by the shutter pulse is constant with respect to the light emission period of the fluorescent lamp, and the output signal level of the CCD solid-state imaging device 10 is always constant. Therefore, flicker caused by can be suppressed.
[0028]
In the above embodiment, a specific example of a combination of an NTSC / EIA solid-state imaging device and a fluorescent lamp with a light emission frequency of 100 Hz is cited, but in a combination of a PAL / CCIR solid-state imaging device and a fluorescent lamp with a light emission frequency of 120 Hz. However, flicker can be similarly suppressed by restricting the minimum shutter speed to 1/120 seconds.
[0029]
In the above embodiment, the case where the selector 25 is used as means for comparing the shutter speed D with the limiter data L and selecting one of the data according to the comparison result when the limiter mode is designated has been described. However, the present invention is not limited to this, and any circuit configuration having a similar function may be used.
[0030]
FIG. 3 is a block diagram showing an example of a video camera equipped with the CCD solid-state imaging device according to the present invention having the above-described configuration. In FIG. 3, light from a subject is captured by a lens 31, passes through an optical filter 32, and then enters the imaging region 13 (see FIG. 1) of the CCD solid-state imaging device 10 having the above configuration. The CCD solid-state imaging device 10 is driven by a drive circuit 33 based on various timing signals including shutter pulses generated from the timing generation circuit 20 described above.
[0031]
The output signal of the CCD solid-state imaging device 10 changes in magnitude according to the intensity of light incident through the lens 31 and the optical filter 32. The signal processing circuit 34 performs correlated double sampling (CDS) or the like. After the signal processing, it is output as a video signal and supplied to the detection circuit 35. The detection circuit 35 detects the magnitude of the output signal of the CCD solid-state imaging device 10 that has passed through the signal processing circuit 34 and integrates it in time to obtain a detection voltage. This detection voltage is supplied to the timing generation circuit 20 described above.
[0032]
In the timing generation circuit 20, as described above, the detection voltage is compared with the reference voltage, and when the detection voltage is higher, the electronic shutter speed is faster, whereas when the detection voltage is lower, The timing of the shutter pulse is controlled so that the electronic shutter speed becomes slow, and the exposure time of the CCD solid-state imaging device 10 is controlled via the drive circuit 33. By this series of controls, a constant CCD output signal always automatically determined by the reference voltage can be obtained. In addition, by controlling the lowest shutter speed during low-illuminance imaging in the timing generation circuit 20, flicker caused by the light emission frequency of the indoor light source can be suppressed.
[0033]
【The invention's effect】
As described above, according to the present invention, there is provided means for generating limiter data set corresponding to the emission frequency of the indoor light source, and the shutter speed is set based on this limiter data at the time of low-illuminance imaging. The high shutter speed is regulated so that flicker caused by the light source frequency can be suppressed at low cost without adding an external circuit while performing the electronic iris operation even during imaging under the indoor light source. .
[Brief description of the drawings]
FIG. 1 is a configuration diagram showing an embodiment of the present invention applied to an interline transfer type CCD solid-state imaging device.
FIG. 2 is an explanatory diagram of flickerless.
FIG. 3 is a block diagram showing an example of a video camera according to the present invention.
FIG. 4 is a timing chart of an electronic shutter.
FIG. 5 is a block diagram showing a conventional example.
FIG. 6 is a timing chart showing examples of several shutter speeds.
FIG. 7 is an explanatory diagram of flicker.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10 CCD solid-state image sensor 11 Sensor part 12 Vertical transfer register 14 Horizontal transfer register 20 Timing generation circuit 21,22 Comparator 23 Decoder 24 Adder / subtractor 25 Selector 26 Limiter data generation circuit 28 Shutter pulse generation circuit

Claims (6)

電子シャッタ機能を有する固体撮像素子を駆動するために、前記固体撮像素子の出力信号レベルに基づいてシャッタパルスを発生するタイミング発生回路であって、
前記固体撮像素子の出力に基づく検波電圧が入力され、当該検波電圧を互いに異なる第1,第2の基準電圧と比較する2つのコンパレータと、
前記2つのコンパレータの各比較出力に基づいてシャッタスピードデータを設定するシャッタスピードデータ設定手段と、
室内光源の発光周波数に対応して予め設定されたリミッタデータを発生するリミッタデータ発生手段と、
前記シャッタスピードデータと前記リミッタデータとを比較し、前記シャッタスピードデータが前記リミッタデータよりも大なるとき前記シャッタスピードデータを、前記シャッタスピードデータが前記リミッタデータ以下のとき前記リミッタデータをそれぞれ選択するデータ選択手段と、
前記データ選択手段にて選択された前記シャッタスピードデータ又は前記リミッタデータに対応したシャッタパルスを生成するシャッタパルス生成手段とを備えたことを特徴とするタイミング発生回路。
A timing generation circuit for generating a shutter pulse based on an output signal level of the solid-state image sensor to drive a solid-state image sensor having an electronic shutter function;
Two comparators that receive a detection voltage based on the output of the solid-state imaging device and compare the detection voltage with different first and second reference voltages;
Shutter speed data setting means for setting shutter speed data based on the comparison outputs of the two comparators;
Limiter data generating means for generating limiter data set in advance corresponding to the emission frequency of the indoor light source;
The shutter speed data is compared with the limiter data, and the shutter speed data is selected when the shutter speed data is larger than the limiter data, and the limiter data is selected when the shutter speed data is less than or equal to the limiter data. Data selection means;
A timing generation circuit comprising: a shutter pulse generation unit that generates a shutter pulse corresponding to the shutter speed data or the limiter data selected by the data selection unit.
前記データ選択手段は、リミッタモード指定時にのみ前記シャッタスピードデータ又は前記リミッタデータの選択を行い、通常動作モード時には常時前記シャッタスピードデータを選択することを特徴とする請求項1記載のタイミング発生回路。  2. The timing generation circuit according to claim 1, wherein the data selection means selects the shutter speed data or the limiter data only when the limiter mode is designated, and always selects the shutter speed data in the normal operation mode. 前記データ選択手段にて選択された前記シャッタスピードデータ又は前記リミッタデータを保持するフリップフロップを有することを特徴とする請求項1記載のタイミング発生回路。  2. The timing generation circuit according to claim 1, further comprising a flip-flop for holding the shutter speed data or the limiter data selected by the data selection means. 電子シャッタ機能を有する固体撮像素子と、
前記固体撮像素子の出力に基づく検波電圧が入力され、当該検波電圧を互いに異なる第1 , 第2の基準電圧と比較する2つのコンパレータと、
前記2つのコンパレータの各比較出力に基づいてシャッタスピードデータを設定するシャッタスピードデータ設定手段と、
室内光源の発光周波数に対応して予め設定されたリミッタデータを発生するリミッタデータ発生手段と、
前記シャッタスピードデータと前記リミッタデータとを比較し、前記シャッタスピードデータが前記リミッタデータよりも大なるとき前記シャッタスピードデータを、前記シャッタスピードデータが前記リミッタデータ以下のとき前記リミッタデータをそれぞれ選択するデータ選択手段と、
前記データ選択手段にて選択された前記シャッタスピードデータ又は前記リミッタデータに対応したシャッタパルスを生成するシャッタパルス生成手段とを備え、
前記シャッタパルス生成手段で生成される前記シャッタパルスによって前記固体撮像素子を駆動することを特徴とする固体撮像装置。
A solid-state imaging device having an electronic shutter function;
Two comparators that receive a detection voltage based on the output of the solid-state imaging device and compare the detection voltage with different first and second reference voltages;
Shutter speed data setting means for setting shutter speed data based on the comparison outputs of the two comparators;
Limiter data generating means for generating limiter data set in advance corresponding to the emission frequency of the indoor light source;
The shutter speed data is compared with the limiter data, and the shutter speed data is selected when the shutter speed data is larger than the limiter data, and the limiter data is selected when the shutter speed data is less than or equal to the limiter data. Data selection means;
Shutter pulse generation means for generating a shutter pulse corresponding to the shutter speed data or the limiter data selected by the data selection means,
The solid-state imaging device, wherein the solid-state imaging device is driven by the shutter pulse generated by the shutter pulse generating means .
電子シャッタ機能を有する固体撮像素子と、
前記固体撮像素子の出力に基づく検波電圧が入力され、当該検波電圧を互いに異なる第1 , 第2の基準電圧と比較する2つのコンパレータと、
前記2つのコンパレータの各比較出力に基づいてシャッタスピードデータを設定するシャッタスピードデータ設定手段と、
室内光源の発光周波数に対応して予め設定されたリミッタデータを発生するリミッタデータ発生手段と、
前記シャッタスピードデータと前記リミッタデータとを比較し、前記シャッタスピードデータが前記リミッタデータよりも大なるとき前記シャッタスピードデータを、前記シャッタスピードデータが前記リミッタデータ以下のとき前記リミッタデータをそれぞれ選択するデータ選択手段と、
前記データ選択手段にて選択された前記シャッタスピードデータ又は前記リミッタデー タに対応したシャッタパルスを生成するシャッタパルス生成手段とを備え、
前記シャッタパルス生成手段で生成される前記シャッタパルスによって前記固体撮像素子を駆動する固体撮像装置と、
前記固体撮像素子の撮像領域に対して入射光を導く光学系とを備えたことを特徴とするビデオカメラ。
A solid-state imaging device having an electronic shutter function;
Two comparators that receive a detection voltage based on the output of the solid-state imaging device and compare the detection voltage with different first and second reference voltages;
Shutter speed data setting means for setting shutter speed data based on the comparison outputs of the two comparators;
Limiter data generating means for generating limiter data set in advance corresponding to the emission frequency of the indoor light source;
The shutter speed data is compared with the limiter data, and the shutter speed data is selected when the shutter speed data is larger than the limiter data, and the limiter data is selected when the shutter speed data is less than or equal to the limiter data. Data selection means;
And a shutter pulse generating means for generating a shutter pulse corresponding to the shutter speed data or the Rimittade data selected by the data selection means,
A solid-state imaging device for driving the solid-state imaging device by the shutter pulse generated by the shutter pulse generating means ;
A video camera comprising: an optical system that guides incident light to an imaging region of the solid-state imaging device .
シャッタスピードデータを設定するステップと、
光源の発光周波数に対応して設定されたリミッタデータを発生するステップと、
前記シャッタスピードデータと前記リミッタデータとの比較結果に応じて前記シャッタスピードデータと前記リミッタデータのうちの一方を選択する選択ステップと、
前記選択ステップで選択した前記一方のデータに基づいてシャッタパルスを発生するステップとを有することを特徴とする露光時間の制御方法。
Setting shutter speed data; and
Generating limiter data set corresponding to the emission frequency of the light source;
A selection step of selecting one of the shutter speed data and the limiter data according to a comparison result between the shutter speed data and the limiter data;
And a step of generating a shutter pulse based on the one data selected in the selection step.
JP24515494A 1994-10-11 1994-10-11 Timing generation circuit, solid-state imaging device using this circuit, video camera equipped with this device, and exposure time control method Expired - Fee Related JP3700187B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP24515494A JP3700187B2 (en) 1994-10-11 1994-10-11 Timing generation circuit, solid-state imaging device using this circuit, video camera equipped with this device, and exposure time control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP24515494A JP3700187B2 (en) 1994-10-11 1994-10-11 Timing generation circuit, solid-state imaging device using this circuit, video camera equipped with this device, and exposure time control method

Publications (2)

Publication Number Publication Date
JPH08111820A JPH08111820A (en) 1996-04-30
JP3700187B2 true JP3700187B2 (en) 2005-09-28

Family

ID=17129426

Family Applications (1)

Application Number Title Priority Date Filing Date
JP24515494A Expired - Fee Related JP3700187B2 (en) 1994-10-11 1994-10-11 Timing generation circuit, solid-state imaging device using this circuit, video camera equipped with this device, and exposure time control method

Country Status (1)

Country Link
JP (1) JP3700187B2 (en)

Also Published As

Publication number Publication date
JPH08111820A (en) 1996-04-30

Similar Documents

Publication Publication Date Title
JP4948090B2 (en) Imaging apparatus and drive control method
JPH07298142A (en) Image pickup device having gradation control function
US7312823B1 (en) Solid-state image pick-up apparatus and video camera loaded with the apparatus
JPS63105580A (en) Television camera
US6778215B1 (en) Driving method of solid-state image pickup device and image pickup system
JP2003087658A (en) Solid-state imaging apparatus and its driving method
JPH0815324B2 (en) Solid-state imaging device for TV
JP3700187B2 (en) Timing generation circuit, solid-state imaging device using this circuit, video camera equipped with this device, and exposure time control method
JP3802596B2 (en) Electronic camera
EP0712236B1 (en) Timing signal generator for a solid state imaging device having an electronic shutter
JP4086337B2 (en) Imaging device
JP3907343B2 (en) Imaging device
JP3117056B2 (en) Imaging device
JPH0698227A (en) Variable system clock type digital electronic still camera
JP2623154B2 (en) Driving method of solid-state imaging device
JP2000032352A (en) Video camera device
JP3893667B2 (en) Solid-state imaging device driving apparatus, imaging signal detection method, and camera using them
JP3794672B2 (en) Solid-state imaging device
JP4257829B2 (en) Solid-state imaging device and electronic information device
JPH08116492A (en) Solid-state image pickup device and video camera mounted with the same
US7911523B2 (en) Automatic adjuster for image capture circuit
JP2004147207A (en) Electronic camera
JPH1098650A (en) Image pickup device
JP3984045B2 (en) Imaging apparatus and control method thereof
JP3134585B2 (en) Electronic iris control circuit and camera having the same

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040809

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20040817

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050621

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050704

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080722

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090722

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090722

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100722

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100722

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110722

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110722

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120722

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees