JP3864408B2 - IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD - Google Patents
IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD Download PDFInfo
- Publication number
- JP3864408B2 JP3864408B2 JP2001330584A JP2001330584A JP3864408B2 JP 3864408 B2 JP3864408 B2 JP 3864408B2 JP 2001330584 A JP2001330584 A JP 2001330584A JP 2001330584 A JP2001330584 A JP 2001330584A JP 3864408 B2 JP3864408 B2 JP 3864408B2
- Authority
- JP
- Japan
- Prior art keywords
- detection result
- light amount
- signal
- luminance level
- flicker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
- Picture Signal Circuits (AREA)
- Color Television Image Signal Generators (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、撮像装置、撮像装置の制御方法に関し、例えばテレビジョンカメラに適用することができる。本発明は、撮像結果の輝度レベルを検出してフィードバック制御によりフリッカを防止する際に、入射光量の予測値を求め、この予測値を基準にして増幅回路の利得を制御することにより、確実にフリッカを防止することができるようにする。
【0002】
【従来の技術】
従来、テレビジョンカメラにおいては、蛍光灯のような点滅する光源の元で撮像すると、撮像結果にフリッカが観察される場合があり、このようなフリッカを有効に回避する方法が種々に提案されるようになされている。
【0003】
すなわち蛍光灯においては、管内放電により発光することにより、図6(A)に示すように、ほぼ電源電圧の振幅値に応じて発光光量が変化する。これによりフィールド周波数が50〔Hz〕のビデオカメラにおいて、蛍光灯の電源周波数が60〔Hz〕の場合、連続するフィールドにおいて、被写体を照明する光量がフィールド毎に変化することになり、これによりフリッカが観察されるようになる。
【0004】
この場合に、図6(B)に示すように、電子シャッタにより電荷蓄積時間Tを極端に短くすると、連続するフィールドにおいて、被写体を照明する光量の変化が著しくなり、これにより著しいフリッカが観察されるようになる。なおこの図6及び続く図7における電子シャッタの説明においては、各フィールドにおいて、光電変換処理される被写体の照明光量をハッチングにより示す。
【0005】
また図7(A)に示すように、フィールド周波数が60〔Hz〕のビデオカメラにおいて、蛍光灯の電源周波数が50〔Hz〕の場合においても、連続するフィールドにおいて、被写体を照明する光量がフィールド毎に変化することになり、これによりフリッカが観察されるようになる。この場合にも、図7(B)に示すように、電子シャッタにより電荷蓄積時間Tを極端に短くすると、連続するフィールドにおいて、被写体を照明する光量の変化が著しくなり、これにより著しいフリッカが観察される。
【0006】
しかしながら電荷蓄積時間を光源の点灯周期(この場合は1/100〔秒〕及び1/120〔秒〕)の整数倍の期間に設定すると、各フィールドにおいては、同一の光量により被写体が照明されることにより、この場合、何らフリッカを感じることの無い撮像結果を得ることができる。これにより従来のビデオカメラにおいては、この補正原理に従ったユーザーによる切り換え操作等により、フリッカを防止するようになされている。
【0007】
【発明が解決しようとする課題】
ところで従来のフリッカ防止方法においては、光源に対応した切り換え操作を実行しなければならない等により、実用上未だ不十分な問題があった。
【0008】
本発明は以上の点を考慮してなされたもので、確実にフリッカを防止することができる撮像装置、撮像装置の制御方法を提案しようとするものである。
【0009】
【課題を解決するための手段】
かかる課題を解決するため請求項1の発明においては、撮像装置に適用して、信号レベル補正手段による補正量により輝度レベル検出結果を補正して、撮像素子の入射光量を示す光量検出結果を生成し、予測されるフリッカの周期分、光量検出結果を遅延させて遅延光量検出結果を生成し、光量検出結果と、対応する遅延光量検出結果とにより、続くフィールドの、光量検出結果の予測値を生成し、光量検出結果の予測値に基づいて、輝度レベル検出結果が所定値になるように、信号レベル補正手段による補正量を制御する。
【0010】
また請求項3の発明においては、撮像装置の制御方法に適用して、信号レベル補正手段による補正量により輝度レベル検出結果を補正して、撮像素子の入射光量を示す光量検出結果を生成する光量検出処理ステップと、予測されるフリッカの周期分、光量検出結果を遅延させて遅延光量検出結果を生成する遅延処理ステップと、光量検出結果と、対応する遅延光量検出結果とにより、続くフィールドの、光量検出結果の予測値を生成する予測処理のステップと、光量検出結果の予測値に基づいて、輝度レベル検出結果が所定値になるように、信号レベル補正手段による補正量を制御する制御処理のステップとを有するようにする。
【0013】
請求項1の構成によれば、撮像装置に適用して、信号レベル補正手段の補正量により輝度レベル検出結果を補正して、撮像素子の入射光量を示す光量検出結果を生成し、予測されるフリッカの周期分、光量検出結果を遅延させて遅延光量検出結果を生成し、光量検出結果と、対応する遅延光量検出結果とにより、続くフィールドの、光量検出結果の予測値を生成し、光量検出結果の予測値に基づいて、輝度レベル検出結果が所定値になるように、信号レベル補正手段による補正量を制御することにより、例えば露光制御に供する一連の構成を有効に利用して、フィードバック制御によりフリッカを確実に防止することができる。
【0014】
これにより請求項3の構成によれば、フリッカを確実に防止することができる撮像装置の制御方法を提供することができる。
【0017】
【発明の実施の形態】
以下、適宜図面を参照しながら本発明の実施の形態を詳述する。
【0018】
(1)第1の実施の形態
(1−1)第1の実施の形態の構成
図1は、本発明の実施の形態に係るテレビジョンカメラを示すブロック図である。このテレビジョンカメラ1において、レンズ2は、入射光L1を続くCCD固体撮像素子(CCD:Charge Coupled Device )3の撮像面に集光する。
【0019】
CCD固体撮像素子3は、タイミングジェネレータ(TG)4による駆動信号により動作して、撮像面に形成されたカラーフィルタに応じた色信号の繰り返しによる出力信号S1をフィールド周波数60〔Hz〕により出力する。この処理において、CCD固体撮像素子3は、タイミングジェネレータ4より出力される駆動信号に応じて電荷蓄積時間を可変する。
【0020】
相関二重サンプリング回路(CDS:Correlated Double Sampling)5は、二次元イメージセンサ3の出力信号S1を相関二重サンプリングして出力し、AGC回路(Automatic Gain Control)6は、この相関二重サンプリング回路5の出力信号をマイコン14により指示される利得Gで増幅して出力する。ディジタルシグナルプロセッサ7は、このAGC回路6の出力信号を受け、所定の信号処理により輝度信号Y、色差信号R−Y、B−Yを生成して出力する。
【0021】
すなわちディジタルシグナルプロセッサ7において、アナログディジタル変換回路(A/D)8は、AGC回路6の出力信号をアナログディジタル変換処理し、その処理結果による画像データを出力する。続く色差信号処理回路9は、このアナログディジタル変換回路8から出力される画像データを演算処理し、色差信号R−Y、B−Yに対応する色差データを生成して出力する。この処理において色差信号処理回路9は、マイコン14からの指示による増幅率により各色信号を増幅し、これによりオートホワイトバランス調整の処理を実行する。続くディジタルアナログ変換回路(D/A)10は、この色差データをディジタルアナログ変換処理することにより、色差信号R−Y、B−Yを生成して出力する。
【0022】
輝度信号処理回路11は、アナログディジタル変換回路8から出力される画像データを処理することにより、輝度信号Yに対応する輝度データを生成して出力する。この処理において、輝度信号処理回路11は、ニー処理、ガンマ補正処理、黒レベル設定処理等を実行する。続くディジタルアナログ変換回路(D/A)12は、この輝度データをディジタルアナログ変換処理することにより、輝度信号Yを生成して出力する。
【0023】
光学検波部(OPD)13は、ディジタルシグナルプロセッサ7における処理に係る画像データを適宜、積分等し、露光制御、オートホワイトバランス調整、黒レベル設定処理等に必要な各種測定結果を取得し、この測定結果をマイコン14に出力する。この処理において、光学検波部13は、フィールド単位で輝度データを積分し、又はフィールド単位で、所定の重み付け係数により輝度データを重み付けして積分し、これにより撮像結果の明るさを示す輝度レベル検出結果DYをマイコン14に出力する。かくするにつき、この実施の形態では、この測定結果DYを基準にしてフリッカを防止すると共に、露光制御するようになされている。
【0024】
タイミングジェネレータ4は、このテレビジョンカメラの動作に必要な各種基準信号を生成して出力する。
【0025】
マイコン14は、このテレビジョンカメラの動作を制御するコントローラであり、ユーザーによる図示しない操作子の操作により、ランダムアクセスメモリ(RAM)14Aにワークエリアを確保して、リードオンリメモリ(ROM)14Bに格納した処理手順を中央処理ユニットにより実行し、これにより全体の動作を制御する。
【0026】
この処理において、マイコン14は、フリッカを予測し、その予測結果に基づいてAGC回路6の利得Gを制御することにより、フリッカを防止する。すなわち図2は、フィールドを単位にした時間経過によりテレビジョンカメラ1における各部の動作関連を示す図表であり、テレビジョンカメラ1においては、レンズ2の入射光L1がCCD固体撮像素子3において1フィールド周期で光電変換処理された後、この光電変換処理結果が順次CCD固体撮像素子3の垂直転送レジスタ、水平転送レジスタを介してCCD固体撮像素子3より出力される。これによりCCD固体撮像素子3の駆動を開始した後、矢印aにより示すように、1フィールド遅延してCCD固体撮像素子3から有効な撮像結果としての出力信号S1が出力されることになる。因みに、撮影を開始した最初の1フィールドについては、暗電流等による出力信号S1が出力されることになる。
【0027】
なお図2は、電源周波数50〔Hz〕の蛍光灯下における処理を示すものであり、この場合、フィールド周波数60〔Hz〕による撮像においては、被写体を照明する光量が3フィールド周期で変動する。図2では、これにより各フィールドにおけるCCD固体撮像素子3への入射光L1の光量を数値化して値100、800、200により順次示し、またこの光量に設定した数値との対応により、CCD固体撮像素子3の出力信号S1の信号レベル、光学検波部13により検出される輝度レベル検出結果DYの値を示す。
【0028】
またこのCCD固体撮像素子3の出力信号S1においては、相関二重サンプリング回路5、AGC回路6を順次介してディジタルシグナルプロセッサ7に入力され、このディジタルシグナルプロセッサ7の光学検波部13において、フィールド周期で積分されて輝度レベル検出結果DYが得られる。これにより正しく被写体の明るさを示している輝度レベル検出結果DYにおいては、矢印bにより示すように、さらに1フィールド遅延することになり、結局、撮像を開始して、2フィールド経過すると、正しく被写体の明るさを示している輝度レベル検出結果DYを検出することができる。
【0029】
従ってマイコン14においては、撮像を開始した後、2フィールドの終了時点で、AGC回路6の利得制御の基準となる輝度レベル検出結果DYを取得することができ、これにより撮像を開始した後、矢印cにより示すように、4フィールド目より、AGC回路6の利得Gを制御することが可能となる。
【0030】
これらによりマイコン14においては、撮像を開始した後、3フィールドの期間においては、AGC回路6の利得を基準値(利得2)に保持する。また3フィールドを経過した後においては、直前フィールドとの間の輝度レベル検出結果DYの変化を緩やかに抑圧するように(すなわち一定の時定数により制御目標値に収束するように)、AGC回路6の利得を計算し(図3において、符号GNにより示す)、この計算した利得GN(G)による増幅をAGC回路6に指示する。
【0031】
さらにマイコン14においては、AGC回路6の利得で、光学検波部13による輝度レベル検出結果DYを集計することにより入射光L1の光量を求め、所定フィールド周期で、この計算値を順次循環的にランダムアクセスメモリ14Aに記録する。これによりマイコン14は、光学検波部13より得られる輝度レベル検出結果DYを増幅回路であるAGC回路6の補正量により補正して、CCD固体撮像素子3の入射光量を示す光量検出結果を生成し、予測されるフリッカの周期分、この光量検出結果を遅延させて遅延光量検出結果を生成するようになされている。なお図2においては、この計算により求められる入射光L1の光量を、AGC回路6の利得を基準値に設定した場合の輝度レベル検出結果DYにより表し、外乱予測値として示すようになされている。
【0032】
このようにして計算される光量検出結果においては、電源周波数60〔Hz〕の光源下で撮像する場合、さらには白色光源等の光源下で撮像する場合、ほぼ一定値に保持される。
【0033】
これに対して電源周波数50〔Hz〕の蛍光灯下で撮像してフリッカが発生している場合、このようにして計算により求められる入射光L1の光量においては、3フィールド周期で変化することになる。これによりマイコン14は、この光量計算結果の遅延時間が3フィールドに設定され、記録を開始して3フィールド分の記録が完了すると、輝度レベル検出結果DYの変化を徐々に抑圧するようにするAGC回路6の利得の制御に代えて、この記録を基準にして続くフィールドについて、フリッカを補正可能なAGC回路6の利得Gを設定する。なおマイコン14は、このようにAGC回路6の利得Gの設定を開始した後においても、循環的な入射光L1の光量の記録を継続する。
【0034】
すなわちこの図2の場合、撮像を開始して3フィールド目より、入射光L1の光量が計算により求められ、5フィールド目には、入射光L1の光量の記録が、フリッカの1周期分について完了する。また何ら被写体の明るさ自体に変化が無い場合、6フィールド目には、3フィールド目と同一の値により入射光L1の光量が計算により求められる。また被写体自体の明るさが変化している場合でも、6フィールド目には、このような被写体自体の明るさの変化に伴って、フリッカによる光量の変化が観察されることになる。
【0035】
これによりマイコン14は、このようにして記録した入射光L1の光量の記録より、続くフィールドにおける入射光L1の光量を予測し、この予測を補うようにAGC回路6の利得Gを設定する。具体的に、マイコン14は、直前フィールドによる光量計算結果と、メモリ14Aに記録された対応する1周期前(フリッカの1周期である)の遅延光量計算結果との比により、メモリ14Aに記録された続くフィールドの光量計算結果を補正し、これにより続くフィールドの入射光量を予測する。さらにこの予測より、輝度レベル検出結果DYが所定値となるように(この場合、値800)、AGC回路6の利得を計算し、この計算した利得によりAGC回路6の利得を設定する。これらによりこのテレビジョンカメラ1では、6フィールドの終了時点で、予測値を得ることができ、図2において破線により示すように、7フィールド目以降より、フリッカを確実に防止することができる。
【0036】
かくするにつき被写体自体の明るさが変化していない場合には、図2に示すように、外乱予測値として、光量計算結果が順次計算されてメモリに順次記録され、またこの記録により外乱予測値として続くフィールドの光量が計算されることになる。これに対して被写体自体の明るさが変化している場合には、順次循環的に変化する入射光L1の光量の移動平均値が、この被写体の明るさの変化に応じて順次変化し、この変化に対応するように外乱予測値も、その移動平均値が変化することになる。
【0037】
かくするにつき、このように光量計算結果を一旦メモリに記録し、この記録により続く入射光量を予測してAGC回路6の利得を制御する場合、単に、メモリに記録した光量計算結果を予測に利用するまでの期間の分の遅延時間により、AGC回路6の利得を制御していることになる。これによりこのマイコン14においては、フリッカが発生していない場合でも、AGC回路6の利得を適切に制御できるようになされている。
【0038】
すなわちマイコン14においては、光学検波部13より得られる輝度レベル検出結果DYをフリッカの周期により移動平均し、この平均値と制御目標値との比較により、図示しない絞り、CCD固体撮像素子3の電荷蓄積時間を制御する。これによりマイコン14は、上述したAGC回路6の利得の制御によりフリッカを防止して、光学検波部13より得られる輝度レベル検出結果DYが所定値となるように、適切に露光制御できるようになされている。
【0039】
マイコン14は、これらの露光処理、上述したAGC回路6の利得の制御において、絞りを最も開放すると共に、電荷蓄積時間を最も長い時間に設定して、光学検波部13より得られる輝度レベル検出結果DYが所定値に満たない場合、すなわち撮像結果において充分な明るさを確保できない場合、AGC回路6の利得の制御における制御中心の利得を増大させる。かくするにつき、この実施の形態では、上述した基準の利得より撮像を開始することにより、充分な入射光量が得られている場合、フリッカによる光量の変化に対応するようにAGC回路6の利得を制御した場合、この利得の制御中心においては、基準の利得に維持されるようになされている。
【0040】
これらによりこのテレビジョンカメラ1において、AGC回路6は、CCD固体撮像素子3の出力信号の信号レベルを補正する信号レベル補正手段を構成するのに対し、ディジタルシグナルプロセッサ7は、この信号レベル補正手段の出力信号を信号処理して、該出力信号の輝度レベルをフィールド単位で検出して輝度レベル検出結果DYを出力する輝度レベル検出手段を構成するようになされている。またマイコン14は、この輝度レベル検出結果DYに基づいて、信号レベル補正手段の動作を制御する制御手段を構成し、信号レベル補正手段による補正量Gにより輝度レベル検出結果DYを補正して、撮像素子3の入射光量を示す光量検出結果を生成し、予測されるフリッカの周期分、この光量検出結果を遅延させて遅延光量検出結果を生成し、光量検出結果と、フリッカ周期の分だけ遅延してなる対応する遅延光量検出結果とにより、続くフィールドの、光量検出結果の予測値を生成し、この光量検出結果の予測値に基づいて、輝度レベル検出結果DYが所定値になるように、信号レベル補正手段の利得を制御するようになされている。またマイコン14においては、上述したAGC回路6の利得を含めた露光制御の処理を実行するAE部14Cを構成するようになされている。
【0041】
(1−2)第1の実施の形態の動作
以上の構成において、このテレビジョンカメラ1では、CCD固体撮像素子3の出力信号S1が相関二重サンプリング回路5、AGC回路6で順次処理され、ディジタルシグナルプロセッサ7によりニー処理、オートホワイトバランス調整処理、ガンマ処理等されて、輝度信号及び色差信号が生成され、これら輝度信号及び色差信号がモニタ機構により表示され、さらに外部機器に出力される。これによりテレビジョンカメラ1では、所望する被写体の撮像結果をモニタし、外部機器に出力できるようになされている。
【0042】
テレビジョンカメラ1では、このような処理において、ディジタルシグナルプロセッサ7の光学検波部13において、輝度データがフィールド単位で処理され、撮像結果の明るさを示す輝度レベル検出結果DYが検出される。さらにこの輝度レベル検出結果DYをAGC回路6の利得により補正して、CCD固体撮像素子3の入射光量が計算され、この計算結果が順次メモリ14Aに記録されて予測されるフリッカ周期の分だけ遅延される。テレビジョンカメラ1では、このようにして遅延して得られる光量検出結果と、計算より得られる対応する現在の光量検出結果との比較により、続くフィールドの光量について予測値が得られ、この予測値により、光学検波部13で検出される輝度レベル検出結果が一定値となるように、AGC回路6の利得が制御される。
【0043】
これによりテレビジョンカメラ1では、フィードバック制御によりAGC回路6の利得を制御して、電荷蓄積時間を特定の時間に設定する等の煩雑な操作を実行することなく、フリッカを防止することができる。またこのように予測値によりAGC回路6の利得を制御することにより、何らフリッカが発生していない場合でも、さらにはフリッカが発生しなくなった場合でも、適切にAGC回路6の利得を制御することができる。またこのような予測値により実際にフリッカが発生しているか否か判断することもでき、これによりこのフリッカの有無の検出結果を種々の制御等に役立てることができる。なおこのようなフリッカの有無の検出結果においては、この実施の形態によるAGC回路6の利得の制御と、従来のAGC回路の利得の制御とで動作を切り換える場合等に利用することができる。
【0044】
テレビジョンカメラ1では、撮像を開始して、このような光量検出結果が得られるまでの間は、AGC回路6の利得が基準値に設定され、さらに光量検出結果が得られて、予測されるフリッカ周期の分だけ光量検出結果の遅延が完了するまでの間、光量検出結果の基準である輝度レベル検出結果DYの変化を緩やかに抑圧するようにAGC回路6の利得が制御され、その後、予測によりフリッカを防止するようにAGC回路6の利得が制御される。これによりテレビジョンカメラ1では、ユーザーに違和感を感じさせること無く、予測によりフリッカを防止するようになされている。
【0045】
テレビジョンカメラ1では、このようにしてAGC回路6の利得の制御によりフリッカを防止するようにして、光学検波部13で検出される輝度レベル検出結果DYが所定値となるように、絞り、CCD固体撮像素子3の電荷蓄積時間が制御されて露光制御の処理が実行される。これによりテレビジョンカメラ1では、露光制御に利用する輝度レベル検出結果DYを有効に利用して、フリッカを防止するようになされている。
【0046】
(1−3)第1の実施の形態の効果
以上の構成によれば、撮像結果の輝度レベルを検出してフィードバック制御によりフリッカを防止する際に、入射光量の予測値を求め、この予測値を基準にして増幅回路の利得を制御することにより、確実にフリッカを防止することができる。
【0047】
またこの輝度レベルの検出結果が露光制御用の測定結果であることにより、露光制御用の構成を有効に利用してフリッカを防止することができ、その分、簡易な構成によりフリッカを防止することができる。
【0048】
(2)第2の実施の形態
図3は、本発明の第2の実施の形態に係るテレビジョンカメラを示すブロック図である。このテレビジョンカメラ21において、第1の実施の形態に係るテレビジョンカメラ1と同一の構成は、対応する符号を付して示し、重複した説明は省略する。なおこの第2の実施の形態は、本願に含まれるものでは無く、本願の参考例である。
【0049】
このテレビジョンカメラ21において、ディジタルシグナルプロセッサ27は、輝度信号処理回路11から出力される輝度データを増幅回路28により増幅して出力する。ここでこの増幅回路28は、図4に示す特性により、マイコン24から出力される制御データDCに応じて利得を可変するようになされている。
【0050】
マイコン24は、光学検波部13から出力される輝度レベル検出結果DYをフリッカの周期により移動平均し、この平均値と制御目標値との比較により、図示しない絞り、CCD固体撮像素子3の電荷蓄積時間を制御し、これにより露光制御する。またこのように露光制御して、撮像結果において充分な明るさを確保できない場合、AGC回路6の利得を増大させる。
【0051】
さらにマイコン24は、光学検波部13から出力される連続する輝度レベル検出結果DYを演算処理することにより、フィルタ回路を構成し、輝度レベル検出結果DYよりフリッカ周期による信号成分を抽出する。さらにマイコン24は、この信号成分の信号レベルを基準にして、増幅回路28の利得を制御し、これによりフリッカによる輝度レベルの変化を補正する。
【0052】
これによりこのテレビジョンカメラ21では、フィードフォア制御により、撮像結果の信号レベルを補正してフリッカを防止するようになされている。このようなフィードフォア制御においては、上述した第1の実施の形態のように予測値を求めなくても、確実にフリッカを防止することができ、その分、マイコン14における処理を簡略化することができる。また光学検波部13から出力される輝度レベル検出結果DYを基準にして、フリッカの有無を判断することができ、この判断結果を種々の制御に役立てることができる。
【0053】
図3に示す構成によれば、撮像結果の輝度レベルからフリッカ周期による信号成分を抽出し、この信号成分の信号レベルを基準にして増幅回路の利得を制御することにより、第1の実施の形態と同様の効果を得ることができる。
【0054】
(3)第3の実施の形態
図5は、本発明の第3の実施の形態に係るテレビジョンカメラを示すブロック図である。このテレビジョンカメラ31において、第2の実施の形態に係るテレビジョンカメラ1と同一の構成は、対応する符号を付して示し、重複した説明は省略する。なおこの第3の実施の形態は、本願に含まれるものでは無く、本願の参考例である。
【0055】
このテレビジョンカメラ31において、ディジタルシグナルプロセッサ37は、色差信号処理回路9より出力される輝度データの信号レベルを増幅回路38により補正して出力する。ここで増幅回路38は、マイコン34により指示される増幅率によりそれぞれ色差データを増幅して出力するようになされている。これによりディジタルシグナルプロセッサ37は、マイコン34の指示により撮像結果の色相を補正し、フリッカによる色相の脈動を防止するようになされている。
【0056】
すなわち蛍光灯においては、近年、管内に特性の異なる複数種類の蛍光体を塗布することにより、白色光に近いスペクトラムを確保できるようになされたものが提供されている。このような蛍光灯による発光スペクトラムを詳細に観察すると、電源電圧の立ち上がり周期又は立ち下がり周期の間で、スペクトラムが変化する欠点があり、これにより蛍光灯によるフリッカにより、撮像結果の色相が順次循環的に変化することが判った。このような撮像結果における色相の変化は、フリッカによる輝度レベルの変化を防止すると目立つようになる。この実施の形態では、これによりフリッカによる輝度レベルの脈動に加えて、色相の脈動を防止する。
【0057】
すなわちマイコン34は、第2の実施の形態について上述したマイコン24と同一に、光学検波部13から出力される輝度レベル検出結果DYを処理し、増幅回路28の利得、絞り、CCD固体撮像素子3の電荷蓄積時間、AGC回路6の利得を制御する。これによりマイコン34は、輝度信号の信号レベルを補正してフリッカによる輝度レベルの脈動を防止し、また露光制御するようになされている。
【0058】
さらにマイコン24は、光学検波部13から出力されるオートホワイトバランス調整用の信号レベル検出結果を輝度レベル検出結果DYと同様に処理し、フリッカ周期による信号成分を抽出し、さらには移動平均による平均値を検出する。なおここでこのオートホワイトバランス調整用の信号レベル検出結果においては、各色信号をフィールド単位で積分して生成される。マイコン24は、この平均値を従来のオートホワイトバランス調整における処理と同様に処理して、各色信号を増幅する増幅回路の利得を求め、この利得により各色信号の信号レベルを補正するように、ディジタルシグナルプロセッサ37の動作を制御する。これによりマイコン24は、オートホワイトバランス調整するようになされている。
【0059】
さらにマイコン24は、フリッカ周期による信号成分を基準にして、この信号レベルの脈動を抑圧するように、色差データについて補正値を計算し、この補正値に対応する利得により各色差データを補正するように、増幅回路38の利得を制御する。
【0060】
これによりこの実施の形態では、フリッカによる輝度レベルの脈動に加えて、色相の脈動を防止するようになされ、さらに一段と撮像結果の画質を向上するようになされている。
【0061】
またこの色相の脈動を防止する処理においても、オートホワイトバランス調整用の検出結果を有効に利用することにより、簡易な構成で画質を向上できるようになされている。
【0062】
(4)他の実施の形態
なお上述の実施の形態においては、それぞれ露光制御用及びオートホワイトバランス調整用に適用される測定結果を有効に利用してフリッカを防止する場合について述べたが、本発明はこれに限らず、露光制御用及びオートホワイトバランス調整用の測定結果とは別に、フリッカを防止用に、別途、撮像結果より輝度レベル、色信号レベルを検出するようにしてもよい。なおこの場合に、色相の脈動を防止する構成においては、色差信号の脈動を検出して補正することが考えられる。
【0064】
また上述の実施の形態においては、それぞれAGC回路の利得の制御、輝度信号を増幅する増幅回路の利得の制御により、フリッカによる輝度レベルの脈動を防止する場合について述べたが、本発明はこれに限らず、例えばCCD固体撮像素子の出力信号を増幅する増幅回路を別途配置する場合、アナログディジタル変換回路、ディジタルアナログ変換回路における基準信号の制御により等化的に撮像結果の信号レベルを補正する場合等、種々の信号レベル補正手段の構成を広く適用することができる。
【0066】
また上述の実施の形態においては、本発明をテレビジョンカメラに適用する場合について述べたが、本発明はこれに限らず、カメラ一体型ビデオテープレコーダ等の録画機能を有してなる撮像装置、携帯電話等の通信機能を有してなる撮像装置、パーソナルコンピュータに組み込まれた撮像装置等に広く適用することができる。
【0067】
【発明の効果】
上述のように本発明によれば、撮像結果の輝度レベルを検出してフィードバック制御によりフリッカを防止する際に、入射光量の予測値を求め、この予測値を基準にして増幅回路の利得を制御することにより、確実にフリッカを防止することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態に係るテレビジョンカメラを示すブロック図である。
【図2】図1のテレビジョンカメラの動作の説明に供する図表である。
【図3】本発明の第2の実施の形態に係るテレビジョンカメラを示すブロック図である。
【図4】図3のテレビジョンカメラにおける増幅回路の特性を示す特性曲線図である。
【図5】本発明の第3の実施の形態に係るテレビジョンカメラを示すブロック図である。
【図6】電源周波数60〔Hz〕における撮像の説明に供するタイムチャートである。
【図7】電源周波数50〔Hz〕における撮像の説明に供するタイムチャートである。
【符号の説明】
1、21、31……テレビジョンカメラ、3……CCD固体撮像素子、7、27、37……ディジタルシグナルプロセッサ、9……色差信号処理回路、11……輝度信号処理回路、13……光学検出回路、14、24、34……マイコン[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging apparatus and a method for controlling the imaging apparatus, and can be applied to, for example, a television camera. In the present invention, when the luminance level of the imaging result is detected and flicker is prevented by feedback control, a predicted value of the incident light amount is obtained, and the gain of the amplifier circuit is controlled based on the predicted value, thereby reliably To prevent flickerThe
[0002]
[Prior art]
Conventionally, in a television camera, flicker may be observed in an imaged result when an image is captured under a blinking light source such as a fluorescent lamp, and various methods for effectively avoiding such flicker have been proposed. It is made like that.
[0003]
That is, in the fluorescent lamp, the amount of emitted light changes substantially according to the amplitude value of the power supply voltage as shown in FIG. As a result, in a video camera with a field frequency of 50 [Hz], when the power supply frequency of the fluorescent lamp is 60 [Hz], the amount of light that illuminates the subject varies from field to field in a continuous field. Will be observed.
[0004]
In this case, as shown in FIG. 6B, when the charge accumulation time T is extremely shortened by the electronic shutter, the change in the amount of light that illuminates the subject becomes significant in the continuous field, and thus significant flicker is observed. Become so. In the explanation of the electronic shutter in FIG. 6 and FIG. 7 that follows, the illumination light quantity of the subject to be subjected to the photoelectric conversion processing is indicated by hatching in each field.
[0005]
Further, as shown in FIG. 7A, in a video camera with a field frequency of 60 [Hz], even when the power frequency of the fluorescent lamp is 50 [Hz], the amount of light that illuminates the subject in the continuous field is the field. The flicker will be observed. Also in this case, as shown in FIG. 7 (B), if the charge accumulation time T is extremely shortened by the electronic shutter, the change in the amount of light that illuminates the subject becomes significant in the continuous field, thereby causing a remarkable flicker. Is done.
[0006]
However, if the charge accumulation time is set to a period that is an integral multiple of the lighting cycle of the light source (in this case, 1/100 [second] and 1/120 [second]), the subject is illuminated with the same amount of light in each field. Thus, in this case, an imaging result without any flicker can be obtained. Thus, in the conventional video camera, flicker is prevented by a switching operation or the like by the user according to this correction principle.
[0007]
[Problems to be solved by the invention]
By the way, the conventional flicker prevention method has a problem that is still insufficient in practical use because a switching operation corresponding to the light source must be executed.
[0008]
The present invention has been made in view of the above points, and an object of the present invention is to propose an image pickup apparatus and an image pickup apparatus control method capable of reliably preventing flicker.
[0009]
[Means for Solving the Problems]
In order to solve such a problem, in the first aspect of the present invention, the present invention is applied to an image pickup apparatus, and a luminance level detection result is corrected by a correction amount by a signal level correction means to generate a light amount detection result indicating an incident light amount of an image sensor. The delay light amount detection result is generated by delaying the light amount detection result by the predicted flicker period, and the predicted value of the light amount detection result of the subsequent field is calculated based on the light amount detection result and the corresponding delayed light amount detection result. Based on the predicted value of the light quantity detection result, the correction amount by the signal level correction means is controlled so that the luminance level detection result becomes a predetermined value.
[0010]
According to a third aspect of the present invention, the light amount is applied to the control method of the image pickup apparatus, the luminance level detection result is corrected by the correction amount by the signal level correction means, and the light amount detection result indicating the incident light amount of the image pickup device is generated. A detection processing step, a delay processing step for generating a delayed light amount detection result by delaying the light amount detection result by a predicted flicker period, a light amount detection result, and a corresponding delayed light amount detection result, A control process for controlling the correction amount by the signal level correction means so that the luminance level detection result becomes a predetermined value based on the prediction process step of generating a predicted value of the light quantity detection result and the predicted value of the light quantity detection result. Steps.
[0013]
According to the configuration of the first aspect, the present invention is applied to the imaging apparatus, corrects the luminance level detection result by the correction amount of the signal level correction unit, and generates and predicts the light amount detection result indicating the incident light amount of the image sensor. The amount of light detection result is delayed by the flicker period to generate a delayed light amount detection result. Based on the light amount detection result and the corresponding delayed light amount detection result, a predicted value of the light amount detection result of the subsequent field is generated to detect the light amount. By controlling the amount of correction by the signal level correction means so that the luminance level detection result becomes a predetermined value based on the predicted value of the result, for example, a series of configurations used for exposure control can be effectively used to perform feedback control. Thus, flicker can be reliably prevented.
[0014]
Thereby, according to the structure of
[0017]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings as appropriate.
[0018]
(1) First embodiment
(1-1) Configuration of the first embodiment
FIG. 1 is a block diagram showing a television camera according to an embodiment of the present invention. In the
[0019]
The CCD solid-
[0020]
A correlated double sampling circuit (CDS) 5 correlates and samples the output signal S1 of the two-
[0021]
That is, in the
[0022]
The luminance
[0023]
The optical detection unit (OPD) 13 appropriately integrates image data related to processing in the
[0024]
The
[0025]
The
[0026]
In this processing, the
[0027]
FIG. 2 shows processing under a fluorescent lamp with a power supply frequency of 50 [Hz]. In this case, in imaging at a field frequency of 60 [Hz], the amount of light that illuminates the subject fluctuates in a three-field cycle. In FIG. 2, the light quantity of the incident light L1 to the CCD solid-state
[0028]
Further, the output signal S1 of the CCD solid-state
[0029]
Therefore, the
[0030]
Accordingly, the
[0031]
Further, the
[0032]
The light quantity detection result calculated in this way is held at a substantially constant value when imaging is performed under a light source with a power frequency of 60 [Hz], and further when imaging is performed under a light source such as a white light source.
[0033]
On the other hand, when flicker is generated by imaging under a fluorescent lamp with a power frequency of 50 [Hz], the light amount of the incident light L1 thus obtained by calculation changes in a three-field cycle. Become. Thereby, the
[0034]
That is, in the case of FIG. 2, the amount of incident light L1 is calculated from the third field after imaging is started, and the recording of the amount of incident light L1 is completed for one cycle of flicker in the fifth field. To do. If there is no change in the brightness of the subject, the amount of incident light L1 can be obtained by calculation with the same value as in the third field in the sixth field. Even in the case where the brightness of the subject itself has changed, a change in the amount of light due to flicker is observed in the sixth field as the brightness of the subject itself changes.
[0035]
Thereby, the
[0036]
Accordingly, when the brightness of the subject itself has not changed, as shown in FIG. 2, the light quantity calculation result is sequentially calculated and recorded in the memory as a predicted disturbance value. As a result, the amount of light in the following field is calculated. On the other hand, when the brightness of the subject itself is changing, the moving average value of the light amount of the incident light L1, which sequentially changes, sequentially changes according to the change in the brightness of the subject. The moving average value of the predicted disturbance value also changes so as to correspond to the change.
[0037]
Accordingly, when the light quantity calculation result is once recorded in the memory and the gain of the
[0038]
That is, in the
[0039]
In the exposure process and the gain control of the
[0040]
Thus, in the
[0041]
(1-2) Operation of the first embodiment
In the above configuration, in the
[0042]
In the
[0043]
Accordingly, the
[0044]
In the
[0045]
In the
[0046]
(1-3) Effects of the first embodiment
According to the above configuration, when the luminance level of the imaging result is detected and flicker is prevented by feedback control, the predicted value of the incident light amount is obtained, and the gain of the amplifier circuit is controlled based on the predicted value. Thus, flicker can be surely prevented.
[0047]
In addition, since the detection result of the brightness level is a measurement result for exposure control, flicker can be prevented by effectively using the configuration for exposure control, and flicker can be prevented by a simple configuration. Can do.
[0048]
(2) Second embodiment
FIG. 3 is a block diagram showing a television camera according to the second embodiment of the present invention. In this television camera 21, the same configuration as that of the
[0049]
In the television camera 21, the
[0050]
The
[0051]
Furthermore, the
[0052]
Thereby, in this television camera 21, the signal level of the imaging result is corrected by feed fore control to prevent flicker. In such feed fore control, flicker can be reliably prevented without obtaining a predicted value as in the first embodiment described above, and the processing in the
[0053]
According to the configuration shown in FIG. 3, a signal component based on the flicker cycle is extracted from the luminance level of the imaging result, and the gain of the amplifier circuit is controlled on the basis of the signal level of the signal component. The same effect can be obtained.
[0054]
(3) Third embodiment
FIG. 5 is a block diagram showing a television camera according to the third embodiment of the present invention. In this television camera 31, the same configuration as that of the
[0055]
In the television camera 31, the
[0056]
That is, in recent years, fluorescent lamps have been provided that can ensure a spectrum close to white light by applying a plurality of types of phosphors having different characteristics in a tube. When the emission spectrum of such a fluorescent lamp is observed in detail, there is a drawback that the spectrum changes between the rising cycle or falling cycle of the power supply voltage. As a result, the hue of the imaging result is sequentially circulated by the flicker of the fluorescent lamp. It turned out to change. Such a change in hue in the imaging result becomes conspicuous if a change in luminance level due to flicker is prevented. In this embodiment, this prevents hue pulsations in addition to luminance level pulsations caused by flicker.
[0057]
That is, the
[0058]
Further, the
[0059]
Further, the
[0060]
Thereby, in this embodiment, in addition to the pulsation of the luminance level due to flicker, the pulsation of the hue is prevented, and the image quality of the imaging result is further improved.
[0061]
In the processing for preventing the hue pulsation, the image quality can be improved with a simple configuration by effectively using the detection result for auto white balance adjustment.
[0062]
(4) Other embodiments
In the above-described embodiment, the case where flicker is prevented by effectively using the measurement results respectively applied for exposure control and auto white balance adjustment has been described. However, the present invention is not limited to this, and exposure is performed. In addition to the measurement results for control and auto white balance adjustment, the luminance level and the color signal level may be separately detected from the imaging result in order to prevent flicker. In this case, in the configuration for preventing the hue pulsation, it is conceivable to detect and correct the pulsation of the color difference signal.
[0064]
In the above-described embodiments, the case where the luminance level pulsation due to flicker is prevented by controlling the gain of the AGC circuit and the gain of the amplifier circuit that amplifies the luminance signal has been described. For example, when an amplifier circuit that amplifies the output signal of the CCD solid-state image sensor is separately arranged, when the signal level of the imaging result is corrected equivalently by controlling the reference signal in the analog-digital conversion circuit or the digital-analog conversion circuit The configuration of various signal level correction means can be widely applied.
[0066]
In the above embodiment, the case where the present invention is applied to a television camera has been described. However, the present invention is not limited to this, and an imaging apparatus having a recording function such as a camera-integrated video tape recorder, The present invention can be widely applied to an imaging device having a communication function such as a mobile phone, an imaging device incorporated in a personal computer, and the like.
[0067]
【The invention's effect】
As described above, according to the present invention, when the luminance level of the imaging result is detected and flicker is prevented by feedback control, a predicted value of the incident light amount is obtained, and the gain of the amplifier circuit is controlled based on the predicted value. By doingAnd sureIn fact, flicker can be prevented.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a television camera according to a first embodiment of the present invention.
2 is a chart for explaining the operation of the television camera of FIG. 1. FIG.
FIG. 3 is a block diagram showing a television camera according to a second embodiment of the present invention.
4 is a characteristic curve diagram showing characteristics of an amplifier circuit in the television camera of FIG. 3. FIG.
FIG. 5 is a block diagram showing a television camera according to a third embodiment of the present invention.
FIG. 6 is a time chart for explaining imaging at a power supply frequency of 60 [Hz].
FIG. 7 is a time chart for explaining imaging at a power supply frequency of 50 [Hz].
[Explanation of symbols]
1, 21 and 31 ... Television camera, 3 ... CCD solid-state imaging device, 7, 27, 37 ... Digital signal processor, 9 ... Color difference signal processing circuit, 11 ... Luminance signal processing circuit, 13 ... Optical Detection circuit, 14, 24, 34 ... Microcomputer
Claims (3)
前記撮像素子の出力信号の信号レベルを補正する信号レベル補正手段と、
前記信号レベル補正手段の出力信号を信号処理して、該出力信号の輝度レベルをフィールド単位で検出して輝度レベル検出結果を出力する輝度レベル検出手段と、
前記輝度レベル検出結果に基づいて、前記信号レベル補正手段の動作を制御する制御手段とを備え、
前記制御手段は、
前記信号レベル補正手段による補正量により前記輝度レベル検出結果を補正して、前記撮像素子の入射光量を示す光量検出結果を生成し、
予測されるフリッカの周期分、前記光量検出結果を遅延させて遅延光量検出結果を生成し、
前記光量検出結果と、対応する前記遅延光量検出結果とにより、続くフィールドの、前記光量検出結果の予測値を生成し、
前記光量検出結果の予測値に基づいて、前記輝度レベル検出結果が所定値になるように、前記信号レベル補正手段による補正量を制御する
ことを特徴とする撮像装置。An image sensor for outputting an imaging result;
Signal level correction means for correcting the signal level of the output signal of the image sensor;
Luminance level detection means for performing signal processing on the output signal of the signal level correction means, detecting the luminance level of the output signal in field units, and outputting a luminance level detection result;
Control means for controlling the operation of the signal level correction means based on the luminance level detection result,
The control means includes
Correcting the luminance level detection result by a correction amount by the signal level correction means, and generating a light amount detection result indicating an incident light amount of the image sensor;
Delaying the light amount detection result by a predicted flicker period to generate a delayed light amount detection result,
Based on the light amount detection result and the corresponding delayed light amount detection result, a predicted value of the light amount detection result of the subsequent field is generated,
An image pickup apparatus that controls a correction amount by the signal level correction unit based on a predicted value of the light amount detection result so that the luminance level detection result becomes a predetermined value.
ことを特徴とする請求項1に記載の撮像装置。The imaging apparatus according to claim 1, further comprising an exposure control unit configured to perform exposure control based on the luminance level detection result.
前記撮像素子の出力信号の信号レベルを補正する信号レベル補正手段と、
前記信号レベル補正手段の出力信号を信号処理して、該出力信号の輝度レベルをフィールド単位で検出して輝度レベル検出結果を出力する輝度レベル検出手段とを備える撮像装置の制御方法であって、
前記信号レベル補正手段による補正量により前記輝度レベル検出結果を補正して、前記撮像素子の入射光量を示す光量検出結果を生成する光量検出処理ステップと、
予測されるフリッカの周期分、前記光量検出結果を遅延させて遅延光量検出結果を生成する遅延処理ステップと、
前記光量検出結果と、対応する前記遅延光量検出結果とにより、続くフィールドの、前記光量検出結果の予測値を生成する予測処理のステップと、
前記光量検出結果の予測値に基づいて、前記輝度レベル検出結果が所定値になるように、前記信号レベル補正手段による補正量を制御する制御処理のステップと
を有することを特徴とする撮像装置の制御方法。An image sensor for outputting an imaging result;
Signal level correction means for correcting the signal level of the output signal of the image sensor;
A method for controlling an imaging apparatus, comprising: a luminance level detection unit that performs signal processing on an output signal of the signal level correction unit, detects a luminance level of the output signal in units of fields, and outputs a luminance level detection result;
A light amount detection processing step of correcting the luminance level detection result by a correction amount by the signal level correction unit and generating a light amount detection result indicating an incident light amount of the image sensor;
A delay processing step of delaying the light amount detection result for a predicted flicker period to generate a delayed light amount detection result;
A step of a prediction process for generating a predicted value of the light quantity detection result of the subsequent field based on the light quantity detection result and the corresponding delayed light quantity detection result;
And a control processing step of controlling a correction amount by the signal level correction means so that the luminance level detection result becomes a predetermined value based on a predicted value of the light amount detection result. Control method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001330584A JP3864408B2 (en) | 2001-10-29 | 2001-10-29 | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001330584A JP3864408B2 (en) | 2001-10-29 | 2001-10-29 | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003134392A JP2003134392A (en) | 2003-05-09 |
JP3864408B2 true JP3864408B2 (en) | 2006-12-27 |
Family
ID=19146293
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001330584A Expired - Fee Related JP3864408B2 (en) | 2001-10-29 | 2001-10-29 | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3864408B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4632918B2 (en) * | 2005-10-11 | 2011-02-16 | 三菱電機株式会社 | Imaging device |
-
2001
- 2001-10-29 JP JP2001330584A patent/JP3864408B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003134392A (en) | 2003-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3892172B2 (en) | Solid-state imaging device | |
JP3004382B2 (en) | TV camera device with variable shutter | |
US7443442B2 (en) | Image apparatus and method for compensating for high and low luminance image portions via exposure control and gamma correction | |
KR20070024559A (en) | Imaging device and signal processing method | |
JP3685686B2 (en) | Imaging area sensor and imaging apparatus | |
JP3207313B2 (en) | Imaging device and control method thereof | |
JPH1184489A (en) | Stroboscope device | |
KR20060090665A (en) | Image processing device | |
JP2003259189A (en) | Imaging device and image processing method | |
US8169503B2 (en) | Image pickup apparatus and control method for selecting a flicker control method | |
JP3864408B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
JP2007025558A (en) | Exposure control method and device, and imaging apparatus | |
JPH07298130A (en) | Image pickup device | |
JP2003324748A (en) | Television camera | |
JP2003179809A (en) | Camera and signal processing method thereof | |
JP4632918B2 (en) | Imaging device | |
JP2009049981A (en) | Image sensing apparatus and method of controlling the same | |
JP2002218319A (en) | Imaging apparatus and imaging method | |
JPH1023324A (en) | Image pickup device | |
JP2001186407A (en) | Image pickup device | |
JPH11215431A (en) | Television camera | |
JP2003298929A (en) | Imaging unit | |
JP2785526B2 (en) | Exposure control device for video camera | |
JPH10257381A (en) | Flicker correction device | |
JP2004120331A (en) | Television camera device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041001 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060710 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060713 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060822 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060911 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060924 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091013 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101013 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101013 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111013 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111013 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121013 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121013 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131013 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |