JP3706006B2 - Imaging apparatus and imaging method - Google Patents
Imaging apparatus and imaging method Download PDFInfo
- Publication number
- JP3706006B2 JP3706006B2 JP2000219344A JP2000219344A JP3706006B2 JP 3706006 B2 JP3706006 B2 JP 3706006B2 JP 2000219344 A JP2000219344 A JP 2000219344A JP 2000219344 A JP2000219344 A JP 2000219344A JP 3706006 B2 JP3706006 B2 JP 3706006B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- lut
- gain
- charge accumulation
- accumulation time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Studio Devices (AREA)
Description
【0001】
【発明の属する技術分野】
この発明は露出制御処理を行う撮像装置及び撮像方法に関するものである。
【0002】
【従来の技術】
電荷蓄積時間を変更できる固体撮像素子において、ルックアップテーブル(以下、LUT)を用いて電荷蓄積時間及びゲインを調節し、一定の映像レベルが得られるまでの露出制御時間を短く、かつ精度の良い露出制御を行うための手段が特開平11−18002号公報に記載されている。この方式では、LUTを使用して画素積算値や電荷蓄積時間を対数値に変換することにより、本来、乗除算の必要な演算を加減算のみで実現して、従来よりも処理を高速化、高精度化している。
【0003】
図11は上記公報に開示されている従来の撮像装置の構成を示すブロック図であり、図において、1は入射する光画像を光電変換して電気信号の映像信号を出力する、電荷蓄積時間Sを変更できる固体撮像素子、2は固体撮像素子1の電荷蓄積時間Sを制御するための駆動パルスを供給するタイミングジェネレータ、3は固体撮像素子1からの映像信号を増幅するプリアンプである。
【0004】
6はプリアンプ3からの映像信号をデジタルの映像信号に変換するA/Dコンバータ、7はA/Dコンバータ6からの1フレーム分のデジタルの映像信号の画素値を積算し画素積算値を出力する積算手段、38は積算手段7からの画素積算値を入力し、具備しているLUT121,122を用いて演算を行い、タイミングジェネレータ2が出力する駆動パルスのパルス間隔を変更するための制御信号を出力する演算手段である。121はテーブルアドレスnの値に対して被写体の明るさLを設定したLUT,122はLUT121のテーブルアドレスnの値に対して、目標の画素積算値を得るための電荷蓄積時間Sを示すLUTである。
【0005】
次に動作について説明する。
入射する光画像は固体撮像素子1により電気信号の映像信号に変換され、固体撮像素子1から出力された映像信号はプリアンプ3により増幅され、A/Dコンバータ6によりデジタルの映像信号に変換される。タイミングジェネレータ2は固体撮像素子1の駆動パルスのパルス間隔を変えることによって固体撮像素子1の電荷蓄積時間Sを変えることができ、電荷蓄積時間Sを変えることにより固体撮像素子1の露出制御を行うことができる。
【0006】
積算手段7はA/Dコンバータ6から入力されたデジタルの映像信号の1フィールド分の画素値を積算し、その画素積算値を演算手段38へ出力する。積算手段7は映像信号中の全てのエリアを積算しても良いし、その一部、例えば中央重点測光においては中央部のみを積算しても良い。演算手段38は積算手段7により算出された画素積算値を入力し、LUT121,122を使用して演算を行い、画素積算値に応じて固体撮像素子1の電荷蓄積時間Sを変えるように、タイミングジェネレータ2へ駆動パルスのパルス間隔を変更するための制御信号を出力する。
【0007】
図12はテーブルアドレスnの値に対して被写体の明るさLを設定したLUT121の例を示す図である。演算手段38は、図12に示すように、予め定めた定数K1(=100)に定数K2とテーブルアドレスnの値とをべき乗した指数関数で表すことのできる、テーブルアドレスnの値に対応したN個の被写体の明るさLを示すLUT121を具備する。図12では、テーブルアドレスが0番における被写体の明るさLが100[lx](=K1)のとき、テーブルアドレスが1番における被写体の明るさLは100K2[lx]となり、被写体の明るさLが指数関数的に増加するように設定されている。例えば100[lx]から100000[lx]までの明るさを包括したいときは、
K2=(100000/100)1/(N-1) (1)
となる。
【0008】
図13はLUT121のテーブルアドレスnの値に対して、目標の画素積算値を得るための電荷蓄積時間Sを示すLUT122の例を示す図である。演算手段38は、図13に示すように、テーブルアドレスnの値に対してN個の電荷蓄積時間Sを示すLUT122を具備する。LUT122の各テーブルアドレスnには、同じテーブルアドレスのLUT121の明るさで撮像した際の積算手段7における1フィールド分の画素積算値が一定となるように、電荷蓄積時間Sが設けられている。すなわち、テーブルアドレスn番における被写体の明るさをLnとし、テーブルアドレスn番における電荷蓄積時間をSnとすると、被写体の明るさLnにおいて固体撮像素子1の電荷蓄積時間Snで撮像したとき得られる映像信号レベル(1フィールド分の画素積算値)は一定となり、目標とする映像信号レベルになるようにLUT122の各電荷蓄積時間Sが定められている。そのときの目標の画素積算値をΣpとすると、次の(2)式が成り立つ。
Σp=K9×Ln×Sn (2)
ただし、K9は定数である。
【0009】
ここで、目標の画素積算値Σpは、撮像された画面の明るさを示すパラメータであり、例えば、より明るい画像が必要であれば、高くするといったように、希望する露出を示すための指標となる。希望する露出が変わると、目標の画素積算値Σpが変わることになるため、LUT122の電荷蓄積時間Sを補正する必要がある。
【0010】
上記(2)式より、ある電荷蓄積時間Smで撮像したとき得られた画素積算値がΣmであれば、そのときの被写体の明るさLm’は次式で求めることができる。
Lm’=Σm/(K9×Sm) (3)
よって、演算手段38が算出したLm’に対して、LUT121のLm’と同じテーブルアドレスである電荷蓄積時間Sm’で撮像すれば、目標の画素積算値Σp,すなわち目標とする信号レベルを得ることができる。
【0011】
この方法では、理論的には被写体の明るさLを算出する一度の演算のみで、適正な電荷蓄積時間Sを選択することができるが、得られた画素積算値が極端に小さい場合等では、上記(2)式の演算結果に誤差が生じる。しかし、上記演算を繰り返し行うことにより電荷蓄積時間Sの設定値は適正値に近づくため、演算誤差を限りなく小さくすることができる。
【0012】
このように、演算手段38が画素積算値より被写体の明るさLを算出し、それに合った電荷蓄積時間SをLUT122から参照することにより、数回の繰り返し動作だけで精度の高い露出制御が行える。
【0013】
また、上記公報には、電荷蓄積時間Sだけでなく、Automatic Gain Control(以下、AGC)回路を併用して露出制御を行う場合の制御方式に関しても記述されている。図14は上記公報に開示された従来の撮像装置の構成を示すブロック図である。図において、4はプリアンプ3からの映像信号を増幅する、ゲインGを変更できるAGC回路、5はAGC回路4のゲインGを制御するアナログの制御信号を出力するD/Aコンバータ、48は積算手段7からの画素積算値を入力し、具備しているLUT123〜128を使用して演算を行い、タイミングジェネレータ2が出力する駆動パルスのパルス間隔を変更するための制御信号を出力すると共に、AGC回路4のゲインGを変更するためにD/Aコンバータ5に制御信号を出力する演算手段である。その他の図11と同一符号の構成は、それぞれ同一又は相当部分を示しいる。
【0014】
演算手段48はAGC回路4のゲインGを変えるための制御信号をD/Aコンバータ5へ出力し、D/Aコンバータ5は演算手段48から入力された制御信号を、電圧値で示されるアナログの制御信号に変換しAGC回路4に出力する。AGC回路4はD/Aコンバータ5からのアナログの制御信号によりゲインGが変更される。
【0015】
また、演算手段48による制御については、演算をそのまま乗除算で行うのではなく、対数を用いて加減算に変換することが可能である。まず、画素積算値Σと被写体の明るさLと電荷蓄積時間SとAGC回路4のゲインGの関係は、次の(4)式で示される。
Σ=K10×L×S×G (4)
ただし、K10は定数である。よって被写体の明るさLは、得られた画素積算値Σと撮像時の電荷蓄積時間S及びゲインGから、次の(5)式にて算出することができる。
L=Σ/(K10×S×G) (5)
上記(5)式の両辺の対数を取ると次の(6)式となる。
logL=logΣ−logS−logG−logK10 (6)
【0016】
この方式においても、演算手段48の実際の演算にはLUTが必要となる。演算手段48は、テーブルアドレスnの値に対して被写体の明るさLの対数値を設定した、すなわち、図12に示したLUT121の被写体明るさLの部分を対数値logLに置き換えたLUT123と、LUT123のテーブルアドレスnの値に対して、目標の画素積算値を得るための電荷蓄積時間Sを示すLUT124と、LUT123のテーブルアドレスnの値に対して、目標の画素積算値を得るためのゲインGを示すLUT125と、LUT124のテーブルアドレスnの値に対して、電荷蓄積時間Sを対数値に置き換えるLUT126と、LUT125のテーブルアドレスnの値に対して、ゲインGを対数値に置き換えるLUT127と、画素積算値を対数値に置き換えるLUT128を具備している。
【0017】
上記(6)式より、ある電荷蓄積時間Sm及びゲインGmで撮像したとき得られた画素積算値がΣmであれば、そのときの被写体の明るさ対数値logLm’は、次の(7)式で求めることができる。
logLm’=logΣm−logSm−logGm−logK10(7)
ここで、logSm及びlogGmは、これらを求める際に用いたlogLmの値からLUT126とLUT127を参照することにより容易に求められ、LUT128によってlogΣmも求まるため、加減算のみによってlogLm’の値が求まる。算出したlogLm’においてLUT124とLUT125を参照し、LUT123のLm’と同じテーブルアドレスである電荷蓄積時間Sm’及びゲインGで撮像すれば、目標の画素積算値Σp,すなわち目標とする信号レベルを得ることができる。
【0018】
このように、電荷蓄積時間SとゲインGという2つのパラメータを制御する必要がある場合でも、被写体の明るさLを基準として対応した電荷蓄積時間S,及びゲインGを設定することにより最適な制御を実現でき、また、演算に用いる各係数を対数化することによって演算を加減算のみとして、計算量を増大させることなく精度の高い露出制御が行える。
【0019】
【発明が解決しようとする課題】
従来の撮像装置は以上のように構成されているので、複数のLUTが必要となり、大容量のデータをLUTの設定値として記録しておく領域が必要になるという課題があった。また、システムの演算精度を上げようとする場合、値を対数化するLUTの入力値の幅が広くなり、LUTに必要なデータ記録領域がさらに増大するという課題があった。
【0020】
さらに、電荷蓄積時間SとゲインGという複数のパラメータを制御する場合には、同じ明るさLに対しても一意にパラメータが決定されるわけではなく、電荷蓄積時間SとゲインGの組み合わせに一定の条件が課せられるだけで、いずれか一方の値に関しては自由に選択できる。その場合に具体的なパラメータの値は、各パラメータの設定可能範囲や撮像装置の使用目的によって決定方法を変更する必要がある。このように制御タイプの異なる複数の露出制御方式を用意し、必要に応じていずれかを選択するような仕組みを導入する場合にも、タイプの数に合わせてそれぞれ一連のLUTを作成する必要があり、LUTに必要なデータ記録領域が増大するという課題があった。
【0021】
この発明は上記のような課題を解決するためになされたもので、露出制御に必要なデータ容量を低減すると共に、様々なタイプの露出制御方式に対しても柔軟に対応可能な撮像装置及び撮像方法を得ることを目的とする。
【0022】
【課題を解決するための手段】
この発明に係る撮像装置は、光画像を光電変換して映像信号を出力する、電荷蓄積時間を変更できる固体撮像素子と、上記固体撮像素子からの映像信号を増幅する、ゲインを変更できるAGC回路と、上記AGC回路からの映像信号をデジタルの映像信号に変換するA/Dコンバータと、上記A/Dコンバータからのデジタルの映像信号の画素値を、所定領域単位に積算して画素積算値を求める積算手段と、設定可能最小単位である単位設定電荷蓄積時間により設定可能な電荷蓄積時間を対数値に置き換える第1のLUTと、設定可能最小単位である単位設定ゲインにより設定可能なゲインを対数値に置き換える第2のLUTに基づき、被写体の明るさの指標値に対して、目標の画素積算値を得るための上記固体撮像素子の電荷蓄積時間及び上記AGC回路のゲインを求めると共に、上記固体撮像素子の電荷蓄積時間及び上記AGC回路のゲインをそれぞれの対数値に置き換える第3のLUTを生成するテーブル生成手段と、上記積算手段からの画素積算値を対数値に置き換える第4のLUTを有し、上記第4のLUTにより置き換えられた画素積算値の対数値、上記第3のLUTにより置き換えられた撮影時の電荷蓄積時間の対数値及び撮影時のゲインの対数値により被写体の明るさの指標値を求め、求めた被写体の明るさの指標値により上記第3のLUTから上記固体撮像素子の電荷蓄積時間と上記AGC回路のゲインを決定する演算手段とを備えたものである。
【0023】
この発明に係る撮像装置は、光画像を光電変換して映像信号を出力する、電荷蓄積時間を変更できる固体撮像素子と、上記固体撮像素子からの映像信号を増幅する、ゲインを変更できるAGC回路と、上記AGC回路からの映像信号をデジタルの映像信号に変換するA/Dコンバータと、上記A/Dコンバータからのデジタルの映像信号の画素値を、所定領域単位に積算して画素積算値を求める積算手段と、設定可能最小単位値である単位設定電荷蓄積時間の対数値、設定可能最小単位値である単位設定ゲインの対数値、及び上記積算手段からの画素積算値を対数値に置き換える第4のLUTにおける対数値に基づき、被写体の明るさの指標値に対して、目標の画素積算値を得るための上記固体撮像素子の電荷蓄積時間及び上記AGC回路のゲインを求めると共に、上記固体撮像素子の電荷蓄積時間及び上記AGC回路のゲインをそれぞれの対数値に置き換える第3のLUTを生成するテーブル生成手段と、上記第4のLUTを有し、上記第4のLUTにより置き換えられた画素積算値の対数値、上記第3のLUTにより置き換えられた撮影時の電荷蓄積時間の対数値及び撮影時のゲインの対数値により被写体の明るさの指標値を求め、求めた被写体の明るさの指標値により上記第3のLUTから上記固体撮像素子の電荷蓄積時間と上記AGC回路のゲインを決定する演算手段とを備えたものである。
【0024】
この発明に係る撮像装置は、第3のLUTが、求められた被写体の明るさの指標値に対して、目標の画素積算値を得るための電荷蓄積時間を示す第5のLUTと、求められた被写体の明るさの指標値に対して、目標の画素積算値を得るためのゲインを示す第6のLUTと、上記第5のLUTの指標値に対して、電荷蓄積時間を対数値に置き換える第7のLUTと、上記第6のLUTの指標値に対して、ゲインを対数値に置き換える第8のLUTとにより構成されるものである。
【0026】
この発明に係る撮像方法は、光画像を光電変換して映像信号を出力する第1のステップと、上記映像信号を増幅する第2のステップと、上記増幅された映像信号をデジタルの映像信号に変換する第3のステップと、上記デジタルの映像信号の画素値を所定領域単位に積算して画素積算値を求める第4のステップと、設定可能最小単位である単位設定電荷蓄積時間により設定可能な電荷蓄積時間を対数値に置き換える第1のLUTと、設定可能最小単位である単位設定ゲインにより設定可能なゲインを対数値に置き換える第2のLUTに基づき、被写体の明るさの指標値に対して、目標の画素積算値を得るための上記第1のステップにおける電荷蓄積時間及び上記第2のステップにおけるゲインを求めると共に、上記第1のステップにおける電荷蓄積時間及び上記第2のステップにおけるゲインをそれぞれの対数値に置き換える第3のLUTを生成する第5のステップと、上記第4のステップで求めた画素積算値を対数値に置き換える第4のLUTにより置き換えられた画素積算値の対数値、上記第3のLUTにより置き換えられた撮影時の電荷蓄積時間の対数値及び撮影時のゲインの対数値により被写体の明るさの指標値を求め、求めた被写体の明るさの指標値により上記第3のLUTから上記第1のステップにおける電荷蓄積時間と上記第2のステップにおけるゲインを決定する第6のステップとを備えたものである。
【0027】
この発明に係る撮像方法は、光画像を光電変換して映像信号を出力する第1のステップと、上記映像信号を増幅する第2のステップと、上記増幅された映像信号をデジタルの映像信号に変換する第3のステップと、上記デジタルの映像信号の画素値を所定領域単位に積算して画素積算値を求める第4のステップと、設定可能最小単位値である単位設定電荷蓄積時間の対数値、設定可能最小単位値である単位設定ゲインの対数値、及び上記第4のステップにおける画素積算値を対数値に置き換える第4のLUTにおける対数値に基づき、被写体の明るさの指標値に対して、目標の画素積算値を得るための上記第1のステップにおける電荷蓄積時間及び上記第2のステップにおけるゲインを求めると共に、上記第1のステップにおける電荷蓄積時間及び上記第2のステップにおけるゲインをそれぞれの対数値に置き換える第3のLUTを生成する第5のステップと、上記第4のLUTにより置き換えられた画素積算値の対数値、上記第3のLUTにより置き換えられた撮影時の電荷蓄積時間の対数値及び撮影時のゲインの対数値により被写体の明るさの指標値を求め、求めた被写体の明るさの指標値により上記第5のステップで生成した上記第3のLUTから、上記第1のステップにおける電荷蓄積時間と上記第2のステップにおけるゲインを決定する第6のステップとを備えたものである。
【0029】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態1.
図1はこの発明の実施の形態1による撮像装置の構成を示すブロック図であり、図において、1は入射する光画像を光電変換して電気信号の映像信号を出力する、電荷蓄積時間Sを変更できる固体撮像素子、2は固体撮像素子1の電荷蓄積時間Sを制御するための駆動パルスを供給するタイミングジェネレータである。
【0030】
3は固体撮像素子1からの映像信号を増幅するプリアンプ、4はプリアンプ3からの映像信号を増幅する、ゲインを変更できるAGC回路、5はAGC回路4のゲインGを制御するアナログの制御信号を出力するD/Aコンバータ、6はAGC回路4からの映像信号をデジタルの映像信号に変換するA/Dコンバータ、7はA/Dコンバータ6からの1フレーム分のデジタルの映像信号の画素値を積算し画素積算値を出力する積算手段である。
【0031】
8は積算手段7からの画素積算値を入力し、具備しているLUT101〜LUT105を使用して固体撮像素子1の電荷蓄積時間SとAGC回路4のゲインを決定する演算手段であり、9は具備しているLUT111,LUT112に基づき、演算手段8が演算に使用するLUT102〜105を生成するテーブル生成手段である。
【0032】
演算手段8において、101は画素積算値を対数値に置き換えるLUT(第4のLUT)、102は求められた被写体の明るさLに対応したテーブルアドレス(指標値)nの値に対して、目標の画素積算値を得るための電荷蓄積時間Sを示すLUT(第5のLUT)、103は求められた被写体の明るさLに対応したテーブルアドレス(指標値)nの値に対して、目標の画素積算値を得るためのゲインGを示すLUT(第6のLUT)、104はLUT102のテーブルアドレスnの値に対して、電荷蓄積時間Sを対数値に置き換えるLUT(第7のLUT)、105はLUT103のテーブルアドレスnの値に対して、ゲインGを対数値に置き換えるLUT(第8のLUT)である。上記LUTのうち、LUT102〜LUT105は、被写体の明るさLから電荷蓄積時間SとゲインG、並びにそれぞれの対数値を求めるLUT(第3のLUT)である。
【0033】
演算手段8は、積算手段7からの画素積算値及び画素積算値を対数値に置き換えるLUT101と、撮影時の電荷蓄積時間Sの対数値と、撮影時のゲインGの対数値を使用した演算により被写体の明るさLの指標値nを求め、求めた被写体の明るさLの指標値nをテーブルアドレスとして参照することにより、被写体の明るさLから電荷蓄積時間SとゲインG、並びにそれぞれの対数値を求めるLUT102〜LUT105から固体撮像素子1の電荷蓄積時間SとAGC回路4のゲインを決定し、タイミングジェネレータ2が出力する駆動パルスのパルス間隔を変更するための制御信号を出力すると共に、AGC回路4のゲインGを変更するためにD/Aコンバータ5に制御信号を出力する。
【0034】
テーブル生成手段9において、111は固体撮像素子1の特性により設定可能な電荷蓄積時間Sを対数値に置き換えるLUT(第1のLUT)、112はAGC回路4の特性により設定可能なゲインGを対数値に置き換えるLUT(第2のLUT)である。テーブル生成手段9は、固体撮像素子1の特性により設定可能な電荷蓄積時間Sを対数値に置き換えるLUT111と、AGC回路4の特性により設定可能なゲインGを対数値に置き換えるLUT112に基づき、被写体の明るさLから電荷蓄積時間SとゲインG、並びにそれぞれの対数値を求めるLUT102〜105を生成する。
【0035】
次に動作について説明する。
撮像装置に入射する光画像は、固体撮像素子1によって電気信号の映像信号に変換された後、プリアンプ3及びAGC回路4によって増幅され、A/Dコンバータ6によってデジタルの映像信号に変換される。このデジタルの映像信号は、積算手段7によって1フィールド分の画素値が積算され、その画素積算値が演算手段8へ出力される。この際、積算手段7は映像信号中の全てのエリアを積算しても良いし、映像信号中の一部、例えば中央重点測光においては中央部のみを積算したり、あるいは画素の位置に応じて重み付けを行って積算しても良い。
【0036】
演算手段8は積算手段7によって得られた画素積算値を入力し、具備しているLUT101〜105に基づき演算を行い、固体撮像素子1の電荷蓄積時間Sを変えるように、タイミングジェネレータ2が出力する駆動パルスのパルス間隔を変更するための制御信号を、タイミングジェネレータ2に出力すると共に、AGC回路4のゲインGを変更するために、D/Aコンバータ5に制御信号を出力する。演算手段8はLUT101〜105を使用して演算を行い、出力する電荷蓄積時間Sの制御信号及びゲインGの制御信号を決定するが、このうち、LUT101はあらかじめ作成されているが、LUT102〜105はテーブル生成手段9によって、この撮像装置の動作開始時に自動的に生成される。
【0037】
次に各LUT101〜105の値の定め方を以下に示す。まず、画素積算値Σと被写体の明るさLと電荷蓄積時間SとゲインGの関係は、次の(8)式で示される。
Σ=K×L×S×G (8)
ただし、Kは定数である。
【0038】
よって被写体の明るさLは、得られた画素積算値Σと撮像時の電荷蓄積時間S及びゲインGから、次の(9)式にて算出することができる。
L=Σ/(K×S×G) (9)
これを両辺対数化すると、
logL=logΣ−logK−logS−logG (10)
となる。さらに両辺に定数Cを掛けると、
C・logL=C・logΣ−C・logK−C・logS−C・logG(11)
となる。
【0039】
ここで、Lを定数K1及びK2を用いて表すと、
L=K1・10n・K2 (12)
となる。ただし、nは0以上N未満の整数で指標値である。これを両辺対数化して両辺に定数Cを掛けると、
C・logL=C・logK1+n・C・K2 (13)
となり、これを(11)式に代入すると、
となる。そして、上記(14)式より次の(15)式が得られる。
n・C・K2=C・logΣ−K3−C・logS−C・logG(15)
ただし、K3は定数であり、
K3=−C・logK−C・logK1
である。
【0040】
ここで、Cが
C・K2=1
を満たすものとすれば、上記(15)式より次の(16)式が成り立つ。
n=C・logΣ−K3−C・logS−C・logG (16)
よって、K1及びK2の値に関わらずCを適切な値に取ることで、左辺を整数値にすることができ、上記(16)式における画素積算値Σ,電荷蓄積時間S,ゲインGのそれぞれの対数値をLUT101〜105により求めることで、被写体の明るさLに対応するテーブルアドレス(指標値)nの値を、加減算のみを用いて算出することができる。また、nは0以上N未満の整数であるので、求められたnの値をテーブルアドレスとするLUTを参照することにより、適切な電荷蓄積時間S及びゲインGの値を求めることができる。
【0041】
上記(15)式を利用した露出制御を行うためには、画素積算値を対数値に置き換えるLUT101と、求められた被写体の明るさLに対応したテーブルアドレスnの値に対して、目標の画素積算値を得るための電荷蓄積時間Sを示すLUT102と、求められた被写体の明るさLに対応したテーブルアドレスnの値に対して、目標の画素積算値を得るためのゲインGを示すLUT103と、LUT102のテーブルアドレスnの値に対して、電荷蓄積時間Sを対数値に置き換えるLUT104と、LUT103のテーブルアドレスnの値に対して、ゲインGを対数値に置き換えるLUT105が必要となる。
【0042】
上記(16)式より、あるテーブルアドレスnm の値に基づいて定めた電荷蓄積時間Sm及びゲインGmで撮像したとき得られた画素積算値がΣmであれば、そのときの被写体の明るさLm’に対応したテーブルアドレスnm ’の値は、次の(17)式で求めることができる。
nm ’=ClogΣm−K3−ClogSm−ClogGm (17)
ここで、ClogSm及びClogGmは、これらを求める際に用いたnm の値からLUT104とLUT105を参照することにより容易に求められ、LUT101によってClogΣmも求まるため、加減算のみによってnm ’の値を求めることができる。算出したnm ’において、LUT102とLUT103を参照し、対応する電荷蓄積時間Sm’及びゲインGで撮像すれば、目標の画素積算値Σp,すなわち目標とする信号レベルを得ることができる。
【0043】
この方法では、理論的には被写体の明るさLに対応するテーブルアドレスnの値を算出する一度の演算のみで、適正電荷蓄積時間S及びゲインGを選択することができるが、得られた画素積算値が極端に小さい場合等では、上記(16)式の演算結果に誤差が生じる。しかし、上記演算を繰り返し行うことにより、電荷蓄積時間Sの設定値は適正値に近づくため、演算誤差を限りなく小さくすることができる。
【0044】
次にLUTを生成する方法について述べる。
図2は画素積算値を対数値に置き換えるLUT101の例を示す図である。演算手段8が使用する5つのLUT101〜105のうち、LUT101は、図2に示すように、画素積算値Σに応じた対数値をあらかじめ算出して作成する。その他のLUT102〜105は、いずれも被写体の明るさLに対応する整数値nがテーブルアドレスとなるLUTだが、これらを作成する際には、電荷蓄積時間SとゲインGのいずれを優先的に変化させるか、また各パラメータの上限値等の制約条件をどのように定めるか等によって、同じ照度条件に対応するものであっても様々なパターンのLUTを作成可能である。この実施の形態では、これらをテーブル生成手段9によって自動的に生成する。
【0045】
図3は設定可能最小単位である単位設定電荷蓄積時間により設定可能な電荷蓄積時間Sを対数値に置き換えるLUT111の例を示す図である。ここでは、電荷蓄積時間Sが設定可能最小単位値である単位設定電荷蓄積時間Suの整数倍の値として設定可能な場合の例を示している。図4は設定可能最小単位値である単位設定ゲインにより設定可能なゲインGを対数値に置き換えるLUT112の例を示す図であり、ゲインGが設定可能最小単位値である単位設定ゲインGuのべき乗値として設定可能な場合について示している。テーブル生成手段9は、LUT111及びLUT112から、あらかじめ定めた方針に従って、演算手段8が使用するLUT102〜105を自動的に生成する。
【0046】
図3及び図4において、単位設定電荷蓄積時間により設定可能な電荷蓄積時間S,及び単位設定ゲインにより設定可能なゲインGを使用しているが、これに限るものでなく、固体撮像素子1の光電変換特性により設定可能な電荷蓄積時間S,及びAGC回路4の増幅特性により設定可能なゲインGを使用しても良い。
【0047】
以下、LUT102〜105の生成の具体例について述べる。
上記(16)式を変形すると、次の(18)式になる。
ClogS+ClogG=C・logΣ−K3−n (18)
ここでK3は定数であり、画素積算値Σを露出制御の目標の画素積算値Σpとすれば、logΣpも一定値となる。よって各テーブルアドレスnの値に対し、ClogS+ClogGの値が一意に定まり、これを満たすように電荷蓄積時間SとゲインGを決めることにより、LUT102〜105の自動生成が可能となる。
【0048】
図5はテーブル生成手段9によるLUT102〜105の自動生成の処理を示すフローチャートである。ここでは、電荷蓄積時間Sの設定を優先して行い、ゲインGの設定は、微調整や電荷蓄積時間Sの設定のみでは追従できない場合に補助的に使うケースを想定している。ステップST11において、求めようとするテーブルアドレスnの値に対応するClogS+ClogGの値を上記(18)式から算出する。
【0049】
ステップST12において、LUT111を値の小さい方から順に調べ、ClogS+ClogGの値を超えない最大値を電荷蓄積時間Sの設定値とし、その際のClogSの値とテーブルアドレスnの値をLUT104に設定し、電荷蓄積時間Sの値とテーブルアドレスnの値をLUT102に設定する。ここで、電荷蓄積時間Sの設定値を、ClogS+ClogGの値を超えない最大値としているのは、ゲインGの設定値が1以上、すなわちClogGの値が正数しか取り得ないことを前提としているためで、ClogSの値がClogS+ClogGの目標より大きくなると、ClogGが負の値を取れず、適切なゲインGの設定ができなくなるからである。
【0050】
ステップST13において、ClogSの値が確定し、ClogGの目標値が決まるので、LUT112からClogGの目標値に最も近い値を選択してゲインGの設定値とし、その際のClogGの値とテーブルアドレスnの値をLUT105に設定し、ゲインGの値とテーブルアドレスnの値をLUT103に設定する。ステップST14において、上記ステップST11〜ST13の処理を、生成するLUT102〜105の全てのテーブルアドレスnについて繰り返し行う。
【0051】
図6は被写体の明るさLに対する露光制御特性を示す図である。図5に示すようなLUT生成手法を用いると、図6(a)に示すように、被写体の明るさLが暗くなるに従って、まず電荷蓄積時間Sの値が上昇し、電荷蓄積時間Sの設定が上限に達したところからゲインGを上昇させるような露光制御を実現するためのLUTが生成される。これに対して、電荷蓄積時間Sの設定可能上限値を、より低い値に抑えると図6(b)に示すような制御特性となり、より離散的な値のみ使用するという制限をつけた場合、例えば、あらかじめ決められた3つの値から選択しなければならない場合には、図6(c)のような制御特性となる。これらの制御特性の変更は、テーブル生成手段9が参照するLUT111及びLUT112において使用可能なテーブルアドレスnに制限を加えることにより容易に実現可能である。
【0052】
以上のように、この実施の形態1によれば、露出制御に必要となるLUT102〜105を予め保持しておく必要がないため、初期値として保存しておくデータ容量を低減することができ、より少ないデータ容量で露出制御処理を実行することができるという効果が得られる。
【0053】
また、この実施の形態1によれば、露出制御方式のパターンを複数用意する必要がある場合でも、パターン毎に逐一対応するLUT群を用意する必要がないため、初期値として保存しておくデータ容量を増加させることなく、様々なバリエーションを持った露出制御処理を、その都度切り替えて行うことができるという効果が得られる。
【0054】
実施の形態2.
図7はこの発明の実施の形態2による撮像装置の構成を示すブロック図であり、図において、19は演算手段8が使用するLUT102〜105を自動生成するテーブル生成手段であり、実施の形態1の図1と同じ符号は同じ構成要素を示している。この実施の形態では、LUT102〜105を自動生成する方法が異なり、テーブル生成手段19は、実施の形態1で使用したLUT111,112を必要としない。テーブル生成手段19は、設定可能最小単位値である単位設定電荷蓄積時間の対数値、及び設定可能最小単位値である単位設定ゲインの対数値に基づき、画素積算値を対数値に置き換えるLUT101を使用して、被写体の明るさLから固体撮像素子1の電荷蓄積時間及びAGC回路のゲイン、並びにそれぞれの対数値を求めるLUT102〜105を生成する。
【0055】
実施の形態1では、LUT102〜105を自動生成するにあたり、LUT111,LUT112を使用しているが、電荷蓄積時間Sの設定値が、設定可能最小単位値である単位設定電荷蓄積時間の整数倍として表される場合には、次の(19)式のように対数値を分解することができる。
S=Sn・Su
とすると、
ここで、Snは整数、Suは単位設定電荷蓄積時間である。
【0056】
すなわち、単位設定電荷蓄積時間Suに対応する対数値ClogSuさえあらかじめ与えられていれば、倍率となる整数の対数値と加算することにより、任意の電荷蓄積時間Sの設定値に対応する対数値が求められる。また、画素積算値を対数値に置き換えるLUT101は、各整数値に対する対数値を参照するものなので、整数Snを変換するLUTはLUT101を流用することが可能である。
【0057】
ゲインGの設定値については、設定可能値が定数のべき乗値で表される場合もある。その際の対数値への変換は以下のようになる。
G=GuGnとすると、
ClogG=Gn・ClogGu (20)
ただし、Gnは整数、Guは設定可能最小単位値である単位設定ゲインである。すなわち、単位設定ゲインに対応する対数値に対して整数値を乗算することにより、電荷蓄積時間Sの設定値と同様に、任意のゲインGの設定値に対して対応する対数値を求めることが可能である。
【0058】
図8はテーブル生成手段19によるLUT102〜105の自動生成の処理を示すフローチャートである。ここでは、電荷蓄積時間Sの設定を優先して行い、ゲインGの設定は、微調整や電荷蓄積時間Sの設定のみでは追従できない場合に補助的に使うケースを想定している。ステップST21において、求めようとするテーブルアドレスnに対応するClogS+ClogGの値を上記(18)式から算出する。
【0059】
ステップST22において、LUT101を用いて、整数値Snに対応する対数値ClogSnを求め、ClogSn+ClogSuの値がClogS+ClogGの値を超えない最大値を電荷蓄積時間Sの設定値とし、その際のClogS,すなわちClogSn+ClogSuの値とテーブルアドレス(指標値)nの値をLUT104に設定し、電荷蓄積時間S,すなわちSn・Suの値とテーブルアドレスnの値をLUT102に設定する。
【0060】
ステップST23において、ClogSの値が確定し、ClogGの目標値が決まるので、ClogGの目標値をClogGuの値で割って最も近い整数値Gnを求め、その際のClogG,すなわちGn・ClogGuの値とテーブルアドレス(指標値)nの値をLUT105に設定し、ゲインG,すなわちGuGnの値とアドレスnの値をLUT103に設定する。ステップST24において、上記ステップST21〜ST23の処理を、生成するLUT102〜105の全てのテーブルアドレス(指標値)nについて繰り返し行う。
【0061】
この方法を用いる場合でも、設定可能な整数値SnやGnの値に加える制限を変化させることにより、実施の形態1と同様に、図6に示すような露出制御特性の変更を容易に実現できる。
【0062】
以上のように、この実施の形態2によれば、実施の形態1で必要であったLUT111やLUT112を、画素積算値を対数値に置き換えるLUT101と設定可能最小単位値である単位設定電荷蓄積時間Suの対数値ClogSu,設定可能最小単位値である単位設定ゲインGuの対数値ClogGuを用いた演算で代用するため、初期値として保存しておくデータ容量をさらに低減することができ、より少ないデータ容量で露出制御処理を実行することができるという効果が得られる。
【0063】
また、この実施の形態2によれば、露出制御方式のパターンを複数用意する必要がある場合でも、パターン毎に逐一対応するLUT群を用意する必要がないため、初期値として保存しておくデータ容量を増加させることなく、様々なバリエーションを持った露出制御処理を、その都度切り替えて行うことができるという効果が得られる。
【0064】
実施の形態3.
図9はこの発明の実施の形態3による撮像装置の構成を示すブロック図であり、図において、18は演算手段であり、実施の形態1の図1における演算手段8と同等の機能を有しているが、被写体の明るさLから電荷蓄積時間S及びゲインG並びにそれぞれの対数値を求めるLUT102〜105を必要としない。10は演算手段18が求めた被写体の明るさLに応じて、電荷蓄積時間S及びゲインGを算出するための制御値決定手段である。また、実施の形態1の図1と同じ符号は同じ構成要素を示している。
【0065】
演算手段18は、積算手段7からの画素積算値及び画素積算値を対数値に置き換えるLUT101と、撮影時の電荷蓄積時間Sの対数値と、撮影時のゲインGの対数値を使用した演算により被写体の明るさLの指標値nを求め、求めた被写体の明るさLの指標値nと目標とする画素積算値に基づいて、次フレームにおける固体撮像素子1の電荷蓄積時間Sの対数値とAGC回路4のゲインGの対数値との和を求める。制御値決定手段19は演算手段18が求めた電荷蓄積時間Sの対数値とゲインGの対数値との和から、LUT101を使用して演算を行い、撮像素子1の電荷蓄積時間SとAGC回路4のゲインGを決定する。
【0066】
上記実施の形態1,実施の形態2では、露出制御に使用する5つのLUT101〜105のうち、4つのLUT102〜105については、LUTの初期値をあらかじめデータとして保存しておく必要はないが、依然として露出制御処理の動作中には、LUT102〜105のデータ値を保持しておく必要があった。しかし、被写体の明るさLに対応する露出制御用LUT102〜105を実際には生成せず、必要となったテーブルアドレスの項目のみをその都度作成することにより、LUT102〜105自体を不要とすることが可能である。
【0067】
図10は演算手段18と制御値決定手段10の処理を示すフローチャートである。ステップST31において、演算手段18は上記(16)式から現在の被写体の明るさLに対応するテーブルアドレス(指標値)nを算出する。ステップST32において、演算手段18は、求めたテーブルアドレスnと、目標とする画素積算値Σpから上記(18)式を用いて、次フレームにおけるClogS+ClogGの値を求めて制御値決定手段10に出力する。
【0068】
ステップST33において、制御値決定手段10は、あらかじめ定めた方針(電荷蓄積時間の変更を優先、設定可能値の指定等)に基づき、LUT101を用いて整数値Snに対応する対数値ClogSnを求め、ClogSn+ClogSuの値がClogS+ClogGの値を越えない最大値を電荷蓄積時間の設定値とし、その際のSすなわちSn・Suの値を次フレームの電荷蓄積時間の設定値として演算手段18に出力する。
【0069】
ステップST34において、制御値決定手段10は、ClogSすなわちClogSn+ClogSuの値をClogS+ClogGの値から減算し、ClogGの目標値を求め、ClogGの目標値をClogGuの値で割り最も近い整数を求め、その際のGすなわちGuGnの値を次フレームのゲインの設定値として演算手段18に出力する。
【0070】
ステップST35において、演算手段18は、ClogS,ClogGの値を次フレームの被写体明るさLの算出に使用するため保存し、次フレームの撮像と画素積算値Σの算出を行う。ステップST36において、上記ステップST31からST35を撮像終了まで繰り返す。
【0071】
以上のように、この実施の形態3によれば、電荷蓄積時間SとゲインGの設定方針を変更しても、露出制御用のLUT全体を書き換える必要がないため、演算量の増大や処理の遅延を起こすことなく、自由に動的に設定方針を変更することができるという効果が得られる。
【0072】
また、この実施の形態3によれば、LUTの初期値、設定値を記録する領域が不要となり、H/W資源の少ない環境下でも露出制御を行うことができるという効果が得られる。
【0073】
上記各実施の形態では、電荷蓄積時間Sの設定値が単位設定電荷蓄積時間の整数倍で、ゲインGの設定可能値が単位設定ゲインのべき乗値で示される場合について述べているが、ゲインGの設定が単位設定ゲインの整数倍になる場合や、電荷蓄積時間Sの設定値が単位設定電荷蓄積時間のべき乗値となる場合についても、上記ゲインGの計算に用いる方法を電荷蓄積時間Sの計算に使用したり、上記電荷蓄積時間Sの計算に用いる方法をゲインGの計算に使用することで、同様の露出制御処理を容易に実現することが可能である。
【0074】
【発明の効果】
以上のように、この発明によれば、設定可能最小単位である単位設定電荷蓄積時間により設定可能な電荷蓄積時間を対数値に置き換える第1のLUTと、設定可能最小単位である単位設定ゲインにより設定可能なゲインを対数値に置き換える第2のLUTに基づき、被写体の明るさの指標値に対して、目標の画素積算値を得るための固体撮像素子の電荷蓄積時間及びAGC回路のゲインを求めると共に、固体撮像素子の電荷蓄積時間及びAGC回路のゲインをそれぞれの対数値に置き換える第3のLUTを生成するテーブル生成手段と、積算手段からの画素積算値を対数値に置き換える第4のLUTを有し、第4のLUTにより置き換えられた画素積算値の対数値、第3のLUTにより置き換えられた撮影時の電荷蓄積時間の対数値及び撮影時のゲインの対数値により被写体の明るさの指標値を求め、求めた被写体の明るさの指標値により第3のLUTから固体撮像素子の電荷蓄積時間とAGC回路のゲインを決定する演算手段とを備えたことにより、初期値として保存しておくデータ容量を低減することができ、より少ないデータ容量で露出制御処理を実行することができると共に、露出制御方式のパターンを複数用意する必要がある場合でも、パターン毎に逐一対応するLUT群を用意する必要がないため、初期値として保存しておくデータ容量を増加させることなく、様々なバリエーションを持った露出制御処理を、その都度切り替えて行うことができるという効果がある。
【0075】
この発明によれば、設定可能最小単位値である単位設定電荷蓄積時間の対数値、設定可能最小単位値である単位設定ゲインの対数値、及び積算手段からの画素積算値を対数値に置き換える第4のLUTにおける対数値に基づき、被写体の明るさの指標値に対して、目標の画素積算値を得るための固体撮像素子の電荷蓄積時間及びAGC回路のゲインを求めると共に、固体撮像素子の電荷蓄積時間及びAGC回路のゲインをそれぞれの対数値に置き換える第3のLUTを生成するテーブル生成手段と、第4のLUTを有し、第4のLUTにより置き換えられた画素積算値の対数値、第3のLUTにより置き換えられた撮影時の電荷蓄積時間の対数値及び撮影時のゲインの対数値により被写体の明るさの指標値を求め、求めた被写体の明るさの指標値により第3のLUTから固体撮像素子の電荷蓄積時間とAGC回路のゲインを決定する演算手段とを備えたことにより、初期値として保存しておくデータ容量をさらに低減することができ、より少ないデータ容量で露出制御処理を実行することができると共に、露出制御方式のパターンを複数用意する必要がある場合でも、パターン毎に逐一対応するLUT群を用意する必要がないため、初期値として保存しておくデータ容量を増加させることなく、様々なバリエーションを持った露出制御処理を、その都度切り替えて行うことができるという効果がある。
【0077】
この発明によれば、設定可能最小単位である単位設定電荷蓄積時間により設定可能な電荷蓄積時間を対数値に置き換える第1のLUTと、設定可能最小単位である単位設定ゲインにより設定可能なゲインを対数値に置き換える第2のLUTに基づき、被写体の明るさの指標値に対して、目標の画素積算値を得るための電荷蓄積時間及びゲインを求めると共に、電荷蓄積時間及びゲインをそれぞれの対数値に置き換える第3のLUTを生成するステップと、求めた画素積算値を対数値に置き換える第4のLUTにより置き換えられた画素積算値の対数値、第3のLUTにより置き換えられた撮影時の電荷蓄積時間の対数値及び撮影時のゲインの対数値により被写体の明るさの指標値を求め、求めた被写体の明るさの指標値により第3のLUTから電荷蓄積時間とゲインを決定するステップとを備えたことにより、初期値として保存しておくデータ容量を低減することができ、より少ないデータ容量で露出制御処理を実行することができると共に、露出制御方式のパターンを複数用意する必要がある場合でも、パターン毎に逐一対応するLUT群を用意する必要がないため、初期値として保存しておくデータ容量を増加させることなく、様々なバリエーションを持った露出制御処理を、その都度切り替えて行うことができるという効果がある。
【0078】
この発明によれば、設定可能最小単位値である単位設定電荷蓄積時間の対数値、設定可能最小単位値である単位設定ゲインの対数値、及び画素積算値を対数値に置き換える第4のLUTにおける対数値に基づき、被写体の明るさの指標値に対して、目標の画素積算値を得るための電荷蓄積時間及びゲインを求めると共に、電荷蓄積時間及びゲインをそれぞれの対数値に置き換える第3のLUTを生成するステップと、第4のLUTにより置き換えられた画素積算値の対数値、第3のLUTにより置き換えられた撮影時の電荷蓄積時間の対数値及び撮影時のゲインの対数値により被写体の明るさの指標値を求め、求めた被写体の明るさの指標値により第3のLUTから、電荷蓄積時間とゲインを決定するステップとを備えたことにより、初期値として保存しておくデータ容量をさらに低減することができ、より少ないデータ容量で露出制御処理を実行することができると共に、露出制御方式のパターンを複数用意する必要がある場合でも、パターン毎に逐一対応するLUT群を用意する必要がないため、初期値として保存しておくデータ容量を増加させることなく、様々なバリエーションを持った露出制御処理を、その都度切り替えて行うことができるという効果がある。
【図面の簡単な説明】
【図1】 この発明の実施の形態1による撮像装置の構成を示すブロック図である。
【図2】 この発明の実施の形態1による画素積算値を対数値に置き換えるLUTの例を示す図である。
【図3】 この発明の実施の形態1による単位設定電荷蓄積時間により設定可能な電荷蓄積時間を対数値に置き換えるLUTの例を示す図である。
【図4】 この発明の実施の形態1による単位設定ゲインにより設定可能なゲインを対数値に置き換えるLUTの例を示す図である。
【図5】 この発明の実施の形態1によるテーブル生成手段のLUTの自動生成の処理を示すフローチャートである。
【図6】 この発明の実施の形態1による被写体の明るさLに対する露光制御特性を示す図である。
【図7】 この発明の実施の形態2による撮像装置の構成を示すブロック図である。
【図8】 この発明の実施の形態2によるテーブル生成手段のLUTの自動生成の処理を示すフローチャートである。
【図9】 この発明の実施の形態3による撮像装置の構成を示すブロック図である。
【図10】 この発明の実施の形態3による演算手段と制御値決定手段の処理を示すフローチャートである。
【図11】 従来の撮像装置の構成を示すブロック図である。
【図12】 従来のテーブルアドレスの値に対して被写体の明るさを設定したLUTの例を示す図である。
【図13】 従来の図12に示すLUTのテーブルアドレスの値に対して、目標の画素積算値を得るための電荷蓄積時間を示すLUTの例を示す図である。
【図14】 従来の撮像装置の構成を示すブロック図である。
【符号の説明】
1 固体撮像装置、2 タイミングジェネレータ、3 プリアンプ、4 AGC回路、5 D/Aコンバータ、6 A/Dコンバータ、7 積算手段、8 演算手段、9 テーブル生成手段、10 制御値決定手段、18 演算手段、19テーブル生成手段、101〜105 LUT、111,112 LUT。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging apparatus and an imaging method for performing exposure control processing.
[0002]
[Prior art]
In a solid-state imaging device capable of changing the charge accumulation time, the charge accumulation time and the gain are adjusted using a look-up table (hereinafter referred to as LUT), and the exposure control time until a constant video level is obtained is shortened and the accuracy is high. Means for performing exposure control is described in JP-A-11-18002. In this method, the LUT is used to convert the pixel integration value and charge accumulation time into logarithmic values, so that the operation that originally requires multiplication / division is realized only by addition / subtraction, resulting in faster processing and higher processing. It has become more accurate.
[0003]
FIG. 11 is a block diagram showing a configuration of a conventional imaging device disclosed in the above publication. In FIG. 11,
[0004]
[0005]
Next, the operation will be described.
The incident optical image is converted into an electric video signal by the solid-
[0006]
The integrating
[0007]
FIG. 12 is a diagram showing an example of the LUT 121 in which the brightness L of the subject is set for the value of the table address n. As shown in FIG. 12, the calculation means 38 corresponds to the value of the table address n that can be expressed by an exponential function in which the constant K2 (= 100) is a power of the constant K2 and the value of the table address n. An LUT 121 indicating the brightness L of N subjects is provided. In FIG. 12, when the brightness L of the subject when the table address is 0 is 100 [lx] (= K1), the brightness L of the subject when the table address is 1 is 100. K2 [1x], and the brightness L of the subject is set to increase exponentially. For example, if you want to include brightness from 100 [lx] to 100,000 [lx],
K2 = (100,000 / 100) 1 / (N-1) (1)
It becomes.
[0008]
FIG. 13 is a diagram illustrating an example of the
Σp = K9 × Ln × Sn (2)
However, K9 is a constant.
[0009]
Here, the target pixel integrated value Σp is a parameter indicating the brightness of the captured screen, and is an index for indicating a desired exposure, for example, increasing the brightness if a brighter image is necessary. Become. When the desired exposure changes, the target pixel integrated value Σp changes, so the charge accumulation time S of the
[0010]
From the above equation (2), if the pixel integrated value obtained when imaging is performed with a certain charge accumulation time Sm is Σm, the brightness Lm ′ of the subject at that time can be obtained by the following equation.
Lm ′ = Σm / (K9 × Sm) (3)
Therefore, if Lm ′ calculated by the calculation means 38 is imaged at the charge accumulation time Sm ′ that is the same table address as Lm ′ of the LUT 121, the target pixel integrated value Σp, that is, the target signal level is obtained. Can do.
[0011]
In this method, it is theoretically possible to select an appropriate charge accumulation time S by only one calculation for calculating the brightness L of the subject. However, when the obtained pixel integrated value is extremely small, An error occurs in the calculation result of the expression (2). However, by repeatedly performing the above calculation, the set value of the charge accumulation time S approaches an appropriate value, so that the calculation error can be reduced as much as possible.
[0012]
In this way, the calculation means 38 calculates the brightness L of the subject from the pixel integrated value and refers to the charge storage time S corresponding thereto from the
[0013]
In addition, the above publication describes not only the charge accumulation time S but also a control method in the case of performing exposure control using an Automatic Gain Control (hereinafter referred to as AGC) circuit. FIG. 14 is a block diagram showing a configuration of a conventional imaging device disclosed in the above publication. In the figure, 4 is an AGC circuit that can amplify the video signal from the
[0014]
The arithmetic means 48 outputs a control signal for changing the gain G of the
[0015]
The control by the calculation means 48 can be converted into addition / subtraction using a logarithm instead of performing the calculation as it is by multiplication / division. First, the relationship between the pixel integrated value Σ, the brightness L of the subject, the charge accumulation time S, and the gain G of the
Σ = K10 × L × S × G (4)
However, K10 is a constant. Therefore, the brightness L of the subject can be calculated by the following equation (5) from the obtained pixel integrated value Σ, the charge accumulation time S and the gain G at the time of imaging.
L = Σ / (K10 × S × G) (5)
Taking the logarithm of both sides of the above equation (5), the following equation (6) is obtained.
logL = logΣ-logS-logG-logK10 (6)
[0016]
Even in this method, the LUT is required for the actual calculation of the calculation means 48. The calculation means 48 sets the logarithmic value of the subject brightness L with respect to the value of the table address n, that is, the LUT 123 in which the portion of the subject brightness L of the LUT 121 shown in FIG. The LUT 124 indicating the charge accumulation time S for obtaining the target pixel integrated value with respect to the value of the table address n of the LUT 123, and the gain for obtaining the target pixel integrated value with respect to the value of the table address n of the LUT 123 LUT 125 indicating G, LUT 126 for replacing charge accumulation time S with a logarithmic value for the value of table address n of LUT 124, LUT 127 for replacing gain G with a logarithmic value for the value of table address n of LUT 125, An LUT 128 for replacing the pixel integrated value with a logarithmic value is provided.
[0017]
From the above equation (6), if the pixel integrated value obtained when imaging with a certain charge accumulation time Sm and gain Gm is Σm, the brightness logarithm value logLm ′ of the subject at that time is expressed by the following equation (7): Can be obtained.
logLm ′ = logΣm-logSm-logGm-logK10 (7)
Here, logSm and logGm are easily obtained by referring to the LUT 126 and LUT 127 from the value of logLm used for obtaining them, and log Σm is also obtained by the LUT 128, so that the value of logLm ′ is obtained only by addition / subtraction. By referring to the LUT 124 and the LUT 125 in the calculated log Lm ′ and taking an image with the charge accumulation time Sm ′ and the gain G that are the same table address as the Lm ′ of the LUT 123, a target pixel integrated value Σp, that is, a target signal level is obtained. be able to.
[0018]
Thus, even when it is necessary to control the two parameters of the charge accumulation time S and the gain G, the optimal control can be performed by setting the charge accumulation time S and the gain G corresponding to the brightness L of the subject. In addition, by calculating the logarithm of each coefficient used for the calculation, the calculation is only added and subtracted, and the exposure control with high accuracy can be performed without increasing the calculation amount.
[0019]
[Problems to be solved by the invention]
Since the conventional imaging apparatus is configured as described above, a plurality of LUTs are required, and there is a problem that an area for recording a large amount of data as a set value of the LUT is required. Further, when trying to increase the calculation accuracy of the system, there is a problem that the input value range of the LUT for logarithmizing the value is widened and the data recording area necessary for the LUT is further increased.
[0020]
Further, when a plurality of parameters such as the charge accumulation time S and the gain G are controlled, the parameters are not uniquely determined for the same brightness L, and the combination of the charge accumulation time S and the gain G is constant. Any one of the values can be freely selected. In this case, it is necessary to change the method of determining specific parameter values depending on the settable range of each parameter and the purpose of use of the imaging apparatus. Even when a plurality of exposure control methods with different control types are prepared and a mechanism for selecting one according to need is introduced, it is necessary to create a series of LUTs according to the number of types. There is a problem that the data recording area required for the LUT increases.
[0021]
The present invention has been made to solve the above-described problems, and reduces an amount of data necessary for exposure control and can flexibly cope with various types of exposure control methods and imaging. The purpose is to obtain a method.
[0022]
[Means for Solving the Problems]
An image pickup apparatus according to the present invention includes a solid-state image pickup device capable of photoelectrically converting an optical image and outputting a video signal, a charge accumulation time being changeable, an AGC circuit capable of amplifying the video signal from the solid-state image pickup device and a gain change An A / D converter that converts the video signal from the AGC circuit to a digital video signal, and a pixel value of the digital video signal from the A / D converter is integrated in a predetermined area unit to obtain a pixel integrated value. The integration means to be calculated; Depending on the unit set charge accumulation time which is the smallest settable unit A first LUT that replaces a configurable charge accumulation time with a logarithmic value; By unit setting gain which is the smallest unit that can be set Based on the second LUT that replaces the settable gain with a logarithmic value, the brightness of the subject To obtain the target pixel integration value for the index value of Charge storage time of the solid-state imaging device and gain of the AGC circuit As well as the charge storage time of the solid-state imaging device and the gain of the AGC circuit. Logarithm of each Replace with From the table generating means for generating the third LUT and the integrating means Painting 4th LUT that replaces prime integration value with logarithmic value And the logarithm of the pixel integrated value replaced by the fourth LUT, replaced by the third LUT Logarithm of charge accumulation time during shooting as well as Logarithm of gain when shooting By The index value of the subject brightness is obtained, and the calculated index value of the subject brightness Up The third LUT is provided with calculation means for determining the charge accumulation time of the solid-state imaging device and the gain of the AGC circuit.
[0023]
An image pickup apparatus according to the present invention includes a solid-state image pickup device capable of photoelectrically converting an optical image and outputting a video signal, a charge accumulation time being changeable, an AGC circuit capable of amplifying the video signal from the solid-state image pickup device and a gain change An A / D converter that converts the video signal from the AGC circuit to a digital video signal, and a pixel value of the digital video signal from the A / D converter is integrated in a predetermined area unit to obtain a pixel integrated value. Logarithm of integration means to be calculated and unit set charge accumulation time which is the minimum settable unit value Value, setting Logarithm of unit setting gain, which is the smallest unit value that can be set And from the integrating means Logarithmic value in the fourth LUT for replacing the pixel integrated value with a logarithmic value Based on , Subject brightness To obtain the target pixel integration value for the index value of Charge storage time of the solid-state imaging device and gain of the AGC circuit As well as the charge storage time of the solid-state imaging device and the gain of the AGC circuit. Logarithm of each Replace with Table generating means for generating a third LUT; Logarithmic value of pixel integrated value having the fourth LUT and replaced by the fourth LUT, replaced by the third LUT Logarithm of charge accumulation time during shooting as well as Logarithm of gain when shooting By The index value of the subject brightness is obtained, and the calculated index value of the subject brightness By Calculation means for determining the charge accumulation time of the solid-state imaging device and the gain of the AGC circuit from the third LUT is provided.
[0024]
In the image pickup apparatus according to the present invention, the third LUT has the obtained brightness of the subject. Index value , A fifth LUT indicating the charge accumulation time for obtaining the target pixel integration value, and the calculated brightness of the subject Index value In contrast, a sixth LUT indicating a gain for obtaining a target pixel integrated value, and the fifth LUT Indicator value In contrast, the seventh LUT for replacing the charge accumulation time with the logarithmic value and the sixth LUT Indicator value On the other hand, an eighth LUT that replaces the gain with a logarithmic value is used.
[0026]
The imaging method according to the present invention includes a first step of photoelectrically converting an optical image to output a video signal, a second step of amplifying the video signal, and converting the amplified video signal into a digital video signal. A third step of converting, and a fourth step of calculating a pixel integrated value by integrating pixel values of the digital video signal in a predetermined area unit; Depending on the unit set charge accumulation time which is the smallest settable unit A first LUT that replaces a configurable charge accumulation time with a logarithmic value; By unit setting gain which is the smallest unit that can be set Based on the second LUT that replaces the settable gain with a logarithmic value, the brightness of the subject To obtain the target pixel integration value for the index value of Charge accumulation time in the first step and gain in the second step And calculating the charge accumulation time in the first step and the gain in the second step. Logarithm of each Replace with Obtained in the fifth step of generating the third LUT and the fourth step above Painting 4th LUT that replaces prime integration value with logarithmic value The logarithm of the pixel integrated value replaced by, replaced by the third LUT Logarithm of charge accumulation time during shooting as well as Logarithm of gain when shooting By The index value of the subject brightness is obtained, and the calculated index value of the subject brightness By A charge accumulation time in the first step and a sixth step for determining a gain in the second step are provided from the third LUT.
[0027]
The imaging method according to the present invention includes a first step of photoelectrically converting an optical image to output a video signal, a second step of amplifying the video signal, and converting the amplified video signal into a digital video signal. A third step of conversion; a fourth step of obtaining a pixel integrated value by integrating pixel values of the digital video signal in a predetermined area unit; and a logarithm of a unit set charge accumulation time which is a settable minimum unit value Value, setting Logarithm of unit setting gain, which is the smallest unit value that can be set And in the fourth step 4th LUT that replaces pixel integration value with logarithmic value Based on logarithmic values in , Subject brightness To obtain the target pixel integration value for the index value of Charge accumulation time in the first step and gain in the second step And calculating the charge accumulation time in the first step and the gain in the second step. Logarithm of each Replace with A fifth step of generating a third LUT; Logarithm of pixel integrated value replaced by the fourth LUT, replaced by the third LUT Logarithm of charge accumulation time during shooting as well as Logarithm of gain when shooting By The index value of the subject brightness is obtained, and the calculated index value of the subject brightness By From the third LUT generated in the fifth step, a charge accumulation time in the first step and a sixth step for determining a gain in the second step are provided.
[0029]
DETAILED DESCRIPTION OF THE INVENTION
An embodiment of the present invention will be described below.
FIG. 1 is a block diagram showing a configuration of an image pickup apparatus according to
[0030]
3 is a preamplifier for amplifying the video signal from the solid-
[0031]
8 is an arithmetic means for inputting the pixel integrated value from the integrating
[0032]
In the calculation means 8, 101 is a LUT (fourth LUT) that replaces the pixel integrated value with a logarithmic value, and 102 is a target for the value of the table address (index value) n corresponding to the calculated brightness L of the subject. LUT (fifth LUT) 103 indicating the charge accumulation time S for obtaining the pixel integrated value, 103 is a target address for the table address (index value) n corresponding to the brightness L of the subject. LUT (sixth LUT) indicating gain G for obtaining the pixel integrated value, 104 is a LUT (seventh LUT) for replacing the charge accumulation time S with a logarithmic value with respect to the value of the table address n of the
[0033]
The calculation means 8 performs calculation using the pixel integrated value from the integrating
[0034]
In the table generating means 9, 111 is a LUT (first LUT) that replaces the charge accumulation time S that can be set according to the characteristics of the solid-
[0035]
Next, the operation will be described.
An optical image incident on the imaging device is converted into an electrical video signal by the solid-
[0036]
The calculating means 8 inputs the pixel integrated value obtained by the integrating
[0037]
Next, how to determine the values of the
Σ = K × L × S × G (8)
However, K is a constant.
[0038]
Therefore, the brightness L of the subject can be calculated by the following equation (9) from the obtained pixel integrated value Σ, the charge accumulation time S at the time of imaging, and the gain G.
L = Σ / (K × S × G) (9)
If this is logarithmized on both sides,
log L = log Σ-log K-log S-log G (10)
It becomes. Furthermore, if both sides are multiplied by a constant C,
C * logL = C * logΣ-C * logK-C * logS-C * logG (11)
It becomes.
[0039]
Here, when L is expressed using constants K1 and K2,
L = K1 · 10 n ・ K2 (12)
It becomes. However, n is an index value that is an integer of 0 or more and less than N. When this is logarithmized on both sides and multiplied by a constant C on both sides,
C * logL = C * logK1 + n * C * K2 (13)
And substituting this into equation (11),
It becomes. Then, the following equation (15) is obtained from the above equation (14).
n · C · K2 = C · log Σ-K3-C · log S-C · log G (15)
However, K3 is a constant,
K3 = -C.logK-C.logK1
It is.
[0040]
Where C is
C ・ K2 = 1
If the above condition is satisfied, the following expression (16) is established from the above expression (15).
n = C · log Σ-K3-C · log S-C · log G (16)
Therefore, regardless of the values of K1 and K2, by taking C as an appropriate value, the left side can be made an integer value, and the pixel integrated value Σ, charge By obtaining logarithmic values of the accumulation time S and gain G using the
[0041]
In order to perform exposure control using the above equation (15), the target pixel is determined for the
[0042]
From the above equation (16), a certain table address n m If the pixel integrated value obtained when imaging with the charge accumulation time Sm and gain Gm determined based on the value of Σm is Σm, the table address n corresponding to the brightness Lm ′ of the subject at that time m The value of 'can be obtained by the following equation (17).
n m '= ClogΣm-K3-ClogSm-ClogGm (17)
Here, ClogSm and ClogGm are the n used to obtain them. m Since it is easily obtained by referring to the
[0043]
In this method, it is theoretically possible to select the appropriate charge accumulation time S and the gain G by only one calculation for calculating the value of the table address n corresponding to the brightness L of the subject. When the integrated value is extremely small, an error occurs in the calculation result of the above equation (16). However, by repeatedly performing the above calculation, the set value of the charge accumulation time S approaches an appropriate value, so that the calculation error can be reduced as much as possible.
[0044]
Next, a method for generating an LUT will be described.
FIG. 2 is a diagram illustrating an example of the
[0045]
FIG. 3 is a diagram showing an example of the
[0046]
3 and 4, the charge accumulation time S that can be set by the unit setting charge accumulation time and the gain G that can be set by the unit setting gain are used. However, the present invention is not limited to this. A charge accumulation time S that can be set according to the photoelectric conversion characteristics and a gain G that can be set according to the amplification characteristics of the
[0047]
A specific example of generating the
When the above equation (16) is modified, the following equation (18) is obtained.
ClogS + ClogG = C · logΣ−K3-n (18)
Here, K3 is a constant, and if the pixel integrated value Σ is the target pixel integrated value Σp for exposure control, log Σp also becomes a constant value. Therefore, the value of ClogS + ClogG is uniquely determined with respect to the value of each table address n, and the
[0048]
FIG. 5 is a flowchart showing the automatic generation processing of the
[0049]
In step ST12, the
[0050]
In step ST13, the value of ClogS is fixed and the target value of ClogG is determined. Therefore, the value closest to the target value of ClogG is selected from the
[0051]
FIG. 6 is a diagram showing exposure control characteristics with respect to the brightness L of the subject. When the LUT generation method as shown in FIG. 5 is used, as shown in FIG. 6A, the value of the charge accumulation time S first increases as the brightness L of the subject becomes darker, and the charge accumulation time S is set. When the value reaches the upper limit, an LUT for realizing exposure control for increasing the gain G is generated. On the other hand, when the settable upper limit value of the charge accumulation time S is suppressed to a lower value, the control characteristics as shown in FIG. 6B are obtained, and when only a more discrete value is used, For example, when it is necessary to select from three predetermined values, the control characteristics are as shown in FIG. These control characteristic changes can be easily realized by limiting the table addresses n usable in the
[0052]
As described above, according to the first embodiment, since it is not necessary to hold the
[0053]
Further, according to the first embodiment, even when it is necessary to prepare a plurality of exposure control patterns, it is not necessary to prepare a corresponding LUT group for each pattern. There is an effect that the exposure control process with various variations can be switched each time without increasing the capacity.
[0054]
FIG. 7 is a block diagram showing the configuration of an image pickup apparatus according to
[0055]
In the first embodiment, the
S = Sn · Su
Then,
Here, Sn is an integer, and Su is a unit set charge accumulation time.
[0056]
That is, if even the logarithmic value ClogSu corresponding to the unit set charge accumulation time Su is given in advance, the logarithmic value corresponding to the set value of an arbitrary charge accumulation time S can be obtained by adding to the logarithm of an integer as a magnification. Desired. The
[0057]
As for the set value of the gain G, the settable value may be represented by a constant power value. Conversion to logarithmic value at that time is as follows.
G = Gu Gn Then,
ClogG = Gn · ClogGu (20)
Here, Gn is an integer, and Gu is a unit setting gain which is a settable minimum unit value. That is, by multiplying the logarithmic value corresponding to the unit set gain by an integer value, the logarithmic value corresponding to the set value of an arbitrary gain G can be obtained in the same manner as the set value of the charge accumulation time S. Is possible.
[0058]
FIG. 8 is a flowchart showing the automatic generation processing of the
[0059]
In step ST22, using the
[0060]
In step ST23, the value of ClogS is fixed, and the target value of ClogG is determined. Therefore, the target value of ClogG is divided by the value of ClogGu to obtain the nearest integer value Gn, and ClogG, that is, the value of Gn · ClogGu at that time The table address (index value) n is set in the
[0061]
Even when this method is used, the exposure control characteristics can be easily changed as shown in FIG. 6 by changing the restrictions applied to the settable integer values Sn and Gn as in the first embodiment. .
[0062]
As described above, according to the second embodiment, the
[0063]
Further, according to the second embodiment, even when it is necessary to prepare a plurality of exposure control method patterns, it is not necessary to prepare a corresponding LUT group for each pattern. There is an effect that the exposure control process with various variations can be switched each time without increasing the capacity.
[0064]
FIG. 9 is a block diagram showing a configuration of an image pickup apparatus according to
[0065]
The calculation means 18 is calculated by using the
[0066]
In the first embodiment and the second embodiment, among the five
[0067]
FIG. 10 is a flowchart showing the processing of the calculating means 18 and the control
[0068]
In step ST33, the control
[0069]
In step ST34, the control
[0070]
In step ST35, the calculation means 18 stores the values of ClogS and ClogG for use in calculating the subject brightness L of the next frame, and performs imaging of the next frame and calculation of the pixel integrated value Σ. In step ST36, steps ST31 to ST35 are repeated until the end of imaging.
[0071]
As described above, according to the third embodiment, even if the setting policy for the charge accumulation time S and the gain G is changed, it is not necessary to rewrite the entire exposure control LUT. There is an effect that the setting policy can be freely and dynamically changed without causing a delay.
[0072]
Further, according to the third embodiment, there is no need for an area for recording the initial value and set value of the LUT, and it is possible to perform exposure control even in an environment where there are few H / W resources.
[0073]
In each of the above embodiments, the case where the set value of the charge accumulation time S is an integral multiple of the unit set charge accumulation time and the settable value of the gain G is indicated by a power value of the unit set gain is described. Is set to an integral multiple of the unit set gain, or when the set value of the charge storage time S is a power of the unit set charge storage time, the method used for calculating the gain G is the same as that of the charge storage time S. By using the method used for calculation or the method used for calculating the charge accumulation time S for calculating the gain G, the same exposure control processing can be easily realized.
[0074]
【The invention's effect】
As described above, according to the present invention, Depending on the unit set charge accumulation time which is the smallest settable unit A first LUT that replaces a configurable charge accumulation time with a logarithmic value; By unit setting gain which is the smallest unit that can be set Based on the second LUT that replaces the settable gain with a logarithmic value, the brightness of the subject To obtain the target pixel integration value for the index value of Charge storage time of solid-state imaging device and gain of AGC circuit The charge storage time of the solid-state image sensor and the gain of the AGC circuit. Logarithm of each Replace with From the table generating means for generating the third LUT and the integrating means Painting 4th LUT that replaces prime integration value with logarithmic value Logarithm of the pixel integrated value replaced by the fourth LUT, replaced by the third LUT Logarithm of charge accumulation time during shooting as well as Logarithm of gain when shooting By The index value of the subject brightness is obtained, and the calculated index value of the subject brightness By Since the third LUT includes the calculation means for determining the charge accumulation time of the solid-state imaging device and the gain of the AGC circuit, the data capacity stored as the initial value can be reduced, and the data capacity can be reduced. Data that can be stored as an initial value because it is possible to execute exposure control processing, and even when it is necessary to prepare a plurality of exposure control method patterns, it is not necessary to prepare a corresponding LUT group for each pattern. There is an effect that exposure control processing with various variations can be switched each time without increasing the capacity.
[0075]
According to the present invention, the logarithm of the unit set charge accumulation time which is the minimum settable unit value Value, setting Logarithm of unit setting gain, which is the smallest unit value that can be set , And from the integration means 4th LUT that replaces pixel integration value with logarithmic value Based on logarithmic values in , Subject brightness To obtain the target pixel integration value for the index value of Charge storage time of solid-state imaging device and gain of AGC circuit The charge storage time of the solid-state image sensor and the gain of the AGC circuit. Logarithm of each Replace with Table generating means for generating a third LUT; Logarithmic value of pixel integrated value having fourth LUT and replaced by fourth LUT, replaced by third LUT Logarithm of charge accumulation time during shooting as well as Logarithm of gain when shooting By The index value of the subject brightness is obtained, and the calculated index value of the subject brightness By Since the third LUT is provided with calculation means for determining the charge accumulation time of the solid-state imaging device and the gain of the AGC circuit, the data capacity stored as the initial value can be further reduced, and the data capacity can be reduced. The exposure control process can be executed at the same time, and even when it is necessary to prepare a plurality of exposure control patterns, it is not necessary to prepare a corresponding LUT group for each pattern. There is an effect that exposure control processing with various variations can be switched each time without increasing the data capacity.
[0077]
According to this invention, Depending on the unit set charge accumulation time which is the smallest settable unit A first LUT that replaces a configurable charge accumulation time with a logarithmic value; By unit setting gain which is the smallest unit that can be set Based on the second LUT that replaces the settable gain with a logarithmic value, the brightness of the subject To obtain the target pixel integration value for the index value of Charge accumulation time and gain Charge accumulation time and gain Logarithm of each Replace with Generating and determining a third LUT Painting 4th LUT that replaces prime integration value with logarithmic value Logarithm of pixel integrated value replaced by, replaced by third LUT Logarithm of charge accumulation time during shooting as well as Logarithm of gain when shooting By The index value of the subject brightness is obtained, and the calculated index value of the subject brightness By By including the step of determining the charge accumulation time and gain from the third LUT, the data volume stored as the initial value can be reduced, and the exposure control process can be executed with a smaller data volume. In addition, even when it is necessary to prepare a plurality of exposure control pattern patterns, it is not necessary to prepare a corresponding LUT group for each pattern. Therefore, various patterns can be used without increasing the data capacity stored as the initial value. There is an effect that the exposure control process with various variations can be switched each time.
[0078]
According to the present invention, the logarithm of the unit set charge accumulation time which is the minimum settable unit value Value, setting Logarithm of unit setting gain, which is the smallest unit value that can be set ,as well as 4th LUT that replaces pixel integration value with logarithmic value Based on logarithmic values in , Subject brightness To obtain the target pixel integration value for the index value of Charge accumulation time and gain Charge accumulation time and gain Logarithm of each Replace with Generating a third LUT; Logarithm of the pixel integrated value replaced by the fourth LUT, replaced by the third LUT Logarithm of charge accumulation time during shooting as well as Logarithm of gain when shooting By The index value of the subject brightness is obtained, and the calculated index value of the subject brightness By The step of determining the charge accumulation time and the gain from the 3 LUTs can further reduce the data capacity stored as the initial value, and execute the exposure control process with a smaller data capacity. Even if it is necessary to prepare a plurality of exposure control pattern patterns, it is not necessary to prepare a corresponding LUT group for each pattern, so without increasing the data capacity stored as the initial value, There is an effect that the exposure control process having various variations can be performed by switching each time.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an imaging apparatus according to
FIG. 2 is a diagram showing an example of an LUT that replaces a pixel integrated value with a logarithmic value according to
FIG. 3 is a diagram showing an example of an LUT that replaces a charge accumulation time that can be set by a unit set charge accumulation time with a logarithmic value according to
FIG. 4 is a diagram showing an example of an LUT that replaces a gain that can be set by a unit setting gain according to
FIG. 5 is a flowchart showing an automatic LUT generation process of a table generation unit according to the first embodiment of the present invention.
6 is a diagram showing exposure control characteristics with respect to brightness L of a subject according to the first embodiment of the present invention. FIG.
FIG. 7 is a block diagram showing a configuration of an imaging apparatus according to
FIG. 8 is a flowchart showing an automatic LUT generation process of a table generation unit according to the second embodiment of the present invention.
FIG. 9 is a block diagram showing a configuration of an imaging apparatus according to
FIG. 10 is a flowchart showing processing of calculation means and control value determination means according to
FIG. 11 is a block diagram illustrating a configuration of a conventional imaging device.
FIG. 12 is a diagram illustrating an example of an LUT in which the brightness of a subject is set with respect to a conventional table address value.
13 is a diagram showing an example of an LUT indicating a charge accumulation time for obtaining a target pixel integrated value with respect to the table address value of the LUT shown in FIG.
FIG. 14 is a block diagram illustrating a configuration of a conventional imaging device.
[Explanation of symbols]
DESCRIPTION OF
Claims (5)
上記固体撮像素子からの映像信号を増幅する、ゲインを変更できるAGC回路と、
上記AGC回路からの映像信号をデジタルの映像信号に変換するA/Dコンバータと、
上記A/Dコンバータからのデジタルの映像信号の画素値を、所定領域単位に積算して画素積算値を求める積算手段と、
設定可能最小単位である単位設定電荷蓄積時間により設定可能な電荷蓄積時間を対数値に置き換える第1のLUT(ルックアップテーブル)と、設定可能最小単位である単位設定ゲインにより設定可能なゲインを対数値に置き換える第2のLUTに基づき、被写体の明るさの指標値に対して、目標の画素積算値を得るための上記固体撮像素子の電荷蓄積時間及び上記AGC回路のゲインを求めると共に、上記固体撮像素子の電荷蓄積時間及び上記AGC回路のゲインをそれぞれの対数値に置き換える第3のLUTを生成するテーブル生成手段と、
上記積算手段からの画素積算値を対数値に置き換える第4のLUTを有し、
上記第4のLUTにより置き換えられた画素積算値の対数値、上記第3のLUTにより置き換えられた撮影時の電荷蓄積時間の対数値及び撮影時のゲインの対数値により被写体の明るさの指標値を求め、求めた被写体の明るさの指標値により上記第3のLUTから上記固体撮像素子の電荷蓄積時間と上記AGC回路のゲインを決定する演算手段とを
備えたことを特徴とする撮像装置。A solid-state image sensor that photoelectrically converts an optical image and outputs a video signal;
An AGC circuit capable of amplifying a video signal from the solid-state imaging device and changing gain;
An A / D converter for converting a video signal from the AGC circuit into a digital video signal;
Integration means for integrating pixel values of the digital video signal from the A / D converter in units of a predetermined area to obtain a pixel integrated value;
The first LUT (Look Up Table) that replaces the charge accumulation time that can be set by the unit set charge accumulation time, which is the smallest settable unit, with a logarithmic value, and the gain that can be set by the unit setting gain that is the smallest settable unit . Based on the second LUT to be replaced with numerical values, the charge accumulation time of the solid-state imaging device and the gain of the AGC circuit for obtaining a target pixel integrated value are obtained for the index value of the brightness of the subject, and the solid state Table generating means for generating a third LUT for replacing the charge accumulation time of the image sensor and the gain of the AGC circuit with respective logarithmic values;
Has a fourth LUT replacing the picture element integrated value from the integrating means to the logarithm,
The index value of the brightness of the subject by the logarithm of the pixel integrated value replaced by the fourth LUT, the logarithm of the charge accumulation time at the time of shooting and the logarithm of the gain at the time of shooting replaced by the third LUT. the calculated imaging apparatus characterized by comprising a calculating means for determining the gain of the charge storage time and the AGC circuit of the solid-state imaging device from above Symbol third LUT by the index value of the brightness of the determined subject .
上記固体撮像素子からの映像信号を増幅する、ゲインを変更できるAGC回路と、
上記AGC回路からの映像信号をデジタルの映像信号に変換するA/Dコンバータと、
上記A/Dコンバータからのデジタルの映像信号の画素値を、所定領域単位に積算して画素積算値を求める積算手段と、
設定可能最小単位値である単位設定電荷蓄積時間の対数値、設定可能最小単位値である単位設定ゲインの対数値、及び上記積算手段からの画素積算値を対数値に置き換える第4のLUTにおける対数値に基づき、被写体の明るさの指標値に対して、目標の画素積算値を得るための上記固体撮像素子の電荷蓄積時間及び上記AGC回路のゲインを求めると共に、上記固体撮像素子の電荷蓄積時間及び上記AGC回路のゲインをそれぞれの対数値に置き換える第3のLUTを生成するテーブル生成手段と、
上記第4のLUTを有し、上記第4のLUTにより置き換えられた画素積算値の対数値、上記第3のLUTにより置き換えられた撮影時の電荷蓄積時間の対数値及び撮影時のゲインの対数値により被写体の明るさの指標値を求め、求めた被写体の明るさの指標値により上記第3のLUTから上記固体撮像素子の電荷蓄積時間と上記AGC回路のゲインを決定する演算手段とを
備えたことを特徴とする撮像装置。A solid-state image sensor that photoelectrically converts an optical image and outputs a video signal;
An AGC circuit capable of amplifying a video signal from the solid-state imaging device and changing gain;
An A / D converter for converting a video signal from the AGC circuit into a digital video signal;
Integration means for integrating pixel values of the digital video signal from the A / D converter in units of a predetermined area to obtain a pixel integrated value;
Configurable unit setting logarithmic value of the charge accumulation time is a minimum unit value, logarithm of the unit gain setting is configurable minimum unit value, and the fourth LUT replacing the pixel integration value from the integrating means to the logarithm Based on the logarithmic value, the charge accumulation time of the solid-state imaging device and the gain of the AGC circuit for obtaining a target pixel integrated value with respect to the index value of the brightness of the subject are obtained, and the charge accumulation of the solid-state imaging device is obtained. Table generating means for generating a third LUT for replacing time and the gain of the AGC circuit with respective logarithmic values;
A logarithmic value of a pixel integrated value having the fourth LUT and replaced by the fourth LUT, a logarithmic value of charge accumulation time at the time of shooting and a gain pair at the time of shooting, which are replaced by the third LUT . A calculation means for determining an index value of the brightness of the subject by using a numerical value and determining a charge accumulation time of the solid-state imaging device and a gain of the AGC circuit from the third LUT based on the calculated index value of the brightness of the subject. An imaging apparatus characterized by that.
求められた被写体の明るさの指標値に対して、目標の画素積算値を得るための電荷蓄積時間を示す第5のLUTと、
求められた被写体の明るさの指標値に対して、目標の画素積算値を得るためのゲインを示す第6のLUTと、
上記第5のLUTの指標値に対して、電荷蓄積時間を対数値に置き換える第7のLUTと、
上記第6のLUTの指標値に対して、ゲインを対数値に置き換える第8のLUTとにより構成される
ことを特徴とする請求項1又は請求項2記載の撮像装置。The third LUT is
A fifth LUT indicating a charge accumulation time for obtaining a target pixel integrated value with respect to the obtained index value of the brightness of the subject;
A sixth LUT indicating a gain for obtaining a target pixel integrated value with respect to the calculated brightness value of the subject;
A seventh LUT for replacing the charge accumulation time with a logarithmic value with respect to the index value of the fifth LUT;
The imaging apparatus according to claim 1, further comprising an eighth LUT that replaces a gain with a logarithmic value with respect to the index value of the sixth LUT.
上記映像信号を増幅する第2のステップと、
上記増幅された映像信号をデジタルの映像信号に変換する第3のステップと、
上記デジタルの映像信号の画素値を所定領域単位に積算して画素積算値を求める第4のステップと、
設定可能最小単位である単位設定電荷蓄積時間により設定可能な電荷蓄積時間を対数値に置き換える第1のLUTと、設定可能最小単位である単位設定ゲインにより設定可能なゲインを対数値に置き換える第2のLUTに基づき、被写体の明るさの指標値に対して、目標の画素積算値を得るための上記第1のステップにおける電荷蓄積時間及び上記第2のステップにおけるゲインを求めると共に、上記第1のステップにおける電荷蓄積時間及び上記第2のステップにおけるゲインをそれぞれの対数値に置き換える第3のLUTを生成する第5のステップと、
上記第4のステップで求めた画素積算値を対数値に置き換える第4のLUTにより置き換えられた画素積算値の対数値、上記第3のLUTにより置き換えられた撮影時の電荷蓄積時間の対数値及び撮影時のゲインの対数値により被写体の明るさの指標値を求め、求めた被写体の明るさの指標値により上記第3のLUTから上記第1のステップにおける電荷蓄積時間と上記第2のステップにおけるゲインを決定する第6のステップとを
備えたことを特徴とする撮像方法。A first step of photoelectrically converting an optical image and outputting a video signal;
A second step of amplifying the video signal;
A third step of converting the amplified video signal into a digital video signal;
A fourth step of integrating the pixel values of the digital video signal in predetermined area units to obtain a pixel integrated value;
A first LUT that replaces the charge accumulation time that can be set by the unit set charge accumulation time that is the minimum settable unit with a logarithmic value, and a second LUT that replaces the gain that can be set by the unit setting gain that is the minimum settable unit with the logarithmic value. On the basis of the LUT, the charge accumulation time in the first step and the gain in the second step for obtaining the target pixel integrated value are obtained for the index value of the subject brightness, and the first step is performed . A fifth step of generating a third LUT that replaces the charge accumulation time in the step and the gain in the second step with respective logarithmic values;
The fourth fourth logarithm of pixel integration value has been replaced by the LUT replacing picture element obtained integrated value to the logarithm in step, the third logarithm of the charge accumulation time during replaced shooting by LUT Then, an index value of the brightness of the subject is obtained from the logarithmic value of the gain at the time of shooting, and the charge accumulation time in the first step and the second step are calculated from the third LUT based on the obtained index value of the brightness of the subject. And a sixth step of determining a gain in the imaging method.
上記映像信号を増幅する第2のステップと、
上記増幅された映像信号をデジタルの映像信号に変換する第3のステップと、
上記デジタルの映像信号の画素値を所定領域単位に積算して画素積算値を求める第4のステップと、
設定可能最小単位値である単位設定電荷蓄積時間の対数値、設定可能最小単位値である単位設定ゲインの対数値、及び上記第4のステップにおける画素積算値を対数値に置き換える第4のLUTにおける対数値に基づき、被写体の明るさの指標値に対して、目標の画素積算値を得るための上記第1のステップにおける電荷蓄積時間及び上記第2のステップにおけるゲインを求めると共に、上記第1のステップにおける電荷蓄積時間及び上記第2のステップにおけるゲインをそれぞれの対数値に置き換える第3のLUTを生成する第5のステップと、
上記第4のLUTにより置き換えられた画素積算値の対数値、上記第3のLUTにより置き換えられた撮影時の電荷蓄積時間の対数値及び撮影時のゲインの対数値により被写体の明るさの指標値を求め、求めた被写体の明るさの指標値により上記第5のステップで生成した上記第3のLUTから、上記第1のステップにおける電荷蓄積時間と上記第2のステップにおけるゲインを決定する第6のステップとを
備えたことを特徴とする撮像方法。A first step of photoelectrically converting an optical image and outputting a video signal;
A second step of amplifying the video signal;
A third step of converting the amplified video signal into a digital video signal;
A fourth step of integrating the pixel values of the digital video signal in predetermined area units to obtain a pixel integrated value;
Configurable unit setting logarithmic value of the charge accumulation time is a minimum unit value, logarithm of the unit gain setting is configurable minimum unit value, and the fourth LUT replacing the pixel integration value in the fourth step to the logarithm The charge accumulation time in the first step and the gain in the second step for obtaining the target pixel integrated value with respect to the index value of the brightness of the subject are obtained based on the logarithmic value in FIG. A fifth step of generating a third LUT that replaces the charge accumulation time in step 2 and the gain in the second step with respective logarithmic values;
The index value of the brightness of the subject by the logarithm of the pixel integrated value replaced by the fourth LUT, the logarithm of the charge accumulation time at the time of shooting and the logarithm of the gain at the time of shooting replaced by the third LUT. A charge accumulation time in the first step and a gain in the second step are determined from the third LUT generated in the fifth step based on the calculated brightness value of the subject. An imaging method comprising the steps of:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000219344A JP3706006B2 (en) | 2000-07-19 | 2000-07-19 | Imaging apparatus and imaging method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000219344A JP3706006B2 (en) | 2000-07-19 | 2000-07-19 | Imaging apparatus and imaging method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002044517A JP2002044517A (en) | 2002-02-08 |
JP3706006B2 true JP3706006B2 (en) | 2005-10-12 |
Family
ID=18714144
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000219344A Expired - Lifetime JP3706006B2 (en) | 2000-07-19 | 2000-07-19 | Imaging apparatus and imaging method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3706006B2 (en) |
-
2000
- 2000-07-19 JP JP2000219344A patent/JP3706006B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2002044517A (en) | 2002-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7920181B2 (en) | Semiconductor integrated apparatus and black level correction method for image sensor | |
JP4657457B2 (en) | How to automatically determine the final exposure setting for a solid-state camera without a separate photometric circuit | |
US20030142880A1 (en) | Image processing method, image processing apparatus, and electronic camera | |
KR100734990B1 (en) | Image pickup device and control circuit for image pickup element | |
JP3432705B2 (en) | Imaging device | |
JP2015115714A (en) | Imaging apparatus, method of controlling imaging apparatus, and program | |
JP2001346069A (en) | Video signal processor and contour enhancement correcting device | |
JPH06261336A (en) | Video image pickup device | |
JP3804113B2 (en) | Solid-state imaging device | |
JP3861711B2 (en) | Brightness level correction device | |
JP2006345388A (en) | Imaging apparatus | |
JP3706006B2 (en) | Imaging apparatus and imaging method | |
US20030197795A1 (en) | Generation and storage of amplified video | |
JP3663973B2 (en) | Image signal processing apparatus and image signal processing method | |
JP2527592B2 (en) | Imaging device | |
JP2007500995A (en) | High resolution digitally programmed gain stage for CMOS image sensors | |
KR100402216B1 (en) | Image Pickup Apparatus | |
JP2005159693A (en) | Image processing apparatus | |
JP2007074637A (en) | Imaging apparatus | |
JPH05316413A (en) | Image pickup device | |
JP2007312112A (en) | Imaging apparatus | |
JP3571274B2 (en) | Automatic white balance adjustment device and automatic white balance adjustment method | |
JP3471492B2 (en) | Exposure control system | |
JP4360307B2 (en) | Imaging apparatus and exposure control method | |
JP2691019B2 (en) | White balance device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20031210 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20040226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040525 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040702 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050628 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050727 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3706006 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080805 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090805 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090805 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100805 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110805 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110805 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120805 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120805 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130805 Year of fee payment: 8 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |