以下、本発明の実施形態を図面により説明する。
図1は本発明による撮像装置及び方法の第1の実施形態を示す構成図であって、1は撮像素子、2は駆動部、3は信号処理部、4はメモリ、5は加算部、6は輝度・色信号生成部、7は輝度分布検出部、8,8a,8bは画素である。
同図において、駆動部2からの駆動信号PDによって駆動される撮像素子1から出力される画像信号SPは信号処理部3で処理され、輝度信号SYと色信号SCとが生成される。輝度分布検出部7はこの輝度信号SYから撮像素子1での輝度分布を検出し、この輝度分布をもとに撮像素子1の画素8が配列されてなる撮像領域を撮像する被写体の異なる照度範囲毎に区分し、区分された領域(以下、輝度領域という)毎にその照度範囲に応じた露光時間Tを設定する。かかる露光時間Tは、後述するように、それに該当する照度範囲内で画素8が飽和することなく、従って、白飛びのない良好な撮像が可能に設定されるものである。つまり、撮像領域での各画素8には、それが属する輝度領域の照度範囲に応じた露光時間Tが設定されて画素データの読み取りが行なわれることになる。例えば、画素8aと画素8bとが異なる輝度領域に属しているとすると、画素8aの画素データは露光時間Taで露光されときに有効とし、画素8bの画素データは露光時間Tbで露光されたときに有効とする。
輝度分布検出部7は、検出した輝度分布から撮像素子1の撮像領域でどのような輝度領域が生じているかを検出して、夫々の輝度領域に該当する(即ち、良好に撮像できる)露光時間Tを割り当る(設定する)処理を行ない、この処理結果を示す情報を露光時間設定信号STとして駆動部2に供給する。駆動部2は、この露光時間設定信号STに基づいて、設定された露光時間Tで撮像素子1を動作させるための露光時間切換パルスと撮像素子1での走査のための走査パルスなどからなる駆動パルスPDを生成する。撮像素子1はこの駆動パルスPDに基づいて動作するものであって、輝度分布検出部7で設定された露光時間Tが順番に設定されて露光時間T毎に画素データの読み取りを行ない(これを、露光時間Tでの撮像という)、これら露光時間Tの画像信号SPを出力する(ここでは、撮像領域に3個の輝度領域が生じ、従って、3種類の露光時間Tが順番に切り換えられて、夫々の露光時間Tで撮像が行なわれるものとしている)。この場合、これら露光時間T毎の画素データの読み取りタイミングが異なるため、これら露光時間T毎に得られる画像信号SPのタイミングがずれている。そこで、信号処理部3のメモリ4でこれら画像信号SPが同時化され、加算部5で所定の重み付けがなされて加算されて1つの画像信号SPAとする。
ここで、この加算部5での重み付けの一具体例としては、夫々の露光時間Tで正規化する方法がある。即ち、いま、3種類の露光時間T1,T2,T3(但し、T1>T3>T2)を用い、露光を3回行なうものとすると、露光時間T1で読み出された画像信号SPに対しては重み係数を1とし、露光時間T2で読み出された画像信号SPに対しては重み係数をT1/T2とし、露光時間T3で読み出された画像信号SPに対しては重み係数をT1/T3とするものである。
加算部5から出力される画像信号SPAは輝度・色信号生成部6に供給され、輝度信号SYと色信号SCとが生成される。撮像素子1から出力される露光時間T1,T2,T3夫々での画像信号SPは、かかる露光時間Tにより、ほぼ同じ信号レベル範囲の信号として出力されるが、上記の重み付けにより、露光時間T1の輝度領域からの画像信号SPに対し、露光時間T2のときの画像信号SPはその信号レベル範囲がT1/T2倍となり、露光時間T3のときの画像信号SPはその信号レベル範囲がT1/T3倍となる。従って、信号処理部3から出力される輝度信号SYは、これが得られたときの露光時間T毎に信号レベル範囲が異なることになる。
輝度分布検出部7は、この輝度信号SYを用いて撮像素子1の撮像領域での輝度分布を検出し、この撮像領域をこの輝度分布に応じて複数の輝度領域に区分し、各領域毎に露光時間Tを設定して露光時間設定信号STを生成する。なお、輝度分布と露光時間Tとの対応関係は予め設定されている。
ここで、検出された輝度分布とそれに対する露光時間Tの設定について説明する。
図2は横軸に信号レベルを、縦軸に各信号レベルに対する信号数(画素数)を夫々取ったものであって、この横軸の信号レベルは照度に対応するものであり、照度範囲全体を信号レベルに換算して表わすものである。ここでは、照明条件の良い室内とその窓を通して屋外とを同時に撮像する場合を想定している。
D(ダイナミック)レンジ1は露光時間T1で室内を良好に撮像できる(即ち、画素8が飽和しない)信号レベル範囲であって、室内の照度に応じた輝度分布(信号レベル毎の画素数の分布)が得られる。Dレンジ2は露光時間T2で室内から屋外を良好に撮像できる信号レベル範囲であって、室外の照度に応じた輝度分布が得られる。即ち、室内はその信号レベルがDレンジ1内にあり、良好に撮影するときには、露光時間TをT1に設定しなければならない。ここで、露光時間T1で室内とその窓を通して屋外とを同時に撮像しようとすると、室内と屋外との照度の大きな差により、屋外のDレンジ2では、画素8が飽和し、画像が白一色となることになる。
また、屋外はその信号レベルがDレンジ2内にあり、良好に撮像するときには、露光時間TをT2にする。ここで、露光時間T2で室内とその窓を通して屋外とを同時に撮像しようとすると、室内のDレンジ1はその信号レベルが雑音レベル以下となる。
このように、室内と屋外とを同時に撮像するときには、室内と屋外との照度の大きな差により、Dレンジ1,2の2つの信号レベル群に分かれる場合が多く、1種類の露光時間Tでは、全体として露光状態が良好な画像を得ることができない。この第1の実施形態では、夫々の信号レベル群毎に露光時間Tを、即ち、2種類の露光時間T1,T2を設定して露光回数を2回にし、夫々の露光時間T1,T2で白飛びや黒沈みがない良好な画像信号が得られるように(即ち、良好な撮像ができるように)、撮像素子1のダイナミックレンジを拡張するものである。輝度分布検出部7がかかる輝度分布、即ち、信号レベル群を検出し、夫々毎に露出時間Tを設定するものである。
図3は室内とその窓からの屋外とを同時に撮像するものであるが、室内の照明が均一でない場合の輝度分布の例を示すものである。このような場合、室内の照度と屋外の照度とは大きな差があるとともに、室内においても、照明光が直接照射されている場所と物陰になって照明光が届き難い場所が混在しており、図示すように、室内の信号レベル(照度)範囲が広過ぎて1種類の露光時間Tだけでは、室内を良好な露光状態で撮像ができない。
このため、輝度分布検出部7は、このように信号レベル範囲が広いと判定すると、この信号レベル範囲をDレンジ1とDレンジ3とに分割し(図2と対応付けると、Dレンジ1にDレンジ3を追加し)、さらに、このDレンジ3に対して露光時間T3を設定して露光回数を3回とする。この露光時間T3も、撮像領域のこれに該当する輝度領域から得られる画像信号SPが露光時間T1,T2の輝度領域から得られる画像信号SPとほぼ等しい信号レベル範囲となるように、設定されるものである。なお、この露光時間T3で室内とその窓を通しての屋外とを同時に撮像しようとすると、照度の差により、屋外のDレンジ2の輝度領域では信号レベルが飽和して画像が白飛びし、また、室内のDレンジ1の輝度領域では信号レベルが雑音レベルとなる。このように、露光回数を3回にし、夫々の露光時間T1,T2,T3毎に撮像を行なうことにより、白飛びや黒沈みがない良好な画像信号が得られるように(即ち、良好な撮像ができるように)、撮像素子1のダイナミックレンジを拡張するものである。
なお、以上のように、室内とその窓からの屋外とを同時に撮像する場合も、屋外の被写体での照度が低い部分は、室内と同じ露光時間Tで(即ち、Dレンジ1又はDレンジ3の信号レベル範囲で)撮像されることになる。
図4は輝度分布検出部7での上記の露光回数と露光時間の設定アルゴリズムの一具体例を示す図である。
図4(a)に示すように、検出した輝度分布により、信号レベル範囲L1〜L2(信号レベル範囲LAという)と信号レベル範囲L3〜L4(信号レベル範囲LBという)とが検出されたものとする(但し、L1<L2<L3<L4)。
まず、露光時間として、一例として、Ta,Tb,Tc,Td,Te(但し、Ta>Tb>Tc>Td>Te)の5種類の撮像を行なうものとするが、例えば、NTSC方式でのフィールド周期の整数倍となるように露光時間Taを設定し、図4(b)に露光群1として示すように、この露光時間Taで良好に撮像できる信号レベル範囲0〜Laを信号レベル範囲Aとすると、この信号レベル範囲Aに隣接する信号レベル範囲La〜Lbを信号レベル範囲Bとし、これに対する露光時間Tbを設定する。この信号レベル範囲Bはこの露光時間Tbで良好に撮像できる信号レベル範囲である。次いで、この信号レベル範囲Bに隣接する信号レベル範囲Lb〜Lcを信号レベル範囲Cとして、これに対する露光時間Tcを設定する。この信号レベル範囲Cもこの露光時間Tcで良好に撮像できる信号レベル範囲である。以下同様にして、信号レベル範囲Lc〜Ldを信号レベル範囲Dとして露光時間Td、信号レベル範囲Ld〜Leを信号レベル範囲Eとして露光時間Teを夫々設定する。
ここで、露光時間Tbは露光時間Taを基準に設定され、露光時間Tcは露光時間Tbを基準に設定され、露光時間Tdは露光時間Tcを基準に設定され、露光時間Teは露光時間Tdを基準に設定される。かかる設定の一方法としては、露光時間TがTaのときの飽和レベル(最大信号レベル)が雑音レベル(最小信号レベル)のa倍とすると、露光時間Tbを
Tb=Ta/a
とし、露光時間Tbでの飽和レベルが雑音レベルのb倍とすると、露光時間Tcを
Tc=Tb/b
とし、露光時間Tcでの飽和レベルが雑音レベルのc倍とすると、露光時間Tdを
Td=Tc/c
とし、露光時間Tdでの飽和レベルが雑音レベルのd倍とすると、露光時間Teを
Te=Td/d
とする。例えば、露光時間Taのときの飽和レベルが雑音レベルの100倍とすると、露光時間Tb=Ta/100とする。また、設定する露光時間Tの最小値を所定の値Tminとし、この最小露光時間Tminより小さな露光時間とならないように制御する。以上のことは、簡単に可能である。
図5は異なる露光時間T毎の照度(図2,図3での横軸の信号レベルに相当)に対する信号レベルの変化を示す図である。ここでは、露光時間Tとして、露光時間Taと露光時間Tb(=Ta/a)とを例に説明する。
同図において、いま、露光時間Taについてみると、信号レベルが雑音レベルとなる照度I1から信号レベルが飽和レベルとなる照度I2までの間が、この露光時間Taで撮像可能な照度範囲(信号レベル範囲)とする。ここで、この露光時間Taのときの飽和レベル(これは画素の容量で決まり、この容量いっぱいに電荷が蓄積されると、信号レベルは飽和する)が雑音レベルのa倍のとき、露光時間TbはTb=Ta/aであるから、露光時間Tbのときには、露光時間Taで信号レベルが飽和するときの照度I2で信号レベルが雑音レベルとなる。そして、この照度I2から信号レベルが飽和するときの照度I3までがこの露光時間Tbで撮像可能な照度範囲である。以下、露光時間Tc,Td,Teについても同様である。そして、露光時間Taで撮像可能な照度範囲I1〜I2が図4の露光群1での信号レベル範囲Aに相当するものであり、露光時間Tbで撮像可能な照度範囲I2〜I3が図4での露光群1の信号レベル範囲Bに相当するものである。信号レベル範囲C,D,Eに相当する露光時間Tc,Td,Teで撮像可能な照度範囲も、同様にして求まることになる。
図4(b)に示す露光群1の各信号レベル範囲A〜Eはこのようにして設定されたものであり、夫々の信号レベル範囲毎に露光時間Ta〜Teが設定されている。かかる信号レベル範囲A〜E及びこれらに該当する露光時間Ta〜Teは、実際に検出された輝度分布に応じて修正される。これを、図4(c)に露光群2として示す。
図4(a)において、検出された信号レベル範囲LAは信号レベルL1〜L2であり、信号レベル0と信号レベルL1との差ΔSaだけこの信号レベル範囲LAをシフトして、図4(c)に露光群2として示す信号レベル範囲A’とする。また、これとともに、露光時間Taも修正して露光時間Ta’とし、この信号レベル範囲A’で良好な撮像ができるようにする。
そして、信号レベル範囲A’が図4(a)に示す信号レベル範囲LA全体を包含するものであれば、この信号レベル範囲LAに対しては、露光時間A’のみを用いて撮像が行なわれるが、信号レベル範囲A’のみで信号レベル範囲LAを包含しきれない場合には、図4(b)の露光群1での次の信号レベル範囲Bをも用いる。この場合には、この信号レベル範囲Bを上記の差ΔSaだけシフトした図4(c)の露光群2での信号レベル範囲B’とし、これとともに、露光時間Tbも修正して露光時間Tb’とする。ここで、L2−Lb=ΔScとし、
ΔSa+La+Lb≦L2(=La+Lb+ΔSc)
のとき、従って、ΔSa≦ΔScのとき、信号レベル範囲LAに対しては、露光時間Ta’,Tb’の2回の露光によって撮像を行なえばよい。なお、ΔSa>ΔScのときには、さらに、信号レベル範囲C,……というように、露光回数が増えることになる。
また、図4(a)に示す信号レベル範囲LBが、図4(b)の露光群1での信号レベル範囲Eによって全体が包含されるならば、信号レベル範囲Eに対して設定された露光時間Teによる撮像が行なわれる。勿論、レベル範囲LB全体を包含するのに2以上の露光群1の信号レベル範囲が必要な場合には、レベル範囲LB全体を包含するに必要な露光群1の2以上の信号レベル範囲を、先の信号レベル範囲LAの場合のように、シフトしてレベル範囲LBの最小信号レベルから有効となるようにし、これに応じて修正されたこれら信号レベル範囲に該当する露光時間Tを用い、2以上の露光回数で撮像を行なう。
なお、輝度分布検出部7で2以上の信号レベル範囲(図2,図3での信号レベル群)が検出されても、これらが全て図4(b)の露光群1のいずれか1つの信号レベル範囲に包含されるものであれば、この信号レベル範囲に設定されている露光時間Tのみを用いて撮像が行なわれることになる。
以上のように、例えば、5個の露光時間Tが設定されていても、そのうちの輝度分布検出部7で検出される信号レベル範囲に応じて該当する露光時間Tのみを用いればよく、これにより、露光回数、従って、撮像回数を減らすことが可能となる。
なお、信号分布が図4(a)のようなデジタル的でない場合には、例えば、予め決められた所定の信号数よりも少ない信号レベルについては、信号数を0として、図4(a)に示すような信号分布とすることができる。
以上のようにして、この第1の実施形態では、図1において、撮像素子1の撮像領域での輝度領域毎に露光時間Tが設定され、設定された露光時間T毎に撮像が行なわれる。ここで、3種類の露光時間T1,T2,T3(但し、T1>T3>T2)が設定されている場合の撮像素子の動作を図6により説明する。
同図において、露光が露光時間T1,T2,T3の順で、かつ繰り返し設定されるが、これら露光時間Tが経過する毎に撮像領域全体の画素8の画素データの読み取りが行なわれ、読み取った画素データからなる画像信号SPが得られる。なお、露光の順序は、これに限られるものでなく、任意である。
即ち、いま、露光時間T1が経過すると、読取パルス(これは、駆動部2からの走査パルスSPによる)により、撮像領域全体の画素8からの画素データの読み出しとこれら画像データの転送パルスによる垂直,水平転送用のCCDでの転送が行なわれ(かかる一連の動作を、以下、走査といい、かかる走査によって画像信号を得ることが撮像である)、時間長TPで画像信号SP1が得られる。かかる露光時間T1に対する走査が終了すると、次の露光時間T3による露光が開始し、この露光時間T3が経過すると、この露光に続いて走査が行なわれて時間長TPで画像信号SP3が得られる。そして、かかる露光時間T3に対する走査が終了すると、次の露光時間T2による露光が開始し、この露光時間T2が経過すると、これに続いて走査が行なわれ、時間長TPで画像信号SP2が得られる。かかる露光時間T2に対する走査が終了した後、次の露光時間T1による露光が開始し、以下、かかる動作が繰り返される。
かかる画像信号SP1,SP2,SP3が、図1において、画像信号として順番に(即ち、時系列的に)撮像素子1から出力され、信号処理部3に供給されてメモリ4に記憶される。そして、これら画像信号SP1,SP2,SP3は、メモリ4から同時に、かつ規定の時間長(例えば、1フィールド長)に変換されて読み出され、加算部5に供給されるが、以上のように得られた画像信号SP1,SP2,SP3を単純に加算することはできない。以下、この点について、図7により説明する。
いま、図7(a)に示すように、撮像素子1の撮像領域12に、上記の露光時間T1で良好な撮像が可能な照度の輝度領域12aと上記の露光時間T2で良好な撮像が可能な照度の輝度領域12bと上記の露光時間T3で良好な撮像が可能な照度の輝度領域12cとが生じている場合、最も短い露光時間T2で撮像すると、図7(b)に示すように、輝度領域12bは良好な撮像ができるが、輝度領域12a,12cは信号が得られない。従って、このとき得られる画像信号SP2は、輝度領域12bの画素8から得られた画素データのみの画像信号である。また、次に短い露光時間T3で撮像すると、図7(c)に示すように、輝度領域12cは良好な撮像ができ、輝度領域12aからは信号が得られないが、輝度領域12cの画素8は全て飽和しており、飽和した信号が得られる。従って、このとき得られる画像信号SP3は、輝度領域12cの画素8から得られた入射光量に応じた信号レベルの画素データと輝度領域12bの画素8から得られる飽和レベルの画素データとから画像信号である。さらに、最も長い露光時間T1で撮像すると、図7(d)に示すように、輝度領域12aは良好な撮像ができるが、輝度領域12b,12cの画素8は全て飽和しており、飽和した信号が得られる。従って、このとき得られる画像信号SP1は、輝度領域12aの画素8から得られた入射光量に応じた信号レベルの画素データと輝度領域12b,12cの画素8から得られる飽和レベルの画素データとから画像信号である。
以上の画像信号SP1,SP2,SP3を単純に加算したのでは、輝度領域12aでのみ正しい信号レベル範囲の画像信号が得られるだけとなる。
そこで、上記の重み付けがなされているこれら画像信号SP1,SP2,SP3を加算部5で加算する場合、露光時間T3での画像信号SP3のうち、画像信号SP2に対応する部分(即ち、図7(c)での輝度領域12bに対応する部分)をこの画像信号SP2で置き換え、さらに、露光時間T1での画像信号SP1のうち、画像信号SP2に対応する部分(即ち、図7(d)での輝度領域12b,12cに対応する部分)を画像信号SP2への置換が行なわれた画像信号SP3で置き換えるようにする。これにより、輝度領域12a,12b,12cで夫々該当する信号レベル範囲の画像信号SPAが得られることになる。
このようにして、被写体の照度にかかわらず、全体として好適な信号レベル範囲の画像信号SPAが得られることになり、撮像素子1のダイナミックレンジを拡大することが可能となる。そして、設定される各露光時間Tは1画像の期間内に順番に行なうようにしているので、被写体の動きの影響を抑制でき、高品質の画像が得られることになる。
図8は本発明による撮像装置及び方法の第2の実施形態を示す構成図であって、2aはレジスタ、2bは変換テーブル、2cは発振器、2dは分周器、2eは走査パルス発生器、7’は輝度分布検出部であり、前出図面に対応する部分には同一符号を付けて重複する説明を省略する。
先に、図1に示した第1の実施形態では、駆動部2からの駆動パルスPDのうち、走査パルスを一定周波数のパルスとし、走査周波数を一定として、各露光時間T毎の画像信号の時間長TPを一定としたものであるが、図8に示すこの第2の実施形態では、走査パルスの周波数を実行される露光回数に応じて異ならせるものであり(従って、撮像素子1の走査周波数を異ならせるものであり(但し、同時に実行される各露光時間Tでの走査周波数は等しい))、設定されて露光回数にかかわらず、この露光回数に対する撮像時間がほぼ一定となるようにするものである。
図8において、予め露光時間Tが決められており、これらを、例えば、露光時間Ta,Tb,Tc,Td,Teとする(但し、Ta>Tb>Tc>Td>Te)。輝度分布検出部7’は、信号処理部3からの輝度信号SYからその輝度分布を検出するが、この輝度分布に応じて、撮像素子1に設定する露光時間Tを、
Ta
Ta,Tb
Ta,Tb,Tc
Ta,Tb,Tc,Td
Ta,Tb,Tc,Td,Te
の5通りの組み合わせの1つを用いるようにする。つまり、輝度分布検出部7’は、検出した輝度分布に応じてこれら5通りの露光時間の組み合わせの1つを選択し、選択した組み合わせを露光回数(また、走査回数でもある)に対応させて、この露光回数を表わす露光回数設定信号SKを駆動部2に供給する。露光回数設定信号SKによって露光回数がk回と設定されたときには、露光時間Taから露光時間が長い順にk個の露光時間Ta,……が選択されたことになる。
このために、輝度分布検出部7’は、輝度信号SYから輝度分布を検出すると、その最大の信号レベル範囲をみてこれに該当する露光時間Tを判定し、この判定した露光時間Tから露光回数を決定する。例えば、図4に示すように、検出した輝度分布において、最大の信号レベル範囲がLBであって、これに該当する露光時間TがTeとすると、露光時間Ta,Tb,Tc,Td,Teの組み合わせが選択されることになり、露光回数が5回の露光回数設定信号SKが作成されて駆動部2に供給される。また、図4において、検出した輝度分布が信号レベル範囲LAだけの場合には、選択される露光時間Tの組み合わせはTa,Tbであるから、露光回数は2回となる。
駆動部2では、輝度分布検出部7’からの露光回数設定信号SKが一旦レジスタ2aに蓄積され、変換テーブル2bにより、この露光回数設定信号SKによる露光回数が走査周波数指示情報に変換される。この走査周波数指示情報は分周器2dの分周比を指示するものであって、分周器2dは発振器2cの出力パルスをこの指示される分周比で分周する。この分周器2dの出力パルスは走査パルス発生器2eに供給され、露光回数設定信号SKで指定される露光回数に応じた走査周波数の走査パルスPSが生成される。この走査パルスPSが、撮像素子1で各露光の開始と各走査の開始とを行なうための開始パルスPRとともに、駆動パルスPD として、撮像素子1に供給される。
図9は図8における変換テーブル2bの一具体例を模式的に示す図である。
同図において、変換テーブル2bは、上記のように、露光回数設定信号SKが指定する露光回数と分周器2dとの対応関係を示し、これら間の変換を行なうものであるが、説明の便宜上、露光回数と走査周波数との対応関係で示している。
ここでは、露光回数が1回のとき(即ち、露光時間Taだけの場合)、走査周波数が13.5MHzとなるように、分周器2dの分周比が設定されるものであり、露光回数が2回となると(即ち、露光時間Ta,Tbの場合)、走査周波数が13.5MHzの2倍の27.0MHzとなる。また、露光回数が3回となると(即ち、露光時間Ta,Tb,Tcの場合)、走査周波数が13.5MHzの3倍の40.5MHzとなる。なお、例えば、撮像素子1の走査の最大周波数を設定し、走査周波数がこの最大周波数を越えならないようにしており、このために、図9に示す具体例では、露光回数が3回以上の場合、走査周波数が13.5MHzの3倍の40.5MHzとしている。
図10はこの第2の実施形態での露光回数と撮像素子1から得られる画像信号SPとの関係を示す図である。ここでは、露光回数が1回のときの画像信号SPの時間長をTPとし、図9に合わせて、露光回数が2回,3回のときの画像信号SPの時間長をTP/2,TP/3としている。
図10(a)は露光回数が1回の場合を示しており、このときには、露光時間T1の露光が終了すると、走査が行なわれ、時間長TPで画像信号SPが得られる。露光回数が2回のときには、図10(b)に示すように、露光時間T1の露光が終了すると、走査が行なわれて時間長TP/2で画像信号SP1が得られ、この走査が終了すると、次の露光時間T2の露光が行なわれ、この露光が終了すると、走査が行なわれて時間長TP/2で画像信号SP2が得られる。この場合、露光時間T1の露光があってから時間TP/2後に次の露光時間T2の露光が行なわれるが、図1に示した第1の実施形態のように、露光回数にかかわらず各露光毎の走査時間がTP と一定の場合に比べ、露光間の時間間隔が短くなる。
露光回数が3回のときには、図10(c)に示すように、露光時間T1の露光が終了すると、走査が行なわれて時間長TP/3で画像信号SP1が得られ、この走査が終了すると、次の露光時間T2の露光が行なわれ、この露光が終了すると、走査が行なわれて時間長TP/3で画像信号SP2が得られ、この走査が終了すると、次の露光時間T3の露光が行なわれ、この露光が終了すると、走査が行なわれて時間長TP/3で画像信号SP3が得られる。この場合には、露光回数が増えるものの、露光間の時間間隔がさらに短くなる。
このようにして、この第2の実施形態では、露光回数が増加しても、露光の時間間隔が短くなり、最初の露光から最後の露光までの時間を短くできる。このため、上記第1の実施形態と同様、信号処理部3で夫々の露光に伴う撮像によって得られて画像信号SP1,……を重み付けして加算しても、被写体の動きによる影響を軽減できる。
なお、以上の第1,第2の実施形態において、露光時間や露光回数の制御は、撮像素子1として、周知のインターライン型CCDの電子シャッターなどの技術を用いて可能である。
図11は本発明による撮像装置及び方法の第3の実施形態を示す構成図であって、5a,5b,5cは乗算器、5dは加算器、10a〜10cは垂直転送用のCCD(以下、垂直CCDという)、11a〜11cは水平転送用のCCD(以下、水平CCDという)であり、図1に対応する部分には同一符号を付けて重複する説明を省略する。
上記第1,第2の実施形態では、撮像素子1から各露光時間T1,T2,T3での画像信号SP1,SP2,SP3を時系列で出力し、信号処理部3のメモリ4で時間長変換とタイミング合わせの処理を行なうようにしたものであるが、この第3の実施形態では、撮像素子1から露光時間T毎の撮像による画像信号が並列に得られるようにしたものである。
図11において、設定する露光時間TがT1,T2,T3(但し、T1>T3>T2とする)の3種類として、撮像素子1では、各画素8毎に3個の垂直CCD10a〜10cと3個の水平CCD11a〜11cとが設けられており、露光時間T1での画素データは垂直CCD10aを通して水平CCD11aに転送され、露光時間T3での画素データは垂直CCD10bを通して水平CCD11bに転送され、露光時間T2での画素データは垂直CCD10cを通して水平CCD11cに転送される。
次に、図12を用いてこの第3の実施形態の動作を説明する。なお、読取パルス1,2,3は各画素8から露光時間T1,T3,T2で画素データを読み取って垂直CCD10a,10b,10cに転送するためのパルスであり、VCCD転送パルス1,2,3は垂直CCD10a,10b,10cで画素データを水平CCD11a,11b,11cの方に順次単位時間(例えば、1水平走査期間)毎に転送するためのパルスである。これら読取パルス1,2,3は駆動部2からの駆動パルスVDでの露光時間切換パルスに相当するものであり、VCCD転送パルス1,2,3は、水平CCD11a〜11bの転送パルスとともに、駆動パルスVD での走査パルスに相当するものである。
露光時間T1が経過して、駆動部2からの駆動パルスPDにより、時刻t1に読取パルス1が供給され、撮像領域の全画素8の画素データが読み取られて垂直CCD10aに転送されると、露光時間T2の露光が開始される。また、垂直CCD10aでは、VCCD転送パルス1により、取り込んだ画素データの水平CCD11aへの転送が順次行なわれる。
露光時間T2が経過した時刻t2に達すると、読取パルス2が供給されて撮像領域の全画素8から画素データが読み取られ、垂直CCD10cに転送される。この時刻t2で次の露光時間T3の露光が開始される。これとともに、垂直CCD10cでは、VCCD転送パルス2により、取り込んだ画素データの水平CCD11cへの転送が順次行なわれる。
露光時間T3が経過した時刻t3に達すると、読取パルス3が供給されて撮像領域の全画素8から画素データが読み取られ、垂直CCD10bに転送される。この時刻t3で次の露光時間T1の露光が開始される。これとともに、垂直CCD10bでは、VCCD転送パルス3により、取り込んだ画素データの水平CCD11bへの転送が順次行なわれる。
露光時間T1が経過した時刻t4に達すると、読取パルス1が供給されて撮像領域の全画素8から画素データが読み取られ、垂直CCD10aに転送される。この時刻t1で次の露光時間T2の露光が開始される。これとともに、垂直CCD10aでは、VCCD転送パルス1により、取り込んだ画素データの水平CCD11aへの転送が順次行なわれる。
このようにして、露光時間T1,T2,T3の順で露光時間Tが設定され、これら露光時間Tが経過する毎に全画素8の画素データがこの露光時間Tに対応する垂直CCDに読み取られ、水平CCDに転送される。この場合、各露光時間Tの画素8からの画素データの読み取りがフィールド単位で行なわれると、1水平走査周期毎に各垂直CCDから1画素データずつ水平CCDに転送されて、垂直CCDからのかかる1回の画素データの転送により、水平CCDに画像の1水平走査線(ライン)分の画素データが転送されたことになり、かかる1ラインの画素データが1水平走査周期かかって出力される。従って、水平CCD11a,11b,11cからは夫々、撮像領域全体の画素8の画素データからなる露光時間T1,T3,T2での画像信号SP1,SP2,SP3が1フィールドの時間長で得られることになる。なお、これら画像信号SP1,SP2,SP3は、図12でのVCCD転送パルス1,2,3の時間的なずれからも明らかなように、互いに時間的にずれており、このため、図1に示す第1の実施形態でのメモリ4のような所定の遅延手段を用いることにより、時間(タイミング)合わせが行なわれる。
このようにしてタイミング合わせがなされた画像信号SP1,SP2,SP3は、図1に示す第1の実施形態と同様、乗算器5a,5b,5cで所定の重み付けがなされた後、加算器5dで加算され、図1に示す第1の実施形態と同様の処理により、1つの画像信号PA が得られる。
以上のように、この第3の実施形態においても、撮像素子1のダイナミックレンジを拡張することができ、しかも、このように拡張しても、上記のように、露光時間T毎に画素データの読み出し経路を設けているので、露光と画素データの読み出し、従って、走査とを同時に行なうことができるから、第1,第2の実施形態のように、同一の読み出し経路を用いて異なる露光時間での露光による画素データの読み出しを時系列で行なうのに比べ、各露光時間Tでの撮像タイミングのずれを軽減でき、重み付け加算時の画像のずれを軽減することができる。
また、この第3の実施形態では、撮像素子1から1画像が所定の時間長(例えば、1フィールド)の画像信号SP1,SP2,SP3が得られるから、これらの時間長の変換を必要としない。
一方、図12に示すように、上記のVCCD転送パルス1,2,3よりも周期が短いVCCD転送パルスPtを垂直CCD10a〜10cに共通に用いるようにすることもできる。この場合には、露光時間T1,T2,T3での画素8から垂直CCD10a,10c,10bへの画像データの読み取りが全て終ってから、このVCCD転送パルスPtによる垂直CCD10a〜10cでの画素データの転送を行なうものである。但し、この場合には、1画像の画像信号SP1,SP2,SP3はタイミングが一致しているが、上記所定の時間長よりも圧縮されており、このために、メモリなどを用いて時間長を伸長する処理が必要となる。
また、垂直CCDあるいは水平CCDのステージ数を増やすことにより、これらCCDの本数を減らすことは可能である。さらに、MOS型などの別の撮像素子を用いても同様な複数経路での読み出しは可能である。
図13は図1,図11における輝度分布検出部7の他の具体例を示すブロック図であって、7aはメモリ、7bはゲイン補正回路、7cは差分回路、7dは積分回路、7eは判定回路、7fは露光時間設定回路である。
同図において、信号処理部3(図1,図11)からの輝度信号SYはゲイン補正回路7bに供給されるとともに、メモリ7aで1画面期間分遅延され、遅延輝度信号SY’となってゲイン補正回路7bに供給される。このゲイン補正回路7bでは、これら前後する2画面分の輝度信号(画像信号)SY,SY’の信号レベルが夫々の露光時間で補正される。ゲイン補正されたこれら画像信号SY,SY’は差分回路7cに供給されてこれら2画面の差分が求められ、2画面の差分が積分回路7dで積分される。これにより、被写体が動いた度合いに応じたレベルで積分回路7dら積分信号が得られ、判定回路7eでは、この積分信号のレベルに応じて動きの大小を判定する。判定回路7eで所定の動き以上の被写体の動きがあると判定した場合には、露光時間設定回路7fが露光回数を少なく(あるいは、露光時間を少なく)するような露光時間設定信号STを出力する。
露光時間設定信号STで露光回数を少なくする方法としては、例えば、図4において、複数回の露光、即ち、露光時間Ta’,Tb’の露光を行なう信号レベル範囲LAに対し、露光時間Tb’による露光を行なわないようにして露光回数を減らす単純な方法でもよいし、また、図4で説明した閾値となる所定の信号数より多いか少ないかという判別を行なって、この所定の信号数より多い場合に露光の対象となる信号レベル範囲を設定する場合、被写体の動きが大きい場合には、この所定の信号数を大きくし、露光の対象となる信号レベル範囲を制限するようにする方法でもよい。これにより、被写体の動きが大きい場合には、複数の露光に要する時間を短縮することができ、重み付け加算時の画像のずれを軽減することができる。