JP4114752B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP4114752B2
JP4114752B2 JP2005230848A JP2005230848A JP4114752B2 JP 4114752 B2 JP4114752 B2 JP 4114752B2 JP 2005230848 A JP2005230848 A JP 2005230848A JP 2005230848 A JP2005230848 A JP 2005230848A JP 4114752 B2 JP4114752 B2 JP 4114752B2
Authority
JP
Japan
Prior art keywords
gain
abnormality
photoelectric conversion
signal processing
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005230848A
Other languages
English (en)
Other versions
JP2007049359A (ja
Inventor
知子 今田
善行 藤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2005230848A priority Critical patent/JP4114752B2/ja
Publication of JP2007049359A publication Critical patent/JP2007049359A/ja
Application granted granted Critical
Publication of JP4114752B2 publication Critical patent/JP4114752B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

この発明は、電荷蓄積時間の制御部と、ゲイン制御部の両方を用いて異常判定を行うことで、被写体に応じて行っている適正な露出制御を中断することなく、精度良く露出制御部の異常判定を行うことができる撮像装置に関する。また、非線形な入出力特性を有する撮像装置においても、精度良く露出制御部の異常判定を行うことができる撮像装置に関する。
一般に、撮像装置において、最終映像信号を決定するための露出制御は、受光素子の電荷蓄積時間の制御、または光電変換されたアナログ映像信号に対するゲイン制御(増幅)によって行われる。従って、この露出制御が異常であった場合には、適正な画像出力が得られない。
このような露出の異常を解決するために、撮像手段で得られる画面のうち所定領域を選択する選択手段と、所定領域の輝度を検出する輝度検出手段と、所定領域の輝度と予め定められた目標輝度とに基づき所定領域の輝度が目標輝度となるようアイリスあるいはシャッタ速度を調節する露出制御手段とを備える装置がある(例えば、特許文献1参照)。
特開平8−240833号公報(特に、段落0018)
従来の撮像装置では、アイリスまたはシャッタ速度を調節し、露出量を増大あるいは減少させることによって露出の異常を判定するために、撮影のために被写体に応じて行う露出制御を一時的に中断する必要があった。具体的には、被写体に応じて最適化されたシャッタ速度による画像出力を得る処理以外に、露出制御を一時的に中断してシャッタ速度が最速及び最遅の場合の画像出力を取得し、これらの画像出力における平均輝度がシャッタ速度に対応しているかを判定していた。
このため、従来の撮像装置においては、撮影用の露出制御処理を一時的に中断するか、撮影用の露出制御処理を行っていないときに露出制御の異常判定を行わなければならないという課題があった。
また、撮像範囲全域において少なくともひとつの特性切替点をもつ非線形な入出力特性で撮像する撮像装置においては、露出量を現在値よりも増大あるいは減少させても、露出量の増大あるいは減少に応じた出力が得られないという課題があった。
また、露出制御は受光素子の電荷蓄積時間の制御、または光電変換されたアナログ映像信号に対するゲイン制御(増幅)によって行われるため、ゲイン制御部の異常判定を行う必要がある。特に、撮像範囲全域において特性切替点をもたない非線形な入出力特性で撮像する撮像装置においては、電荷蓄積時間の制御は行わず、光電変換されたアナログ映像信号に対するゲイン制御(増幅)によって行われるため、ゲイン制御部の異常判定は必須となる。
この発明は、上述のような課題を解決するためになされたものであり、シャッタ速度によって決まる電荷蓄積時間の制御部と、ゲイン制御部の両方を用いて異常判定を行うことで、被写体に応じて行っている適正な露出制御を中断することなく、精度良く露出制御部の異常判定を行うことができる撮像装置を提供することを目的とする。
また、撮像範囲全域において少なくとも1つ以上の特性切替点をもつ非線形な入出力特性で撮像する撮像装置においても、その特性切替点で区切られる各特性領域毎に異常判定を行うことで、精度良く露出制御部の異常判定を行うことができる撮像装置を提供することを目的とする。
さらに、ゲイン制御部の異常判定を行うことで、撮像範囲全域において特性切替点をもたない非線形な入出力特性で撮像する撮像装置においても、精度良く露出制御部の異常判定を行うことができる撮像装置を提供することを目的とする。
この発明の撮像装置は、被写体から受光する光を光電変換する光電変換部と、
光電変換部において電荷を蓄積する時間及び、前記光電変換部の出力に付与するゲインを制御処理する信号処理部と、
信号処理部によって処理された画像出力の露出またはゲインの異常を判定する異常判定部とを備え、光電変換部は、入射光強度に対して線形な出力信号特性を有し、異常判定部は、m×n=1の関係を有する変数m、nに対し、蓄積時間CとゲインGによって得られる画像出力と、n倍の蓄積時間Cnとm倍のゲインGmによって得られる画像出力とを比較することにより、露出またはゲインの異常を判定する。
この発明の撮像装置は、被写体から受光する光を光電変換する光電変換部と、
光電変換部において電荷を蓄積する時間及び、前記光電変換部の出力に付与するゲインを制御処理する信号処理部と、
信号処理部によって処理された画像出力の露出またはゲインの異常を判定する異常判定部とを備え、光電変換部は、入射光強度に対して線形な出力信号特性を有し、異常判定部は、m×n=1の関係を有する変数m、nに対し、蓄積時間CとゲインGによって得られる画像出力と、n倍の蓄積時間Cnとm倍のゲインGmによって得られる画像出力とを比較することにより、露出またはゲインの異常を判定するので、被写体に応じて最適制御された蓄積時間(シャッタ速度)及びゲインによって得られる画像出力を用いて露出の異常を判定することができるため、路面の白線を認識するようなシステムにおいて、従来のようにシャッタ速度が最速、最適及び最遅の場合の画像出力を比較する場合に、白線と路面が白飛びした画像になり、白線を検知できないといった不具合も生じない。また、本発明の撮像装置を用いた白線認識システムでは、露出異常検知のために白線認識処理を一時停止する必要が生じない。
実施の形態1.
以下、図面を参照しながら、この発明の実施の形態1に係る撮像装置について説明する。
図1は、この発明の実施の形態1に係る撮像装置の構成を概略的に示すブロック図である。
図2は、この発明の実施の形態1に係る撮像装置の車輌への取付例を概念的に示す図である。
図3は、この発明の実施の形態1に係る撮像装置で撮影した映像例を示す図である。
図4は、撮像装置における最適な蓄積時間(シャッタ速度)における画像出力、蓄積時間が最長(シャッタ速度が最遅)における画像出力、及び、蓄積時間が最短(シャッタ速度が最速における)画像出力例を示す図である。
図5aは、この発明の実施の形態1に係る撮像装置における露出制御の異常判定の処理を含む処理を示すフローチャートである。
図5bは、この発明の実施の形態1に係る撮像装置における露出制御の異常判定の処理を含む処理を示すフローチャートである。
図6は、この発明の実施の形態1に係る撮像装置に用いる撮像素子の入出力特性(像面照度に対する信号レベルの特性)を示す図である。
図1に示すように、撮像装置100は、例えばフォトダイオード等で構成される光電変換部201と、光電変換部201の出力信号を処理するアナログ信号処理部202と、アナログ信号処理部202の出力信号をデジタル信号に変換するA/D変換部206と、A/D変換部206の出力信号を画像データとして格納する画像メモリ207と、画像メモリ207に接続されたCPU208とを備える。
ここで、光電変換部201、アナログ信号処理部202及びA/D変換部206は、撮像素子を構成する。なお、撮像素子は、必ずしもA/D変換部206を含む必要はない。
このような構成の撮像装置100は、被写体を撮像範囲全域において撮像素子の単一の線形な入出力特性を用いて撮像する。
光電変換部201は、被写体の反射光あるいは発光を受光する受光素子(図示せず)を有し、この受光素子の出力信号を光量に応じた電圧のアナログ映像信号に変換する。すなわち、被写体の輝度は、光電変換部201において電圧信号に変換され、アナログ信号処理部202に入力される。
アナログ信号処理部202は、光電変換部201での電荷蓄積時間を制御する蓄積時間制御部203、及び、光電変換部201から出力されるアナログ信号の増幅を行うゲイン制御部204を含む露出制御部205を備え、さらにCDS回路、γ補正回路等も備える。
アナログ信号処理部202は、光電変換部201から出力されるアナログ映像信号を処理し、処理後の映像信号成分をA/D変換部206に伝送する。
A/D変換部206に入力されたアナログ映像信号は、A/D変換部206でデジタル映像信号に変換され、画像データとして画像メモリ207内に格納される。さらに、画像メモリ207に記憶された画像データには、CPU208によって画像処理が施される。
アナログ信号処理部202内の露出制御部205では、例えば、画像データに含まれる所定領域内の平均輝度が目標値となるように、電荷蓄積時間及びゲインのフィードバック制御を行い、被写体に応じた蓄積時間及びゲインを設定する。
この発明の実施の形態1に係る撮像装置では、フィードバック制御部(図示せず)、及び、アナログ信号処理部202によって処理された画像出力の露出またはゲインの異常を判定する異常判定部209をCPU208内に配設し、露出制御部205を制御するのに必要な電荷蓄積時間及びゲインの設定をCPU208から露出制御部205に設定できるように構成している。
なお、以下では、単に露出の制御、あるいは、露出と記した場合に、特に断らない限り、露出だけではなくゲインも含むものとする。従って、露出の制御あるいは異常と記した場合は、ゲインの制御あるいは異常も含むものとする。
また、画像データの平均輝度を算出する所定領域は、図3に示すRで囲まれる領域(R領域)とする。R領域内の平均輝度は、アナログ映像信号処理後の映像信号成分、またはA/D変換後のデジタル映像信号のいずれかを用いて算出すればよい。
なお、実施の形態1では、デジタル映像信号を用いて露出異常判定を行うべく、A/D変換の後段にあるCPU208内に異常判定部209を配設したが、アナログ信号処理後の映像信号を用いて行うように、A/D変換の前段に配設してもよい。
また、実施の形態1では、CPU208により、各種画像処理を行うこととしたが、別途、画像処理専用のブロックを設けてもよい。
また、実施の形態1では、図2に示すように、撮像装置100は、車輌における車室内の後方確認ミラー付近に配設され、前方の道路画像を撮像するように構成されている。これにより、図3に示すように、撮像装置100は、路面の白線を含む画像出力Jiを撮像し、撮像装置100内のCPU208は、撮像された白線を認識するものとする。
図4は、現在設定されている蓄積時間(シャッタ速度)で得られる画像出力J1、最長の蓄積時間(最遅のシャッタ速度)で得られる画像出力J2、および、最短の蓄積時間(最速のシャッタ速度)で得られる画像出力J3を示す図である。
この図4に示すように、露出制御が正常に行われている場合は、蓄積時間が長くなる(
シャッタ速度が遅くなる)につれ、画像の輝度があがる。すなわち、画像の輝度は、画像出力J3<画像出力J1<画像出力J2となる。
図5aは、露出制御の異常判定の処理を含む撮像装置の一例の処理の概要を示すフローチャートである。
ステップS400では、被写体に応じて露出を制御するために用いる画像データの平均輝度B(例えば、領域R内の平均輝度)を取得する。S401は、撮像装置で実施する画像処理を実施するステップ、S402は異常判定中であるかどうかを判定するステップ。S402で異常判定中でないと判断された場合には、S403へ進行し、異常判定処理を実施するかしないかの判定を行う。異常判定をしない場合にはS404へ進行し、S400で得た輝度Bを基に、被写体に応じた露出制御を実施する。異常判定を行う場合には、S405へ進行し、異常判定処理を開始する。S404、S405処理後は、S400へ戻り、ステップを繰り返す。S403で異常判定処理を開始した場合には、続く処理でのS402では、異常判定中であると判断されるため、S405へ進行し、異常判定処理を継続する。異常判定処理は、S405で異常判定処理が終了するまで、繰り返される。
以降は、異常判定処理を開始した後の処理を図5bに沿って説明する。
図5bは、撮像装置により実施される露出制御の異常判定の一例の処理の概要を示すフローチャートである。
ステップS501では、被写体に応じて最適制御された蓄積時間C1を設定する。蓄積時間とは、撮像素子が被写体からの受光により電荷を蓄積する時間のことであり、シャッタ速度に反比例する。
ステップS502では、被写体に応じて最適制御されたゲインG1を設定する。
(この時、露出制御は安定しているものとする。)
例えば、その被写体の最適な画像を得るための蓄積時間とゲインの最適制御は、予め設定した画像出力の目標値と、設定した蓄積時間とゲインで得られる画像出力を比較し、CPU208がフィードバック制御を行うことによって行われる。
ステップS503では、被写体に応じて最適制御された蓄積時間C1及びゲインG1の場合の平均輝度B(例えば、領域R内の平均輝度)をB1として記憶する。すなわち、図4に示す画像出力J1の領域R内の平均輝度を記憶する。
ステップS504では、ステップS501で被写体に応じて最適制御された蓄積時間C1のn倍の蓄積時間C1nを設定する。
ステップS505では、ステップS502で被写体に応じて最適制御されたゲインG1のm倍のゲインG1mを設定する。
その後、ステップS404へ戻り、蓄積時間がC1n及びゲインがG1mの場合の平均輝度を取得する。異常判定中は、S402からS506へ進行するため、ステップS506では、蓄積時間がC1n及びゲインがG1mの場合の平均輝度BをB2とする。
なお、ステップS505においては、この実施の形態1では、C1×G1=(C1×n)×(G1×m)=C1n×G1mとなるように蓄積時間及びゲインを設定する。すなわち、線形な特性をもつ撮像素子においては、n×m=1となる(n、mはこの関係を満たす任意の定数)。このため、蓄積時間及びゲインを含めた最終映像信号が、被写体に応じて最適制御された蓄積時間及びゲインを用いた場合と同一となるように設定する。
ここで、図6において、入出力特性601は蓄積時間がC1nでゲインがG1mの場合の撮像素子の入出力特性を示す。同様に、入出力特性602は蓄積時間がC1でゲインがG1の場合の入出力特性を示す。入出力特性603は蓄積時間がC1nでゲインがG1の場合の入出力特性を示す。入出力特性602は、被写体に応じて露出を最適に制御した場合の入出力特性である。
すなわち、ステップS503で取得する輝度B1は、入出力特性602によって得られるものである。
入出力特性603は、入出力特性602の蓄積時間をn倍した場合に得られる特性であり、入出力特性601は、入出力特性603のゲインをm倍した場合に得られる入出力特性である。
実施の形態1では、n×m=1とするため、露出制御が正常に行われていれば、蓄積時間がC1nでゲインがG1mの場合の出力は、入出力特性602と同一の特性を示すはずである。
ステップS507では、露出異常判定を行うために、平均輝度B1と平均輝度B2を比較し、これらの値の差が所定範囲内であるか否かを判定する。
具体的には、ステップS507では、例えば下式が成立するか否かで判定を行う。
B1とB2の比:Db=B1/B2>k1、または、Db=B1/B2<k2
ここで、定数K1、k2は、任意に設定できる閾値である。
なお、ここでは、n×m=1であるため、露出制御が正常に行われていれば、平均輝度B1と平均輝度B2は、ほぼ同一の値となる。
従って、例えば、ゲインを40段階で設定できる撮像素子であれば、平均輝度B1と平均輝度B2との間に3段階以上のゲインの差が生じた場合に、平均輝度B1と平均輝度B2とに所定値以上の差があると判定すればよい。
この場合、「ゲインの3段階の差がある状態」=「ゲインが1.3倍になっている状態」とすれば、上式の閾値k1及びk2を、k1=1.3、k2=0.77(1/1.3)に設定することができる。
なお、ここでは、ゲインに3段階以上の差が生じた場合に露出異常と判定する場合について説明したが、判断基準(ゲインの差)はこれに限られるものではなく、適宜その他の比較演算式を用いて比較を行ってもよい。
すなわち、例えば、平均輝度B1と平均輝度B2の比による比較ではなく、平均輝度同士の差で比較を行ってもよい。
また、ゲインではなく、露出時間の段階数の差で平均輝度B1と平均輝度B2の差を判定するように構成してもよい。
ステップS507において、平均輝度B1と平均輝度B2の差が所定値未満であると判定した場合は、露出制御は正常に行われていると判定し、異常判定は終了する。
一方、ステップS507において、平均輝度B1と平均輝度B2との差が所定値以上であると判定した場合は、露出制御が異常であると判定し、フローはステップS508に進行する。
続くステップS508では、撮像装置のユーザに露出が異常である旨の警告を発報する。
なお、ステップS508では警告を発報することとしたが、併せて、このような撮像装置を用いた白線認識システムの動作を停止するように構成してもよい。
以上、本発明の撮像装置によれば、被写体に応じて最適制御された蓄積時間(シャッタ速度)及びゲインによって得られる画像出力(図4の画像出力J1に相当)を用いて露出の異常を判定することができるため、路面の白線を認識するようなシステムにおいて、従来のようにシャッタ速度が最速(蓄積時間が最短)、最適及び最遅(最長)(の場合の画像出力を比較する場合に、白線と路面が白飛びした画像になり、白線を検知できないといった不具合も生じない。また、従来の撮像装置を用いた白線認識システムでは、露出異常の検知を行うために白線認識等の処理を一時停止する必要があったが、本発明の撮像装置を用いた白線認識システムでは、露出異常検知のために白線認識処理を一時停止する必要が生じない。
なお、実施の形態1では、システム動作中に露出異常判定を行うこととしたが、例えば、システムの電源オン時、または、この撮像装置が車輌に搭載されて路面の走行車線認識用に用いられる場合は、車輌がアクセサリーモードになったとき、イグニッションがオンにされたとき、あるいは、撮像装置の電源が投入された直後に異常判定部が異常判定処理を実行するように構成してもよいし、あるいは、車輌の速度が所定以下である場合に異常判定部が異常判定処理を実行するように構成してもよい。
また、ここでは、撮像装置を車輌に搭載する白線認識システムに適用する場合について説明したが、本発明の撮像装置の適用範囲は、このようなシステムに限定されるものではなく、他のシステムにも適用可能である。
これらは以下で説明する実施の形態2ないし8に係る撮像装置ついても同様である。
実施の形態2.
以下、この発明の実施の形態2に係る撮像装置について説明する。
この発明の実施の形態2に係る撮像装置の構成は、実施の形態1に係る撮像装置の構成(図1参照)に準ずる。
この発明の実施の形態2に係る露出制御の異常判定の処理を含む撮像装置の一例の処理の概要は、実施の形態1に係る撮像装置のフローチャート(図5a参照)に準ずる。
但し、本実施の形態では、被写体に応じた最適な露出制御を利用するものではないため、異常判定中はS401で示す画像処理は実施しないものとする。
図7は、この発明の実施の形態2に係る撮像装置における露出制御の異常判定処理の内容を示すフローチャートである。
図8は、この発明の実施の形態2に係る撮像装置に用いる撮像素子の入出力特性(像面照度に対する信号レベルの特性)を示す図である。
図7において、ステップS701では、蓄積時間基準C2を最も短い蓄積時間に選定する。
ステップS702では、ゲイン基準G2を最も小さい値に選定する。
ステップS703では、異常判定の対象となる蓄積時間C2xを設定する。ここではC2xを最も長い蓄積時間に設定する。またS710でゲインをG2に設定する。
その後、ステップS400へ戻り、蓄積時間がC2x及びゲインがG2の場合の平均輝度を取得する。異常判定中はS402からS712へ進行するため、B3が記憶済みか否かを判定し、B3が記憶済でなければ、ステップS704で、蓄積時間がC2x及びゲインがG2の場合の平均輝度B(例えば、領域R内の平均輝度)をB3として記憶する。
ステップS711では、蓄積時間基準C2を設定する。
ステップS705では、異常判定の対象となるゲインG2yを設定する。ここではG2yがG2y=(C2x/C2)×G2を満たす値に設定する。
その後、ステップS404へ戻り、蓄積時間がC2及びゲインがG2yの場合の平均輝度を取得する。異常判定中はS402からS712へ進行するため、B3が記憶済みか否かを判定し、B3が記憶済であれば、ステップS706で、蓄積時間がC2でゲインがG2yの場合の画像出力における平均輝度BをB4とする。
図8において、入出力特性604は、蓄積時間がC2でゲインがG2の場合の撮像素子の入出力特性である。入出力特性605は、蓄積時間がC2xでゲインがG2の場合の入出力特性である。入出力特性606は、蓄積時間がC2でゲインがG2yの場合の入出力特性である。
ステップS704で取得する平均輝度B3は、入出力特性605によるものである。
ステップS706で取得する平均輝度B4は、入出力特性606によるものである。
上述のように、この発明の実施の形態2に係る撮像装置では、G2yはG2y=(C2x/C)×Gとするため、入出力特性803の場合の出力は、入出力特性605と同一の特性を示す。
ステップS707では、下式が成立するか否かで露出の異常判定を行う。
B3とB4の比:Db=B3/B4>k1、または、Db=B3/B4<k2
ここで、定数K1、k2は、任意に設定できる閾値である。
なお、ここでは、G2y=(C2x/C)×Gであるため、露出制御が正常に行われていれば、平均輝度B3と平均輝度B4は、ほぼ同一の値となるはずである。
従って、例えば、ゲインを40段階で設定できる撮像素子であれば、平均輝度B1と平均輝度B2との間に3段階以上のゲインの差が生じた場合に露出の異常を判定するように設定できる。
この場合、「ゲインの3段階の差」=「ゲインが1.3倍」とすれば、上式の閾値k1及びk2を、k1=1.3、k2=0.77(1/1.3)に設定することができる。
なお、ここでは、ゲインに3段階以上の差が生じた場合に露出異常と判定する場合について説明したが、判断基準(ゲインの差)はこれに限られるものではなく、適宜その他の比較演算式で行ってもよい。
例えば、平均輝度B3と平均輝度B4の比による比較ではなく、平均輝度同士の差で比較を行ってもよい。
また、ゲインではなく、露出時間の段階数の差で平均輝度B1と平均輝度B2の差を判定するように構成してもよい。
ステップS707において、平均輝度B3と平均輝度B4の差が所定値未満であると判定した場合は、露出制御は正常に行われていると判定し、異常判定は終了する。
一方、ステップS707において、平均輝度B3と平均輝度B4との差が所定値以上であると判定した場合は、露出制御が異常であると判定し、フローはステップS708に進行する。
続くステップS708では、撮像装置のユーザに露出が異常である旨の警告を発報する。
なお、ステップS708では警告を発報することとしたが、併せて、このような撮像装置を用いた白線認識システムの動作を停止するように構成してもよい。
以上、この発明の実施の形態2に係る撮像装置では、実施の形態1のように被写体に応じて最適制御されたゲイン及び蓄積時間を用いるのではなく、任意の蓄積時間及びゲインを用いて、露出の異常判定を行うことができる。
すなわち、C2x及びG2yを任意の値に設定することで、複数点または複数回連続して、異常判定を行うことが可能であり、異常判定の精度を向上させることができる。
また、実施の形態2では、G2yはGy=(C2x/C)×Gとなるよう設定したが、定数Lを用いた重み付けを行い、G2y=L×((C2x/C)×G)と設定して露出の異常判定を行ってもよい。
但し、その場合は、B3またはB4をLの値に応じて換算し異常を判定するか、または、閾値k1、k2をLの値に応じて設定する必要がある。
また、本発明の実施の形態2に係る撮像装置によれば、被写体に応じて最適化された画像の蓄積時間及びゲインを必要としないので、この撮像装置を用いた白線認識システムの電源オン時、または、このようなシステムを搭載した車輌のイグニッション・オン時や車速が所定以下のような白線認識等のシステム動作が行われない状況でも露出の異常判定をすることが可能になる。
また、単なるカメラ等の白線認識処理を行わない撮像装置においては、露出異常判定中である旨をユーザに伝え、任意のタイミングで露出異常判定を行うことが可能になる。
実施の形態3.
実施の形態1、2では、線形な入出力特性をもつ撮像素子を有する撮像装置について説明したが、非線形な入出力特性をもつ撮像素子を用いる撮像装置に対して本発明を適用することもできる。
図9は、この発明の実施の形態3にかかる撮像装置に用いる撮像素子の入出力特性(像面照度に対する信号レベルの特性)を方対数グラフに表した図である。
図9において、非線形な入出力特性をもつ撮像素子は、低照度の場合の入射光−出力特性がリニアとなるリニア特性部801と、高照度の場合の入射光−出力特性が対数特性となる対数特性部802とを有する。変曲点803はこの撮像装置の入出力特性の切替点であり、その信号レベルはCHBである。
なお、ここでは、非線形な入出力特性をもつ撮像装置として、図9の特性を有する場合を例にとって説明するが、非線形な入出力特性を実現する方式は種々存在するので、図9の特性のみに限られるものではない。
以下、非線形な入出力特性をもつ撮像素子を用いたこの発明の実施の形態3に係る撮像装置について説明する。
この発明の実施の形態3に係る撮像装置の構成は、実施の形態1に係る撮像装置の構成(図1参照)に準ずる。
この発明の実施の形態3に係る露出制御の異常判定の処理を含む撮像装置の一例の処理の概要は、実施の形態1に係る撮像装置のフローチャート(図5a参照)に準ずる。
また、この発明の実施の形態3に係る撮像装置に適用される露出制御の異常判定の処理内容は基本的に実施の形態1の処理内容(図5b参照)に準ずるが、各ステップにおける設定値や判定手法は異なる。
図10は、この発明の実施の形態3に係る撮像装置における露出制御の異常判定の一例の処理の概要内容を示すフローチャートである。
図11は、この発明の実施の形態3に係る露出異常判定における入出力特性変換の原理を示す図である。
ステップS1001では、被写体に応じて最適制御された蓄積時間C3を設定する。
ステップS1002では、被写体に応じて最適制御されたゲインG3を設定する
例えば、その被写体の最適な画像を得るための蓄積時間とゲインの最適制御は、予め設定した画像出力の目標値と、設定した蓄積時間とゲインで得られる画像出力を比較し、CPU208がフィードバック制御を行うことによって行われる。
ステップS1003では、被写体に応じて最適制御された蓄積時間C3及びゲインG3の場合の平均輝度B(例えば、領域R内の平均輝度)をB5として取得する。すなわち、図4に示す画像出力J1の領域R内の平均輝度を取得する。
ステップS1004では、取得した平均輝度B5が切替点の信号レベルCHBより大きいか否か判定する。
平均輝度B5が切替点の信号レベルCHBより大きければ、その入出力特性は非線形領域の入出力特性802であると判定し、フローはステップS1005に進行する。
ステップS1005では、入出力特性802用の変換関数を用いる。変換については後述する。
一方、ステップS1004において、平均輝度B5が切替点の信号レベルCHBより小さければ、その入出力特性は線形領域の入出力特性801であると判定し、フローはステップS1006に進行する。
ステップS1006では、入出力特性801用の変換関数を用いる。変換については後述する。
ステップS1015では、変換後の平均輝度をB5‘として記憶する。
ステップS1007では、ステップS1001で被写体に応じて最適制御された蓄積時間C3のn倍の蓄積時間C3nを設定する。
ステップS1008では、ステップS1001で被写体に応じて最適制御されたゲインG3のm倍のゲインG3mを設定する。
なお、ステップS1008においては、実施の形態1と同様に、C3×G3=(C3×n)×(G3×m)=C3n×G3mとなるように蓄積時間及びゲインを設定する。すなわち、線形な特性をもつ撮像素子においては、n×m=1となる(n、mはこの関係を満たす任意の定数)。
その後、ステップS400へ戻り、蓄積時間がC3n及びゲインがG3mの場合の平均輝度を取得する。異常判定中は、S402からS1009へ進行するため、ステップS1009では、蓄積時間がC3n及びゲインがG3mの場合の平均輝度BをB6として取得する。
その後、ステップS400へ戻り、蓄積時間がC1n及びゲインがG1mの場合の平均輝度を取得する。異常判定中は、S402からS506へ進行するため、ステップS506では、蓄積時間がC1n及びゲインがG1mの場合の平均輝度BをB2とする。
次に、ステップS1010では、ステップS1005と同様に、平均輝度B6が切替点803の信号レベルCHBより大きいか否かを判定する。
平均輝度B6が切替点803の信号レベルCHBより大きければ、その入出力特性は入出力特性802であると判定し、フローはステップS1011に進行する。
ステップS1011では、入出力特性802用の変換関数を用いる。変換処理については後述する。
一方、ステップS1010において、平均輝度B6が切替点803の信号レベルCHBより小さいとした場合は、その入出力特性は入出力特性801であると判定し、フローはステップS1012に進行する。
ステップS1012では、入出力特性801用の変換関数を用いる。変換処理については後述する。
ステップS1016では、変換後の平均輝度をB6‘とする。
上述したステップS1006、ステップS1007、ステップS1011およびステップS1012における変換処理について説明する。
これらのステップにおける処理は、非線形な入出力特性801及び入出力特性802が入力に対して、線形な入出力特性となるように変換する処理である。
例えば、入出力特性が、像面照度E[lx]、A/D変換後のデジタル映像信号B[LSB](輝度B5、B6も本実施の形態では、デジタル映像信号の所定領域の平均値である)、蓄積時間C3n[s]、ゲインG3m、撮像素子の感度S[LSB/lx・s]であるとき、入出力特性801は、例えば、下式で表される。
B=E×C3n×G3m×S
また、入出力特性802は、例えば、下式で表される。
B=(CHB+K×log(E×C3n×S−CHB))×G3m
Bを上式で変換した後の出力をB’とするとき、本実施の形態では、ステップS1007とステップS1012で用いる入出力特性801は線形領域の特性であるため、特性801の変換式は、下式とする。
B’=B
また、ステップS1006とステップS1011で用いる入出力特性802は非線形領域の特性であるため、下式とする。
B’=(10^(((B/G3m)−CHB)/K)+CHB)×G3m
これにより、変換後の入出力特性は、方対数グラフで表す図11の入出力特性804に示すように、入出力特性801から連続的に入力に対して線形な出力特性を有するものとなる。
従い、実施の形態1と同様、蓄積時間及びゲインを含めた最終映像信号が、被写体に応じて最適制御された蓄積時間及びゲインを用いた場合と同一となる。
ステップS1013での輝度の比較に基づく露出制御の異常判定は、変換後の平均輝度B5‘及び平均輝度B6’を用いて行う。
平均輝度B5’とB6’の比較自体は、実施の形態1における比較処理に準ずる。
B5’とB6’の比:Db=B5’/B6’>k1、または、Db=B5’/B6’<k2
ここで、定数K1、k2は、任意に設定できる閾値である。
なお、ここでは、C3×G3=(C3×n)×(G3×m)=C3n×G3mであるため、露出制御が正常に行われていれば、平均輝度B5’と平均輝度B6’は、ほぼ同一の値となるはずである。
従って、例えば、ゲインを40段階で設定できる撮像素子であれば、平均輝度B1と平均輝度B2との間に3段階以上のゲインの差が生じた場合に露出の異常を判定するように設定できる。
この場合、「ゲインの3段階の差」=「ゲインが1.3倍」とすれば、上式の閾値k1及びk2を、k1=1.3、k2=0.77(1/1.3)に設定することができる。
なお、ここでは、ゲインに3段階以上の差が生じた場合に露出異常と判定する場合について説明したが、判断基準(ゲインの差)はこれに限られるものではなく、適宜その他の比較演算式で行ってもよい。
例えば、平均輝度B5’と平均輝度B6’の比による比較ではなく、平均輝度同士の差で比較を行ってもよい。
また、露出時間の段階数の差で異常を判定するように構成してもよい。
ステップS1013において、平均輝度B5’と平均輝度B6’の差が所定値未満であると判定した場合は、露出制御は正常に行われていると判定し、異常判定は終了する。
一方、ステップS1013において、平均輝度B5’と平均輝度B6’との差が所定値以上であると判定した場合は、露出制御が異常であると判定し、フローはステップS1014に進行する。
ステップS1014では、露出が異常であると判定された場合に、ユーザに異常を発報する。
なお、ステップS1014では警告を発報することとしたが、併せて、このような撮像装置を用いた白線認識システムの動作を停止するように構成してもよい。
以上、本発明の実施の形態3に係る撮像装置によれば、被写体に応じて最適制御された蓄積時間(シャッタ速度)及びゲインによって得られる画像出力(図4の画像出力J1に相当)を用いて露出の異常を判定することができるため、路面の白線を認識するようなシステムにおいて、従来のようにシャッタ速度が最速(蓄積時間が最短)、最適及び最遅(最長)(の場合の画像出力を比較する場合に、白線と路面が白飛びした画像になり、白線を検知できないといった不具合も生じない。また、従来の撮像装置を用いた白線認識システムでは、露出異常の検知を行うために白線認識等の処理を一時停止する必要があったが、本発明の撮像装置を用いた白線認識システムでは、露出異常検知のために白線認識処理を一時停止する必要が生じない。
また、実施の形態2に示すものと同様に、被写体に応じて最適化された画像の蓄積時間及びゲインでなく、任意の蓄積時間及びゲインを用いて、露出の異常判定を行ってもよい。蓄積時間及びゲインを任意の値に設定することで、複数点または複数回連続して、異常判定を行うことが可能であり、異常判定の精度を向上させることができる。
特に、システムの電源オン時、または車輌に搭載する場合においてはイグニッション・オン時や車速が所定以下で白線認識等のシステム動作が行われないような状況でも露出の異常判定をすることができる。
なお、実施の形態3では、入出力特性の切替点がひとつであって、入出力特性に線形領域と非線形領域とが1種類ずつ含まれる場合について示したが、入出力特性切替点の数、線形領域または非線形領域の数は幾つあっても同様に処理することができ、また、切替点がない非線形な入出力特性を有する撮像素子についても、同様に、入出力特性が線形となるような変換式を用いることで、本実施の形態に示す露出異常判定手段を用いることができる。
実施の形態4.
以下、この発明の実施の形態4に係る撮像装置について説明する。
この発明の実施の形態4に係る撮像装置の構成は、実施の形態1に係る撮像装置の構成(図1参照)に準ずる。
この発明の実施の形態4に係る露出制御の異常判定の処理を含む撮像装置の一例の処理の概要は、実施の形態1に係る撮像装置のフローチャート(図5a参照)に準ずる。
図12は、撮像装置により実施される露出制御の異常判定の一例の処理の概要を示すフローチャートである。
また、この発明の実施の形態4に係る撮像装置は、実施の形態3に係る撮像素子と同様に図9に示す入出力特性を有する。
図12は、この発明の実施の形態4に係る撮像装置における露出制御の異常判定の処理内容を示すフローチャートである。
ステップS1201では、被写体に応じて最適制御された蓄積時間C4を設定する。
ステップS1202では、被写体に応じて最適制御されたゲインG4を設定する。
例えば、その被写体の最適な画像を得るための蓄積時間とゲインの最適制御は、予め設定した画像出力の目標値と、設定した蓄積時間とゲインで得られる画像出力を比較し、CPU208がフィードバック制御を行うことによって行われる。
ステップS1203では、被写体に応じて最適制御された蓄積時間C4及びゲインG4の場合の平均輝度B(例えば、領域R内の平均輝度)をB7として取得する。すなわち、図4に示す画像出力J1の領域R内の平均輝度を取得する。
ステップS1204では、取得した平均輝度B7が切替点の信号レベルCHBより大きいか否か判定する。
平均輝度B7が切替点の信号レベルCHBより大きければ、その入出力特性は非線形領域の入出力特性802であると判定し、フローはステップS1205に進行する。
ステップS1205では、入出力特性802用の変換関数を用いる。変換については実施の形態3と同様とする。
一方、ステップS1204において、平均輝度B7が切替点の信号レベルCHBより小さければ、その入出力特性は線形領域の入出力特性801であると判定し、フローはステップS1206に進行する。
ステップS1206では、入出力特性801用の変換関数を用いる。変換については実施の形態3と同様とする。
ステップS1215では、変換後の平均輝度をB7‘として記憶する。
ステップS1207では、ステップS1201で被写体に応じて最適制御された蓄積時間C4とは異なる任意の蓄積時間Cを設定する。ゲインはここではG4のままとし、特に指定する必要はない。
ステップS1207で、任意の蓄積時間C設定後は、S400→S402→S1216→S1217のステップを繰り返し、ゲインのみを用いた露出制御を行うものとする。ゲインGは露出制御を行った結果の値で、状況に応じて異なる。ここで、露出制御は、露出制御が安定するか、安定すると考えられる所定時間の間実施する。
所定時間経過後は、ステップS1209で、平均輝度BをB8として取得する。
次に、ステップS1210では、ステップS1204と同様に、平均輝度B8が切替点803の信号レベルCHBより大きいか否かを判定する。
平均輝度B8が切替点803の信号レベルCHBより大きければ、その入出力特性は入出力特性802であると判定し、フローはステップS1211に進行する。
ステップS1211では、入出力特性802用の変換関数を用いる。変換処理については実施の形態3と同様とする。
一方、ステップS1210において、平均輝度B8が切替点の信号レベルCHBより小さければ、その入出力特性は線形領域の入出力特性801であると判定し、フローはステップS1212に進行する。
ステップS1212では、入出力特性801用の変換関数を用いる。変換については実施の形態3と同様とする。
ステップS1218では、変換後の輝度B8をB8‘とする。
ステップS1213での輝度の比較に基づく露出制御の異常判定は、変換後の平均輝度B7‘及び平均輝度B8’を用いて行う。
平均輝度B7’とB8’はいずれも最適露出制御を行って得られた画像出力である。すなわち、本実施の形態では、最適露出制御は、画像出力が予め設定した目標値となるよう制御されるため、露出制御が正常に行われていれば、平均輝度B7‘と平均輝度B8’は、ほぼ同一の値となるはずである。
従って、例えば、平均輝度7‘と平均輝度8’を比較し、20[LSB]以上差が生じた場合に露出の異常を判定するように設定できる。この際、平均輝度8‘を得るためのゲインのみの露出制御が最適でない可能性が高く、蓄積時間ではなく、ゲインの異常と判定する。
また、最適露出制御では、予め目標値を設定しているため、平均輝度8‘と目標値
との差が所定以上である場合に、異常であると判定してもよい。
また、ステップS1207において、蓄積時間を最適露出制御の蓄積時間C4とは異なる任意の値Cに固定したが、ゲインを最適露出制御のゲインG4と異なる任意の値Gに固定してもよい。その場合は、ゲインではなく、蓄積時間のみの最適露出制御を行うこととなり、蓄積時間の異常を判定することができる。
ステップS1213で露出制御は正常に行われていると判定された場合には、異常判定は終了する。
一方、ステップS1213において、露出制御が異常であると判定した場合には、フローはステップS1214に進行する。
ステップS1214では、露出が異常であると判定された場合に、ユーザに異常を発報する。
なお、ステップS1214では警告を発報することとしたが、併せて、このような撮像装置を用いた白線認識システムの動作を停止するように構成してもよい。
以上、本発明の実施の形態4に係る撮像装置によれば、被写体に応じた最適制御を継続しつつ得られる画像出力(図4の画像出力J1に相当)を用いて露出の異常を判定することができるため、路面の白線を認識するようなシステムにおいて、従来のようにシャッタ速度が最速(蓄積時間が最短)、最適及び最遅(最長)(の場合の画像出力を比較する場合に、白線と路面が白飛びした画像になり、白線を検知できないといった不具合も生じない。また、従来の撮像装置を用いた白線認識システムでは、露出異常の検知を行うために白線認識等の処理を一時停止する必要があったが、本発明の撮像装置を用いた白線認識システムでは、露出異常検知のために白線認識処理を一時停止する必要が生じない。
さらに、実施の形態1〜3では、異常判定の蓄積時間及びゲインを固定値で設定しているため、ゲイン(蓄積時間)の1ステップのばらつきが大きい場合等は、異常であるのかばらつきであるのか判定が困難となる。一般的に、蓄積時間の値は、ゲインに比べばらつきが非常に小さいため、本実施の形態では、蓄積時間またはゲインの一方を固定にした状態で、露出制御を行うため、ゲイン(蓄積時間)のばらつきを吸収した状態で異常判定が可能となる。
なお、実施の形態4では、入出力特性の切替点がひとつであって、入出力特性に線形領域と非線形領域とが1種類ずつ含まれる場合について示したが、入出力特性切替点の数、線形領域または非線形領域の数は幾つあっても同様に処理することができ、また、切替点がない非線形な入出力特性を有する撮像素子についても、同様に、入出力特性が線形となるような変換式を用いることで、本実施の形態に示す露出異常判定手段を用いることができる。
実施の形態5.
以下、この発明の実施の形態5に係る撮像装置について説明する。
この発明の実施の形態5に係る撮像装置の構成は、実施の形態1に係る撮像装置の構成(図1参照)に準ずる。
この発明の実施の形態5に係る露出制御の異常判定の処理を含む撮像装置の一例の処理の概要は、実施の形態1に係る撮像装置のフローチャート(図5a参照)に準ずる。
図13は、撮像装置により実施される露出制御の異常判定の一例の処理の概要を示すフローチャートである。
図13は、この発明の実施の形態5に係る撮像装置における露出制御の異常判定の処理内容を示すフローチャートである。
図13に示すように、ステップS1402では、被写体に応じて最適制御された蓄積時間とは異なる任意の蓄積時間C5を設定する。ゲインはここでは、特に指定する必要はない。
ステップS1402で、任意の蓄積時間C設定後は、S400→S402→S1403→S1404→S1405のステップを繰り返し、ゲインのみを用いた露出制御を行うものとする。ゲインGは露出制御を行った結果の値で、状況に応じて異なる。ここで、露出制御は、露出制御が安定するか、安定すると考えられる所定時間の間実施する。
所定時間経過後は、ステップS1406で、平均輝度BをB9として取得する。
ステップS1409では、取得した平均輝度B9が、切替点CHの信号レベルCHBより大きいか否かを判定する。
平均輝度B9が切替点の信号レベルCHBより大きければ、その入出力特性は非線形領域の入出力特性802であると判定し、フローはステップS1410に進行する。
ステップS1410では、入出力特性802用の変換関数を用いて変換処理を行う。変換処理については実施の形態3と同様とする。
一方、ステップS1409において、平均輝度B9が切替点の信号レベルCHBより小さければ、その入出力特性は線形領域の入出力特性801であると判定し、フローはステップS1411に進行する。
ステップS1411では、入出力特性801用の変換関数を用いて変換処理を行う。変換処理については実施の形態3と同様とする。
ステップ1412では、変換後の輝度B9をB9‘として記憶する。
図13に示すように、ステップS1413では、ゲインをG5に設定する。蓄積時間はここでは任意の値Cとし、特に指定する必要はない。
ステップS1413で、任意のゲインG5設定後は、S400→S402→S1403→S1414→S1415のステップを繰り返し、蓄積時間のみを用いた露出制御を行うものとする。蓄積時間Cは露出制御を行った結果の値で、状況に応じて異なる。ここで、露出制御は、露出制御が安定するか、安定すると考えられる所定時間の間実施する。
所定時間経過後は、ステップS1416で、平均輝度B(例えば、領域R内の平均輝度)をB10として取得する。
次に、ステップS1417では、平均輝度B10が切替点803の信号レベルCHBより大きいか否かを判定する。
平均輝度B10が切替点803の信号レベルより大きいと判定した場合は、その入出力特性は802であると判定し、フローはステップS1418に進行する。
ステップS1418では、802用の変換関数を用いて変換処理を行う。変換処理については実施の形態3と同様とする。
一方、ステップS1417において、平均輝度B10が切替点の信号レベルCHBより小さいと判定した場合は、その入出力特性は801であると判定し、フローはステップS1419に進行する。
ステップS1419では、入出力特性801用の変換関数を用いて変換処理を行う。変換処理については実施の形態3と同様とする。
ステップ1420では、変換後の輝度B10をB10‘とする。
ステップS1420の後には、図13に示すステップS1421以下が行われる。
ステップS1421での輝度の比較に基づく露出制御の異常判定は、実施の形態4と同様とし、本実施の形態では、変換後の平均輝度B9‘及び平均輝度B10’を用いて行う。
平均輝度B9’とB10’はいずれも最適露出制御を行って得られた画像出力である。すなわち、本実施の形態では、最適露出制御は、画像出力が予め設定した目標値となるよう制御されるため、露出制御が正常に行われていれば、平均輝度B9‘と平均輝度B10’は、ほぼ同一の値となるはずである。
従って、例えば、平均輝度9‘と平均輝度10’を比較し、20[LSB]以上差が生じた場合に露出の異常を判定するように設定できる。
また、最適露出制御では、予め目標値を設定しているため、平均輝度9‘または平均輝度10’と目標値との差が所定以上である場合に、異常であると判定してもよい。
ステップS1421において、平均輝度B9’と平均輝度B10’の差が所定値未満であると判定した場合は、露出制御は正常に行われていると判定し、異常判定は終了する。
一方、ステップS1421において、平均輝度B9’と平均輝度B10’との差が所定値以上であると判定した場合は、露出制御が異常であると判定し、フローはステップS1422に進行する。
ステップS1422では、露出が異常であると判定された場合に、ユーザに異常を発報する。
なお、ステップS1422では警告を発報することとしたが、併せて、このような撮像装置を用いた白線認識システムの動作を停止するように構成してもよい。
以上、本発明の実施の形態5に係る撮像装置によれば、被写体に応じた最適制御を継続しつつ得られる画像出力(図4の画像出力J1に相当)を用いて露出の異常を判定することができるため、路面の白線を認識するようなシステムにおいて、従来のようにシャッタ速度が最速(蓄積時間が最短)、最適及び最遅(最長)(の場合の画像出力を比較する場合に、白線と路面が白飛びした画像になり、白線を検知できないといった不具合も生じない。また、従来の撮像装置を用いた白線認識システムでは、露出異常の検知を行うために白線認識等の処理を一時停止する必要があったが、本発明の撮像装置を用いた白線認識システムでは、露出異常検知のために白線認識処理を一時停止する必要が生じない。
さらに、実施の形態1〜3では、異常判定の蓄積時間及びゲインを固定値で設定しているため、ゲイン(蓄積時間)の1ステップのばらつきが大きい場合等は、異常であるのかばらつきであるのか判定が困難となる。本実施の形態では、蓄積時間またはゲインの一方を固定にした状態で、露出制御を行うため、ゲイン(蓄積時間)のばらつきを吸収した状態で異常判定が可能となる。
なお、実施の形態5では、入出力特性の切替点がひとつであって、入出力特性に線形領域と非線形領域とが1種類ずつ含まれる場合について示したが、入出力特性切替点の数、線形領域または非線形領域の数は幾つあっても同様に処理することができ、また、切替点がない非線形な入出力特性を有する撮像素子についても、同様に、入出力特性が線形となるような変換式を用いることで、本実施の形態に示す露出異常判定手段を用いることができる。
実施の形態6.
実施の形態6においては、複数の切替点をもつ非線形な入出力特性の撮像装置の場合について説明する。
図14は、この発明の実施の形態6にかかる撮像装置に用いる撮像素子の入出力特性(像面照度に対する信号レベルの特性)を表す図である。
図14に示すように、実施の形態6における撮像装置は、複数の切替点をもつ非線形な入出力特性であり、低照度の場合の入射光−出力特性が線形な線形特性部1601と、高照度の場合の入射光−出力特性が非線形な第1非線形特性部1602と、さらに高照度の場合の入射光−出力特性が非線形な第2非線形特性部1603とを有する。
CH1及びCH2はこの撮像装置の入出力特性の切替点であり、その信号レベルはそれぞれCHB1、CHB2である。
また、ここで信号レベルの開始点をCH0、終了点をCH3とする。
なお、ここでは、複数の切替点をもつ非線形な入出力特性の撮像装置として、図14の特性を有する場合を例にとって説明するが、複数の切替点をもつ非線形な入出力特性を実現する方式は種々存在するので、図14の特性のみに限られるものではない。
以下、複数の切替点をもつ非線形な入出力特性の撮像素子を用いたこの発明の実施の形態6に係る撮像装置ついて説明する。
この発明の実施の形態6に係る撮像装置の構成は、実施の形態1に係る撮像装置の構成(図1参照)に準ずる。
この発明の実施の形態6に係る露出制御の異常判定の処理を含む撮像装置の一例の処理の概要は、実施の形態1に係る撮像装置のフローチャート(図5a参照)に準ずる。
図15は、この発明の実施の形態6に係る撮像装置に適用される露出制御の異常判定の処理内容を示すフローチャートである。
図15において、ステップS1703では、入出力特性に複数の切替点をもつ撮像装置において、異常判定を行うための入出力特性区間を決定するための第一切替点CHjを設定する。(jは、切替点数をnとするとき、0〜n−1の自然数)ここでは、図14に示す区間の開始点CH1に設定する。
ステップS1704では、第二切替点CHj+1を設定する。ここでは、図14に示す区間の終了点CH2に設定する。
ステップS1705では、ステップS1703及びステップS1704で設定した異常判定区間の範囲内に露出制御の目標値を設定する。ここでは、図14に示すTGTとする。
ステップS1705で、露出制御の目標値TGT設定後は、S400→S402→S1706→S1707のステップを繰り返し、露出制御を行うものとする。蓄積時間C6、ゲインG6は露出制御を行った結果の値で、状況に応じて異なる。ここで、露出制御は、露出制御が安定するか、安定すると考えられる所定時間の間実施する。
所定時間経過後は、ステップS1710で、平均輝度B(例えば、領域R内の平均輝度)をB11として取得する。
ステップS1711、S1712では、平均輝度B11がステップS1703、S1704で設定された切替点CHj〜CHj+1の信号レベルCHBj〜CHBj+1の範囲内であるか否かを判定する。
平均輝度B11が切替点の信号レベルCHBj〜CHBj+1の範囲内であれば、その入出力特性はH0j+1であると判定し、H0j+1用の変換関数を用いる。
ステップS1714では、変換後の輝度B11をB11‘として記憶する。
一方、平均輝度B11が切替点CHj〜CHj+1の信号レベルCHBj〜CHBj+1の範囲外であれば、異常判定区間外であると判定し、処理を終了する。
この場合、TGTを切替点CHj〜CHj+1の信号レベルCHBj〜CHBj+1の範囲内に設定しているにも関わらず、所定時間経過しても平均輝度B11が替点CHj〜CHBj+1の範囲内に入らない場合は、異常と判定する。
また、異常と判断しない場合、異常判定ERRとし、S400から再度開始してもよい。
ステップS1715では、ステップS1708で被写体に応じて最適制御された蓄積時間C6のn倍の蓄積時間C6nを設定する。
ステップS1716では、ステップS1709で被写体に応じて最適制御されたゲインG6のm倍のゲインG6mを設定する。
ステップS1718では、蓄積時間がC6n及びゲインがG6mの場合の平均輝度BをB12として取得する。
次に、ステップS1719、S1720では、平均輝度B12がステップS1703で設定された切替点CHj〜CHj+1の信号レベルCHBj〜CHBj+1の範囲内であるか否かを判定する。
平均輝度B12が切替点の信号レベルCHBj〜CHBj+1の範囲内であれば、その入出力特性はH0j+1であると判定し、フローはステップS1721に進行する。
ステップS1721では、H0j+1用の変換関数を用いて変換処理を行う。この変換処理は、実施の形態3のステップS1006、S1007、S1011及びS1012における変換処理に準ずる処理である。
これにより、変換後の入出力特性は、実施の形態3の場合と同様に、入力に対し単一の連続的な入出力特性をもつものとなる。
ステップS1722では、変換後の輝度B12をB12‘とする。
ステップS1724での平均輝度の比較は、変換後の輝度B11‘及びB12’を用いて行う。
ステップS1724での平均輝度の比較の結果、露出の異常であると判定した場合は、フローはステップS1725に進行する。
露出が正常であると判定した場合には、S1726へ進行し、異常判定は終了する。
ステップS1725では、露出が異常であると判定された場合に、ユーザに異常を発報する。
なお、ステップS1725では警告を発報することとしたが、併せて、このような撮像装置を用いた白線認識システムの動作を停止するように構成してもよい。
一方、ステップS1719、S1720おいて、平均輝度B12が切替点CHj〜CHj+1の信号レベルCHBj〜CHBj+1の範囲外であれば、異常判定区間外であると判定し、S1723へ進行する。この場合、所定時間経過しても平均輝度12が替点CHj〜CHBj+1の範囲内に入らない場合は、異常と判断する。
また、異常と判断しない場合、異常判定ERRとし、S400から再度開始してもよい。
なお、ステップS1703及びステップS1704で設定する切替点を固定とし、常に同一の1区間における露出異常の判定を行うように構成してもよい。
また、時間的に区間を切り替えながら、入出力特性の全範囲における露出の異常判定を行うよう構成してもよい。
また、実施の形態2に示すものと同様に、被写体に応じて最適化された画像の蓄積時間及びゲインでなく、任意の蓄積時間及びゲインを用いて、露出の異常判定を行ってもよい。蓄積時間及びゲインを任意の値に設定することで、複数点または複数回連続して、異常判定を行うことが可能であり、異常判定の精度を向上させることができる。
特に、システムの電源オン時、または車輌に搭載する場合においてはイグニッション・オン時や車速が所定以下で白線認識等のシステム動作が行われないような状況でも露出の異常判定をすることができる。
以上、この発明の実施の形態6に係る撮像装置によれば、異常判定を行う入出力特性の区間を限定することで、1回の異常判定動作を短くし、システム動作を停止させる時間等を削減することができる。
また、ステップS1703及びステップS1704で設定する異常判定区間を、露出制御の本来の目標値を含む区間に限定する場合には、ステップS1705を省略でき、その被写体全体を最適に撮像できる状態で、異常判定が可能となる。最適制御とは、道路の白線認識システムに用いる撮像装置の場合は、画像の中で路面の明るさが最適値になる露出の値をいう。
さらに処理を簡略化する場合には、ステップS1713及びステップS1721における入出力特性の変換処理も省略し、単に平均輝度B11及び平均輝度B12を比較することによって異常検知するように構成してもよい。
また、線形な入出力特性と非線形な入出力特性をあわせもつ撮像装置においては、ステップS1703及びステップS1704で設定する異常判定区間を線形な入出力特性をもつ区間に限定すれば、ステップS1713及びステップS1721での変換処理を省略して、簡略化したフローによって露出の異常を検知することもできる。
また、異常判定については、S1711、S1712またはS1719、S1720において、輝度Bが設定区間内のみを判定対象とし、設定区間外のものに対しては、S1717またはS1723にて異常またはERR判定としたが、
実施の形態4、5同様に、輝度Bの区間判定を行い、輝度Bの区間に応じた特性で変換し、目標値との比較によって判定してもよい。
実施の形態7.
実施の形態7に係る撮像装置では、撮像素子の入出力特性における複数の区間に対して一度に異常判定を行う。これは、実施の形態6に係る撮像装置は、撮像素子の入出力特性の特定の一区間において露出制御の異常判定を行う、あるいは、時間的に判定対象の区間を切り替えて入出力特性の全範囲について露出制御の異常判定を行うのに対して、撮像素子の入出力特性の複数の区間に対して一度に露出制御の異常判定を行うものである。
以下、複数の切替点をもつ非線形な入出力特性を有する撮像素子を用いた撮像装置における露出異常判定処理について説明する。
この発明の実施の形態7に係る撮像装置の構成は、実施の形態1に係る撮像装置の構成(図1参照)に準ずる。
この発明の実施の形態7に係る露出制御の異常判定の処理を含む撮像装置の一例の処理の概要は、実施の形態1に係る撮像装置のフローチャート(図5a参照)に準ずる。
図16は、この発明の実施の形態7に係る撮像装置に適用される露出制御の異常判定の処理内容を示すフローチャートである。
ステップS1903からS1923の処理内容は、実施の形態6におけるステップS1703からS1723における処理内容に準ずる。
図16において、ステップS1902では、異常判定対象区間を設定するためのiを初期化する。ステップS1903では、入出力特性に複数の切替点を有する撮像装置において、撮像素子の露出制御の異常判定を行うために、異常判定の対象となる入出力特性の区間の開始点である第一切替点CHiを設定する。テップS1904では、所定の区間の終了点である第二切替点CHi+1を設定する。(iは切替点数nとするとき、0〜n−1の自然数)
ステップS1905では、ステップS1903及びステップS1904で設定した異常判定区間の範囲内に露出制御の目標値TGTi+1を設定する。
ステップS1905で、露出制御の目標値TGT設定後は、S400→S402→S1906→S1907のステップを繰り返し、露出制御を行うものとする。蓄積時間C7i、ゲインG7iは露出制御を行った結果の値で、状況に応じて異なる。ここで、露出制御は、露出制御が安定するか、安定すると考えられる所定時間の間実施する。
所定時間経過後は、ステップS1910で、平均輝度B(例えば、領域R内の平均輝度)をB13iとして取得する。
ステップS1911、S1912では、平均輝度B13iがステップS1903、S1904で設定された切替点CHi〜CHi+1の信号レベルCHBi〜CHBi+1の範囲内であるか否かを判定する。
平均輝度B13iが切替点の信号レベルCHBi〜CHBi+1の範囲内であれば、その入出力特性はH0i+1であると判定し、H0i+1用の変換関数を用いる。
ステップS1914では、変換後の輝度B13iをB13i‘として記憶する。
一方、平均輝度B13iが切替点CHi〜CHi+1の信号レベルCHBi〜CHBi+1の範囲外であれば、異常判定区間外であると判定し、処理を終了する。
この場合、TGTi+1を切替点CHi〜CHi+1の信号レベルCHBi〜CHBi+1の範囲内に設定しているにも関わらず、所定時間経過しても平均輝度B13iが替点CHi〜CHBi+1の範囲内に入らない場合は、異常と判定する。
また、異常と判断しない場合、異常判定ERRとし、S400から再度開始してもよい。
ステップS1915では、ステップS1908で被写体に応じて最適制御された蓄積時間C7iのn倍の蓄積時間C7inを設定する。
ステップS1916では、ステップS1909で被写体に応じて最適制御されたゲインG7iのm倍のゲインG7imを設定する。
ステップS1918では、蓄積時間がC7in及びゲインがG7imの場合の平均輝度BをB14として取得する。
次に、ステップS1919、S1920では、平均輝度B14がステップS1903で設定された切替点CHi〜CHi+1の信号レベルCHBi〜CHBi+1の範囲内であるか否かを判定する。
平均輝度B14が切替点の信号レベルCHBi〜CHBi+1の範囲内であれば、その入出力特性はH0i+1であると判定し、フローはステップS1921に進行する。
ステップS1921では、H0i+1用の変換関数を用いて変換処理を行う。この変換処理は、実施の形態3のステップS1006、S1007、S1011及びS1012における変換処理に準ずる処理である。
これにより、変換後の入出力特性は、実施の形態3の場合と同様に、入力に対し単一の連続的な入出力特性をもつものとなる。
ステップS1922では、変換後の輝度B14をB14‘とする。
ステップS1924での平均輝度の比較は、変換後の輝度B13‘及びB14’を用いて行う。
ステップS1924での平均輝度の比較の結果、露出の異常であると判定した場合は、フローはステップS1925に進行し、以降の異常判定処理は行わず、異常判定を終了する。但し、この際、露出制御の目標値TGTは本来の目標値へ再設定しておくものとする。
露出が正常であると判定した場合には、S1926へ進行する。
ステップS1925では、露出が異常であると判定された場合に、ユーザに異常を発報する。
なお、ステップS1925では警告を発報することとしたが、併せて、このような撮像装置を用いた白線認識システムの動作を停止するように構成してもよい。
一方、ステップS1919、S1920おいて、平均輝度B14が切替点CHi〜CHi+1の信号レベルCHBi〜CHBi+1の範囲外であれば、異常判定区間外であると判定し、S1923へ進行する。この場合、所定時間経過しても平均輝度14が替点CHi〜CHBi+1の範囲内に入らない場合は、異常と判断する。
また、異常と判断しない場合、異常判定ERRとし、S400から再度開始してもよい。
ステップS1926では、異常判定区間の開始切替点を示すiが、n−1より大きいか否かを判定する。
大きい場合は、すべての特性区間の異常判定を行ったものとし、S1928へ進行する。小さい場合は、次の特性区間の異常判定を行うため、i=i+1とし、S1903へ戻る。
このように平均輝度B13iとB14iを比較する処理は、すべての入出力特性区間に対して行う。
以上、本発明の実施の形態7に係る撮像装置によれば、入出力特性に切替点が複数存在する撮像素子を有する場合でも、その入出力特性全体における露出制御の異常の有無を判定することができる。また、異常判定を行う入出力特性の区間を時間的に切り替えることで、1回の異常判定動作を短くし、システム動作を停止する時間等を削減できる。
また、異常判定については、S1911、S1912またはS1919、S1920において、輝度Bが設定区間内のみを判定対象とし、設定区間外のものに対しては、S1717またはS1723にて異常またはERR判定としたが、実施の形態4、5同様に、輝度Bの区間判定を行い、輝度Bの区間に応じた特性で変換し、目標値との比較によって判定してもよい。
実施の形態8.
実施の形態8に係る撮像装置では、撮像素子の入出力特性における複数の区間に対して一度に異常判定を行う。これは、実施の形態6に係る撮像装置は、撮像素子の入出力特性の特定の一区間において露出制御の異常判定を行う、あるいは、時間的に判定対象の区間を切り替えて入出力特性の全範囲について露出制御の異常判定を行うのに対して、撮像素子の入出力特性の複数の区間に対して一度に露出制御の異常判定を行うものである。
以下、複数の切替点をもつ非線形な入出力特性を有する撮像素子を用いた撮像装置における露出異常判定処理について説明する。
この発明の実施の形態8に係る撮像装置の構成は、実施の形態1に係る撮像装置の構成(図1参照)に準ずる。
この発明の実施の形態8に係る露出制御の異常判定の処理を含む撮像装置の一例の処理の概要は、実施の形態1に係る撮像装置のフローチャート(図5a参照)に準ずる。
図17は、この発明の実施の形態8に係る撮像装置に適用される露出制御の異常判定の処理内容を示すフローチャートである。
図17において、ステップS2001では、判定対象区間を設定するためのiを初期化する。
ステップS2002では、蓄積時間基準C9を最も短い蓄積時間に選定する。
ステップS2003では、ゲイン基準G9を最も小さい値に選定する。
ステップS2004では、異常判定の対象となる蓄積時間C2xiを設定する。ここではC2xiは、異常判定区間CHi〜CHi+1を対象とするときに予め設定した係数xiをC2にかけた値とする。(xiは、連続する実数としてもよい。)
また、S2005でゲインをG9に設定する。
その後、ステップS404へ戻り、蓄積時間がC9xi及びゲインがG9の場合の平均輝度を取得する。異常判定中はS402からS2006へ進行するため、B17iが記憶済みか否かを判定し、B17iが記憶済でなければ、ステップS2007で、蓄積時間がC9xi及びゲインがG9の場合の平均輝度B(例えば、領域R内の平均輝度)をB17iとして取得する。
続く、ステップS2009では、B17iが切替点CH0〜CHnの信号レベルCHB0〜CHBnと比較し、B17iがいずれの区間の値であるかを判定する。
S2004では、xiを予め設定した値とするため、B17iがいずれの区間の値であるかを判定するためのステップS2009は、全区間でなく想定される範囲内に絞ってもよい。
区間が判定された後は、ステップS2010において、判定された第一切替点CHi及び第二切替点CHi+1で確定される区間の変換関数H0i+1を用いて、入出力特性の変換処理を行う。
なお、B17iがCHB0より小さい場合、もしくはCHBnより大きい場合は、撮像素子の入出力特性区間をはずれるものとし、S2019へ進行する。
また、異常と判断しない場合、異常判定ERRとし、S400から再度開始してもよい。
ステップS2011では、変換後の輝度B17iをB17i‘として記憶する。
ステップS2012では、蓄積時間基準C9を設定する。
ステップS2013では、異常判定の対象となるゲインG9yiを設定する。ここではG9yiがG9yi=(C9xi/C9)×G9を満たす値に設定する。
その後、ステップS404へ戻り、蓄積時間がC9及びゲインがG9yiの場合の平均輝度を取得する。異常判定中はS402からS2006へ進行するため、B17iが記憶済みか否かを判定し、B17iが記憶済であれば、ステップS2014で、蓄積時間がC9でゲインがG9yiの場合の画像出力における平均輝度BをB18iとする。
続く、ステップS2015では、B17iが切替点CH0〜CHnの信号レベルCHB0〜CHBnと比較し、B18iがいずれの区間の値であるかを判定する。
S2004では、xiを予め設定した値とするため、B18iがいずれの区間の値であるかを判定するためのステップS2015は、S2009同様、全区間でなく想定される範囲内に絞ってもよい。
区間が判定された後は、ステップS2016において、判定された第一切替点CHi及び第二切替点CHi+1で確定される区間の変換関数H0i+1を用いて、入出力特性の変換処理を行う。
なお、B18iがCHB0より小さい場合、もしくはCHBnより大きい場合は、撮像素子の入出力特性区間をはずれるものとし、S2019へ進行する。
また、異常と判断しない場合、異常判定ERRとし、S400から再度開始してもよい。
ステップS2017では、変換後の輝度B18iをB18i‘とする。
ステップS2018での平均輝度の比較は、変換後の輝度B17i‘及びB18i’を用いて行う。
ステップS2018での平均輝度の比較の結果、露出の異常であると判定した場合は、フローはステップS2019に進行し、以降の異常判定処理は行わず、異常判定を終了する。
露出が正常であると判定した場合には、S2020へ進行する。
ステップS2019では、露出が異常であると判定された場合に、ユーザに異常を発報する。
なお、ステップS2019では警告を発報することとしたが、併せて、このような撮像装置を用いた白線認識システムの動作を停止するように構成してもよい。
ステップS2020では、異常判定区間の開始切替点を示すiが、n−1より大きいか否かを判定する。(xiが、連続する実数の場合は、輝度B17iまたは18iの値により、全区間の判定が終了したか否かを判定してもよい。)
大きい場合は、すべての特性区間の異常判定を行ったものとし、S2022へ進行する。小さい場合は、次の特性区間の異常判定を行うため、i=i+1とし、S2004へ戻る。
このように平均輝度B17i‘とB18i’を比較する処理は、すべての入出力特性区間に対して行う。
以上、本発明の実施の形態8に係る撮像装置によれば、入出力特性に切替点が複数存在する撮像素子を有する場合でも、その入出力特性全体における露出制御の異常の有無を判定することができる。また、異常判定を行う入出力特性の区間を時間的に切り替えることで、1回の異常判定動作を短くし、システム動作を停止する時間等を削減できる。
また、異常判定については、S1911、S1912またはS1919、S1920において、輝度Bが設定区間内のみを判定対象とし、設定区間外のものに対しては、S1717またはS1723にて異常またはERR判定としたが、実施の形態4、5同様に、輝度Bの区間判定を行い、輝度Bの区間に応じた特性で変換し、目標値との比較によって判定してもよい。
実施の形態9.
実施の形態9では、撮像素子の入出力特性が切替点を持たない非線形な入出力特性である撮像装置における露出制御の異常を判定する形態について説明する。
図18は、この発明の実施の形態9にかかる撮像装置に用いる撮像素子の入出力特性(像面照度に対する信号レベルの特性)を表す図である。
図18に示すように、切替点をもたない非線形な入出力特性をもつ撮像装置の特性E01は、線形な入出力特性をもつ撮像装置の特性E02、切替点をもつ非線形な入出力特性をもつ撮像装置の特性E03と比較して、直線で表される特性をもつ。但し、図18における横軸(像面照度)は、対数表示である。
本実施の形態における切替点を持たない非線形な入出力特性を有する撮像素子は、蓄積時間の調節機能は持たないものとする。
以下、この発明の実施の形態9について説明する。
図19は、この発明の実施の形態9に係る撮像装置の概略構成を示すブロック図である。
図20は、この発明の実施の形態9に係る露出制御の異常判定の処理を含む撮像装置の一例の処理の概要示すフローチャートである。
図19に示す本発明の実施の形態9に係る撮像装置の構成は、図1に示す実施の形態1に係る撮像装置から蓄積時間制御部204および露出制御部205を取り除いたものである。
蓄積時間の制御を行わないこと以外は基本的に同一の構成である。
アナログ信号処理部202内のゲイン制御部204では、例えば、画像データの所定領域内の平均輝度が目標値となるようにゲインを制御し、フィードバック制御を実施した結果が反映することで、被写体に応じたゲインを設定する。
この実施の形態9では、フィードバック制御部(図示せず)及びゲイン異常判定部210は、CPU208内に配設し、ゲイン制御部204を制御するのに必要なゲインの設定は、CPU208からゲイン制御部204に伝達できる構成である。
また、画像データの平均輝度を算出する所定領域は、図3に示すRで囲まれる領域とする。R領域内の平均輝度の算出は、アナログ映像信号処理後の映像信号成分、またはA/D変換後のデジタル映像信号のいずれを用いて行ってもよい。
なお、実施の形態9では、デジタル映像信号を用いてゲインの異常制御の判定を行うべく、A/D変換の後段のCPU208内にゲイン異常判定部210を配設したが、アナログ信号処理後の映像信号を用いてゲイン異常判定を行ってもよい。この場合は、A/D変換部206の前段にゲイン異常判定部210を配設すればよい。また、ここでは、CPU208が各種画像処理を行う形態について説明したが、CPU208とは別に画像処理専用のブロックを設けてもよい。
図20において、ステップS2301では、被写体に応じて最適制御されたゲインG8を設定する。
ステップS2302では、ゲインがG8の場合の平均輝度B(例えば、領域R内の平均輝度)をB15として取得する。
ステップS2303では、図18に示す撮像素子の入出力特性のE01用の変換関数を用いて平均輝度B15をB15’に変換する。
ステップS2309では、変換後の輝度B15をB15‘として記憶する。
ステップS2304では、異常判定の対象となるゲインG8yを設定する。
ステップS2305では、ゲインがG8yの場合の平均輝度BをB16として取得する。
ステップS2306では、ステップS2303と同様に、E01用の変換関数を用いて平均輝度B16をB16’に変換する。
ステップS2303およびステップS2306における平均輝度の変換は、例えば、E01の特性が入力に対し、線形な入出力特性となるように変換する。
ステップS2310では、変換後の輝度B16をB16‘とする。
ここで、例えば、入出力特性が、像面照度E[lx]、A/D変換後のデジタル映像信号B[LSB](輝度B15、B16も本実施の形態では、デジタル映像信号の所定領域の平均値)、ゲインG8y、撮像素子の感度S[LSB/lx・s]とするとき、特性E01は、例えば、下式で表される。
B=K×log(E×S)×G8y(Kは任意の定数)
Bを変換した後の出力をB’とするとき、この実施の形態9では、特性E01の変換式は、下式とする。
B’=(10^(B/(G8y×K))
これにより、変換後の入出力特性は、図20のE02に示すように、入力に対し単一の入出力特性をもつものとなる。
従って、S2307で変換後の平均輝度B15’とB16’を比較してゲインの異常判定を行う際には、例えば、下式を満たす場合に異常であると判定する。
ここでは、比を用いて平均輝度B15’とB16’の比較を行ったが、比較方法は比に基づく方法に限定されるものではなく、平均輝度B15とB16の差を用いて比較してもよく、その他の演算式で比較を行ってもよい。
Db=B15’/B16’>G/Gm×k
または、Db=B16’/B15’>Gm/G×k(k>1)
ステップS2308では、撮像装置のユーザに露出が異常である旨の警告を発報する。
なお、ステップS2308では警告を発報することとしたが、併せて、このような撮像装置を用いた白線認識システムの動作を停止するように構成してもよい。
また、本実施の形態でG8は、被写体に応じた最適なゲインとしたが、任意のゲインを設定してもよい。
以上、本発明の実施の形態9に係る撮像装置によれば、蓄積時間の制御を行わず、ゲイン制御のみを行う撮像装置においても、実施の形態1ないし7の撮像装置と同様に、露出量を増大あるいは減少させることによって露出の異常を判定するために、撮影のために被写体に応じて行う露出制御を一時的に中断することなく、ゲイン制御の異常を判定することができる。
この発明の実施の形態1に係る撮像装置の構成を概略的に示すブロック図である。 この発明の実施の形態1に係る撮像装置の車輌への取付例を概念的に示す図である。 この発明の実施の形態1に係る撮像装置で撮影した映像例を示す図である。 撮像装置における最適なシャッタ速度における画像出力、シャッタ速度が最遅における画像出力、及び、シャッタ速度が最速における画像出力例を示す図である。 この発明の実施の形態1に係る撮像装置における露出制御の異常判定の処理を含む処理を示すフローチャートである。 この発明の実施の形態1に係る撮像装置における露出制御の異常判定の処理を含む処理を示すフローチャートである。 この発明の実施の形態1に係る撮像装置に用いる撮像素子の入出力特性(像面照度に対する信号レベルの特性)を示す図である。 この発明の実施の形態2に係る撮像装置における露出制御の異常判定処理の内容を示すフローチャートである。 この発明の実施の形態2に係る撮像装置に用いる撮像素子の入出力特性(像面照度に対する信号レベルの特性)を示す図である。 この発明の実施の形態3にかかる撮像装置に用いる撮像素子の入出力特性(像面照度に対する信号レベルの特性)を方対数グラフに表した図である。 この発明の実施の形態3に係る撮像装置における露出制御の異常判定の処理内容を示すフローチャートである。 この発明の実施の形態3に係る露出異常判定における入出力特性変換の原理を示す図である。 この発明の実施の形態4に係る撮像装置における露出制御の異常判定の処理内容を示すフローチャートである。 本発明の実施の形態5に係る撮像装置の異常判定処理の内容を示すフローチャートである。 この発明の実施の形態6にかかる撮像装置に用いる撮像素子の入出力特性(像面照度に対する信号レベルの特性)を表す図である。 この発明の実施の形態6に係る撮像装置に適用される露出制御の異常判定の処理内容の前半部分を示すフローチャートである。 この発明の実施の形態7に係る撮像装置に適用される露出制御の異常判定の処理内容を示すフローチャートである。 この発明の実施の形態8に係る撮像装置に適用される露出制御の異常判定の処理内容を示すフローチャートである。 この発明の実施の形態9にかかる撮像装置に用いる撮像素子の入出力特性(像面照度に対する信号レベルの特性)を表す図である。 この発明の実施の形態9に係る撮像装置の概略構成を示すブロック図である。 この発明の実施の形態9に係る撮像装置に適用される露出制御の異常判定の処理内容を概略的に示すフローチャートである。
符号の説明
100、100A 撮像装置、201 光電変換部、202 アナログ信号処理部、203 ゲイン制御部、204 蓄積時間制御部、205 露出制御部、206 A/D変換部、207 画像メモリ、208 CPU、209 異常判定部、210 ゲイン異常判定部。

Claims (21)

  1. 被写体から受光する光を光電変換する光電変換部と、
    前記光電変換部において電荷を蓄積する時間及び、前記光電変換部の出力に付与するゲインを制御処理する信号処理部と、
    前記信号処理部によって処理された画像出力の露出またはゲインの異常を判定する異常判定部と
    を備え、前記光電変換部は、入射光強度に対して線形な出力信号特性を有し、前記異常判定部は、m×n=1の関係を有する変数m、nに対し、蓄積時間CとゲインGによって得られる画像出力と、n倍の蓄積時間Cnとm倍のゲインGmによって得られる画像出力とを比較することにより、露出またはゲインの異常を判定することを特徴とする撮像装置。
  2. 前記光電変換部の出力信号特性は、入射光強度に対して非線形な区間をさらに有し、前記異常判定部は、前記非線形な出力信号特性区間を変換して線形な特性に変換し、変換後の特性において、m×n=1の関係を有する変数m、nに対し、蓄積時間CとゲインGによって得られる画像出力と、n倍の蓄積時間Cnとm倍のゲインGmによって得られる画像出力とを比較することにより、露出またはゲインの異常を判定することを特徴とする請求項1記載の撮像装置。
  3. 被写体から受光する光を光電変換する光電変換部と、
    前記光電変換部において電荷を蓄積する時間及び、前記光電変換部の出力に付与するゲインを制御処理する信号処理部と、
    前記信号処理部によって処理された画像出力の露出またはゲインの異常を判定する異常判定部と
    を備え、
    前記光電変換部は、入射光強度に対して線形な出力信号特性を有し、
    前記異常判定部は、前記信号処理部によって被写体に応じて適切に制御された蓄積時間C及びゲインGによって得られる画像出力と、ゲインを所定値に固定した状態で、前記信号処理部によって被写体に応じて適切に制御された蓄積時間によって得られる画像出力、または、蓄積時間を所定値に固定した状態で、前記信号処理部によって被写体に応じて適切に制御されたゲインによって得られる画像出力、とを比較することにより、露出またはゲインの異常を判定することを特徴とする撮像装置。
  4. 被写体から受光する光を光電変換する光電変換部と、
    前記光電変換部において電荷を蓄積する時間及び、前記光電変換部の出力に付与するゲインを制御処理する信号処理部と、
    前記信号処理部によって処理された画像出力の露出またはゲインの異常を判定する異常判定部と
    を備え、
    前記光電変換部は、入射光強度に対して線形な出力信号特性を有し、
    前記異常判定部は、ゲインを所定値に固定した状態で、前記信号処理部によって被写体に応じて適切に制御された蓄積時間によって得られる画像出力と、蓄積時間を所定値に固定した状態で、前記信号処理部によって被写体に応じて適切に制御されたゲインによって得られる画像出力とを比較することにより、露出またはゲインの異常を判定することを特徴とする撮像装置。
  5. 前記光電変換部の出力信号特性は、入射光強度に対して非線形な区間をさらに有し、前記異常判定部は、前記非線形な出力信号特性区間を線形な特性に変換し、変換後の特性において、前記信号処理部によって被写体に応じて適切に制御された蓄積時間C及びゲインGによって得られる画像出力と、ゲインを所定値に固定した状態で、前記信号処理部によって被写体に応じて適切に制御された蓄積時間によって得られる画像出力、または、蓄積時間を所定値に固定した状態で、前記信号処理部によって被写体に応じて適切に制御されたゲインによって得られる画像出力、とを比較することにより、露出またはゲインの異常を判定することを特徴とする請求項3に記載の撮像装置。
  6. 前記光電変換部の出力信号特性は、入射光強度に対して非線形な区間をさらに有し、前記異常判定部は、前記非線形な出力信号特性区間を線形な特性に変換し、変換後の特性において、ゲインを所定値に固定した状態で、前記信号処理部によって被写体に応じて適切に制御された蓄積時間によって得られる画像出力と、蓄積時間を所定値に固定した状態で、前記信号処理部によって被写体に応じて適切に制御されたゲインによって得られる画像出力とを比較することにより、露出またはゲインの異常を判定することを特徴とする請求項4に記載の撮像装置。
  7. 被写体から受光する光を光電変換する光電変換部と、
    前記光電変換部において電荷を蓄積する時間及び、前記光電変換部の出力に付与するゲインを制御処理する信号処理部と、
    前記信号処理部によって処理された画像出力の露出またはゲインの異常を判定する異常判定部と
    を備え、前記光電変換部は、入射光強度に対して非線形な出力信号特性を有し、前記異常判定部は、前記非線形な出力信号特性を変換して線形な特性に変換し、変換後の特性において、m×n=1の関係を有する変数m、nに対し、蓄積時間CとゲインGによって得られる画像出力と、n倍の蓄積時間Cnとm倍のゲインGmによって得られる画像出力とを比較することにより、露出またはゲインの異常を判定することを特徴とする撮像装置。
  8. 被写体から受光する光を光電変換する光電変換部と、
    前記光電変換部において電荷を蓄積する時間及び、前記光電変換部の出力に付与するゲインを制御処理する信号処理部と、
    前記信号処理部によって処理された画像出力の露出またはゲインの異常を判定する異常判定部と
    を備え、
    前記光電変換部は、入射光強度に対して非線形な出力信号特性を有し、
    前記異常判定部は、前記非線形な出力信号特性区間を線形な特性に変換し、変換後の特性において、前記信号処理部によって被写体に応じて適切に制御された蓄積時間C及びゲインGによって得られる画像出力と、ゲインを所定値に固定した状態で、前記信号処理部によって被写体に応じて適切に制御された蓄積時間によって得られる画像出力、または、蓄積時間を所定値に固定した状態で、前記信号処理部によって被写体に応じて適切に制御されたゲインによって得られる画像出力、とを比較することにより、露出またはゲインの異常を判定することを特徴とする撮像装置。
  9. 被写体から受光する光を光電変換する光電変換部と、
    記光電変換部において電荷を蓄積する時間及び、前記光電変換部の出力に付与するゲインを制御処理する信号処理部と、
    前記信号処理部によって処理された画像出力の露出またはゲインの異常を判定する異常判定部と
    を備え、
    前記光電変換部は、入射光強度に対して非線形な出力信号特性を有し、
    前記異常判定部は、前記非線形な出力信号特性区間を線形な特性に変換し、変換後の特性において、ゲインを所定値に固定した状態で、前記信号処理部によって被写体に応じて適切に制御された蓄積時間によって得られる画像出力と、蓄積時間を所定値に固定した状態で、前記信号処理部によって被写体に応じて適切に制御されたゲインによって得られる画像出力とを比較することにより、露出またはゲインの異常を判定することを特徴とする撮像装置。
  10. 被写体から受光する光を光電変換する光電変換部と、
    前記光電変換部において電荷を蓄積する時間及び、前記光電変換部の出力に付与するゲインを制御処理する信号処理部と、
    前記信号処理部によって処理された画像出力の露出またはゲインの異常を判定する異常判定部と
    を備え、
    前記光電変換部は、複数の切替点によって複数の線形な区間に区分される入出力特性を有し、
    前記異常判定部は、前記線形な出力信号特性のいずれかの区間を標準的な線形特性に変換し、変換後の特性において、m×n=1の関係を有する変数m、nに対し、蓄積時間CとゲインGによって得られる画像出力と、n倍の蓄積時間Cnとm倍のゲインGmによって得られる画像出力とを比較することにより、露出またはゲインの異常を判定することを特徴とする撮像装置。
  11. 前記異常判定部は、複数の切替点によって複数の線形な区間に区分される入出力特性の特性変換の不要な標準的な線形な区間について、露出またはゲインの異常を判定することを特徴とする請求項10記載の撮像装置。
  12. 前記異常判定部は、複数の切替点によって複数の線形な区間に区分される入出力特性の全区間について、露出またはゲインの異常を判定することを特徴とする請求項10記載の撮像装置。
  13. 被写体から受光する光を光電変換する光電変換部と、
    前記光電変換部において電荷を蓄積する時間及び、前記光電変換部の出力に付与するゲインを制御処理する信号処理部と、
    前記信号処理部によって処理された画像出力の露出またはゲインの異常を判定する異常判定部とを備え、
    前記光電変換部は、複数の切替点によって複数の線形な区間に区分される入出力特性を有し、
    前記異常判定部は、前記非線形な非線形な出力信号特性区間を標準的な線形特性に変換し、変換後の特性において、前記信号処理部によって被写体に応じて適切に制御された蓄積時間C及びゲインGによって得られる画像出力と、ゲインを所定値に固定した状態で、前記信号処理部によって被写体に応じて適切に制御された蓄積時間によって得られる画像出力、または、蓄積時間を所定値に固定した状態で、前記信号処理部によって被写体に応じて適切に制御されたゲインによって得られる画像出力、とを比較することにより、露出またはゲインの異常を判定することを特徴とする撮像装置。
  14. 被写体から受光する光を光電変換する光電変換部と、
    記光電変換部において電荷を蓄積する時間及び、前記光電変換部の出力に付与するゲインを制御処理する信号処理部と、
    前記信号処理部によって処理された画像出力の露出またはゲインの異常を判定する異常判定部と
    を備え、
    前記光電変換部は、複数の切替点によって複数の線形な区間に区分される入出力特性を有し、
    前記異常判定部は、前記非線形な非線形な出力信号特性区間を標準的な線形特性に変換し、変換後の特性において、ゲインを所定値に固定した状態で、前記信号処理部によって被写体に応じて適切に制御された蓄積時間によって得られる画像出力と、蓄積時間を所定値に固定した状態で、前記信号処理部によって被写体に応じて適切に制御されたゲインによって得られる画像出力とを比較することにより、露出またはゲインの異常を判定することを特徴とする撮像装置。
  15. 被写体から受光する光を光電変換する光電変換部と、
    前記光電変換部において電荷を蓄積する時間及び、前記光電変換部の出力に付与するゲインを制御処理する信号処理部と、
    前記信号処理部によって処理された画像出力の露出またはゲインの異常を判定する異常判定部と
    を備え、前記光電変換部は、複数の切替点によって複数の非線形な区間に区分される入出力特性を有し、前記異常判定部は、前記非線形な出力信号特性のいずれかの区間を対数変換して線形な特性に変換し、変換後の区間において、m×n=1の関係を有する変数m、nに対し、蓄積時間CとゲインGによって得られる画像出力と、n倍の蓄積時間Cnとm倍のゲインGmとによって得られる画像出力とを比較することにより、露出またはゲインの異常を判定することを特徴とする撮像装置。
  16. 前記異常判定部は、複数の切替点によって複数の非線形な区間に区分される入出力特性の全区間について、露出またはゲインの異常を判定することを特徴とする請求項15記載の撮像装置。
  17. 被写体から受光する光を光電変換する光電変換部と、
    前記光電変換部において電荷を蓄積する時間及び、前記光電変換部の出力に付与するゲインを制御処理する信号処理部と、
    前記信号処理部によって処理された画像出力の露出またはゲインの異常を判定する異常判定部と
    を備え、
    前記光電変換部は、複数の切替点によって複数の非線形な区間に区分される入出力特性を有し、
    前記異常判定部は、前記非線形な非線形な出力信号特性区間を標準的な線形特性に変換し、変換後の特性において、前記信号処理部によって被写体に応じて適切に制御された蓄積時間C及びゲインGによって得られる画像出力と、ゲインを所定値に固定した状態で、前記信号処理部によって被写体に応じて適切に制御された蓄積時間によって得られる画像出力、または、蓄積時間を所定値に固定した状態で、前記信号処理部によって被写体に応じて適切に制御されたゲインによって得られる画像出力、とを比較することにより、露出またはゲインの異常を判定することを特徴とする撮像装置。
  18. 被写体から受光する光を光電変換する光電変換部と、
    前記光電変換部において電荷を蓄積する時間及び、前記光電変換部の出力に付与するゲインを制御処理する信号処理部と、
    前記信号処理部によって処理された画像出力の露出またはゲインの異常を判定する異常判定部と
    を備え、前記非線形な非線形な出力信号特性区間を標準的な線形特性に変換し、変換後の特性において、
    ゲインを所定値に固定した状態で、前記信号処理部によって被写体に応じて適切に制御された蓄積時間によって得られる画像出力と、蓄積時間を所定値に固定した状態で、前記信号処理部によって被写体に応じて適切に制御されたゲインによって得られる画像出力とを比較することにより露出またはゲインの異常を判定することを特徴とする撮像装置。
  19. 被写体から受光する光を光電変換する光電変換部と、
    前記光電変換部の出力に付与するゲインを制御処理する信号処理部と、
    前記信号処理部によって処理された画像出力の露出またはゲインの異常を判定する異常判定部と
    を備え、
    前記光電変換部は、入射光強度に対して非線形な出力特性信号を有し、
    前記異常判定部は、ゲインGによって得られる画像出力と、ゲインGのm倍のゲインGmによって得られる画像出力とを比較することにより、露出またはゲインの異常を判定することを特徴とする撮像装置。
  20. 前記撮像装置は車輌に搭載されて路面の走行車線認識用に用いられ、前記異常判定部は、車輌がアクセサリーモードになったとき、イグニッションがオンにされたとき、あるいは、撮像装置の電源が投入された直後に異常判定処理を実行することを特徴とする請求項1ないし19のいずれか一項記載の撮像装置。
  21. 前記撮像装置は車輌に搭載されて路面の走行車線認識用に用いられ、前記異常判定部は、車輌の速度が所定以下である場合に異常判定処理を実行することを特徴とする請求項1ないし19のいずれか一項記載の撮像装置。
JP2005230848A 2005-08-09 2005-08-09 撮像装置 Expired - Fee Related JP4114752B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005230848A JP4114752B2 (ja) 2005-08-09 2005-08-09 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005230848A JP4114752B2 (ja) 2005-08-09 2005-08-09 撮像装置

Publications (2)

Publication Number Publication Date
JP2007049359A JP2007049359A (ja) 2007-02-22
JP4114752B2 true JP4114752B2 (ja) 2008-07-09

Family

ID=37851835

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005230848A Expired - Fee Related JP4114752B2 (ja) 2005-08-09 2005-08-09 撮像装置

Country Status (1)

Country Link
JP (1) JP4114752B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5688258B2 (ja) * 2010-09-22 2015-03-25 日立マクセル株式会社 画像信号処理装置
JP5937832B2 (ja) * 2012-01-30 2016-06-22 クラリオン株式会社 車載カメラ用露出制御装置
JP2014187496A (ja) * 2013-03-22 2014-10-02 Denso Corp 故障検出装置
JP6571424B2 (ja) * 2015-07-06 2019-09-04 株式会社トランストロン 故障診断装置

Also Published As

Publication number Publication date
JP2007049359A (ja) 2007-02-22

Similar Documents

Publication Publication Date Title
KR100437880B1 (ko) 별개의 광 측정 회로없이 자동으로 고체 카메라의 최종노출 설정값을 결정하는 장치 및 방법
KR100396203B1 (ko) 노광장치및방법,그노광장치를가지는비디오카메라
JP5903634B2 (ja) 照明制御装置および照明システム
KR100460755B1 (ko) 이미지센서의 화소배열부 및 그를 포함하는 이미지센서 및이미지센서의 플리커 잡음 제거방법
JP4114752B2 (ja) 撮像装置
US20130070110A1 (en) Imaging device, imaging method and imaging program stored computer readable medium
KR100292434B1 (ko) 선형시시디를이용한카메라렌즈자동검사장치및그방법
JP2006270218A (ja) 電子カメラおよび電子カメラシステム
US20170061237A1 (en) Image processing apparatus, image processing method, and storage medium
TWI726937B (zh) 增強型距離資料獲取
JP4922409B2 (ja) Hdrカメラ用の照明調整
EP0559479B1 (en) Iris control
US5115261A (en) Photographing light quantity controller for endoscope
JP3861711B2 (ja) 輝度レベル補正装置
JP2011205552A5 (ja)
KR100859151B1 (ko) 촬상장치 및 촬상방법
CN1075700C (zh) 摄像机的光圈控制装置
KR100647552B1 (ko) 디지탈 스틸 카메라의 자동 노출 제어 방법
JP5359330B2 (ja) 露光量制御装置および露光量制御方法
JPH1098650A (ja) 撮像装置
CN109922254B (zh) 摄像设备及其控制方法
JP3706006B2 (ja) 撮像装置及び撮像方法
JP6971698B2 (ja) 調光制御装置、その制御方法、および制御プログラム、並びに撮像装置
JP2023126280A (ja) 撮像装置、その制御方法とプログラム
JP2002118787A (ja) 露出制御装置、画像信号生成装置、媒体、および情報集合体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080229

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080318

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080409

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110425

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110425

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120425

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120425

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130425

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130425

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140425

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees