JP2010050535A - 撮像装置 - Google Patents

Abstract

【課題】差分画像を用いて撮像画像から自然光などの外乱光をキャンセルする撮像装置において、簡易な構成で撮像素子のフレームレートで差分画像を生成する。
【解決手段】撮像装置１は、照明２、カメラ３、タイミング発生回路４、照明制御回路５、画像処理回路６を備える。タイミング発生回路４のサンプリングパルスに同期して、照明２は、オン、オフを交互に繰り返すと共に、カメラ３は、照明２のオン、オフそれぞれについて撮像を行う。画像処理回路６は、カメラ３が撮像した画像のうち最近の２つについてそれぞれ輝度を補正し、相互の差分画像を出力することで、外乱光をキャンセルする。カメラ３は、照明２のオン、オフ個別に露光時間を調整し、補正回路６２は、差分回路６３に出力する補正画像の撮像条件を差分前に一定にするよう、露光時間の逆数で輝度を補正する。
【選択図】図１

Description

本発明は、差分画像を用いて撮像画像から自然光などの外乱光をキャンセルする撮像装置に関する。

従来、光源をオンにしたときの画像と、オフにしたときの画像との差分画像を用いて撮像画像から自然光などの外乱光をキャンセルする撮像装置等が開示されている（特許文献１の図１、特許文献２の段落６５等）。これによれば、外乱光は一定に照射されているとみなせるから、撮像装置は、光源が被写体に当たって反射した光のみに基づく撮像画像を得ることができ、外乱光の影響を除去できる。

図１０のタイミングチャートを用いて、従来の撮像装置の画像出力について説明する。撮像装置のタイミング発生回路は、撮像の開始時期を定めるタイミング信号を出力する。撮像装置の照明部は、タイミング信号と同期して、照明源であるＬＥＤの信号（ＬＥＤ信号と称する）のオン、オフを繰り返す。カメラは、タイミング信号と同期して撮像を開始し、次のタイミング信号で撮像した画像を出力する。第１のフレームメモリは、最近撮像した画像（ＯＮ１画像）を記憶する。撮像装置は、第１のフレームメモリの画像（ＯＮ１画像）を、次のフレーム期間で、第２のフレームメモリに移動させると共に、第１のフレームメモリは、撮像素子で記憶した最新の画像（ＯＦＦ１画像）を記憶する。ここで、ＬＥＤ信号のオン、オフの１回のセットの撮像については、撮像条件を共通にするため、撮像装置は、カメラの露光時間を同じになるよう調整する（カメラ制御１、カメラ制御２・・・）。また、撮像装置は、このオン、オフ１回ずつで撮像された２枚の画像を差分して出力する（ＯＮ１画像−ＯＦＦ１画像・・・）。

このように、従来の撮像装置は、２回の撮像に対し１回の割合で差分画像を出力していた（特許文献１の図１２、特許文献３の図１）。したがって、撮像装置は、撮像素子本来のフレームレートに対し半分のフレームレートでしか動画を出力できなかった。これは、光源をオンにしたときの画像とオフにしたときとで撮像条件を同じにしつつ、外乱光の変化に対応するためである。

即ち、外乱光の強度によっては、その強度が撮像素子の感度の許容範囲から外れるおそれがある。例えば、撮像素子が飽和して、撮像画像が白やけになってしまったり、逆に撮像画像に輝度がなく黒の塗りつぶしになってしまったりする（特許文献３には、その解決課題が記載されている）。そこで、撮像装置のコントローラは、露光時間の調整を含む撮像条件の調整を行う。この調整は、刻々と変化する外乱の状況に合わせて行われる。

ただし、このような差分画像を出力する撮像装置は、光源をオンにしたときの画像と、オフにしたときで撮像条件が同じに設定されていなければ、差分画像において、効果的に外乱光をキャンセルすることができない。そこで、従来は、オン、オフ合わせて２回で１セットの撮像につき、撮像条件を共通にし、このセットから差分画像を１フレーム分、出力していた。そして、撮像条件を、このオン、オフのセットを単位として、状況に合わせて刻々と変化させていた。
特開平７−１３４８００号公報 特開２００３−２０８５９９号公報 特開平６−３１９０６７号公報

しかしながら、従来の差分画像を出力する撮像装置は、上述のように撮像素子本来のフレームレートに対し半分のフレームレートでしか動画を出力できない問題があった。その結果、撮像装置は、滑らかに動画を出力できないおそれがあった。

また、フレームレートが減少すると、以下の問題が派生する。
第１には、撮像装置のフレームレートが半分になると、撮像装置の外乱光に対する追従速度も半分になる問題があった。つまり、照明をオンにする時間帯、照明をオフにする時間帯における撮像条件を互いに共通にするために、従来の撮像装置は、２回の撮像に対し１回の割合でしか、カメラの制御をしていなかった（図１０のカメラ制御１、カメラ制御２・・・）。したがって、撮像装置が外乱光の急な変化に対応できず、露光時間を適正に設定できない可能性があった。

第２には、動画を圧縮記録する場合に問題が生じうる。即ち、動画を圧縮する装置は、背景に対して動きのある登場人物の移動方向を計算する。フレームレートが減少すると、登場人物が次のフレームまでの間に移動する量が大きくなる。そうすると、どの部分が動いたのかを判断するために、広い範囲を探索する必要があるので、この装置は、その計算に時間がかかる。また、次のフレームまでにこの探索対象物が画像の枠外へはみ出てしまったりして、滑らかに画像を圧縮できない虞があった。

そこで、本発明は、差分画像を用いて撮像画像から自然光などの外乱光をキャンセルする撮像装置において、簡易な構成で撮像素子本来のフレームレートで差分画像を生成することを目的とする。

上記目的を達成するために、以下の構成を備えることができる。

（１）本発明は、
被写体を動画として撮像する撮像装置において、
被写体を撮像する撮像部と、
上記撮像部がシャッタを開くタイミングを定める、タイミング信号を出力するタイミング発生回路と、
上記撮像部の撮像方向に向けて光を照射する照明部であって、上記タイミング信号に合わせて、交互に上記光をオン、オフに切り換える照明部と、
上記撮像部が撮像する撮像画像が適正輝度になるように、露光時間を含む撮像条件を設定する撮像条件設定手段と、
上記撮像画像の輝度の補正を行う補正手段と、
上記タイミング信号の隣接する周期において上記撮像部が撮像した撮像画像についてそれぞれ上記補正がなされたものの、互いの差分画像を生成する差分画像生成手段と、を備え、
上記撮像条件設定手段は、上記撮像画像が、上記照明部の光がオンの時間帯、オフの時間帯のいずれに撮像されたかに関わらず、上記タイミング信号ごとに個別に撮像条件を調整し、
上記補正手段は、上記撮像部が撮像した各撮像画像の撮像条件が上記差分画像の生成の際に一定になるように、上記撮像画像の輝度について補正を行い、
上記差分画像生成手段は、上記タイミング信号と同じ周期で、上記差分画像を生成することを特徴とする撮像装置である。

この構成では、撮像部が撮像する上記タイミングに合わせて、照明部が交互に上記光をオン、オフに切り換えるので、差分画像は、タイミング信号の隣接した周期（隣接したフレーム期間）の撮像画像同士を差分したものであり、常に、上記光をオン、オフにしたときの差になる。

ここで、差分画像により外乱光を効果的にキャンセルするには、上記光をオン、オフにしたときの撮像条件を同じにするのが望ましい。撮像部本来のフレームレートで（つまりタイミング信号の周期毎に）差分画像を生成するには、差分するオン時、オフ時の両画像の撮像条件を常に均一にするのが望ましい。一方、外乱光は刻々変化するから、撮像部の撮像素子の感度の許容範囲外にならないよう、これに対応する必要がある。

この構成では、上記撮像画像が、上記照明部の光がオンの状態、オフの状態で撮像されたか否かに関わらず、撮像条件設定手段が露光時間を含む撮像条件を調整する。

そして、この構成では、補正部が、差分する画像の撮像条件を一定にする補正をしているので、照明部が光をオンにするタイミング、オフにするタイミングのいずれで撮像したかに関わらず、差分画像の生成前に撮像条件が一定になるよう補正することができる。したがって、差分画像生成手段は、外乱光の影響をキャンセルしつつ、撮像部のタイミング信号の周期毎に差分画像を生成することができる。つまり、撮像装置は、撮像素子本来のフレームレートで差分画像を生成することができる。なお、この補正は、例えば、露光時間に反比例して輝度を変化させるようにしてもよいし、パラメータ曲線で対応させてもよい。

（２）上記撮像装置は、上記撮像部により撮像した撮像画像のうち、最近の２枚の撮像画像を記憶するそれぞれ第１のフレームメモリと第２のフレームメモリをさらに備え、
上記補正手段は、上記第１のフレームメモリ、上記第２のフレームメモリが記憶した最近の２枚の撮像画像について、それぞれ補正を行い、
上記差分画像生成手段は、上記第１のフレームメモリ、上記第２のフレームメモリに記憶された撮像画像に対しそれぞれ上記補正手段が補正した補正画像について、上記差分画像を生成するようにしてもよい。

（３）本発明は、
被写体を動画として撮像する撮像装置において、
被写体を撮像する撮像部と、
上記撮像部がシャッタを開くタイミングを定める、タイミング信号を出力するタイミング発生回路と、
上記撮像部の撮像方向に向けて光を照射する照明部であって、上記タイミング信号に合わせて、交互に上記光をオン、オフに切り換える照明部と、
上記撮像部により撮像した撮像画像のうち、最近の２枚の撮像画像を記憶する第１のフレームメモリと第２のフレームメモリと、
上記撮像の撮像部が撮像する撮像画像が適正輝度になるよう、露光時間を含む撮像条件を設定する撮像条件設定手段と、
上記撮像画像の輝度の補正を行う補正手段と、
上記タイミング信号の隣接する周期において上記撮像部が撮像した撮像画像についてそれぞれ上記補正がなされたものの、互いの差分画像を生成する差分画像生成手段と、を備え、
上記撮像条件設定手段は、上記照明部の光がオンの時間帯、上記照明部の光がオフの時間帯のいずれか一方における撮像条件を、上記撮像画像が適正輝度になるように調整すると共に、他方の時間帯における撮像条件を一定に設定し、
上記補正手段は、上記一方の時間帯における撮像条件が、上記他方の時間帯における撮像条件と、上記差分画像の生成の際に同じになるように上記補正を行い、
上記差分画像生成手段は、上記補正手段により補正された補正画像と上記補正がされていない撮像画像とについて、上記タイミング信号と同じ周期で上記差分画像を生成することを特徴とする撮像装置としてもよい。

この構成では、差分をとる画像のうち片方のフレームメモリに記憶した画像についてだけ、補正部が撮像した撮像画像を補正するので、簡易な構成にすることができる。例えば、光がオンの時間帯について、撮像画像に白焼けが生じにくいようにそれぞれの露光時間を一定の短い時間に設定することができる。この場合には、照明部が光をオフにしているときだけ補正すればよい。また、逆に光がオフの各時間帯について、撮像画像が暗くならないように、露光時間を一定の長い時間に設定することができる。この場合、照明部が光を当てているときだけ補正すればよい。なお、露光時間を一定にするとは、より詳細に言えば、光がオンの時間帯、オフの時間帯は交互に繰り返すので、オンの時間帯、オフの時間帯はそれぞれ複数あり、そのうちの一方について当該複数の時間帯の撮像条件を共通の値にすることをいう。

（４）上記撮像装置は、画像を記憶する第１のフレームメモリと第２のフレームメモリをさらに備え、
上記補正手段は、上記撮像部により撮像した撮像画像について補正を行い、
上記撮像装置は、以下の（Ａ）ないし（Ｃ）の処理を実行することを特徴としてもよい。
（Ａ）上記補正手段がすでに補正した最近の補正画像を、上記第１のフレームメモリに記憶させ、
（Ｂ）上記第１のフレームメモリに記憶された上記補正画像を上記第２のフレームメモリに移動させると共に、上記補正手段が新たに補正した最近の補正画像を上記第１のフレームメモリに記憶させて、これにより、上記補正手段により補正した最近の２枚の補正画像を上記第１のフレームメモリ、第２のフレームメモリに記憶させ、
（Ｃ）上記第１のフレームメモリ、第２のフレームメモリに記憶された撮像画像について差分画像を生成する。
。

この構成では、撮像条件設定手段が露光時間を設定した場合に、補正手段は、露光時間と輝度の補正量を対応付けた補正データに基づいて、輝度を補正する。この構成では、輝度の補正量を露光時間と補正テーブルに基づいて、より厳密に定めることができる。したがって、上記差分画像生成手段は、より正確に外乱光をキャンセルした差分画像を生成できる。

（５）上記補正手段は、露光時間と輝度の補正量を対応付けた補正データを記憶する記憶部を備え、上記記憶部内の補正データに基づいて、輝度を補正するようにしてもよい。

この構成では、差分画像生成手段は、補正済みの画像を第１のフレームメモリ、第２のフレームメモリへ順に移動させる。ここで、第１のフレームメモリ、第２のフレームメモリに記憶された画像はいずれも補正されたものである。したがって、隣接したフレーム期間で撮像された画像は、常に補正されたものである。したがって、この構成では、第１のフレームメモリ、第２のフレームメモリに対応して、補正部を２つ設ける必要がないので簡易な構成とすることができる。

（６）上記撮像条件設定手段は、周囲の明るさが予め定めた範囲の場合には、上記撮像条件を一定にし、上記範囲を超える場合に限り、周囲の明るさに応じて、上記撮像条件を調整し、
上記補正手段は、上記撮像条件が調整された撮像画像についてのみ、上記補正を行うようにしてもよい。

輝度の補正をすると、画質が低下する場合がある。この構成では、補正を最小限にするように、上記撮像部は、周囲の明るさが予め定めた範囲の場合には、露光時間等の撮像条件を一定にする。したがって、この範囲では補正が不要になり、画質を落とさなくて済む。また、この範囲を超える場合には、撮像部が露光時間を調整し、補正手段が画像の補正を行う。したがって、この場合には、撮像装置は、外部光の強度に応じて適正な撮像ができるよう調整できると共に、撮像条件を差分前に一定に保つことができる。

（７）上記差分画像生成手段は、上記タイミング信号と同じ周期で生成された上記差分画像を、複数回分加算して生成する積分手段を備えるようにしてもよい。

この構成では、複数回分のフレームを積分して出力することが前提の撮像装置では、従来の撮像装置の２倍のフレームレートで差分画像を出力することができる。即ち、この構成の撮像装置は、タイミング信号と同じ周期で差分画像を出力するので、従来のように照明部のオン、オフの２回の撮像をセットにして差分画像を出力する撮像装置と同一回数、合成するのであれば、その２倍のフレームレートで差分画像を出力することができる。

本発明によれば、差分画像を用いて撮像画像から自然光などの外乱光をキャンセルする撮像装置において、簡易な構成で撮像素子のフレームレートで差分画像を生成することができる。

図１〜図７を参照して、第１実施形態の撮像装置１について説明する。

図１は、撮像装置１の構成を表している。撮像装置１は、照明２、カメラ３、タイミング発生回路４、照明制御回路５、画像処理回路６を備える。なお、照明２、照明制御回路５は、合わせて、本発明の「照明部」に相当する。タイミング発生回路４は、本発明の「タイミング発生回路」に相当する。

照明２は、可視光、赤外光、電波のいずれかを発する。なお、以下、これら可視光、赤外光、電波を総称して便宜的に「光」と称する。本願では、カメラ３に入力して画像に変換可能な電磁波はすべて「光」に含まれるものとする。照明２は、例えばＬＥＤとすることができる。照明２は、カメラ３の撮像方向と同じ方向を向いて備えられ、被写体１０１に対し、光を照射する。

カメラ３は、内部にＣ−ＭＯＳセンサなどの画像素子、シャッタを備え、被写体１０１を所定のサンプリングレートで動画として撮像し、デジタル形式の画像（以下、「撮像画像」と称する）を出力する。

カメラ３には、照明２のみならず、太陽１０２等の外乱光で被写体１０１（例えば顔）に反射した光が入射する。カメラ３は、露光時間設定部３１を備え、設定部３１は、太陽１０２等の外部の明るさに応じて、シャッタが開いている露光時間を調整し、露光時間をカメラ３に設定する。カメラ３は、露光時間設定部３１が設定した露光時間に基づいて、シャッタを閉じる。

なお、以下では、このような露光時間などの、カメラ３が被写体を撮像する際に必要な条件を適宜「撮像条件」と称する。撮像条件には、少なくとも露光時間の調整を含み、場合により、絞りの調整その他を含めてもよい。

また、この露光時間設定部３１は、本発明の「撮像条件設定手段」に相当する。

露光時間設定部３１により、カメラ３は、撮像条件を調整し、撮像画像の輝度を適正にする。例えば、撮像した画像が暗い場合には、次のサンプリングレートでは、カメラ３の制御機構は、露光時間を長くして撮像画像の輝度を上げるような調整が可能であるし、逆に露光時間を短くして、撮像画像の輝度を抑えることも可能である。ただし、フレーム期間（後述で定義する）を一定に保つ必要性から、露光時間を１フレーム期間内に収める必要がある。

ここで、露光時間設定部３１が撮像画像の輝度を調整するには、前提として、撮像装置１が撮像画像の明るさを測定する必要がある。その測定方法は、外部に明度センサを設けるよりも、カメラ３が撮像した画像に基づいて行うのが一般的である。具体的には、カメラ３を部品として購入した場合、カメラ３内部に露光時間設定部３１が設けられている場合があり、それに基づいて露光時間を調整してもよい。また、補正回路６２が補正する場合のパラメータや補正量によって露光時間を調整してもよい。この場合には、露光時間を調整する構成をタイミング発生回路４または画像処理回路６に付加してもよい。この場合の当該構成も「撮像条件設定手段」に相当する。

タイミング発生回路４は、発振器、カウンタなどを備え、タイミング信号（後述、図３参照を生成する）。タイミング信号は、カメラ３がシャッタを開くタイミングを定めるパルスである。撮像タイミングは、厳密にはこのパルスのエッジで定められる。カメラ３は、タイミング信号のエッジを検出すると、カメラ３のシャッタを開く。なお、本願において、カメラ３が本来出力できるフレームレートとは、単位時間あたりに、カメラ３が撮像した撮像画像の数とする。また、動画のフレーム期間は、タイミングパルスの立ち上がりエッジと次のタイミングパルスの立ち上がりエッジの間隔とする。

照明制御回路５は、１フレーム期間ごとに、交互にＨＩ、ＬＯＷを繰り返すパルス状のＬＥＤ信号を生成する。また、照明制御回路５は、定電流源と電流制御用のトランジスタまたはＦＥＴを備え、トランジスタ、ＦＥＴは、このＬＥＤ信号を入力して、照明２の電源のオン、オフを繰り返す。これにより、照明２の電源のオンの時間帯、オフの時間帯は、１フレーム期間ごとに交互に切り換わる。

画像処理回路６は、高速で画像処理をするためのプロセッサ（ＤＳＰ、デジタルシグナルプロセッサ）である。画像処理回路６は、画像保存メモリ６１、補正回路６２、差分回路６３を備える。これにより、画像処理回路６は、カメラ３が撮像した画像について各々輝度の補正を行い、隣接したサンプリングタイムで撮像された撮像画像同士の差分画像を差分回路６３より出力する。

画像保存メモリ６１は、カメラ３が撮像した撮像画像のうちの最近の２枚を一時的に保存するフレームメモリ（またはバッファ）である。画像保存メモリ６１は、本発明のフレームメモリに相当する。

補正回路６２は、カメラ３が撮像した画像の輝度を補正する。補正値は、具体的には、撮像画像の各画素の輝度の値を、カメラ３が露光していた時間に基づいて定めたゲインを掛け算または割り算して求める。撮像画像がＲＧＢ形式とすれば、ＲＧＢの値が大きいほど輝度が高くなる。例えば、補正後のＲの輝度は、Ｒに対し所定のゲインを掛け算して求めることができる。なお、補正回路６２による補正方法の詳細は後述する。

差分回路６３は、補正回路６２で処理された補正画像同士を引き算して、差分画像を生成する。この差分画像の生成は、タイミング信号の周期と同じ周期で（フレームレートで）行う。

次に、補正回路６２、差分回路６３、露光時間調整部３１の作用および補正回路６２の補正方法についてより詳細に説明する。

差分回路６３で出力する画像は、最近の撮像画像２枚であって、隣接したフレーム期間で撮像された画像の差分画像である。ここで、照明２は、撮像と同期して交互にオン、オフを繰り返しているので、隣接したフレームの差分画像は、常に、照明２を照射した明るい状態と、照射していない暗い状態との差分画像になる。この差分画像によれば、太陽１０２の外乱光の影響をキャンセルすることができ、照明２を被写体１０１に照射して反射した光に基づく撮像画像のみを取り込むことができる。このように、補正回路６２が隣接するフレーム期間で撮像された画像同士を差分すれば、タイミング信号ごとに外乱光をキャンセルした画像が得られることになる。

しかし、外乱光を効果的にキャンセルするには、照明２が上記光をオンにしたとき、オフにしたときの撮像条件を互いに同じにするのが望ましい。本実施形態では、差分回路６３は、サンプリングレートごとに差分画像を出力するから、（オン，オフ）１セットのみならず、オン，オフ，オン，オフ，・・・と連続する状態で、撮像条件を常に同じ条件にするのが望ましいことになる。一方、太陽１０２等の外乱光の強度は刻々変化するから、撮像素子の感度の許容範囲から外れないように、露光時間設定部３１は撮像条件を調整しなければならない。

そこで、本実施形態では、外乱光に対する調整には、露光時間設定部３１による露光時間の調整を用い、撮像画像の撮像条件を擬似的に一定にするために、補正回路６２を用いる。ここで「擬似的」とは、ハードウェア的にはカメラ３の露光時間調整部３１が、撮像条件をフレーム期間ごとに調整するので、本来は、撮像条件を一定にすることはできないが、差分回路６３に入力する前の差分する画像同士の撮像条件を補正回路６２により、差分前にあたかも一定にすることをいう。

露光時間設定部３１は、撮像素子の感度の許容範囲外（例えば白焼け、黒の塗りつぶしの画像）にならないよう、または適正輝度で撮像できるよう、露光時間を調整する。この調整は、光の（オン，オフ）１セットを共通に行うのではなく、光のオン，オフにつき個別に行う。具体的には、照明２のオンの時、オフの時で別々に予め撮像条件を設定していてもよいし、外部の光の状態に応じて設定してもよいし、所定パルスごと、所定時間ごとに設定してもよい。

露光時間設定部３１が露光時間を調整すると、その調整毎に撮像条件が異なることになり、光のオン，オフのときで互いに撮像条件が異なってしまう。そこで、補正回路６２は、差分回路６３に画像を入力する前に、輝度を補正する。これにより、補正回路６２は、差分回路６３で差分する前の撮像画像が、擬似的に一定の撮像条件（露光時間、その他絞り等）で撮像した画像になるようにする。露光時間と輝度はおおむね比例するから、補正回路６２は、各画素の輝度をカメラ３が露光した露光時間の逆数を積算した値に補正する。

例えば、カメラ３が出力する画像データがＲＧＢ表色系であるとする。ＲＧＢ表色系は、ＲＧＢの値が大きいほど輝度が高くなる。よって、ＲＧＢのうちの例えばＲの値の補正は、補正したＲの値をＲ’、比例定数Ａ、露光時間Ｔ、輝度Ｒ、補正後の輝度Ｒ’として、
Ｒ’＝Ｒ×Ａ／Ｔ
と算出することができる。

なお、差分回路６３において、輝度を補正した画像を差分できればよく、画像処理回路６は、その限りでどのように構成してもよい。例えば、補正回路６２は、画像保存メモリ６１に記憶したものを補正してもよいし、補正回路６２が補正したものを補正回路６２が記憶してもよい。以下の実施例１〜３でその具体例を示す。

以下、図２〜図７を用いて、図１に示した撮像装置１の画像処理回路６の実施例１〜３について説明する。図２、図３は、実施例１の構成、タイミングチャートを、図４、図５は、実施例２の構成、タイミングチャートを、図６、図７は、実施例３の構成、タイミングチャートを、それぞれ示している。なお、図１で示した構成と同じ部分については、以上の説明を準用する。また、以下の説明で（）内はタイミングチャートで示す画像の例を表すものとする。

（実施例１）
図２に示すように、実施例１の撮像装置１Ａは、画像処理回路６の具体例として画像処理回路６Ａを備える。画像処理回路６Ａは、第１のフレームメモリ６１１、第２のフレームメモリ６１２、および各メモリ専用の補正回路６２１、６２２、差分回路６３を備える。

図３に示すように、照明２は、タイミング信号と同期して、照明源であるＬＥＤの信号（ＬＥＤ信号）のオン、オフを繰り返す。カメラ３は、タイミング信号と同期して、撮像を開始する。次のタイミング信号に同期して、画像処理回路６Ａは、カメラ３が撮像した最新の画像を第１のフレームメモリ６１１に入力する（ＯＮ１画像）。次のフレーム期間で、回路６Ａは、第１のフレームメモリ６１１（ＯＮ１画像）の内容を第２のフレームメモリ６１２に移動させ、新たにカメラ３が撮像した画像（ＯＦＦ１画像）を第１のフレームメモリ６１１に入力する。つまり、メモリ６１１には最新の画像が入力され、第２のフレームメモリ６１２には、この最新の画像のフレーム期間と隣接する、１つ前のフレーム期間の補正画像が入力される。補正回路６２１、補正回路６２２は、それぞれ、第１のフレームメモリ６１１、第２のフレームメモリ６１２の内容について、上述したように輝度を補正する。差分回路６３は、第１のフレームメモリ６１１、第２のフレームメモリ６１２の内容について補正された補正画像間で差分（ＯＮ１補正画像−ＯＦＦ１補正画像）をとり、この差分画像を出力する。このように隣接したフレーム期間の撮像画像同士の差分画像は、常に、上記した照明２がオンの時間帯に撮像した画像、オフの時間帯に撮像した画像の差分になる。差分画像のネガ、ポジの状態が各々一定になるよう、画像処理回路６Ａは、常に、照明２がオンの時に撮像した撮像画像から、照明２がオフの時に撮像した撮像画像を引き算する。図３に示すように、差分回路６３は、ＯＮ１補正画像−ＯＦＦ１補正画像、ＯＮ２補正画像−ＯＦＦ１補正画像・・・を出力する。

（実施例２）
図４に示すように、実施例２の撮像装置１Ｂは、画像処理回路６の具体例として画像処理回路６Ｂを備える。画像処理回路６Ｂは、第１のフレームメモリ６１１、第２のフレームメモリ６１２、補正回路６２３、差分回路６３を備える。

図５に示すように、照明２は、タイミング信号と同期して、ＬＥＤ信号のオン、オフを繰り返す。カメラ３は、タイミング信号と同期して、撮像を開始する。画像処理回路６Ｂは、カメラ３が撮像した最新の画像を第１のフレームメモリ６１１に入力する（ＯＮ１画像）。次のフレーム期間で、回路６Ｂは、第１のフレームメモリ６１１（ＯＮ１画像）の内容を第２のフレームメモリ６１２に移動させると共に、第１のフレームメモリ６１１の画像を撮像するのに用いた撮像条件を補正回路に入力する。また、画像処理回路６Ｂは、新たにカメラ３が撮像した画像（ＯＦＦ１画像）をメモリ６１１に入力する。つまり、メモリ６１１、補正回路６２３には最新の画像が入力され、メモリ６１２には、この最新の画像のフレーム期間と隣接する、１つ前のフレーム期間の補正画像が入力される。補正回路６２３は、メモリ６１２の内容についてのみ、上述したように輝度を補正する。差分回路６３は、メモリ６１１内の撮像画像、メモリ６１２内の補正画像との間で差分（ＯＮ１補正画像−ＯＦＦ１画像）をとり、この差分画像を出力する。差分画像は、常に、上記した照明２がオンの時間帯に撮像した画像、オフの時間帯に撮像した画像の差分になる。差分画像のネガ、ポジの状態が各々一定になるよう、画像処理回路６Ｂは、常に、照明２がオンの時間帯に撮像したものから、照明２がオフの時間帯に撮像した撮像画像の差を引き算する。図５に示すように、差分回路６３は、ＯＮ１補正画像−ＯＦＦ１画像、ＯＮ２画像−ＯＦＦ１補正画像・・・を出力する。

実施例２によれば、第１のフレームメモリ６１１、第２のフレームメモリ６１２の片方しか補正処理をしないので、別段の高速な処理をしなくても、実施例１のように、補正回路を２つ設ける必要がない。したがって、画像処理回路６Ｂを安価かつ簡易に構成できる。このように一方だけ補正する構成を実現するためには、照明２の光を当てている時間帯それぞれ、または照明２の光を当てていない時間帯それぞれのいずれか一方については、露光時間調整部３１は、撮像条件を一定にする。例えば、照明２の光を当てている時間帯それぞれについて、撮像画像に白焼けが生じにくいように、露光時間調整部３１は、光を当てている各時間帯に共通して、露光時間その他の撮像条件をある一定の短い値に設定する。このようにすれば、照明２の光がオンの時間帯には、カメラ３は、適正輝度で撮像できるから、補正が不要になる。他方、光を当てていない時間帯それぞれについては、露光時間調整部３１は、外部の光の強度に応じて撮像条件を調整する。この場合、補正回路６２３は、光を当てていない時間帯に撮像した画像の撮像条件を、それぞれ、光を当てている時間帯に設定した一定の撮像条件と擬似的に同じになるように補正する。この補正は、カメラ３が実際に撮像した時に設定された撮像条件に応じて行う。また、撮像条件は、例えば、第１のフレームメモリ６１１のファイルに撮像条件を記述しておき、この条件を入力してもよい。

逆に、照明２の光を当てていない時間帯それぞれについて、撮像画像が暗くならないように、露光時間調整部３１は、露光時間をある一定の長い値に設定してもよい。照明２の光がオフの時間帯に撮像した画像には、適正輝度で撮像できるから、補正が不要になる。この場合、補正回路６２３は、光を当てていない時間帯に撮像した画像の撮像条件を、光を当てている時間帯に設定した一定の撮像条件と擬似的に同じになるように補正する。

なお、この実施例２では、露光時間調整部３１は、上記他方の時間だけ、撮像条件を一定に設定した。しかし、露光時間調整部３１は、照明２のオンの時間帯、オフの時間帯それぞれを別々の一定の撮像条件に設定してもよい。この場合には、露光時間調整部３１は、オンの時間帯、オフの時間帯のいずれか一方の撮像条件についてのみ、他方の撮像条件と同じになるように、一律に同じ補正を行う。

（実施例３）
図６に示すように、実施例２の撮像装置１Ｃは、画像処理回路６の具体例として画像処理回路６Ｃを備える。画像処理回路６Ｃは、第１のフレームメモリ６１１、第２のフレームメモリ６１２、補正回路６２４、差分回路６３を備える。照明２は、タイミング信号と同期して、照明源であるＬＥＤ信号のオン、オフを繰り返す。カメラ３は、タイミング信号と同期して、撮像を開始する。画像処理回路６Ｃは、カメラ３が撮像した最新の画像を補正回路６２４に入力する。また、補正回路６２４で補正済みの画像（補正画像）を第１のフレームメモリ６１１に入力する（ＯＮ１補正画像）。

図７に示すように、次のフレーム期間で、画像処理回路６Ｃは、第１のフレームメモリ６１１（ＯＮ１補正画像）の内容を第２のフレームメモリ６１２に移動させる。また、画像処理回路６Ｃは、新たにカメラ３が撮像し、補正回路６２４が補正した補正画像（ＯＦＦ１補正画像）を第１のフレームメモリ６１１に入力する。つまり、第１のフレームメモリ６１１には最新の画像の補正画像が入力され、第２のフレームメモリ６１２には、この最新の画像のフレーム期間と隣接する、１つ前のフレーム期間の補正画像が入力される。差分回路６３は、第１のフレームメモリ６１１、第２のフレームメモリ６１２の内容の補正画像間で差分（ＯＮ１補正画像−ＯＦＦ１補正画像）をとり、この差分画像を出力する。差分画像は、常に、上記した照明２がオン、オフの時に撮像した画像の差分になる。差分画像のネガ、ポジの状態が各々一定になるよう、差分回路６３は、常に、照明２がオンの時間帯に撮像したものから、照明２がオフの時間帯に撮像した撮像画像の差を引き算する。例えば、図７に示すように、差分回路６３は、ＯＮ１補正画像−ＯＦＦ１補正画像、ＯＮ２補正画像−ＯＦＦ１補正画像・・・を出力する。

実施例３によれば、予め補正済みの画像を順次第１のフレームメモリ６１１、第２のフレームメモリ６１２へ移動させるので、別段の高速な処理をしなくても、実施例１のように、補正回路を２つ設ける必要がない。したがって、画像処理回路６を安価かつ簡素に構成できる。

次に、図８、図９を用いて、第１の実施形態の応用に係る第２の実施形態の撮像装置１０について説明する。図８は、撮像装置１０の構成を表している。図９は、補正テーブル６４の内容の例を表している。第２実施形態は、第１実施形態、その実施例１〜３それぞれに対し、応用可能である。補正テーブル６４以外の構成については、第１実施形態、その実施例１〜３と同じであり、同一の符号を用いて以上の説明を準用する。

図８に示すように、画像処理回路６０は、補正回路６２に接続された補正テーブル６４を備える。補正回路６２は、補正時に補正テーブル６４を参照し、輝度の補正係数（ゲイン定数）を定め、各画素の輝度を補正係数を乗ずる（または補正係数で除算する）。補正テーブル６４は、第１実施形態で説明した補正をより正確にするものである。図１０に示すように、補正テーブル６４の具体的な内容は、露光時間と補正係数との関係を示す。補正係数は、具体的には補正回路６２が補正する輝度のゲイン係数である。この例では、差分回路６３は、各画素の輝度を補正係数で除算して補正する。

第１実施形態では、露光時間が、撮像画像の輝度と比例するとして、補正回路６２は、各画素の輝度を露光時間で除算して補正した。確かにこれらは比例するものとして近似できるが、厳密には比例にはならない。カメラ３がシャッタを開いている時間には、時間遅れがあったり、カメラ３内部のＣ−ＭＯＳの特性上、光と光電電圧との関係が非線形であったりするからである。そこで、差分回路６３は、露光時間と補正係数を対応付けた離散値の補正テーブル６４を用いて、補正係数を取得する。離散値の間については、差分回路６３は、補正テーブル６４の値を補間して算出する。この補間は、直線補間でもよいし、曲線で近似してもよい。例えば、露光時間が１．５秒であれば、露光時間１ｍ秒、２ｍ秒の時の補正係数１、１．８を補間して、（１＋１．８）/２で算出することができる。

なお、補正テーブル６４は、必ずしもＳＱＬ等のデータベースおよびそのテーブルで構成する必要はなく、１対１で参照できるデータであればよい。例えば、テキストファイル、バイナリファイルでもよい。

以上の第１、第２の実施形態について補足する。

以上の第１、第２の実施形態の応用として、外乱光の強度が撮像素子の感度の許容範囲内であれば、露光時間等の撮像条件を一定にする構成も可能である。つまり、補正回路６２による補正を行うと、色調が損なわれるなど、画質が低下する虞があるので、輝度の調整をできるだけカメラ３で行い、補正を最小限にすることが望ましい。しかし、以上の第１、第２実施形態では、外乱光に応じて、撮像条件（露光時間等）を変動させ、差分画像生成時に差し引きする画像同士の撮像条件が擬似的に一定になるよう、この変動に対し補正を行っている。したがって、補正を最小限にするため、周囲の明るさが一定許容範囲内であれば、撮像条件を一定にするようにしてもよい。この範囲は、その一定にした撮像条件で適正輝度で撮像できる範囲とする。この実施形態では、この許容範囲外である場合にのみ、露光時間調整部３１が露光時間を調整して、補正回路６２がこの露光時間に対して上記補正をするようにする。このようにすれば、上記感度の許容範囲内の場合、撮像装置は、補正が必要でなくなり、画質の低下を防ぐことができる。

以上の図１等の説明では、機能ごとに分離したブロックで説明したが、実装上は、これらの機能のうち、いずれかの複数の機能が一体として構成してもよいし、一つのブロックを複数に分離して構成してもよい。例えば、第１のフレームメモリ６１１、第２のフレームメモリ６１２は、別々の構成としているが、実装上は同一のメモリとして、番地、区画を割り振ってもよいし、動的に番地を割り当ててもよい。画像処理回路６自体を１つの計算チップとして、画像処理回路６内をプログラムで構成してもよい。この場合には、画像処理回路６内部の各構成は、物理的には同じものになる。また、画像処理回路６の内部の構成について別々に計算回路を設けてもよい。さらに、カメラ３でなく、タイミング発生回路４が露光時間を定めてもよいし、カメラ３、タイミング発生回路４のコントローラが一体でもよいし、タイミング発生回路４、照明制御回路５、画像処理回路６のいずれか２つ以上または全部が一体でもよい。

また、実施例１〜３では、最新の撮像画像、または補正画像を第１のフレームメモリ６１１に入力するとしたが、第１のフレームメモリ６１１、第２のフレームメモリ６１２交互に入力するようにしてもよい。画像処理回路６では、補正した画像の差分が得られればよく、本発明は以上の実施例１〜３に限定されない。例えば、画像保存メモリ６１は、差分回路６３の差分演算に必要な限りで備えればよく、必ずしも必須ではない。このメモリの代替手段としては画像処理回路６が画像のビット信号を遅延して、差分回路６３に入力して差分演算をしてもよい。

また、以上のすべての実施形態で、カメラ３は、露光時間に限らず、絞りその他により撮像条件を定め、撮像段階で画像を調整してもよい。この場合には、補正回路６２は、その調整を考慮に入れて、撮像条件が一定になるように補正する。この構成も、本発明の「撮像条件設定手段」に相当する。
タイミング発生回路４は、照明２の照明のオン、オフ、撮像タイミングを定めることができればよい。例えば、タイミング信号は、図３等に示したインパルス状のものでなくてもよく、矩形波の連続でもよい。この信号のエッジは、立ち上がり、立下りいずれでもよい。また、照明２は被写体に光を当てることができればよく、ＬＥＤに限らない。

本発明は、差分画像を用いて撮像画像から自然光などの外乱光をキャンセルする撮像装置に応用できる。例えば、車両に搭載し、運転者の表情を察知して、眠気の警告を出す顔認識システムや、車両周囲の障害物等を検出するレーダや、車庫入れの補助をする装置や、交通の混雑状況を報告する路面監視装置等にも応用できる。

本発明の第１実施形態に係る撮像装置の構成 本発明の第１実施形態に係る撮像装置の実施例１の構成 本発明の第１実施形態に係る撮像装置の実施例１のタイミングチャート 本発明の第１実施形態に係る撮像装置の実施例２の構成 本発明の第１実施形態に係る撮像装置の実施例２のタイミングチャート 本発明の第１実施形態に係る撮像装置の実施例３の構成 本発明の第１実施形態に係る撮像装置の実施例３のタイミングチャート 本発明の第２実施形態に係る撮像装置の構成 本発明の第２実施形態に係る撮像装置の補正に用いる補正テーブル 従来の差分画像を出力する撮像装置のタイミングチャート

符号の説明

１…撮像装置
２…照明
３…カメラ
３１…露光時間設定部
４…タイミング発生回路
５…照明制御回路
６…画像処理回路
６１…画像保存メモリ
６１１…第１のフレームメモリ
６１２…第２のフレームメモリ
６２…補正回路
６３…差分回路
６４…補正テーブル
１０１…被写体
１０２…太陽

Claims (7)

1. 被写体を動画として撮像する撮像装置において、
   被写体を撮像する撮像部と、
   前記撮像部がシャッタを開くタイミングを定める、タイミング信号を出力するタイミング発生回路と、
   前記撮像部の撮像方向に向けて光を照射する照明部であって、前記タイミング信号に合わせて、交互に前記光をオン、オフに切り換える照明部と、
   前記撮像部が撮像する撮像画像が適正輝度になるように、露光時間を含む撮像条件を設定する撮像条件設定手段と、
   前記撮像画像の輝度の補正を行う補正手段と、
   前記タイミング信号の隣接する周期において前記撮像部が撮像した撮像画像についてそれぞれ前記補正がなされたものの、互いの差分画像を生成する差分画像生成手段と、を備え、
   前記撮像条件設定手段は、前記撮像画像が、前記照明部の光がオンの時間帯、オフの時間帯のいずれに撮像されたかに関わらず、前記タイミング信号ごとに個別に撮像条件を調整し、
   前記補正手段は、前記撮像部が撮像した各撮像画像の撮像条件が前記差分画像の生成の際に一定になるように、前記撮像画像の輝度について補正を行い、
   前記差分画像生成手段は、前記タイミング信号と同じ周期で、前記差分画像を生成することを特徴とする撮像装置。
2. 前記撮像装置は、前記撮像部により撮像した撮像画像のうち、最近の２枚の撮像画像を記憶するそれぞれ第１のフレームメモリと第２のフレームメモリをさらに備え、
   前記補正手段は、前記第１のフレームメモリ、前記第２のフレームメモリが記憶した最近の２枚の撮像画像について、それぞれ補正を行い、
   前記差分画像生成手段は、前記第１のフレームメモリ、前記第２のフレームメモリに記憶された撮像画像に対しそれぞれ前記補正手段が補正した補正画像について、前記差分画像を生成することを特徴とする請求項１に記載の撮像装置。
3. 被写体を動画として撮像する撮像装置において、
   被写体を撮像する撮像部と、
   前記撮像部がシャッタを開くタイミングを定める、タイミング信号を出力するタイミング発生回路と、
   前記撮像部の撮像方向に向けて光を照射する照明部であって、前記タイミング信号に合わせて、交互に前記光をオン、オフに切り換える照明部と、
   前記撮像部により撮像した撮像画像のうち、最近の２枚の撮像画像を記憶する第１のフレームメモリと第２のフレームメモリと、
   前記撮像の撮像部が撮像する撮像画像が適正輝度になるよう、露光時間を含む撮像条件を設定する撮像条件設定手段と、
   前記撮像画像の輝度の補正を行う補正手段と、
   前記タイミング信号の隣接する周期において前記撮像部が撮像した撮像画像についてそれぞれ前記補正がなされたものの、互いの差分画像を生成する差分画像生成手段と、を備え、
   前記撮像条件設定手段は、前記照明部の光がオンの時間帯、前記照明部の光がオフの時間帯のいずれか一方における撮像条件を、前記撮像画像が適正輝度になるように調整すると共に、他方の時間帯における撮像条件を一定に設定し、
   前記補正手段は、前記一方の時間帯における撮像条件が、前記他方の時間帯における撮像条件と、前記差分画像の生成の際に同じになるように前記補正を行い、
   前記差分画像生成手段は、前記補正手段により補正された補正画像と前記補正がされていない撮像画像とについて、前記タイミング信号と同じ周期で前記差分画像を生成することを特徴とする撮像装置。
4. 前記撮像装置は、画像を記憶する第１のフレームメモリと第２のフレームメモリをさらに備え、
   前記補正手段は、前記撮像部により撮像した撮像画像について補正を行い、
   前記撮像装置は、以下の（Ａ）ないし（Ｃ）の処理を実行することを特徴とする撮像装置。
   （Ａ）前記補正手段がすでに補正した最近の補正画像を、前記第１のフレームメモリに記憶させ、
   （Ｂ）前記第１のフレームメモリに記憶された前記補正画像を前記第２のフレームメモリに移動させると共に、前記補正手段が新たに補正した最近の補正画像を前記第１のフレームメモリに記憶させて、これにより、前記補正手段により補正した最近の２枚の補正画像を前記第１のフレームメモリ、第２のフレームメモリに記憶させ、
   （Ｃ）前記第１のフレームメモリ、第２のフレームメモリに記憶された撮像画像について差分画像を生成する。
5. 前記補正手段は、露光時間と輝度の補正量を対応付けた補正データを記憶する記憶部を備え、前記記憶部内の補正データに基づいて、輝度を補正することを特徴とする請求項１に記載の撮像装置。
6. 前記撮像条件設定手段は、周囲の明るさが予め定めた範囲の場合には、前記撮像条件を一定にし、前記範囲を超える場合に限り、周囲の明るさに応じて、前記撮像条件を調整し、
   前記補正手段は、前記撮像条件が調整された撮像画像についてのみ、前記補正を行うことを特徴とする請求項１に記載の撮像装置。
7. 前記差分画像生成手段は、前記タイミング信号と同じ周期で生成された前記差分画像を、複数回分加算して生成する積分手段を備えることを特徴とする請求項１または請求項２に記載の撮像装置。

Images