JP2018050113A - 撮像装置 - Google Patents

Abstract

【課題】ＬＥＤ信号機の点灯状態を確実に捉える。【解決手段】二つの異なる露光時間で車両の前方を撮像し、長時間露光画像ＩＬ、及び短時間露光画像ＩＳを取得する撮像素子１３と、長時間露光画像ＩＬ、及び短時間露光画像ＩＳを比較し、短時間露光画像ＩＳから輝度が低い状態のＬＥＤ信号機がある画像範囲を検出する信号機検出部１６と、信号機検出部１６でＬＥＤ信号機がある画像範囲を検出したときに、短時間露光画像ＩＬにおけるＬＥＤ信号機がある画像領域を、長時間露光画像ＩＳにおけるＬＥＤ信号機がある画像領域に置き換える画像合成部１７と、を備える。【選択図】図１

Description

本発明は、撮像装置に関するものである。

ＬＥＤ信号機は、交流電源を全波整流した駆動電圧によって点灯しているため、交流電源が６０Ｈｚの地域では１２０Ｈｚで点滅している。一方、ドライブレコーダは、約６０Ｈｚのフレーム周波数で撮像しているものが多い。したがって、ＬＥＤ信号機の消灯タイミングとドライブレコーダの撮像タイミングとが一致すると、ドライブレコーダの映像において、ＬＥＤ信号機が消灯しているかのような状態が継続してしまう。特許文献１では、ドライブレコーダのフレーム周波数を６０Ｈｚからオフセットすることで、ＬＥＤ信号機が消灯しているかの様な状態の継続時間を短縮することを提案している。

特開２００９−１８１３３９号公報

正規のフレーム周波数からオフセットすると、出力信号の周波数も変化するため、モニタの対応可能範囲を超えるとモニタで画像を表示できなくなってしまう。また、どこかのタイミングでＬＥＤ信号機の消灯とドライブレコーダの撮像とが一致することは避けられないため、ある瞬間の静止画像において、ＬＥＤ信号機の点灯状態を確認できない、といった事態を招く可能性がある。
本発明の課題は、ＬＥＤ信号機の点灯状態を確実に捉えることである。

本発明の一態様に係る撮像装置は、二つの異なる露光時間で車両の前方を撮像し、長時間露光画像及び短時間露光画像を取得する撮像素子と、前記長時間露光画像と記短時間露光画像を比較しＬＥＤ信号機がある画像領域を検出する信号機検出部と、前記信号機検出部で前記ＬＥＤ信号機がある画像領域を検出したときに、前記短時間露光画像における前記ＬＥＤ信号機がある画像領域を前記長時間露光画像における前記ＬＥＤ信号機がある画像領域に置き換える画像合成部と、を備える。

本発明によれば、短時間露光画像で輝度の低い状態のＬＥＤ信号を検出したときに、短時間露光画像における同ＬＥＤ信号機の画像領域を、長時間露光画像におけるＬＥＤ信号機の画像領域に置き換えることで、ＬＥＤ信号機の点灯状態を確実に捉えることができる。

撮像装置を示す図である。 ＬＥＤ信号機と露光時間との関係を示すタイムチャートである。 ハイダミックレンジ合成について説明する図である。

以下、本発明の実施形態を図面に基づいて説明する。なお、各図面は模式的なものであって、現実のものとは異なる場合がある。また、以下の実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであり、構成を下記のものに特定するものでない。すなわち、本発明の技術的思想は、特許請求の範囲に記載された技術的範囲内において、種々の変更を加えることができる。

《実施形態》
《構成》
図１は、撮像装置を示す図である。
撮像装置１１は、例えばドライブレコーダのような車載用途への応用が考えられる。ドライブレコーダの場合、事故発生時のＬＥＤ信号機の状況も事故の検証や分析に使用されるため、ＬＥＤ信号機の点灯状態を確実に捉えることが望まれる。撮像装置１１は、レンズ１２と、撮像素子１３と、信号処理部１４と、メモリ部１５と、信号機検出部１６と、画像合成部１７と、制御部１８と、エンコーダ１９と、を備える。

レンズ１２は、入射光を撮像素子１３上に結像させる。
撮像素子１３は、レンズ１２によって結像された像を光電変換する。ここでは、二つの異なる露光時間で車両の前方を撮像し、長時間露光画像ＩＬ、及び短時間露光画像ＩＳを取得する。長時間露光画像ＩＬの露光時間は、予め定めた時間である。短時間露光画像ＩＳの露光時間は、光量によって調整される時間であり、明るいほど露光時間を短くし、暗いほど露光時間を長くする。
信号処理部１４は、撮像素子１３が変換した画像信号をゲイン調整やＡ／Ｄ変換、欠陥画素補正などの信号処理を行い、画像データ（ＲＡＷデータ）を生成する。なお、露光時間が不足する場合に、画像データのゲインを上げ調整することもできる。

メモリ部１５は、信号処理部１４が出力する画像データを一時記憶する。
信号機検出部１６は、長時間露光画像ＩＬと短時間露光画像ＩＳとを比較し、短時間露光画像ＩＳからＬＥＤ信号機がある画像領域を検出する。
画像合成部１７は、信号機検出部１６でＬＥＤ信号機がある画像領域を検出したときに、短時間露光画像におけるＬＥＤ信号機がある画像領域を長時間露光画像における同ＬＥＤ信号機がある画像領域に置き換える。
エンコーダ１９は、画像合成部１７が作成した画像を出力形式に合わせたビデオフォーマットに変換して出力する。
制御部１８は、撮像素子１３の撮像タイミングや画像合成部１７の動作を制御する。

次に、露光時間について説明する。
図２は、ＬＥＤ信号機と露光時間との関係を示すタイムチャートである。
図中の（ａ）は１００［Ｖ］、６０［Ｈｚ］の商用交流電源の電圧であり、図中の（ｂ）は商用電源が全波整流された電圧であり、図中の（ｃ）はＬＥＤ信号機の明るさである。ＬＥＤ信号機は、全波整流した電圧が０近傍の値Ｅ０以下のときには非点灯状態となるため、点灯時間Ｔａと非点灯時間Ｔｂとが交互に繰り返され、１２０Ｈｚで点滅している。図中の（ｄ）は撮像素子の露光を示している。フレーム周波数を６０Ｈｚとし、露光時間ＴＥが非点灯時間Ｔｂ以下で、且つ露光タイミングが非点灯時間Ｔｂと同調すると、ＬＥＤ信号機の点灯状態を撮像することができない。

図中の（ｅ）は長時間露光と短時間露光を示している。１／６０秒のうちに、二つの異なる露光時間で撮像しており、長時間露光画像ＩＬを取得するための露光時間ＴＬをＴ１の範囲で設定し、短時間露光画像ＩＳを取得するための露光時間ＴＳをＴ２の範囲で設定する。長時間露光画像を取得するための露光時間ＴＬは、非点灯時間Ｔｂよりも長く、最大約１／６４秒程度である。短時間露光画像ＩＳを取得するための露光時間ＴＳは、非点灯時間Ｔｂよりも短く、最大約１／１０００秒程度である。したがって、短時間露光ではＬＥＤ信号機の点灯状態を捉えられないとしても、長時間露光ではＬＥＤ信号機の点灯状態を確実に捉えることができる。
露光時間ＴＬと露光時間ＴＳとの和は必ずしも１／６０秒とはならず、長時間露光を終了してから短時間露光を開始するまでの間、又は短時間露光を終了してから長時間露光を開始するまでの間には、露光していない期間がある。

次に、ＬＥＤ信号機がある画像領域の検出について説明する。
短時間露光画像ＩＳ内の各画素、あるいは細分化された領域毎に輝度ＬＳを算出する。同様に長時間露光画像ＩＬ内の各画素、あるいは細分化された領域毎に輝度ＬＬを算出する。そして同じ位置にある画素、あるいは細分化された領域の輝度ＬＬと輝度ＬＳについて輝度ＬＬを輝度ＬＳで除算（ＬＬ／ＬＳ）する演算を行う。こうして得られた値Ｌ１と、露光時間ＴＬを露光時間ＴＳで除算（ＴＬ／ＴＳ）した演算結果Ｌ２とを比較する。太陽光等の高速で点滅しない光源で照らさている被写体については、露光時間と輝度は比例関係となり、比較結果はＬ１＝Ｌ２となる。一方、ＬＥＤ信号機の様に商用電源の全波整流で駆動され高速で点滅する被写体は短時間露光画像ＩＳにおいて非点灯あるいは点灯していても輝度が低くなる場合があり、このときは露光時間と輝度は比例関係にはならず、Ｌ１＞Ｌ２となる。この条件を満たす部分をＬＥＤ信号機がある画像領域とする。
尚、短時間露光の期間でＬＥＤ信号機が高輝度で点灯している場合は、Ｌ１＝Ｌ２となり、上記手法ではＬＥＤ信号機がある画像領域は検出されないが、この場合は短時間露光画像ＬＳと長時間露光画像ＬＬのどちらでもＬＥＤ信号機が高輝度で点灯して捉えられているため、ＬＥＤ信号機がある画像領域を検出して後述する処理を行う必要はない。よって検出されずとも問題とはならない。
上記が撮像装置１１の構成である。

《作用》
次に、実施形態の作用について説明する。
ＬＥＤ信号機は、商用電源を全波整流した周波数に同期して点滅している。そのため、ＬＥＤ信号機の非点灯時間Ｔｂと、撮像素子１３の露光期間とが重なると、ＬＥＤ信号機の点灯状態を撮像することができない。交通事故が発生したようなときには、事故当時の状況を検証したり分析したりするために、ドライブレコーダの記録が用いられるため、信号機の点灯状態を確認できない、といった事態は避けたい。

そこで、撮像素子１３にて、二つの異なる露光時間で車両の前方を撮像し、長時間露光画像ＩＬ、及び短時間露光画像ＩＳを取得する。長時間露光画像ＩＬは、少なくともＬＥＤ信号機の非点灯時間Ｔｂよりも長い露光時間ＴＬで撮像した画像である。したがって、短時間露光画像ＩＳではＬＥＤ信号機の点灯状態を捉えられないとしても、長時間露光画像ＩＬではＬＥＤ信号機の点灯状態を確実に捉えることができる。短時間露光画像ＩＳに輝度の低い状態のＬＥＤ信号機が撮像されているか否かは、長時間露光画像ＩＬと短時間露光画像ＩＳとを比較して判断する。尚、長時間露光画像ＩＬにより鮮明にＬＥＤ信号機の点灯状態を捉えるためには、ＬＥＤ信号機の点灯の輝度のピークが含まれる様に長時間露光画像ＩＬを得るための露光時間ＴＬを、ＬＥＤ信号機の点灯の輝度のピークから次のピークまでの時間Ｔｃより長くしてもよい。

ここで前述したＬＥＤ信号機がある画像領域検出について具体的数値を用いて説明すると、例えば、長時間露光画像ＩＬの露光時間ＴＬを１／１２０秒とし、短時間露光画像ＩＳの露光時間ＴＳを１／１２００秒とした場合、露光時間の比（ＴＬ／ＴＳ）Ｌ２はＬ２＝１０となり、太陽光等で照らされている被写体がある画像領域、あるいは短時間露光画像ＩＳにあるＬＥＤ信号機が高輝度で点灯している画像領域については、前述の通り輝度の比（ＬＬ／ＬＳ）Ｌ１はＬ２と等しくなりＬ１＝１０となる。Ｌ１＝Ｌ２のためＬＥＤ信号機がある画像領域として検出されない。一方、短時間露光画像ＩＳに輝度の低い状態のＬＥＤ信号機がある画像領域がある場合、輝度の比（ＬＬ／ＬＳ）Ｌ１はＬ１＞１０となり、また、露光時間の比で決まるＬ２については値の変化はなくＬ２＝１０のままのため、結果Ｌ１＞Ｌ２となりＬＥＤ信号機がある画像領域として検出される。

上記手法で検出されたＬＥＤ信号機がある画像領域については、短時間露光画像ＩＳにおけるＬＥＤ信号機がある画像領域を、長時間露光画像ＩＬにおける同ＬＥＤ信号機がある画像領域に置き換える画像合成処理を行う。こうすることにより、常にＬＥＤ信号機の点灯した画像がエンコーダから出力される。

合成技法の一つにハイダミックレンジ（ＨＤＲ）合成がある。
図３は、ハイダミックレンジ合成について説明する図である。
図中の（ａ）は長時間露光画像、及び短時間露光画像の合成前の出力信号を示す図であり、図中の（ｂ）は長時間露光画像、及び短時間露光画像の合成後の出力信号を示す図である。暗い被写体を撮像するときには長時間露光とし、明るい被写体を撮像するときには短時間露光とする。長時間露光では、明るい領域で出力信号が飽和し、白とびが発生してしまう。そこで、長時間露光画像を基準とし、出力信号が飽和した領域に短時間露光画像を合成して、被写体のダイナミックレンジを拡大した画像を得る。

実施形態でも、露光時間の異なる二つの画像を合成するが、ＨＤＲ合成のように被写体のダイナミックレンジを拡大する目的で使用するのではなく、ＬＥＤ信号機の点灯状態を確実に捉えるために使用する。

なお、上記のような検出手法によれば、例えば商用電源を全波整流し駆動される照明を、誤ってＬＥＤ信号機がある画像領域として検出してしまう可能性が考えられるが、その場合長時間露光画像ＩＬに置き換えられることにより、輝度が上がるだけであり、合成画像が破綻する等の問題は発生しない。
また本発明は長時間露光画像と短時間露光画像を合成することにより、ダイナミックレンジの広い撮像装置を得るという従来の手法を基本としているため、明るい箇所と暗い箇所を同時に捉えることが望まれる、車載用途の撮像装置への適用に好適である。

《応用例》
実施形態では、輝度が低い状態のＬＥＤ信号機がある画像領域を検出する際に、短時間露光画像ＩＳの全体を走査する場合について説明したが、これに限定されるものではない。車両前方を撮像した画像のうち、自車両の走行に関係する直近のＬＥＤ信号機がある画像領域は、ある程度限られた範囲である。したがって、ＬＥＤ信号機がある画像領域を検出する画像範囲を定めておき、その画像範囲だけを走査してもよい。これによれば、演算負荷を軽減することができる。
実施形態では、ドライブレコーダとして使用することを説明したが、これに限定されるものではなく、自動運転にも応用することができる。

以上、限られた数の実施形態を参照しながら説明したが、権利範囲はそれらに限定されるものではなく、上記の開示に基づく実施形態の改変は、当業者にとって自明のことである。

１１ 撮像装置
１２ レンズ
１３ 撮像素子
１４ 信号処理部
１５ メモリ部
１６ 信号機検出部
１７ 画像合成部
１８ 制御部
１９ エンコーダ

Claims (3)

1. 二つの異なる露光時間で車両の前方を撮像し、長時間露光画像及び短時間露光画像を取得する撮像素子と、
   前記長時間露光画像と記短時間露光画像を比較しＬＥＤ信号機がある画像領域を検出する信号機検出部と、
   前記信号機検出部で前記ＬＥＤ信号機がある画像領域を検出したときに、前記短時間露光画像における前記ＬＥＤ信号機がある画像領域を前記長時間露光画像における前記ＬＥＤ信号機がある画像領域に置き換える画像合成部と、を備えることを特徴とする撮像装置。
2. 前記信号機検出部は、
   前記長時間露光画像の輝度を前記短時間露光画像の輝度で除算した値が、前記長時間露光画像の露光時間を前記短時間露光画像の露光時間で除算した値よりも大きい画像領域を、前記ＬＥＤ信号機がある画像領域として検出することを特徴とする請求項１に記載の撮像装置。
3. 前記長時間露光画像は、
   前記ＬＥＤ信号機の非点灯時間よりも長い露光時間で撮像した画像であることを特徴とする請求項１又は２に記載の撮像装置。

Images