JP5759907B2 - 車載撮像装置 - Google Patents

Description

本発明は、車両に搭載し車外の被写体を撮像する車載撮像装置に関する。

従来の車載撮像装置においてコントラストの差がある被写体を撮像する場合、撮像装置のダイナミックレンジを超えると被写体全体を適切に表示できなくなる。これを解決するため例えば特許文献１では、コントラストの大きい状況下でも監視対象をモニタに明確に表示させるため、任意に異なる露光時間の２枚の画像を合成し、１枚の画像として出力する技術が提案されている。

特開２０００−２１７１００号公報

上記特許文献１に記載のダイナミックレンジ処理技術は、短時間露光と長時間露光の２枚の画像を合成するものであるが、それぞれの露光タイミングが異なるために、被写体が高速で動く場合には合成後の被写体画像にブレが発生する。この被写体ブレは、視認性を悪化させるだけでなく、画像認識時の誤認識の原因となってしまう。従来の車載撮像装置では、被写体が高速で動く場合にダイナミックレンジ処理により生じる被写体ブレについて考慮されていなかった。

本発明の目的は、高速で走行する車両からの撮影時や、高速で移動する被写体の撮影時に、被写体ブレがなくかつコントラストの改善が可能な車載撮像装置を提供することにある。

本発明の車載撮像装置は、被写体を撮影する撮像部と、撮影画像の輝度分布を解析する映像解析部と、撮影画像の輝度分布が適正になるよう補正する映像処理部と、車両の走行状態を検出する走行状態検出部と、撮像部と映像処理部を制御する映像制御部とを備える。映像処理部は、露光条件の異なる２枚の画像から１枚の画像を合成するワイドダイナミックレンジ処理（ＷＤＲ処理）と、１枚の画像に対して集中した輝度分布を拡張させるように階調を補正するコントラスト補正処理とが可能であり、映像制御部は、走行状態検出部の検出した走行状態に応じて、映像処理部に対してＷＤＲ処理とコントラスト補正処理とを切り替えて行わせる。

例えば前記走行状態検出部は車両の走行速度を検出する車速センサ部であり、走行速度が閾値Ａを超えるときは映像処理部においてコントラスト補正処理を行い、走行速度が閾値Ａ以下のときは映像処理部においてＷＤＲ処理を行う。

さらに撮影画像から被写体の動きを検出し車両に対する被写体の相対速度を算出する動体解析部を備え、被写体速度が閾値Ｂを超えるときは、車両の走行速度によらず、映像処理部においてコントラスト補正処理を行う。

本発明の車載撮像装置によれば、車両の速度や被写体の速度によらず、視認性が向上し画像認識における誤認識を防止する効果がある。

車載撮像装置の第１の実施例を示すブロック構成図。 実施例１の映像制御部６の制御フローを示す図。 ＷＤＲ処理を説明する図。 コントラスト補正処理を説明する図。 車載撮像装置の第２の実施例を示すブロック構成図。 実施例２の映像制御部６の制御フローを示す図。 車載撮像装置の第３の実施例を示すブロック構成図。 実施例３の映像制御部６の制御フローを示す図。 車載撮像装置の第４の実施例を示すブロック構成図。 実施例４の映像制御部６の制御フローを示す図。 車載撮像装置の第５の実施例を示すブロック構成図。 実施例５の映像制御部６の制御フローを示す図。 車載撮像装置の第６の実施例を示すブロック構成図。 実施例６の映像制御部６の制御フローを示す図。 車載撮像装置の第７の実施例を示すブロック構成図。 実施例７の映像制御部６の制御フローを示す図。 車載撮像装置の第８の実施例を示すブロック構成図。 映像処理部３の内部構成の変形例を示す図。

以下、本発明の各実施例を図面を用いて説明する。

図１は、本発明による車載撮像装置の第１の実施例を示すブロック構成図である。
撮像部１は、被写体からの入射光を集めるためのレンズと、レンズが集めた光を光電変換し画像信号として出力する撮像素子と、電子シャッタ制御部及び利得制御部を有する。映像解析部２は、撮像部１からの撮影画像について、画像の輝度や色に関する分布やヒストグラムの解析を行う。

映像処理部３は、撮影した画像について適正な輝度分布となるように補正する。具体的には、露光条件の異なる２枚の画像から１枚の画像を合成するワイドダイナミックレンジ処理（以下、ＷＤＲ処理）を実施するＷＤＲ処理部４と、１枚の画像に対してコントラスト補正を実施するコントラスト補正処理部５から構成され、いずれかの処理を選択して実施する。なお、ＷＤＲ処理やコントラスト補正処理において、映像解析部２の解析結果を用いる。

車速センサ部７は、当該車載撮像装置が搭載された車両の走行速度を検出する。映像制御部６は、映像解析部２による映像解析結果および車速センサ部７の車速情報に基づき、撮像部１と映像処理部３を制御する。すなわち、撮像部１に制御信号を送り、露光条件（シャッター時間など）を変化させる。また、映像処理部３に制御信号を送り、ＷＤＲ処理とコントラスト補正処理との切り替えを指示する。

図２は、本実施例の映像制御部６の制御フローを示す図である。車速センサ部７で車両の速度（車速）を検出すると（Ｓ１０１）、映像制御部６は車速を閾値速度Ａと比較する（Ｓ１０２）。車速が閾値速度Ａよりも大きい場合には、映像処理部３に対してコントラスト補正処理を実施するように制御する（Ｓ１０３）。車速が閾値速度Ａ以下の場合には、映像処理部３に対してＷＤＲ処理を実施するように制御する（Ｓ１０４）。

ここで、映像処理部３が行うＷＤＲ処理とコントラスト補正処理について説明する。車載カメラなど屋外の太陽光下で撮影する被写体は、輝度差（コントラスト）が非常に大きく信号のダイナミックレンジが大きいシーンが多数存在する。そのようなシーンにおいて通常の撮影条件で撮影すると、被写体やその背景に白とびや黒つぶれが発生し、画像認識時の誤認識の原因となってしまう。そこで本実施例では、ＷＤＲ処理およびコントラスト補正処理により、ダイナミックレンジの大きなシーンに対して、白とびや黒つぶれの発生を抑えるようにしている。

図３は、ＷＤＲ処理を説明する図である。ダイナミックレンジを拡大するＷＤＲ処理にはいくつかの方式が存在するが、ここでは露光条件の異なる２枚の画像から１枚の画像を合成する場合を示す。図では撮影画像の各輝度レベルに対する出現度数（ヒストグラム）を示したもので、（ａ）は露光時間の長い低速シャッタ、すなわち低輝度信号領域１３Ｌに対して階調表現を行った画像であり、（ｂ）は露光時間の短い高速シャッタ、すなわち高輝度信号領域１３Ｈに対して階調表現を行った画像である。（ｃ）は２つの画像を用いて各領域１３Ｌ，１３Ｈの部分（実線の部分）を合成した画像で、低輝度と高輝度の両領域で階調表現が可能となっている。なお、露光タイミングの制御方式としては、長時間露光と短時間露光の両方を１／６０ｓｅｃ内で行い、合成後のＷＤＲ画像を６０フレーム／ｓｅｃで表示する方式と、長時間露光と短時間露光を１／６０ｓｅｃ毎に交互に行い、合成後のＷＤＲ画像を３０フレーム／ｓｅｃで表示する方式などがある。本実施例では前者の６０フレーム／ｓｅｃで表示する方式を用いている。

図４は、コントラスト補正処理を説明する図である。コントラスト補正処理とは、撮影画像の低輝度領域の黒つぶれと高輝度領域の白とびに対して、それぞれ階調を補正するものである。図では撮影画像の各輝度レベルに対する出現度数（ヒストグラム）を示したもので、（ａ）は階調補正前、（ｂ）は階調補正後である。（ａ）では、撮影画像の低輝度領域１４Ｌと高輝度領域１４Ｈの両領域において階調表現が十分になされておらず、黒つぶれや白とびが発生している。これに対し（ｂ）では、輝度分布が集中している低輝度領域と高輝度領域に対し、輝度分布を拡張させるように階調を補正する。これにより輝度分布が拡張され、十分な階調表現がなされた低輝度領域１４Ｌ’と高輝度領域１４Ｈ’に変換できる。なお、コントラスト補正処理は画像が１フレーム入力する毎に実行するものであるから、入力画像のフレームレートと出力画像のフレームレートは等しくなる（例えば両者とも６０フレーム／ｓｅｃ）。

次に、本実施例において車速センサ部７の情報に基づいてＷＤＲ処理とコントラスト補正処理を切り替える理由について述べる。
まずＷＤＲ処理の場合、露光時間の異なる２枚の最適露光画像を合成することでダイナミックレンジを大幅に拡大できるが、合成する短時間露光と長時間露光の個々の露光タイミングが異なるために、被写体が高速で動く場合には被写体ブレが発生するという問題がある。この被写体ブレは、視認性はもとより、画像認識時には誤認識や認識率の低下などの原因となってしまう。

これに対しコントラスト補正処理では、補正処理が１フレームの中で完結しているので、コントラスト補正処理により被写体ブレが発生することはない。しかしながら、ダイナミックレンジの拡大幅の点ではＷＤＲ方式に比較すると劣っている。

そこでこの２方式の特徴を考慮し、以下のようにＷＤＲ処理とコントラスト補正処理を切り替える。
まず車両がある速度（閾値Ａ）以下で低速走行中には、ＷＤＲ処理に切り替える。撮像装置と被写体との相対速度は比較的小さいので、ＷＤＲ処理による映像処理を行っても被写体ブレは発生しにくい。車両が低速で走行する場合は、被写体の明暗差が大きい地下駐車場の出入り口や夜間の見通しが悪い場所のように、被写体に対して特に注意を要するときが多い。このような場合にＷＤＲ処理に切り替えることで、ダイナミックレンジを大幅に改善して白とびや黒つぶれをなくし、視認性や画像認識率の改善が可能となる。

次に車両がある速度（閾値Ａ）を超えて高速走行中には、コントスト補正処理に切り替える。撮像装置と被写体（車両と同一方向に高速に移動する被写体を除く）との相対速度は大きいが、補正処理による被写体ブレの発生がなく、白とびや黒つぶれを改善して視認性や画像認識率の向上が可能となる。

図５は、本発明による車載撮像装置の第２の実施例を示すブロック構成図である。実施例２では、実施例１（図１）の構成において車速センサ部７に代えてシフトレバー検知部８を備えている。シフトレバー検知部８は車両のシフトレバー位置（すなわちギア位置）を検出する。

図６は、実施例２の映像制御部６の制御フローを示す図である。この場合の制御は、シフトレバー検知部８によりギア位置を検出し（Ｓ２０１）、ギア位置が２速以上に設定されているかどうかを判定する（Ｓ２０２）。２速以上であれば、コントラスト補正処理に切り替え（Ｓ２０３）、それ以外の位置（１速、バック位置、ニュートラル位置など）であれば、ＷＤＲ処理に切り替える（Ｓ２０４）。なおＳ２０２におけるギア位置の判定でどのギア位置と比較するかは、車両の性能を考慮して適宜定めれば良い。

本実施例の具体的な効果について説明する。シフトレバーの位置が２速以上でない（１速、バック位置、ニュートラル位置など）ときは、車両が低速で走行する場合が多く、ＷＤＲ処理を実施しても被写体ブレは発生しにくい。特に車両をバック走行するときはドライバーにとって目視確認が困難となりやすいが、ＷＤＲ処理によりダイナミックレンジを大幅に拡大することで視認性が改善する。

図７は、本発明による車載撮像装置の第３の実施例を示すブロック構成図である。実施例３では、実施例１（図１）における車速センサ部７と、実施例２（図５）におけるシフトレバー検知部８の両方を備えている。

図８は、実施例３の映像制御部６の制御フローを示す図である。この場合の制御は、ギア位置が２速以上であって（Ｓ３０２）、かつ車速が閾値Ａを超えている場合（Ｓ３０３）にコントラスト補正処理に切り替えるものである（Ｓ３０４）。これにより、２つの判定（ギア位置、車速）が食い違っている場合に、ＷＤＲ処理を優先して実施させることができる。

図９は、本発明による車載撮像装置の第４の実施例を示すブロック構成図である。実施例４では、実施例１（図１）の構成に動体解析部９を追加している。動体解析部９は撮影画像から被写体の動きを検出し、車両に対する被写体の相対速度を算出する。

図１０は、実施例４の映像制御部６の制御フローを示す図である。この場合の制御は、車速センサ部７で検出した車速と、動体解析部９で算出した被写体速度（車両に対する相対速度）を用いる（Ｓ４０１）。車速が閾値Ａを超えているかを判定し（Ｓ４０２）、また被写体速度が閾値Ｂを超えているかを判定する（Ｓ４０３）。いずれかの判定がＹｅｓであればコントラスト補正処理に切り替え（Ｓ４０４）、両方の判定ともＮｏであればＷＤＲ処理に切り替える（Ｓ４０５）。

本実施例の具体的な効果について説明する。ＷＤＲ処理を行うのは車速が閾値Ａ以下の低速走行中で、かつ被写体の相対速度が閾値Ｂ以下のときであるから、被写体ブレは発生しにくい状況であり、ダイナミックレンジの拡大効果を発揮できる。一方、車速が閾値Ａを超えるとき、または被写体の相対速度が閾値Ｂを超えるときにはコントスト補正処理に切り替えるので、被写体ブレは発生しない。

図１１は、本発明による車載撮像装置の第５の実施例を示すブロック構成図である。実施例５では、実施例４（図９）における動体解析部９を備えるとともに、車速センサ部７に代えてシフトレバー検知部８を備えている。シフトレバー検知部８は実施例２（図５）における機能と同様である。

図１２は、実施例５の映像制御部６の制御フローを示す図である。この場合の制御は、シフトレバー検知部８で検出したギア位置と、動体解析部９で算出した被写体速度（車両に対する相対速度）を用いる（Ｓ５０１）。ギア位置が２速以上に設定されているかを判定し（Ｓ５０２）、また被写体速度が閾値Ｂを超えているかを判定する（Ｓ５０３）。いずれかの判定がＹｅｓであればコントラスト補正処理に切り替え（Ｓ５０４）、両方の判定ともＮｏであればＷＤＲ処理に切り替える（Ｓ５０５）。

本実施例の具体的な効果について説明する。ＷＤＲ処理を行うのはギア位置が低速走行位置であり、かつ被写体の相対速度が閾値Ｂ以下のときであるから、被写体ブレは発生しにくい状況であり、ダイナミックレンジの拡大効果を発揮できる。一方、ギア位置が高速走行位置のとき、または被写体の相対速度が閾値Ｂを超えるときにはコントスト補正処理に切り替えるので、被写体ブレは発生しない。

図１３は、本発明による車載撮像装置の第６の実施例を示すブロック構成図である。実施例６では、実施例４（図９）における動体解析部９と車速センサ部７を備えるとともに、実施例５（図１１）におけるシフトレバー検知部８を備えている。

図１４は、実施例６の映像制御部６の制御フローを示す図である。この場合の制御は、ギア位置が２速以上であって（Ｓ６０２）かつ車速が閾値Ａを超えている場合（Ｓ６０３）、または被写体速度が閾値Ｂを超えている場合（Ｓ６０４）にコントラスト補正処理に切り替える（Ｓ６０５）。それ以外の場合はＷＤＲ処理に切り替える（Ｓ６０６）。本実施例では３つの判定条件を設けており、被写体ブレの発生をより確実に防止できる。

図１５は、本発明による車載撮像装置の第７の実施例を示すブロック構成図である。実施例７では、実施例１（図１）の構成において車速センサ部７に代えて位置情報取得部１０と特定位置情報保持部１１を備えている。映像制御部６は、位置情報取得部１０からの位置情報と特定位置情報保持部１１の保持する特定位置情報を比較して、それらの一致／不一致を判定して映像処理部３を制御する。

位置情報取得部１０は車両の現在位置を取得するもので、例えばＧＰＳ（Global Positioning System）などの位置情報システムを用いる。また特定位置情報保持部１１は、撮影する被写体の明暗差（輝度差）が所定値より大きくなることが想定される位置を特定位置Ｃとして記憶する。ここで明暗差が大きい特定位置Ｃとは、例えばトンネルの出入り口、地下駐車場の出入り口などが相当し、ナビゲーションシステムの地図情報を利用することで特定位置情報保持部１１に記憶させることができる。

図１６は、実施例７の映像制御部６の制御フローを示す図である。位置情報取得部１０により現在位置を検出し（Ｓ７０１）、これを特定位置情報保持部１１の保持する特定位置Ｃと比較する（Ｓ７０２）。現在位置が特定位置Ｃに一致すればＷＤＲ処理に切り替え（Ｓ７０４）、特定位置Ｃに一致しなければコントラスト補正処理に切り替える（Ｓ７０３）。なお、一致／不一致の判定では、特定位置Ｃのみでなくその近傍領域を含めて特定位置Ｃとしても良い。これより、撮影する被写体の明暗差が所定値より大きくなることが想定される位置では、ＷＤＲ処理への切り替えを行うことができる。

本実施例の具体的な効果について説明する。走行する車両が被写体の明暗差が大きくなるトンネルの出入り口などに差しかかると、自動的にＷＤＲ処理を実施する。これにより、被写体の白とびや黒つぶれの発生しやすい被写体に対しダイナミックレンジを大幅に拡大して、視認性や画像認識率を改善することができる。

なお、本実施例の構成に前記した実施例１−６の各構成を組み合わせることも可能であり、より高精度の制御が可能になる。

図１７は、本発明による車載撮像装置の第８の実施例を示すブロック構成図である。実施例８では、実施例１（図１）の構成に画像認識部１２を追加している。画像認識部１２は映像処理部３からの映像出力を用いて、特定の被写体（歩行者、他の車両、標識など）の認識処理を行い、認識結果（危険時はアラーム信号）を出力する。

映像制御部６は車速センサ部７からの車速情報を受け、映像処理部３に対してＷＤＲ処理とコントラスト補正処理の切り替えを行うが、本実施例ではその切替情報６ａを画像認識部１２に対しても送る。画像認識部１２では被写体の認識処理を行う際、送られた切替情報６ａを考慮する。その理由は、コントラスト補正処理時は被写体ブレが生じないが、ＷＤＲ処理時は被写体ブレが生じ、認識結果の精度が悪化する可能性があるからである。そこで画像認識部１２では、この切替情報６ａを参照して認識結果の確度を予測し、認識処理時の誤判定や誤認識を防止する。

さらに画像認識部１２は映像制御部６に対して、現在の認識率情報１２ａを送る。認識率情報１２ａは認識処理の成功率を示すもので、被写体ブレなどが存在すると悪化する。映像制御部６は送られた認識率情報１２ａを考慮して映像処理部３を制御する。すなわち、認識率が所定値以下となったら、ＷＤＲ処理からコントラスト補正処理への切り替えを行う。

本実施例によれば、ＷＤＲ処理により被写体ブレが発生しても画像認識処理動作への影響（誤動作）を防止し、また何らかの要因で認識処理に誤動作が生じても、コントラスト補正処理に切り替えることで常に安定した認識処理を行うことができる。

本実施例では映像処理切替判定のために車速センサ部７を有する実施例１の構成としたが、これに代えてシフトレバー検知部８をはじめとする前記した他の実施例２−７の構成としても良いことは言うまでもない。

以上述べた各実施例では、映像処理部３のＷＤＲ処理とコントラスト補正処理とを切り替えるため、ＷＤＲ処理部４とコントラスト補正処理部５を並列に接続する構成とした。その変形例として、図１８に示すようにＷＤＲ処理部４とコントラスト補正処理部５を直列に接続し、一方の処理をスルー処理（すなわち処理効果なし）としてもよい。このような直列接続構成とすることで、例えばＷＤＲ処理からコントラスト補正処理に切り替える際、ＷＤＲ処理効果を弱めつつコントラスト補正処理効果を強めていくようにすれば、各処理の切り替わりを滑らかにすることが可能となる。また反対にコントラスト補正処理からＷＤＲ処理に切り替える際は、コントラスト補正処理効果を弱めつつＷＤＲ処理効果を強めていくことで、各処理の切り替わりを滑らかにすることが可能となる。

１…撮像部、
２…映像解析部、
３…映像処理部、
４…ＷＤＲ処理部、
５…コントラスト補正処理部、
６…映像制御部、
７…車速センサ部、
８…シフトレバー検知部、
９…動体解析部、
１０…位置情報取得部、
１１…特定位置情報保持部、
１２…画像認識部。

Claims (5)

1. 車両に搭載され被写体を撮像する車載撮像装置において、
   被写体を撮影する撮像部と、
   撮影画像の輝度分布を解析する映像解析部と、
   該撮影画像の輝度分布が適正になるよう補正する映像処理部と、
   前記車両の走行状態を検出する走行状態検出部と、
   前記撮像部と前記映像処理部を制御する映像制御部とを備え、
   前記映像処理部は、露光条件の異なる２枚の画像から１枚の画像を合成するワイドダイナミックレンジ処理（以下、ＷＤＲ処理）と、１枚の画像に対して集中した輝度分布を拡張させるように階調を補正するコントラスト補正処理とが可能であり、
   前記映像制御部は、前記走行状態検出部の検出した走行状態に応じて、前記映像処理部に対して前記ＷＤＲ処理と前記コントラスト補正処理とを切り替えて行わせ、
   前記走行状態検出部として、前記車両の現在位置を取得する位置情報取得部と、前記被写体の輝度差が所定値より大きくなることが想定される特定位置Ｃを記憶する特定位置情報保持部を備え、
   前記現在位置が前記特定位置Ｃに一致するときは前記映像処理部においてを前記ＷＤＲ処理を行い、前記現在位置が前記特定位置Ｃに一致しないときは前記映像処理部において前記コントラスト補正処理を行うことを特徴とする車載撮像装置。
2. 車両に搭載され被写体を撮像する車載撮像装置において、
   被写体を撮影する撮像部と、
   撮影画像の輝度分布を解析する映像解析部と、
   該撮影画像の輝度分布が適正になるよう補正する映像処理部と、
   該映像処理部からの映像出力を用いて、特定の被写体の認識処理を行う画像認識部と、
   前記車両の走行状態を検出する走行状態検出部と、
   前記撮像部と前記映像処理部を制御する映像制御部とを備え、
   前記映像処理部は、露光条件の異なる２枚の画像から１枚の画像を合成するワイドダイナミックレンジ処理（以下、ＷＤＲ処理）と、１枚の画像に対して集中した輝度分布を拡張させるように階調を補正するコントラスト補正処理とが可能であり、
   前記映像制御部は、前記走行状態検出部の検出した走行状態に応じて、前記映像処理部に対して前記ＷＤＲ処理と前記コントラスト補正処理とを切り替えて行わせ、
   前記映像制御部は、前記映像処理部に対する前記ＷＤＲ処理と前記コントラスト補正処理の切り替え信号を前記画像認識部にも送り、
   該画像認識部は、前記映像制御部から送られた切替信号を参照して認識結果の確度を予測することを特徴とする車載撮像装置。
3. 請求項１または２に記載の車載撮像装置において、
   前記走行状態検出部として前記車両の走行速度を検出する車速センサ部を備え、
   該走行速度が閾値Ａを超えるときは前記映像処理部において前記コントラスト補正処理を行い、該走行速度が閾値Ａ以下のときは前記映像処理部において前記ＷＤＲ処理を行うことを特徴とする車載撮像装置。
4. 請求項１または２に記載の車載撮像装置において、
   前記走行状態検出部として前記車両のギア位置を検出するシフトレバー検知部を備え、
   該ギア位置が２速以上に設定されているときは前記映像処理部において前記コントラスト補正処理を行い、該ギア位置が２速以上でないときは前記映像処理部において前記ＷＤＲ処理を行うことを特徴とする車載撮像装置。
5. 請求項４に記載の車載撮像装置において、
   前記撮影画像から被写体の動きを検出し前記車両に対する前記被写体の相対速度を算出する動体解析部を備え、
   該被写体速度が閾値Ｂを超えるときは、前記車両の走行速度または前記ギア位置によらず、前記映像処理部において前記コントラスト補正処理を行うことを特徴とする車載撮像装置。

Images