JP2011228856A - 車載カメラシステム、画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】 簡易な構成でノイズ量を判定できる車載カメラシステムを提供する。
【解決手段】 車載カメラシステム１は、画像を撮像すると共に撮像によって得られた画像に対して輝度補正を行う撮像装置１０と、撮像装置１０にて撮像された画像を処理する画像処理装置２０とを備える。画像処理装置２０は、撮像装置１０から、輝度補正後の画像信号を入力する画像信号入力制御部２１と、撮像装置１０から送信される輝度補正のゲイン量のデータを受信し、受信したゲイン量のデータに基づいて画像信号に含まれるノイズ量が所定の閾値より大きいか否かを判定するノイズ量判定部２２と、画像処理を行って運転支援のための情報を提供する運転支援アプリ２３とを備える。
【選択図】 図１

Description

本発明は、車載カメラシステムに関し、特に、撮像装置にて信号処理された画像のノイズを判定する方法に関する。

車載カメラシステムは、車両の周辺や車両内を撮像する撮像装置と、撮像装置から送信された画像信号を受け取り、用途に応じた画像処理を行う画像処理装置とから構成されている。

撮像装置は、光を集光するレンズ、レンズによって集光された光を光電変換して電気信号を得る撮像素子、電気信号の処理を行う信号処理部を有している。信号処理部では、設定値に基づいて撮像画像の調整を行うが、その設定値の設定範囲には上限と下限がある。

撮像装置が行う信号処理の一つに輝度制御がある。輝度制御は、出力される明るさを一定に保つように輝度レベルの量を調整する機能である。画像が暗い場合には、目標として設定されている輝度レベルになるように輝度レベルを上げ、画像が明るい場合には、設定されている輝度レベルになるように、輝度レベルを下げる。

車載カメラシステムでは、画像処理装置が、撮像装置によって撮像した画像に基づいて道路上の障害物検知、白線検出などを行う。従って、車載カメラシステムがノイズの多い画像に基づいて画像処理を行うと、障害物や白線を誤認識する原因となる。

特許文献１は、画像信号中のノイズを測定する方法を開示している。この文献に記載された方法では、画像信号に複数の局所領域を設け、その非飽和の局所領域の輝度のばらつきに基づいてノイズレベルを検出する。特許文献２は、ノイズが所定のレベルを超えると撮像装置からの出力を止める方法を開示している。

特開２００３−３３１２８３号公報 特開２００９−２９６１４７号公報

実際に車載カメラシステムを使用する環境下では、被写体の明るさが一定ではないことがほとんどなので、画像信号から直接ノイズを検出することは困難である。従って、輝度のばらつきに基づいてノイズを検出する特許文献１の方法を車載カメラシステムに適用することは困難である。

特許文献２に記載された方法では、ノイズの量によって制御用の電源を切り替えているが、小型化が進む車載カメラではモードを切り替えるための部品を置くスペースも限られているため、実用化できる車載カメラの種類は面積が大きく取れる大型の車載カメラに限られる。

そこで、本発明は、上記背景に鑑み、簡易な構成でノイズ量を判定できる車載カメラシステムを提供することを目的とする。

本発明の車載カメラシステムは、画像を撮像すると共に撮像によって得られた画像に対して輝度補正を行う撮像装置と、撮像装置にて撮像された画像を処理する画像処理装置とを備え、前記画像処理装置は、前記撮像装置から、前記輝度補正後の画像信号を入力する画像信号入力部と、前記撮像装置から送信される輝度補正のゲイン量のデータを受信し、受信したゲイン量のデータに基づいて前記画像信号に含まれるノイズ量が所定の閾値より大きいか否かを判定するノイズ量判定部とを備え、前記ノイズ量判定部にてノイズが多いと判定された場合には当該画像信号に基づく画像処理を行わず、ノイズが少ないと判定された場合に当該画像信号に基づく画像処理を行う。前記ノイズ量判定部は、受信したゲイン量が所定の閾値より大きいときにノイズが多いと判定してもよい。

このように撮像装置から受信したゲイン量のデータに基づいてノイズ量を判定するので、画像処理装置は、ノイズ量を判定するためのデータを受信する新たにインターフェースを設けなくても適切にノイズ量を判定できる。ノイズ量の大きい画像に基づく処理を行わないので、画像処理の精度を高めることができる。

本発明の車載カメラシステムにおいて、前記撮像装置は、レンズと、前記レンズを通して入力される光を光電変換する撮像素子と、光電変換によって得られた画像信号の輝度に応じてゲイン量を決定するゲイン制御部と、前記ゲイン制御部にて決定されたゲイン量で画像信号を輝度補正する輝度補正部と、輝度補正された画像信号を出力する出力部とを有する。前記ゲイン制御部は、画像信号の平均輝度を算出する平均輝度算出部と、前記平均輝度に基づいて、画像信号の輝度が一定値になるようにゲイン量を調整するゲイン量調整部とを備える。この構成により、撮像装置は、画像の平均輝度に基づいて適切なゲイン量を決定することができる。

本発明の車載カメラシステムにおいて、前記平均輝度算出部は、前記画像を複数の領域に分割し、分割した各領域の平均輝度を求め、平均輝度が第１の閾値以上の領域、または、輝度が第２の閾値以下の領域が存在する場合には、当該領域を除いた領域の平均輝度を算出してもよい。この構成により、平均輝度が極端に高い領域（平均輝度が第１の閾値以上の領域）または極端に低い領域（平均輝度が第２の閾値以下の領域）を平均輝度算出の対象から除外することにより、ゲイン量を決定するための適切な平均輝度が得られる。

本発明の画像処理装置は、画像を撮像すると共に撮像によって得られた画像に対して輝度補正を行う撮像装置から、前記輝度補正後の画像信号を入力する画像信号入力部と、前記撮像装置から送信される輝度補正のゲイン量のデータを受信し、受信したゲイン量のデータに基づいて前記画像信号に含まれるノイズ量が所定の閾値より大きいか否かを判定するノイズ量判定部とを備え、前記ノイズ量判定部にてノイズが多いと判定された場合には当該画像信号に基づく画像処理を行わず、ノイズが少ないと判定された場合に当該画像信号に基づく画像処理を行う。前記ノイズ量判定部は、受信したゲイン量が所定の閾値より大きいときにノイズ量が大きいと判定してもよい。

この構成により、上記した車載カメラシステムと同様に、ノイズ量を判定するためのデータを受信するインターフェースを新たに設けなくても適切にノイズ量を判定できる。

本発明の画像処理方法は、撮像装置と画像処理装置とを備える車載カメラシステムによって、撮像した画像の画像処理を行う方法であって、前記撮像装置が画像を撮像するステップと、前記撮像装置が画像信号の輝度に応じてゲイン量を決定するステップと、前記撮像装置が決定されたゲイン量で画像信号を輝度補正するステップと、前記撮像装置が輝度補正された画像信号を前記画像処理装置に送信するステップと、前記撮像装置が輝度補正に用いたゲイン量を前記画像処理装置に送信するステップと、前記画像処理装置が、前記撮像装置から送信されたゲイン量のデータに基づいて前記画像信号に含まれるノイズ量が所定の閾値より大きいか否かを判定するステップと、前記画像処理装置が、前記ノイズ判定結果に基づいて、前記撮像装置から送信された画像信号の画像処理を行うステップとを備える。

この構成により、上記した本発明の車載カメラシステムと同様に、ノイズ量を判定するためのデータを受信するインターフェースを新たに設けなくても適切にノイズ量を判定できる。上記した本発明の車載カメラシステムの各種の構成を、本発明の画像処理判定方法に適用することが可能である。

本発明のプログラムは、画像を撮像すると共に撮像によって得られた画像に対して輝度補正を行う撮像装置から取得した画像信号を処理するために、コンピュータに、前記撮像装置から、前記輝度補正後の画像信号を入力するステップと、前記撮像装置から送信される輝度補正のゲイン量のデータを受信し、受信したゲイン量のデータに基づいて前記画像信号に含まれるノイズ量が所定の閾値より大きいか否かを判定するステップと、前記ノイズ判定結果に基づいて、前記撮像装置から送信された画像信号の画像処理を行うステップとを実行させる。

この構成により、上記した本発明の車載カメラシステムと同様に、ノイズ量を判定するためのデータを受信するインターフェースを新たに設けなくても適切にノイズ量を判定できる。上記した本発明の画像処理装置の各種の構成を、本発明のプログラムに適用することが可能である。

本発明は、撮像装置から受信したゲイン量のデータに基づいてノイズ量を判定するので、ノイズ量を判定するためのデータを受信するインターフェースを新たに設けなくても適切にノイズ量を判定できるというすぐれた効果を有する。

本実施の形態の車載カメラシステムの構成を示す図 （ａ）撮像された画像を領域分割した例を示す図、（ｂ）所定の閾値より平均輝度が大きい領域を含む画像の例を示す図 輝度補正後の撮像画像の平均輝度の変化を示す図 本実施の形態の画像処理装置の動作を示す図

以下、本発明の実施の形態に係る車載カメラシステムについて図面を参照しながら詳細に説明する。
図１は、車載カメラシステム１の構成を示す図である。車載カメラシステム１は、撮像装置１０と画像処理装置２０とを有している。撮像装置１０は、レンズ１１を通して入ってきた光を受光して光電変換する撮像素子１２と、光電変換によって得られた画像信号の輝度に基づいて輝度補正のゲイン量を決めるゲイン制御部１３と、ゲイン制御部１３にて決定されたゲイン量で輝度補正を行う輝度補正部１４と、輝度補正後の画像信号を出力する画像信号出力制御部１５とを有している。

ゲイン制御部１３は、画像の平均輝度に基づいてゲイン量を決定する。ゲイン制御部１３は、画像の平均輝度を算出する平均輝度算出部１６と、平均輝度に基づいてゲイン量を調整するゲイン量調整部１７を有している。ゲイン量調整部１７は、画像の平均輝度が目標の輝度になるようにゲイン量を調整する。ただし、ゲイン量には上限がある。上限値のゲイン量を用いても、画像の平均輝度が目標値に達しないこともあるが、この場合には、ゲイン制御部１３は、設定可能な上限値をゲイン量として用いる。ゲイン制御部１３は、決定したゲイン量のデータを、輝度補正部１４に入力すると共に、画像処理装置のノイズ量判定部２２に送信する。

平均輝度算出部１６は、太陽光や他の車両のヘッドライトなどの強烈な光が映り込んだ部分を除いて平均輝度を求めてもよい。以下、この処理について詳細に説明する。平均輝度算出部１６は、まず、画像を複数の領域に分割する。図２（ａ）は、撮像された画像を８×６の領域に均等に分割した例を示す図である。平均輝度算出部１６は、４８個の領域のそれぞれにおいて平均輝度を求める。ゲイン制御部１３は、平均輝度が所定の閾値以上の領域があるか判定する。

図２（ｂ）において、網掛けをした４個の領域は、所定の閾値以上の平均輝度を有する領域を示す。この場合、平均輝度算出部１６は、網掛けをした４個の領域を除く４４個の領域の平均輝度を求め、求めた平均輝度を用いてゲイン量を決定する。

このように平均輝度が所定の閾値以上の領域を、平均輝度を算出するための領域から除外することにより、強烈な光等によって輝度が極端に大きくなった領域の影響を除外し、適切なゲイン量を求めることができる。これにより、極端に輝度が大きい領域以外の領域において画像処理に必要な明るさを確保した画像信号に調整することができ、様々な被写体が存在する実環境下でも適切な輝度制御を行える効果がある。

次に、画像処理装置２０について説明する。画像処理装置２０は、撮像装置１０から送信された画像信号を入力する画像信号入力制御部２１と、撮像装置１０から送信されたゲイン量のデータに基づいてノイズ量を判定するノイズ量判定部２２と、撮像画像を処理して運転支援を行う運転支援アプリ２３とを有している。運転支援アプリ２３は、例えば、撮像画像から障害物や白線等を検知してドライバに提供することにより、安全運転を支援するためのアプリケーションである。運転支援のために提供する情報は、障害物や白線だけでなく様々なものが考えられる。

図３は、輝度補正後の撮像画像の平均輝度の変化を示す図である。通常は、輝度補正後の撮像画像の平均輝度は、ゲイン制御によって目標値にコントロールされる。しかし、照度が所定の閾値を下回ると、ゲイン量の上限値を用いても、目標値にまで補正できない。

図３に示すとおり、所定の閾値より照度が低くなると、輝度補正後の平均輝度は低下する。ゲイン量を大きくすると、画像信号に含まれるノイズも同じ割合で増幅されるため、ノイズが多い画像となる。本実施の形態では、ノイズ量判定部２２は、ゲイン量が所定の閾値より大きいか否かに基づいてノイズが多いか否かを判定する。具体的には、ゲイン量が所定の閾値より大きい場合にはノイズが多いと判定し、ゲイン量が所定の閾値より小さい場合にはノイズが少ないと判定する。

以上説明した画像処理装置２０は、画像信号入力制御部２１、ノイズ量判定部２２、運転支援アプリ２３のそれぞれの機能を実現するモジュールを有するプログラムを、コンピュータによって実行させることにより実現してもよい。このようなプログラムも本発明の範囲に含まれる。

図４は、本実施の形態の画像処理装置２０の動作を示す図である。画像処理装置２０は、撮像装置１０から送信された画像信号が入力されると（Ｓ１０）、入力された画像信号を画像信号入力制御部２１から運転支援アプリ２３に渡す。また、画像処理装置２０は、撮像装置からゲイン量のデータを受信し（Ｓ１２）、受信したゲイン量のデータに基づいて、ゲイン量が所定の閾値より大きいか否かを判定する（Ｓ１４）。ゲイン量が所定の閾値より大きい場合には（Ｓ１４でＹＥＳ）、ノイズが多いと判定し、画像処理装置２０は、当該画像に基づく画像処理を停止する（Ｓ１６）。ゲイン量が所定の閾値より大きくない場合には（Ｓ１４でＮＯ）、ノイズが少ないと判定し、画像処理装置２０は、運転支援アプリ２３によって当該画像に基づく画像処理を続行する（Ｓ１８）。

これにより、画像処理装置２０は、撮像装置１０から入力された画像信号を全て処理するのではなく、画像処理に適した質の良い画像信号のみ画像処理を行うため、画像処理の精度を高め、車載カメラシステム１は画像処理に基づく適切な制御を行える。

以上、本発明の画像処理装置および車載カメラシステムについて、実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。上記した実施の形態においては、平均輝度算出部１６は、極端に輝度の高い領域を除外して画像の平均輝度を求める例について説明したが、極端に輝度の低い領域を除外して画像の平均輝度を求めることとしてもよい。

以上説明したように、本発明は、画像処理装置がノイズ量を判定するためのデータを受信する新たなインターフェースを設けなくても、適切にノイズ量を判定できるというすぐれた効果を有し、例えば、運転支援のために用いられる車載カメラシステム等として有用である。

１ 車載カメラシステム
１０ 撮像装置
１１ レンズ
１２ 撮像素子
１３ ゲイン制御部
１４ 輝度補正部
１５ 画像信号出力制御部
２０ 画像処理装置
２１ 画像信号入力制御部
２２ ノイズ量判定部
２３ 運転支援アプリ

Claims (9)

1. 画像を撮像すると共に撮像によって得られた画像に対して輝度補正を行う撮像装置と、撮像装置にて撮像された画像を処理する画像処理装置とを備え、
   前記画像処理装置は、
   前記撮像装置から、前記輝度補正後の画像信号を入力する画像信号入力部と、
   前記撮像装置から送信される輝度補正のゲイン量のデータを受信し、受信したゲイン量のデータに基づいて前記画像信号に含まれるノイズが多いか否かを判定するノイズ量判定部と、を備え、
   前記ノイズ量判定部にてノイズが多いと判定された場合には当該画像信号に基づく画像処理を行わず、ノイズが少ないと判定された場合に当該画像信号に基づく画像処理を行う車載カメラシステム。
2. 前記ノイズ量判定部は、受信したゲイン量が所定の閾値より大きいときにノイズが多いと判定する請求項１の車載カメラシステム。
3. 前記撮像装置は、
   レンズと、
   前記レンズを通して入力される光を光電変換する撮像素子と、
   光電変換によって得られた画像信号の輝度に応じてゲイン量を決定するゲイン制御部と、
   前記ゲイン制御部にて決定されたゲイン量で画像信号を輝度補正する輝度補正部と、
   輝度補正された画像信号を出力する出力部と、
   を有する請求項１または２に記載の車載カメラシステム。
4. 前記ゲイン制御部は、
   画像信号の平均輝度を算出する平均輝度算出部と、
   前記平均輝度に基づいて、画像信号の平均輝度が目標値になるようにゲイン量を調整するゲイン量調整部と、
   を備える請求項３の車載カメラシステム。
5. 前記平均輝度算出部は、
   前記画像を複数の領域に分割し、分割した各領域の平均輝度を求め、平均輝度が第１の閾値以上の領域、または、平均輝度が第２の閾値以下の領域が存在する場合には、当該領域を除いた領域の平均輝度を算出する請求項４に記載の車載カメラシステム。
6. 画像を撮像すると共に撮像によって得られた画像に対して輝度補正を行う撮像装置から、前記輝度補正後の画像信号を入力する画像信号入力部と、
   前記撮像装置から送信される輝度補正のゲイン量のデータを受信し、受信したゲイン量のデータに基づいて前記画像信号に含まれるノイズが多いか否かを判定するノイズ量判定部と、
   を備え、
   前記ノイズ量判定部にてノイズが多いと判定された場合には当該画像信号に基づく画像処理を行わず、ノイズが少ないと判定された場合に当該画像信号に基づく画像処理を行う画像処理装置。
7. 前記ノイズ量判定部は、受信したゲイン量が所定の閾値より大きいときにノイズが多いと判定する請求項６の画像処理装置。
8. 撮像装置と画像処理装置とを備える車載カメラシステムによって、撮像した画像の画像処理を行う方法であって、
   前記撮像装置が画像を撮像するステップと、
   前記撮像装置が画像信号の輝度に応じてゲイン量を決定するステップと、
   前記撮像装置が決定されたゲイン量で画像信号を輝度補正するステップと、
   前記撮像装置が輝度補正された画像信号を前記画像処理装置に送信するステップと、
   前記撮像装置が輝度補正に用いたゲイン量を前記画像処理装置に送信するステップと、
   前記画像処理装置が、前記撮像装置から送信されたゲイン量のデータに基づいて前記画像信号に含まれるノイズが多いか否かを判定するステップと、
   前記画像処理装置が、前記ノイズ判定結果に基づいて、前記撮像装置から送信された画像信号の画像処理を行うステップと、
   を備える画像処理方法。
9. 画像を撮像すると共に撮像によって得られた画像に対して輝度補正を行う撮像装置から取得した画像信号を処理するために、コンピュータに、
   前記撮像装置から、前記輝度補正後の画像信号を入力するステップと、
   前記撮像装置から送信される輝度補正のゲイン量のデータを受信し、受信したゲイン量のデータに基づいて前記画像信号に含まれるノイズが多いか否かを判定するステップと、
   前記ノイズ判定結果に基づいて、前記撮像装置から送信された画像信号の画像処理を行うステップと、
   を実行させるプログラム。