JP2004320137A - 車両側方監視装置 - Google Patents

Abstract

【課題】ターゲット車両が点灯しているヘッドランプ光によるハレーションのために、ターゲット車両の車体を明確に認識できない条件においても、ターゲット車両の移動状態を検出することができる車両側方監視装置を提供することを目的とする。
【解決手段】映像信号Ｓ１ａ、Ｓ１ｂをＡＤ変換することによって得られた画像データが画像入力部４ａに入力される。スミア検出部４ｂは画像入力部４ａに入力された画像データから、カメラ画像上に発生する垂直方向の線状高輝度領域であるスミアを検出する。検出されたスミアは移動判断部４ｃによって水平方向の移動の有無および移動方向が検出される。画像処理部４はスミアの移動が検出された際に、自車両に対して移動するターゲット車両が存在すると判定する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、撮影した画像より自車両周囲に存在する車両の状態を監視する車両側方監視装置に関する。
【０００２】
【従来の技術】
【特許文献１】特開２００１−２１３２５４号公報
【特許文献２】特開平５−１８９６９４号公報
従来、撮像された画像から車両を検出する際に、所定時間の間隔をあけて撮像された２フレームの画像から所定領域の相関をもとにオプティカルフローを抽出することによって自車両に接近するターゲット車両の検出を行う装置がある。このような装置の例として、たとえば特開２００１−２１３２５４号公報記載のようなものがある。
また他の例として、撮影された映像から車両を検出する際に、夜間の低照度時においてはカメラの絞りを制御して感度を低下させることによって、検出しようとするターゲット車両が点灯しているヘッドランプの光だけが撮影されるように設定し、その光を検出することによって、ターゲット車両が存在するかどうかの判定を行う装置がある。このような装置の例として、たとえば特開平５−１８９６９４号公報記載のようなものがある。
【０００３】
【発明が解決しようとする課題】
前者の装置にあっては、オプティカルフローを抽出する構成であり、フレーム間で画像の相関を取る際には、検出を行うターゲット車両の画像上の特徴点が明確であることが必要であるが、夜間にターゲット車両がヘッドランプを点灯している場合には、撮像した画像上で当該車両がヘッドランプのハレーションによって覆い隠されてしまい、画像上からターゲット車両の特徴点を検出することができない。すなわちハレーションによって、ターゲット車両の移動や接近を判定することができなかった。
【０００４】
また後者の装置にあっては、カメラの絞りを制御することによって撮影時の感度を強制的に低下させてしまう構成であり、ヘッドランプ光のハレーションについては低減することができるが、夜間の低照度時であるにもかかわらず感度を下げてしまうためターゲット車両の形状や車体表面の特徴的なパターンを検出することができない。このため、ターゲット車両が存在するか否かについては検出することができるが、得られた画像からオプティカルフローなどの手法によって車両の特徴点を追跡する、すなわちターゲット車両が自車両に対して接近しているか否かを検出することができないといった問題があった。
【０００５】
そこで本発明はこのような問題点に鑑み、ターゲット車両が点灯しているヘッドランプ光によるハレーションのために、撮影された画像上においてターゲット車両の車体を明確に認識できない条件においても、ターゲット車両の移動状態を検出することができる車両側方監視装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は、車両に取り付けられ、自車両の少なくとも左右側方を含む領域を撮影するカメラによって撮影された画像から、垂直方向の画角全域に縦断する高輝度領域の検出を行う高輝度領域検出手段と、カメラによって撮影された画像内において、高輝度領域検出手段によって検出された高輝度領域の水平方向の平行移動を検出する高輝度領域移動検出手段とを備え、該高輝度領域移動検出手段によって高輝度領域の移動が検出されたときに、自車両に対して相対的に移動する移動体が存在すると判定するものとした。
【０００７】
【発明の効果】
本発明によれば、移動体のヘッドランプ光によるハレーションのために、撮像された画像から移動体を明確に認識できない状況であったとしても、カメラに強い光が入射した際に原理的に発生するスミアの移動を検出することによって、移動体が存在するか否かを安定して検出することができる。
【０００８】
【発明の実施の形態】
次に本発明の実施の形態を実施例により説明する。
まず本発明における第一の実施例について説明する。
図１に、第一の実施例における車両側方監視装置の構成を示す。また図２に車両に設置するＣＣＤカメラの設置位置およびＣＣＤカメラによる撮影範囲を示す。
自車両の左右側方を所定の画角で監視撮影するＣＣＤカメラ（以下、カメラと略す）３ａ、３ｂが、画像処理部４に接続される。図２に示すように、カメラ３ａは自車両１の前方左端に設置されて左側方を監視撮影し、カメラ３ｂは自車両１の前方右端に設置されて右側方を監視撮影する。図では、右側方監視用のカメラ３ｂのカメラ撮影範囲内に車両２が存在しており、カメラ３ｂによって車両２が撮影されている。
【０００９】
カメラ３ａ、３ｂによって撮影された左右側方映像は画像処理部４に入力される。このとき、カメラ３ａが出力する信号を映像信号Ｓ１ａとし、カメラ３ｂが出力する信号を映像信号Ｓ１ｂとする。
画像処理部４は、入力された画像をフレーム単位ごとに複数フレームをメモリして、それらの画像に対してフィルタリングや２値化、直線検出、幾何学変換、画像フレーム間での論理演算など各種の画像処理を実行するものである。
また画像処理部４はシステム制御部５に接続され、画像処理部４は画像処理結果をシステム制御部５に出力する。
【００１０】
図３に、画像処理部の構成を示す。
画像処理部４は映像信号Ｓ１ａ、Ｓ１ｂを受信する画像入力部４ａを備えている。また画像処理部４はスミア検出部４ｂ、移動判断部４ｃ、報知信号出力部４ｄおよび画像出力部４ｅを備えている。
画像入力部４ａは入力された映像信号Ｓ１ａ、Ｓ１ｂに対してＡＤ変換を行い、デジタル画像データとして記憶する。
【００１１】
記憶されたデジタル画像データから、スミア検出部４ｂによって、カメラ画像上に発生する垂直方向の線状高輝度領域であるスミアが検出される。検出されたスミアは移動判断部４ｃによって水平方向の移動の有無および移動方向が検出される。
報知信号出力部４ｄは移動判断部４ｃの出力結果にもとづいて、図１におけるシステム制御部５ヘ、ドライバに対して報知の必要性の有無を指示する報知信号Ｓｃを出力する。
【００１２】
画像出力部４ｅは、画像入力部４ａから入力されたデジタル画像データに対してＤＡ変換を行って再び映像信号に戻し、映像信号Ｓ２ａ、Ｓ２ｂとして出力する。さらに、画像出力部４ｅでは報知信号出力部４ｄからの報知信号Ｓｃにもとづいて所定のアラーム表示等を原画像（画像入力部４ａからのデジタル画像信号）に重畳表示する機能を持たせても良い。
なお、画像処理部４の実際のハードウェアは、ＡＤ変換器、ＤＡ変換器、画像メモリ、ＣＰＵ、画像処理専用ＤＳＰ、デジタルＩＯなどから構成されるものである（図示省略）。
【００１３】
図１に示すシステム制御部５は、側方監視スイッチ８から側方監視機能のＯＮ−ＯＦＦを切り替えるＯＮ−ＯＦＦ信号と、車速センサ９から車両の走行車速信号とが入力されており、側方監視機能を作動させるか否かの判断を行う機能を備える。
また、このシステム制御部５にはナビゲーションシステム７から出力される地図及び自車現在位置表示、経路誘導など、いわゆるナビゲーション機能表示のためのＲＧＢ画像が入力される。システム制御部５は、ナビゲーションシステム７からのＲＧＢ画像と前述の画像処理部４から出力される映像信号とを、側方監視スイッチ８のＯＮ−ＯＦＦ状態と走行車速とによって決まる所定条件にもとづいて切替え制御を行い、選択された映像信号Ｓ３を外部に出力する機能を備える。
【００１４】
さらに、システム制御部５にはブザー１０とインジケータ１１とが接続されており、画像処理部４から出力される報知信号Ｓｃにもとづいて、報知が必要と判断された場合には、カメラからの映像信号に所定のアラーム表示を重畳表示させる映像信号を出力したり、ドライバに注意を促すためのアラーム音発生用のブザー１０を駆動する駆動信号や、インジケータ１１の点灯を指示する駆動信号が出力される。
【００１５】
システム制御部５から出力される映像信号Ｓ３は車載のディスプレイ６に入力されて、ディスプレイ６の画面上に映像が表示される。このディスプレイ６は車両のダッシュ内またはダッシュ上に設置され、液晶方式など一般的に使用されているものを用いる。
【００１６】
なお、本実施例では左右独立のカメラを備える例を示しているのでディスプレイ６にカメラ映像を表示する際には、システム制御部５の内部で左右のカメラ３ａ、３ｂの撮影画像を合成する、あるいは側方監視スイッチ８の状態にもとづいて、カメラ３ａ、３ｂのうちの一方の撮影画像を選択して表示する機能も備えるものである。
また、左右映像を合成する機能はシステム制御部５ではなく、画像処理部４の内部に備えることも可能である。
【００１７】
次に、車両側方監視装置の各部の動作について説明する。
図４は、車両側方監視装置のシステム全体の動作を示すフローチャートであり、図６は、図４のステップ１０５における接近車検知処理の詳細を示すフローチャートである。
なお、本実施例においてはカメラ３ａ、３ｂを左右独立に備えた例を示しているが、ここでは説明の簡略化のため自車両右側のカメラ３ｂに関する動作についてのみの説明を行い、左側のカメラ３ａによる動作については、右側のカメラ３ｂと同様であるため説明を省略する。
ステップ１００において、図示しない車両のイグニツションスイッチがＯＮとなると、電源が投入されてシステム制御部５は車両側方監視処理を開始する。
【００１８】
ステップ１０１において、システム制御部５はナビゲーションシステム７から出力されるナビゲーション画像（地図、自車の現在位置、経路誘導などの画面であるが説明図の記載は省略）を選択し、ディスプレイ６に表示させる。
次にステップ１０２において、車速センサ９から常時出力されている車速信号をもとに自車両１の現在車速を算出し、車速が０ｋｍ／ｈ、すなわち自車両１が停止しているかどうかの判断を行う。車速が０ｋｍ／ｈでないときは走行中であるため、ステップ１０１において実行されたナビゲーション表示を継続する。一方、車速が０ｋｍ／ｈであるときは自車両１は停止していると判断し、ステップ１０３へ進む。
【００１９】
ステップ１０３において、側方監視スイッチ８がＯＮになっているかどうかの判断を行う。側方監視スイッチ８は、たとえば車両の運転席付近に設置されており、見通しの悪い交差点などで左右の様子を確認したいときに車両の乗員が側方監視スイッチ８を操作して、カメラ３ａ、３ｂによる撮影画像の表示をＯＮ−ＯＦＦするものである。
【００２０】
側方監視スイッチ８がＯＦＦである場合には、ステップ１０１へ戻りカメラ３ａ、３ｂによる側方監視機能を作動させずにナビゲーション表示を継続する。
一方、監視スイッチ８がＯＮであると判断された場合には、ステップ１０４においてシステム制御部５は、画像処理部４内の画像入力部４ａと画像出力部４ｅを介して入力されたカメラ３ｂの映像信号Ｓ２ｂを、それまで選択されていたナビゲーション画像に替えてディスプレイ６に表示する。
【００２１】
低照度となる夜間において、カメラ３ｂの撮影範囲内の自車両１に接近する車両を撮影した画像は、ヘッドランプ光に起因する概略円形のハレーションと、そこを光源として垂直方向に伸びる線状の光の帯であるスミアとが観測され、さらに他の光源による光の点が多数観測される。
【００２２】
ステップ１０４でカメラ画像が表示されると、ステップ１０５において、画像処理部４内で接近車検知処理が実行される。この接近車検知処理の詳細については後述する。
ステップ１０５において接近車検知処理が実行された結果、接近車両の存在が検出されたときは、画像処理部４から出力される報知信号Ｓｃがシステム制御部５に入力されるので、ステップ１０６において報知信号Ｓｃが入力されたか否かを判断する。報知信号Ｓｃが入力されていなければステップ１０２に戻り、上述の処理を繰り返す。
【００２３】
報知信号Ｓｃが出力されているときは自車両１への接近車両が存在することになり、システム制御部５は画像処理部４から出力されるカメラ３ｂの映像信号Ｓ２ｂに接近車両に注意する旨のアラーム表示を重畳させ、このアラーム表示を重畳させた映像信号を映像信号Ｓ３としてディスプレイ６に出力する。これにより、図５に示されるように、カメラによって撮影された画像中に接近車両に注意する旨のアラームが表示される。
【００２４】
ステップ１０８において、さらにシステム制御部５はブザー１０を駆動するための信号およびインジケータ１１の点灯を指示する駆動信号を出力する。これにより、接近車両があることを知らせるブザー音がブザー１０から吹鳴され、インジケータ１１が点灯する。
その後、ステップ１０２の車速判定に戻り、以下同様の動作を繰り返す。
【００２５】
次に画像処理部４の内部で実行される接近検知処理（図４のステップ１０５）の動作について、図６に示すフローチャートを用いて説明する。
接近検知処理が開始されるとステップ２０１において、画像入力カウンタのカウント値ｎをリセット（ｎ＝０）する。このカウント値ｎは、カメラの撮影映像をデジタル画像データ（以下、画像データ）として取り込む回数を管理するためのものである。
【００２６】
画像入力カウンタのリセット後、ステップ２０２において画像入力部４ａは、カメラ３ｂからの原画像である映像信号Ｓｌｂを取り込む。ステップ２０３において、取り込んだ映像信号Ｓ１ｂをデジタルの原画像データとして画像メモリＩｎに格納する。現時点においてカウント値ｎ＝０であるため、原画像データを画像メモリＩ０に格納する。
一般的に原画像データには多くのノイズが含まれているため、ステップ２０４においてノイズ除去フィルタ処理を実行する。このノイズ除去はメディアンフィルタなどを用いて平滑化するもので、一般的な手法を用いればよい。
【００２７】
図８の（ａ）は時刻Ｔにおいて撮像され、平滑処理された後の画像を示している。また図には路側に設置された街灯１２の発光部を光源とするハレーション１３ａと、街灯１２を光源とするスミア１４ａ、さらに車両２に備えられた２個のヘッドランプ光を光源とするハレーション１３ｂとこのヘッドランプ光を光源とするスミア１４ｂとが映しだされている。また街灯１２の発光部や車両２の前部がハレーション１３ａ、１３ｂによって覆い隠されて、その形状を明確に認識することができなくなっている。
【００２８】
次にステップ２０５において、ノイズ除去した画像に対して所定のしきい値を用いて２値化処理を実行し、画像の中から著しく高輝度な領域の抽出を行う。これにより車両２のヘッドランプ光、街灯１２、路面の白線、その他の光で周辺よりも著しく明るい領域が抽出される。
【００２９】
図８の（ｂ）に、時刻Ｔにおける画像データ（図８の（ａ））を２値化処理することによって高輝度領域を抽出した画像を示す。図では車両２のヘッドランプ光によるハレーション１３ｂと、このヘッドランプ光を光源とする２本のスミア１４ｂ、街灯１２の光によるハレーション１３ａとそこを光源とするスミア１４ａが抽出されている。
なお図は、画像データを２値化処理をした結果が、所定のしきい値よりも暗い領域を白、明るい領域を黒色で表現してある。また実際の画像では、多くの高輝度領域が検出されることがあるが、以下の説明では簡単にするため機能の説明上必要な部分に限定して記述する。
【００３０】
次にステップ２０６において、２値化処理が行われた２値化画像の中から垂直な線分領域のみを抽出する。この垂直線分の抽出方法についてはＨｏｕｇｈ変換など一般的に知られた手法を用いることができるため説明を省略する。
図８の（ｃ）は、図８の（ｂ）に示す２値化画像から垂直線分のみを抽出した結果の画像である。スミアによる垂直線分はハレーションによる円形領域で分断されて、街灯１２の光によるスミアの一部である垂直線分Ｌ１１とＬ１２、車両２のヘッドランプ光によるスミアの一部である垂直線分Ｌ２１、Ｌ２２、Ｌ３１、Ｌ３２とに分割されて抽出される。
【００３１】
次にステップ２０７において、分断されて検出された垂直線分がスミアであるか否かを判断するために線分補完処理を実行する。
ここで線分補完処理の詳細について、図７のフローチャートを用いて説明する。
ステップ３０１において、検出された垂直線分すなわちスミアの一部である垂直線分Ｌ１１、Ｌ１２、Ｌ２１、Ｌ２２、Ｌ３１およびＬ３２を、垂直線分ごとにそれぞれ上下方向に延長する。
【００３２】
次にステップ３０２において、延長された垂直線分同士で他の垂直線分と連結されるものがあるか否かを判定する。垂直線分が連結されないときは図７のフローチャートに示した線分補完処理を終了し、図６のフローチャートに示す接近車検知処理に戻る。
【００３３】
連結された垂直線分が検出された場合はステップ３０３において、その垂直線分が垂直画角全部を縦断するか否かを判定する。そして垂直画角全部を縦断する垂直線分が存在すると判定された場合、ステップ３０４においてその垂直線分をスミアであると判定し、線分補完処理を終了して図６のフローチャートに示す接近車検知処理に戻る。
【００３４】
図８の（ｄ）に、図８の（ｃ）に示す画像に対して線分補完処理を行い、分断された６本の垂直線分が３本の垂直線分に変換された様子を示す。
線分補完処理によって、図８の（ｃ）に示す垂直線分Ｌ１１とＬ１２とが延長されて、図８の（ｄ）に示す一本の直線である垂直線分Ｌ１０となる。同様に垂直線分Ｌ２１とＬ２２とが延長されて垂直線分Ｌ２０となり、さらに垂直線分Ｌ３１とＬ３２とが延長されて垂直線分Ｌ３０となる。
またこれらの垂直線分Ｌ１０、Ｌ２０およびＬ３０は、いずれもその両端が画角上下端に接触、すなわち垂直画角いっぱいの線分であるため、これらの垂直線分Ｌ１０、Ｌ２０およびＬ３０はスミアであると判定される。
【００３５】
図６のフローチャートに戻り、ステップ２０８では線分補完処理（ステップ２０７）において、スミア判定がされているか否かの判断を行う。
スミアがない場合はカメラに入射する強い光源がないため、ステップ２１２において通常のオプティカルフロー処理によって移動物体の検出処理を行い、ステップ２０１に戻る。
【００３６】
一方ステップ２０８においてスミア判定がされていると判断された場合には、ステップ２０９において、垂直線分が補完された後のスミア画像（図８の（ｄ））を、移動判定用画像データＩＳｎとして登録する。現時点において、カウント値ｎ＝０のため、移動判定用画像データＩＳ０として登録する。
移動判定用画像データの登録後、ステップ２１０において画像入力カウンタのカウント値ｎが１か否かを判定する。
【００３７】
カウント値ｎが１でない場合（すなわち、カウント値ｎがゼロの場合）には、ステップ２１１において画像入力カウンタをインクリメントしてステップ２０２に戻り、次のカメラ原画像（図９の（ａ）に示す時刻Ｔ＋ΔＴにおけるカメラ原画像）を取得する。図９の（ａ）には、街灯１２の発光部を光源とするハレーション１３ａ’と街灯１２の発光部を光源とするスミア１４ａ’、さらに車両２のヘッドランプ光を光源とするハレーション１３ｂ’とスミア１４ｂ’とが映しだされている。
【００３８】
この時刻Ｔ＋ΔＴにおけるカメラ原画像は、ステップ２０３において原画像データとして画像メモリＩ１に格納し、以下、上記ステップ２０４から２０８の処理を繰り返す。
これにより、ステップ２０５で時刻Ｔ＋ΔＴの時点におけるカメラ画像データに対して２値化処理を行うことによって、図９の（ｂ）に示すように、ハレーション１３ａ’、１３ｂ’およびスミア１４ａ’、１４ｂ’が抽出された画像を得ることができる。
【００３９】
さらにステップ２０６において垂直線分の抽出を行うことにより、図９の（ｃ）に示すように垂直線分Ｌ４１、Ｌ４２、Ｌ５１、Ｌ５２、Ｌ６１およびＬ６２が抽出される。またステップ２０７において線分補完処理を行うことにより、図９の（ｄ）に示すように垂直線分Ｌ４１、Ｌ４２が延長されて垂直線分Ｌ４０となり、また垂直線分Ｌ５１、Ｌ５２が延長されて垂直線分Ｌ５０となり、垂直線分Ｌ６１、Ｌ６２が延長されて垂直線分Ｌ６０となる。
【００４０】
また時刻Ｔ＋ΔＴの時点において撮像された画像中にスミアが存在し、ステップ２０８において、スミア判定がされていると判断された場合には、ステップ２０９において、時刻Ｔ＋ΔＴの時点における撮像画像のスミア画像を、移動判定用画像データＩＳ１として登録する。
【００４１】
ステップ２１０において、画像入力カウンタのカウント値ｎが１であると判定された場合、ステップ２１３へ進む。
ステップ２１３において、撮像時間がΔＴ時間離れ、スミアを含む画橡として登録された移動判定用画像データＩＳ０（図８の（ｄ））と、移動判定用画像データＩＳ１（図９の（ｄ））との差分処理を実行し、差分画像ＩＳＳ（図１０の（ａ））を得る。
【００４２】
移動判定用画像データＩＳ０における垂直線分Ｌ１０と、移動判定用画像データＩＳ１における垂直線分Ｌ４０とは静止物である街灯１２の光を光源とするスミアであり、自車両１が停止している場合には撮像画像中の同じ位置に検出される。したがって移動判定用画像ＩＳ０とＩＳｌの差分をとると垂直線分Ｌｌ０とＬ４０は消去される。
【００４３】
一方、自車両１に向かって接近移動している車両２のヘッドランプを光源とするスミアの場合には、垂直線分Ｌ２０、Ｌ３０とＬ５０、Ｌ６０は車両２の移動、すなわち光源の移動に伴って水平方向の位置がずれて検出されるため、差分をとった後も消去されずに残ることになる。
【００４４】
ステップ２１４において、差分画像ＩＳＳの中から時間経過に伴って平行移動した垂直線分の検出を行う。ここでは、図１０の（ｂ）に示すように垂直線分Ｌ２０がＬ５０の位置へ、垂直線分Ｌ３０がＬ６０の位置へ平行移動している。
次にステップ２１５において、検出された垂直線分の平行移動が自車両１に対する接近方向か否かを判定する。垂直線分が右から左の方向に移動していれば自車両１に対する接近方向であると判定する。
【００４５】
ステップ２１５において垂直線分の接近方向への平行移動が検出された場合には、ステップ２１６において、自車両１に対して車両が接近していることを知らせる報知信号Ｓｃをシステム制御部５へ出力する。報知信号Ｓｃの出力後、ステップ２０１へ戻る。
一方、ステップ２１５において垂直線分の移動が接近方向でないと判定された場合には、ステップ２０１へ戻り上述の処理を繰り返す。
【００４６】
システム制御部５は報知信号Ｓｃを受けると、前述のようにアラーム表示をカメラ映像に重畳してディスプレイ６に表示する（図５）とともにブザー１０を駆動してアラーム音を発生させ、さらにインジケータ１１を点灯させる。
本実施例において、ステップ２０６、２０７およびステップ３０１からステップ３０４が本発明における高輝度領域検出手段を構成し、とくにステップ２０６が高輝度線分検出手段を構成する。またステップ２１３、２１４が本発明における高輝度領域移動検出手段を構成する。さらにステップ２１６が本発明における報知手段を構成し、ステップ２１５が移動方向検出手段を構成する。
【００４７】
本実施例は以上のように構成され、カメラ３ａ、３ｂによって撮影された画像から高輝度領域をスミアとして検出し、スミアが移動しているか否かを検出することによって自車両１に近づく移動体が存在するか否かを判断する。
これにより、たとえば夜間の交差点等において交差する道路を自車両の側方から接近する車両が存在し、この接近する車両が点灯しているヘッドランプ光によるハレーションのために、カメラによって撮影された画像から接近する車両の本体を明確に検出することができない状態であっても、カメラに強い光が入射した場合に原理的に発生する線状の光（スミア）の動きを追跡することによって、接近する車両の移動状態を安定して検出することができる。
【００４８】
また、強い光源によるスミアの発生を抑えるために撮影時にカメラの絞りを大きく絞り込む必要がないためにカメラの感度が低下することがない。
さらに、カメラの感度が低下することがないため、撮影された映像を車載のディスプレイに表示することによって車両のドライバに対して車両周辺の監視を支援する場合においても、その検出対象とする車両の周辺に存在する建物や道路建造物、歩行者など車両以外の他の被写体を撮影画像から認識することができ、夜間においてもドライバは表示された画像を視認することによって車両周囲の状況確認を容易に行うことができる。
【００４９】
また、高輝度線分としての垂直線分を垂直方向へ延長した場合に、他の垂直線分と接続し、かつ撮影された画像の垂直画角全体にまたがる垂直線分を、高輝度領域（スミア）として検出する。これにより、ハレーションが発生したために分断されたスミアを正確に検出することができる。
【００５０】
さらに、スミアの移動方向をもとに自車両１に対して移動体（車両２）が接近しているか否かを判断し、移動体が接近している場合に自車両１のドライバに移動体の接近を報知する。これにより、夜間の交差点通過時等において自動的に自車両に対して接近する車両の存在が報知されるため、交差点に接近する他の車両の存在有無を確認しやすくなり、ドライバの安全確認の負担を低減することができる。
【００５１】
車速センサが車速ゼロを検出している場合に、自車両に対して移動している車両が存在するか否かの検出処理を行うこととしたので、カメラ３ａ、３ｂによって撮影された画像中において、高輝度領域であるスミアが移動すれば、自車両に対して相対的に移動している車両が存在するとして検出することができ、移動する車両の検出処理を容易に行うことができる。
【００５２】
次に本発明における車両側方監視装置の第二の実施例について説明する。
本実施例は、上記第一の実施例における車両側方監視装置においてスミア検出処理の精度を向上させたものである。
また第二の実施例における車両側方監視装置の構成は、第一の実施例において説明した画像処理部４の処理内容を変更したものであり、他の構成については説明を省略する。
【００５３】
図１１に、画像処理部４’の構成を示す。
画像処理部４’の内部に、ヘッドランプ光の光源を検出するヘッドランプ光検出部４ｆを備える。画像入力部４ａで取り込まれた原画像データは、ヘッドランプ光検出部４ｆにおいてヘッドランプ光の光源が検出され、続いてスミア検出部４ｂにおいてスミアが検出される。
画像処理部４’の他の構成は、上記第一の実施例において図３を用いて説明した画像処理部４の構成と同じであり、同じ番号を付して説明を省略する。
また本実施例における車両側方監視装置のシステム全体の動作についても、上記第一の実施例において図４を用いて説明した処理の流れと同じである。
【００５４】
次に画像処理部４’の内部で実行される接近検知処理（図４のステップ１０５）の動作について、図１２に示すフローチャートを用いて説明する。
なおステップ４０１からステップ４０５については、上記図４におけるステップ２０１からステップ２０５と同じである。
時刻Ｔにおいて撮像された画像（図８の（ａ））に対して２値化処理が行われ、高輝度領域が抽出された２値化画像の中から、ステップ４０６において、包絡線がほぼ円形となる高輝度の円形領域を抽出する。
【００５５】
図１３の（ａ）は、図８の（ａ）に示す画像から円形領域ＣｌおよびＣ２が抽出された例を示している。円形領域Ｃ１は車両２のヘッドランプ光によるものであり、円形領域Ｃ２は街灯１２の光によるものである。
次にステップ４０７において、ステップ４０５で２値化処理が行われた２値化画像の中から垂直線分の領域を抽出する。
図１３の（ｂ）に、抽出された垂直線分の例を示す。垂直線分Ｌ１０１およびＬ１０２は、たとえば車両２の周囲の建物や街灯の柱など明るい構造物に光が反射するなどして現れる高輝度領域である。ただし図８の（ａ）においては、車両２の周囲の建物や街灯などの構造物については図示していない。
【００５６】
ステップ４０８において、検出された垂直線分の中から円形領域に接続する垂直線分のみを抽出する。図１３の（ｃ）はその抽出された垂直線分を示したものである。円形領域Ｃ１に接続する垂直線分Ｌ８１、Ｌ８２、Ｌ９１、Ｌ９２および、もうひとつの円形領域Ｃ２に接続する垂直線分Ｌ７１、Ｌ７２、Ｌｌ００が、スミア候補として選択され、円形領域に接触していない垂直線分Ｌ１０１およびＬ１０２は消去される。
【００５７】
次にステップ４０９において、抽出された垂直線分について、上述の図７に示すフローチャートにもとづいて線分補完処理を実行する。その結果、図１３の（ｄ）に示すように垂直線分Ｌ８１と垂直線分Ｌ８２とが接続されて垂直線分Ｌ８０に、垂直線分Ｌ９１と垂直線分Ｌ９２とが接続されて垂直線分Ｌ９０に、また垂直線分Ｌ７１と垂直線分Ｌ７２とが接続されて垂直線分Ｌ７０となり、それぞれ垂直画角を縦断する直線となる。しかし垂直線分Ｌ１００はその線分を延長しても他に接続される垂直線分が存在しないため消去される。
ステップ４０９以降の処理については、上述の図６に示すステップ２０７以降の処理と同じであり説明を省略する。
【００５８】
この方法では、建物のエッジなど実体のある高輝度領域が垂直線分として抽出されたとしても、スミアの候補として選択されないのでスミア検出処理が簡単になると共に、誤ってスミアではないものをスミアとして誤判定する可能性を低減でき検出精度を向上することができる。
なお本実施例において、ステップ４０６からステップ４０９、およびステップ３０１からステップ３０４が本発明における高輝度領域検出手段を構成し、とくにステップ４０６が本発明における高輝度円形領域検出手段を構成する。
【００５９】
本実施例は以上のように構成され、カメラによって撮影された画像の中から車両２のヘッドランプ光や街灯１２によるハレーションを円形領域として検出し、この円形領域に接続する高輝度領域のみをスミアとして検出することとしたので、撮影された画像から抽出される数多くの高輝度の垂直線分の中から、強い光源によって発生している真のスミアを選択することが容易となり、他の高輝度な垂直線分を誤ってスミアとして検出してしまうといった誤検出を低減することができる。
【００６０】
なお上記各実施例の説明において、４輪車を例としてヘッドランプが離れた位置に２箇所点灯している場合の動作を示したが、２輪車のようにヘッドランプが１個の場合でも同様の動作によってスミアを検出し車両の移動を判定することができる。
【００６１】
また、本実施例では車載のカメラが左右独立に設置されている場合の例を示したが、カメラ画角や設置方法はこれに限定されるものではなく、たとえば超広角レンズの付いた１台のカメラで左右の広い範囲を視野に入れる構成のものでも同様の効果を得ることができる。
【図面の簡単な説明】
【図１】本発明における第一の実施例を示す図である。
【図２】カメラの設置位置を示す図である。
【図３】画像処理部の構成を示す図である。
【図４】車両側方監視装置全体の動作を示すフローチャートである。
【図５】アラーム表示の例を示す図である。
【図６】接近車検知処理の流れを示すフローチャートである。
【図７】線分補完処理の流れを示すフローチャートである。
【図８】スミア検出処理の流れを示す図である。
【図９】スミア検出処理の流れを示す図である。
【図１０】垂直線分平行移動検出処理の流れを示す図である。
【図１１】第二の実施例における画像処理部の構成を示す図である。
【図１２】画像処理の流れを示すフローチャートである。
【図１３】スミア検出処理の流れを示す図である。
【符号の説明】
１ 自車両
２ 車両
３ａ、３ｂ カメラ
４、４’ 画像処理部
５ システム制御部
６ ディスプレイ
７ ナビゲーションシステム
８ 側方監視スイッチ
９ 車速センサ
１０ ブザー
１１ インジケータ
１２ 街灯
１３ ハレーション
１４ スミア
４ａ 画像入力部
４ｂ スミア検出部
４ｃ 移動判断部
４ｄ 報知信号出力部
４ｅ 画像出力部
４ｆ ヘッドランプ光検出部
Ｃ１、Ｃ２ 円形領域
Ｓ１ａ、Ｓ１ｂ、Ｓ２ａ、Ｓ２ｂ 映像信号
Ｓｃ 報知信号
Ｌ１０、Ｌ１１、Ｌ１２、Ｌ２０、Ｌ２１、Ｌ２２、Ｌ３０、Ｌ３１、Ｌ３２、Ｌ７０、Ｌ７１、Ｌ７２、Ｌ８０、Ｌ８１、Ｌ８２、Ｌ９０、Ｌ９１、Ｌ９２、Ｌ１００、Ｌ１０１、Ｌ１０２ 垂直線分

Claims (6)

1. 車両に取り付けられ、自車両の少なくとも左右側方を含む領域を撮影するカメラによって撮影された画像から、自車両に対して相対的に移動する移動体の検出を行う車両側方監視装置において、
   前記カメラによって撮影された画像から、垂直方向の画角全域に縦断する高輝度領域の検出を行う高輝度領域検出手段と、
   前記カメラによって撮影された画像内において、前記高輝度領域検出手段によって検出された高輝度領域の水平方向の平行移動を検出する高輝度領域移動検出手段とを備え、
   該高輝度領域移動検出手段によって前記高輝度領域の移動が検出されたときに、自車両に対して相対的に移動する移動体が存在すると判定することを特徴とする車両側方監視装置。
2. 前記高輝度領域検出手段は、前記カメラによって撮影された画像から垂直方向に伸びる高輝度な線分を検出する高輝度線分検出手段を有し、前記高輝度領域検出手段は、前記高輝度線分検出手段によって検出された前記高輝度線分を垂直方向の画角全域に延長した際に、他の高輝度線分と接続される高輝度線分を前記高輝度領域として検出することを特徴とする請求項１記載の車両側方監視装置。
3. 前記高輝度領域検出手段は、前記カメラによって撮影された画像から、包絡線が略円形となる高輝度円形領域を検出する高輝度円形領域検出手段を有し、
   前記高輝度領域検出手段は、前記高輝度円形領域と接続する前記高輝度線分のみを前記高輝度領域の検出対象とする事を特徴とする請求項２記載の車両側方監視装置。
4. 自車両の乗員に移動体の存在を報知する報知手段を備え、
   前記高輝度領域移動検出手段は、前記カメラの取り付け位置とカメラの視野範囲との関係にもとづいて、前記高輝度領域の移動方向が自車両に対して接近方向であるか否かを検出する移動方向検出手段を有し、
   該移動方向検出手段によって前記高輝度領域の移動が自車両に対して接近方向であることが検出された場合に、前記報知手段は自車両の乗員に自車両に接近する移動体の存在を報知することを特徴とする請求項１、２または３記載の車両側方監視装置。
5. 前記カメラは、自車両の右側方に取り付けられて自車両の右側方領域を撮影する右側カメラと、自車両の左側方に取り付けられて自車両の左側方領域を撮影する左側カメラとより構成され、
   前記高輝度領域移動検出手段は、前記右側カメラによって撮影された画像内において前記高輝度領域が左方向へ移動した場合、または前記左側カメラによって撮影された画像内において前記高輝度領域が右方向へ移動した場合に、前記高輝度領域の移動が自車両に対して接近方向であるとして検出することを特徴とする請求項４記載の車両側方監視装置。
6. 自車両の車速を検出する車速センサを備え、
   前記車速センサによって車速がゼロであることが検出されたときに、前記高輝度領域移動検出手段は高輝度領域の移動の検出を行うことを特徴とする請求項１から５のいずれか１に記載の車両側方監視装置。

Images