JP6990222B2 - 車外環境検出装置 - Google Patents

Description

本開示は、自車両の周辺の車両を検出する車外環境検出装置に関する。

自動車等の車両には、自車両の周辺の車両を検出し、その検出結果に応じて、例えば自車両の走行を制御するものがある。例えば、特許文献１には、ステレオカメラを用いて自車両の周辺の車両を検出し、その車両の車両幅に基づいて、自車両の走行速度とその車両の走行速度との間の相対速度を算出する技術が開示されている。

特開２００８－１２３４６２号公報

自車両の周辺の車両を検出する処理においては、検出精度が高いことが望まれており、さらなる検出精度の向上が期待されている。

車両の検出精度を高めることができる車外環境検出装置を提供することが望ましい。

本開示の一実施の形態に係る車外環境検出装置は、画像幅算出部と、予測距離算出部と、信頼度判定部と、相対距離算出部とを備える。画像幅算出部は、自車両において得られた左画像および右画像のうちの一方である第１の画像に基づいて、対象車両についての第１の画像幅を算出するように構成される。予測距離算出部は、第１の画像幅に基づいて、対象車両までの第１の予測距離を算出するように構成される。信頼度判定部は、自車両が対象車両の後ろ正面付近に位置しているかどうかを評価することにより、第１の画像幅の第１の信頼度を算出するように構成される。相対距離算出部は、第１の信頼度が所定のしきい値よりも高い場合に、第１の画像幅および第１の予測距離に基づいて対象車両についての第１の実幅を算出し、第１の実幅に基づいて平滑化処理を行うことにより平滑化実幅を更新し、平滑化実幅および第１の画像幅に基づいて対象車両までの第１の距離を算出するように構成される。上記信頼度判定部は、対象車両の左テールランプについての情報と、対象車両の右テールランプについての情報との差に基づいて、自車両が対象車両の後ろ正面付近に位置しているかどうかを評価する。

本開示の一実施の形態に係る車外環境検出装置によれば、車両の検出精度を高めることができる。

本開示の一実施の形態に係る車外環境検出装置の一構成例を表すブロック図である。 図１に示した左カメラが生成する左画像の一例を表す画像図である。 図１に示した右カメラが生成する右画像の一例を表す画像図である。 図１に示した先行車両検出部の一動作例を模式的に表す画像図である。 図１に示した他の先行車両検出部の一動作例を模式的に表す画像図である。 図１に示した他の先行車両検出部の他の動作例を模式的に表す画像図である。 図１に示した走行情報検出部の一例を表すフローチャートである。 相対距離の一例を表す特性図である。 先行車両の走行速度の一例を表す特性図である。 予測相対距離の一例を表す特性図である。 先行車両の予測走行速度の一例を表す特性図である。

以下、本開示の実施の形態について、図面を参照して詳細に説明する。

＜実施の形態＞
［構成例］
図１は、一実施の形態に係る車外環境検出装置（車外環境検出装置１）の一構成例を表すものである。車外環境検出装置１は、ステレオカメラ１１と、処理部２０とを備えている。車外環境検出装置１は、自動車等の車両１０に搭載される。

ステレオカメラ１１は、車両１０の前方を撮像することにより、互いに視差を有する一組の画像（左画像ＰＬおよび右画像ＰＲ）を生成するように構成される。ステレオカメラ１１は、左カメラ１１Ｌと、右カメラ１１Ｒとを有する。左カメラ１１Ｌおよび右カメラ１１Ｒは、この例では、車両１０のルームミラーの近傍において、車両１０の幅方向に所定距離だけ離間して配置される。左カメラ１１Ｌおよび右カメラ１１Ｒは、互いに同期して撮像動作を行う。左カメラ１１Ｌは左画像ＰＬを生成し、右カメラ１１Ｒは右画像ＰＲを生成する。左画像ＰＬおよび右画像ＰＲは、ステレオ画像ＰＩＣを構成する。ステレオカメラ１１は、所定のフレームレート（例えば６０［ｆｐｓ］）で撮像動作を行うことにより、一連のステレオ画像ＰＩＣを生成するようになっている。

図２Ａは、左画像ＰＬの一例を表すものであり、図２Ｂは、右画像ＰＲの一例を表すものである。この例では、車両１０が走行している道路における車両１０の前方に、他車両（先行車両９０）が走行している。左カメラ１１Ｌがこの先行車両９０を撮像することにより左画像ＰＬを生成し、右カメラ１１Ｒがこの先行車両９０を撮像することにより右画像ＰＲを生成する。その結果、左画像ＰＬおよび右画像ＰＲは互いに視差を有する。ステレオカメラ１１は、このような左画像ＰＬおよび右画像ＰＲを含むステレオ画像ＰＩＣを生成するようになっている。

処理部２０（図１）は、ステレオカメラ１１から供給されたステレオ画像ＰＩＣに基づいて、先行車両９０の走行情報を検出するように構成される。先行車両９０の走行情報は、例えば、車両１０を基準とした先行車両９０までの相対距離や、車両１０の走行速度と先行車両９０の走行速度との間の相対速度などの情報を含む。車両１０では、例えば、処理部２０が検出した先行車両９０の走行情報に基づいて、追従走行制御やステアリングのアシスト制御などの走行制御を行うようになっている。処理部２０は、例えば、プログラムを実行するＣＰＵ（Central Processing Unit）、処理データを一時的に記憶するＲＡＭ（Random Access Memory）、プログラムを記憶するＲＯＭ（Read Only Memory）などにより構成される。処理部２０は、距離画像生成部２１と、先行車両検出部２２と、走行情報検出部２３と、画像精度検出部２４と、画像選択部２５と、先行車両検出部２６と、自車両走行情報取得部２７と、走行情報検出部３０と、走行情報決定部２８とを有している。

距離画像生成部２１は、ステレオ画像ＰＩＣに含まれる左画像ＰＬおよび右画像ＰＲに基づいて、ステレオマッチング処理やフィルタリング処理などを含む所定の画像処理を行うことにより、距離画像ＰＺを生成するように構成される。距離画像ＰＺにおける各画素の画素値は、３次元の実空間における、各画素に対応する点までの距離を示すデプス値である。距離画像生成部２１は、生成した距離画像ＰＺを、先行車両検出部２２に供給するようになっている。

先行車両検出部２２は、距離画像ＰＺに基づいて先行車両９０を検出するように構成される。距離画像ＰＺにおいて、先行車両９０に対応する画像領域におけるデプス値は、それ以外の画像領域におけるデプス値よりも小さい。先行車両検出部２２は、距離画像ＰＺに含まれるこのようなデプス値を利用して、先行車両９０を検出するようになっている。

図３は、先行車両検出部２２による検出結果の一例を模式的に表すものである。先行車両検出部２２は、距離画像ＰＺに基づいて先行車両９０を検出する。そして、先行車両検出部２２は、領域Ｒ１で示したように、距離画像ＰＺにおける先行車両９０の位置を特定するようになっている。

走行情報検出部２３（図１）は、距離画像ＰＺに基づいて、先行車両検出部２２により検出された先行車両９０の走行情報を検出するように構成される。走行情報検出部２３は、距離画像ＰＺに含まれる、先行車両９０に対応する画像領域におけるデプス値を利用して、先行車両９０の走行情報を検出するようになっている。

画像精度検出部２４は、距離画像ＰＺの画像精度を検出するように構成される。すなわち、距離画像生成部２１は、左画像ＰＬおよび右画像ＰＲに基づいて距離画像ＰＺを生成するので、例えば、雨粒や逆光などにより、左画像ＰＬまたは右画像ＰＲが不鮮明になった場合には、距離画像ＰＺの画像精度が低下し得る。この場合には、先行車両検出部２２により検出された先行車両９０の位置や、走行情報検出部２３により検出された走行情報が不正確になるおそれがある。よって、画像精度検出部２４は、距離画像ＰＺに基づいて、距離画像ＰＺの画像精度を検出する。そして、画像精度検出部２４は、その検出結果についての情報を走行情報検出部３０および走行情報決定部２８に供給するようになっている。

画像選択部２５は、左画像ＰＬおよび右画像ＰＲのうちの一方の画像を選択するように構成される。具体的には、画像選択部２５は、機械学習の技術を用いて、左画像ＰＬにおける先行車両９０に対応する画像、および右画像ＰＲにおける先行車両９０に対応する画像のそれぞれに基づいて、車両としての確からしさを評価することによりスコアをそれぞれ生成する。そして、画像選択部２５は、左画像ＰＬおよび右画像ＰＲのうちの、スコアが高い画像を画像Ｐとして選択し、選択した画像Ｐを先行車両検出部２６に供給するようになっている。

先行車両検出部２６は、画像Ｐに基づいて先行車両９０を検出するように構成される。先行車両検出部２６は、この例では、先行車両９０を検出する複数の検出モードＭを有し、例えば環境条件に基づいて複数の検出モードＭのうちの１つを選択し、選択された検出モードＭを用いて先行車両９０を検出するようになっている。

具体的には、例えば、昼間など、先行車両９０の車体を検出しやすい条件では、先行車両検出部２６は、複数の検出モードＭのうちの検出モードＭ１を選択する。この検出モードＭ１では、先行車両検出部２６は、画像Ｐに基づいて、機械学習の技術を用いて、先行車両９０を探索することにより先行車両９０を検出する。

図４は、先行車両検出部２６における検出モードＭ１での処理の一例を模式的に表すものである。先行車両検出部２６は、画像Ｐにおいて、処理対象領域Ｒ２を少しずつずらしながら順次設定することにより、先行車両９０を探索する。そして、先行車両検出部２６は、機械学習の技術を用いて、各処理対象領域Ｒ２において先行車両９０が存在するかどうかを確認する。このようにして、先行車両検出部２６は、画像Ｐにおける先行車両９０の位置を特定するようになっている。

また、例えば、夜間など、先行車両９０の車体を検出しにくい条件では、先行車両検出部２６は、複数の検出モードＭのうちの検出モードＭ２を選択する。この検出モードＭ２では、先行車両検出部２６は、画像Ｐに基づいて、先行車両９０のテールランプを検出することにより先行車両９０を検出する。

図５は、先行車両検出部２６における検出モードＭ２での処理の一例を模式的に表すものである。夜間では、先行車両９０は、左テールランプ９１Ｌおよび右テールランプ９１Ｒを発光させて走行する。よって、先行車両検出部２６は、先行車両９０の車体を検出しにくい条件でも、左テールランプ９１Ｌおよび右テールランプ９１Ｒを検出することができる。先行車両検出部２６は、画像Ｐにおける、左テールランプ９１Ｌおよび右テールランプ９１Ｒを検出することにより、画像Ｐにおける先行車両９０の位置を特定するようになっている。

自車両走行情報取得部２７（図１）は、車両１０に設けられた図示しないセンサからの検出信号や制御装置からの制御信号に基づいて、車外環境検出装置１が搭載された自車両である車両１０の走行情報を取得するように構成される。車両１０の走行情報は、車両１０の走行速度Ｖ１０、車両１０のヨーレート、車両１０の車幅方向（ｘ方向）における移動量、車両１０の車長方向（ｚ方向）における移動量などについての情報を含んでいる。

走行情報検出部３０は、画像Ｐに基づいて、先行車両検出部２６により検出された先行車両９０の走行情報を検出するように構成される。具体的には、走行情報検出部３０は、画像Ｐにおける先行車両９０についての画像幅Ｗpicを算出し、その画像幅Ｗpicの大きさに基づいて、車両１０の走行速度と先行車両９０の走行速度との間の相対速度Ｖ、および先行車両９０までの相対距離Ｚを算出することにより、先行車両９０の走行情報を検出する。すなわち、例えば、車両１０と先行車両９０との間の距離が短い場合には、画像Ｐにおける先行車両９０についての画像幅Ｗpicは大きくなり、車両１０と先行車両９０との間の距離が長い場合には、画像Ｐにおける先行車両９０の画像幅は小さくなるので、走行情報検出部３０は、このような画像Ｐにおける先行車両９０の画像サイズ（スケーリング）を利用して、先行車両９０の走行情報を検出することができる。走行情報検出部３０は、画像幅算出部３１と、予測距離算出部３２と、信頼度判定部３３と、相対距離算出部３４と、相対速度算出部３５とを有している。

画像幅算出部３１は、画像Ｐに基づいて、先行車両９０についての画像幅Ｗpicを算出するように構成される。例えば、昼間など、先行車両９０の車体を検出しやすい条件では、画像幅算出部３１は、図４に示したように、画像Ｐにおける先行車両９０の車両幅を、画像幅Ｗpicとして算出する。また、例えば、夜間など、先行車両９０の車体を検出しにくい条件では、画像幅算出部３１は、図５に示したように、画像Ｐにおける、左テールランプ９１Ｌの中心と右テールランプ９１Ｒの中心との間の距離を、画像幅Ｗpicとして算出するようになっている。

予測距離算出部３２は、画像幅算出部３１が算出した画像幅Ｗpic、および自車両走行情報取得部２７から供給された車両１０の走行情報に基づいて、先行車両９０までの予測相対距離Ｚpreを算出するように構成される。

信頼度判定部３３は、画像幅算出部３１により算出された画像幅Ｗpicの信頼度を評価するように構成される。具体的には、信頼度判定部３３は、距離画像ＰＺに基づいて、画像幅Ｗpicの信頼度を算出し、算出された画像幅Ｗpicの信頼度と所定のしきい値とを比較するようになっている。

相対距離算出部３４は、画像幅算出部３１により算出された画像幅Ｗpicおよび予測距離算出部３２により算出された予測相対距離Ｚpreに基づいて、相対距離Ｚを算出するように構成される。具体的には、相対距離算出部３４は、例えば、信頼度判定部３３により算出された画像幅Ｗpicの信頼度が所定のしきい値よりも高い場合に、その画像幅Ｗpicおよび予測距離算出部３２により算出された予測相対距離Ｚpreに基づいて、先行車両９０についての、その画像幅Ｗpicに対応する実際の幅（実幅Ｗreal）を算出する。そして、相対距離算出部３４は、その実幅Ｗrealに基づいて平滑化処理を行うことにより実幅Ｗreal1を更新する。そして、相対距離算出部３４は、実幅Ｗreal1および画像幅Ｗpicに基づいて、相対距離Ｚを算出するようになっている。

相対速度算出部３５は、相対距離算出部３４により算出された相対距離Ｚに基づいて、相対速度Ｖを算出するように構成される。

このようにして、走行情報検出部３０は、画像Ｐに基づいて、先行車両９０の走行情報を検出することができるようになっている。

走行情報決定部２８は、画像精度検出部２４の検出結果に応じて、走行情報検出部２３により検出された、距離画像ＰＺに基づく先行車両９０の走行情報、および走行情報検出部３０により検出された、画像Ｐに基づく先行車両９０の走行情報に基づいて、先行車両９０の走行情報を決定するように構成される。具体的には、例えば、走行情報決定部２８は、距離画像ＰＺの画像精度が高い場合には、距離画像ＰＺに基づいて走行情報検出部２３により検出された先行車両９０の走行情報に基づいて、先行車両９０の走行情報を決定し、距離画像ＰＺの画像精度が低い場合には、画像Ｐに基づいて走行情報検出部３０により検出された先行車両９０の走行情報に基づいて、先行車両９０の走行情報を決定するようになっている。

この構成により、車外環境検出装置１では、走行情報検出部２３が、一連のステレオ画像ＰＩＣに基づいて生成された一連の距離画像ＰＺに基づいて、継続的に先行車両９０の走行情報を検出するとともに、走行情報検出部３０が、一連のステレオ画像ＰＩＣに含まれる一連の画像Ｐに基づいて、継続的に先行車両９０の走行情報を検出する。その際、車外環境検出装置１では、例えば、雨粒などにより、左画像ＰＬまたは右画像ＰＲが不鮮明になり、距離画像ＰＺの画像精度が低くなった場合に、左画像ＰＬおよび右画像ＰＲのうちの、先行車両９０の車両としての確からしさが高い画像（画像Ｐ）に基づいて検出された先行車両９０の走行情報に基づいて、先行車両９０の走行情報を決定する。これにより、車外環境検出装置１では、先行車両９０の検出精度を高めることができるようになっている。

ここで、画像幅算出部３１は、本開示における「画像幅算出部」の一具体例に対応する。予測距離算出部３２は、本開示における「予測距離算出部」の一具体例に対応する。信頼度判定部３３は、本開示における「信頼度判定部」の一具体例に対応する。相対距離算出部３４は、本開示における「相対距離算出部」の一具体例に対応する。相対速度算出部３５は、本開示における「相対速度算出部」の一具体例に対応する。先行車両９０は、本開示における「対象車両」の一具体例に対応する。

［動作および作用］
続いて、本実施の形態の車外環境検出装置１の動作および作用について説明する。

（全体動作概要）
まず、図１を参照して、車外環境検出装置１の全体動作概要を説明する。ステレオカメラ１１は、車両１０の前方を撮像することにより、互いに視差を有する左画像ＰＬおよび右画像ＰＲを含むステレオ画像ＰＩＣを生成する。距離画像生成部２１は、ステレオ画像ＰＩＣに含まれる左画像ＰＬおよび右画像ＰＲに基づいて、距離画像ＰＺを生成する。先行車両検出部２２は、距離画像ＰＺに基づいて先行車両９０を検出する。走行情報検出部２３は、距離画像ＰＺに基づいて、先行車両検出部２２により検出された先行車両９０の走行情報を検出する。画像精度検出部２４は、距離画像ＰＺの画像精度を検出する。画像選択部２５は、左画像ＰＬおよび右画像ＰＲのそれぞれに基づいて、機械学習の技術を用いて、先行車両９０の車両としての確からしさを評価することにより、左画像ＰＬおよび右画像ＰＲのうちの一方の画像を画像Ｐとして選択する。先行車両検出部２６は、画像Ｐに基づいて先行車両９０を検出する。自車両走行情報取得部２７は、車両１０に設けられた図示しないセンサからの検出信号や制御装置からの制御信号に基づいて、車両１０の走行情報を取得する。走行情報検出部３０は、画像Ｐに基づいて、先行車両検出部２６により検出された先行車両９０の走行情報を検出する。走行情報決定部２８は、画像精度検出部２４の検出結果に応じて、走行情報検出部２３により検出された、距離画像ＰＺに基づく先行車両９０の走行情報、および走行情報検出部３０により検出された、画像Ｐに基づく先行車両９０の走行情報に基づいて、先行車両９０の走行情報を決定する。

（詳細動作）
図６は、走行情報検出部３０の一動作例を表すものである。走行情報検出部３０は、一連のフレームＦのそれぞれにおいて、以下に示した動作を行う。

まず、走行情報検出部３０の画像幅算出部３１は、画像Ｐに基づいて、先行車両９０についての画像幅Ｗpicを算出する（ステップＳ１０１）。例えば、昼間など、先行車両９０の車体を検出しやすい条件では、画像幅算出部３１は、図４に示したように、画像Ｐにおける先行車両９０の車両幅を、画像幅Ｗpicとして算出する。また、例えば、夜間など、先行車両９０の車体を検出しにくい条件では、画像幅算出部３１は、図５に示したように、画像Ｐにおける、左テールランプ９１Ｌの中心と右テールランプ９１Ｒの中心との間の距離を、画像幅Ｗpicとして算出する。

次に、走行情報検出部３０の予測距離算出部３２は、ステップＳ１０１により算出された画像幅Ｗpic、および自車両走行情報取得部２７から供給された車両１０の走行情報に基づいて、先行車両９０までの予測相対距離Ｚpreを算出する（ステップＳ１０２）。

具体的には、予測距離算出部３２は、まず、画像幅Ｗpicに基づいて、以下の式（１）を用いて、先行車両９０の画像サイズ（スケーリング）を利用して、車両１０の走行速度と先行車両９０の走行速度との間の予測相対速度Ｖpreを算出する。

ここで、Ｖpre（ｎ）は、ｎ番目のフレームＦに係る予測相対速度である。Ｗpic（ｎ）は、ｎ番目のフレームＦに係る画像Ｐから得られた画像幅であり、Ｗpic（ｎ－１）は、（ｎ－１）番目のフレームＦに係る画像Ｐから得られた画像幅である。Ｚ（ｎ－１）は、（ｎ－１）番目のフレームＦに係る相対距離である。Δｔは、フレームレートの逆数であり、例えば、フレームレートが６０［ｆｐｓ］である場合には、１６．７［ｍｓｅｃ］（＝１／６０）である。

次に、予測距離算出部３２は、予測相対速度Ｖpre、および自車両走行情報取得部２７から供給された車両１０の走行速度Ｖ１０に基づいて、以下の式（２）を用いて、先行車両９０の予測走行速度Ｖ９０preを算出する。

ここで、Ｖ９０pre（ｎ）は、ｎ番目のフレームＦに係る先行車両９０の予測走行速度であり、Ｖ１０（ｎ）は、ｎ番目のフレームＦに係る車両１０の走行速度である。

そして、予測距離算出部３２は、（ｎ－１）番目のフレームＦに係る先行車両９０の予測走行速度Ｖ９０pre（ｎ－１）および相対距離Ｚ（ｎ－１）、車両１０の車幅方向（ｘ方向）における時間Δｔでの車両１０の移動量、車両１０の車長方向（ｚ方向）における時間Δｔでの車両１０の移動量、車両１０のヨーレートなどに基づいて、先行車両９０までの予測相対距離Ｚpreを算出する。

このようにして、予測距離算出部３２は予測相対距離Ｚpreを算出する。

次に、走行情報検出部３０は、画像精度検出部２４の検出結果に基づいて、距離画像ＰＺの画像精度を確認する（ステップＳ１０３）。距離画像ＰＺの画像精度が低い場合（ステップＳ１０３において“Ｎ”）には、ステップＳ１０８に進む。

ステップＳ１０３において、距離画像ＰＺの画像精度が高い場合（ステップＳ１０３において“Ｙ”）には、信頼度判定部３３は、ステップＳ１０１により算出された画像幅Ｗpicの信頼度を算出し（ステップＳ１０４）、この信頼度と所定のしきい値とを比較する（ステップＳ１０５）。

具体的には、例えば、先行車両検出部２６が検出モードＭ２で動作している場合には、信頼度判定部３３は、距離画像ＰＺに基づいて、左テールランプ９１Ｌに関するパラメータ、および右テールランプ９１Ｒに関するパラメータを算出し、これらのパラメータの差分を算出することにより信頼度を算出する。具体的には、信頼度判定部３３は、左テールランプ９１Ｌまでの相対距離および右テールランプ９１Ｒまでの相対距離の差分、左テールランプ９１Ｌの面積および右テールランプ９１Ｒの面積の差分、左テールランプ９１Ｌの位置の高さおよび右テールランプ９１Ｒの位置の高さの差分、左テールランプ９１Ｌの幅および右テールランプ９１Ｒの幅の差分、左テールランプ９１Ｌの高さおよび右テールランプ９１Ｒの高さの差分を検出する。そして、信頼度判定部３３は、これらの５つの差分に基づいて、画像幅Ｗpicの信頼度を算出する。５つの差分のそれぞれが小さいほど、画像幅Ｗpicの信頼度は高くなる。言い換えれば、信頼度判定部３３は、車両１０が、先行車両９０の後ろ正面付近に位置しているかどうかを評価することにより、画像幅Ｗpicの信頼度を算出する。そして、信頼度判定部３３は、算出された画像幅Ｗpicの信頼度と所定のしきい値とを比較する。

例えば、先行車両９０が車両１０の斜め前を走っている場合には、例えば、左テールランプ９１Ｌまでの相対距離および右テールランプ９１Ｒまでの相対距離の差が大きくなるので、先行車両検出部２６は、画像幅Ｗpicの信頼度が低いと判定する。すなわち、このように先行車両９０が車両１０の斜め前を走っている場合には、ステップＳ１０１により算出された画像幅Ｗpicが示す左テールランプ９１Ｌの中心と右テールランプ９１Ｒの中心との間の距離は、実際の距離よりもみかけ上狭くなるので、画像幅Ｗpicは不正確な値になる。よって、信頼度判定部３３は、画像幅Ｗpicの信頼度が低いと判定する。

ステップＳ１０５において、画像幅Ｗpicの信頼度が所定のしきい値よりも低い場合（ステップＳ１０５において“Ｎ”）には、ステップＳ１０８に進む。

ステップＳ１０５において、画像幅Ｗpicの信頼度が所定のしきい値よりも高い場合（ステップＳ１０５において“Ｙ”）には、相対距離算出部３４は、ステップＳ１０１により算出された画像幅Ｗpic、およびステップＳ１０２により算出された予測相対距離Ｚpreに基づいて、先行車両９０についての、その画像幅Ｗpicに対応する実際の幅（実幅Ｗreal）を算出する（ステップＳ１０６）。この演算は、例えば、先行車両９０の画像サイズ（スケーリング）を利用した公知の演算方法を用いることができる。

次に、相対距離算出部３４は、ステップＳ１０６により算出された実幅Ｗrealに基づいて平滑化処理を行うことにより、実幅Ｗreal1を更新する（ステップＳ１０７）。すなわち、一連の画像Ｐに基づいて、ステップＳ１０６により一連の実幅Ｗrealが順次算出されるので、相対距離算出部３４は、ステップＳ１０６により実幅Ｗrealが算出される度に、これらの一連の実幅Ｗrealに基づいて平滑化処理を行うことにより、実幅Ｗreal1を更新する。具体的には、相対距離算出部３４は、以下の式（３）を用いて、平滑化処理を行う。

ここで、Ｗreal1（ｎ）は、ｎ番目のフレームＦに係る、平滑化処理後の実幅である。Ｗreal1（ｎ－１）は、（ｎ－１）番目のフレームＦに係る、平滑化処理後の実幅である。Ｗreal（ｎ）は、ｎ番目のフレーム画像Ｆに係る、平滑化処理前の実幅である。Ａreal1は、平滑化処理後の実幅Ｗreal1（ｎ－１）についての重み係数であり、Ａrealは、平滑化処理前の実幅Ｗreal（ｎ）についての重み係数である。重み係数Ａreal1は、変動する係数であり、平均化処理の回数が増加するにつれて徐々に増加していき、最終的には所定の上限値に達するように設定される。これにより、平滑化処理の回数が少ない場合には、実幅real1の値は、上下し乱れ得るが、平均化処理の回数がある程度増えることにより平滑化され、前回の値からおおきくずれないようになる。このようにして、相対距離算出部３４は、平滑化処理を行うことにより、実幅Ｗreal1を更新する。

次に、相対距離算出部３４は、ステップＳ１０１により算出された画像幅Ｗpic、およびステップＳ１０７において平滑化処理により算出された実幅Ｗreal1に基づいて、相対距離Ｚを算出する（ステップＳ１０８）。この演算は、例えば、先行車両９０の画像サイズ（スケーリング）を利用した公知の演算方法を用いることができる。例えば、ステップＳ１０３またはステップＳ１０５からこのステップＳ１０８に直接進んだ場合（ステップＳ１０３，Ｓ１０５において“Ｎ”）には、ステップＳ１０７により実幅Ｗreal1が更新されないので、相対距離算出部３４は、ステップＳ１０１により算出された画像幅Ｗpic、および過去に更新された最新の実幅Ｗreal1に基づいて、相対距離Ｚを算出する。

次に、相対速度算出部３５は、ステップＳ１０８において算出された相対距離Ｚに基づいて、相対速度Ｖを算出する（ステップＳ１０９）。具体的には、相対速度算出部３５は、相対距離Ｚに基づいて、以下の式（４）を用いて、相対速度Ｖを算出する。

ここで、Ｚ（ｎ）は、ｎ番目のフレームＦに係る相対距離であり、Ｚ（ｎ－１）は、（ｎ－１）番目のフレームＦに係る相対距離である。走行情報検出部３０は、この相対速度ΔＶに基づいて、以下の式（５）を用いて、先行車両９０の走行速度Ｖ９０を算出することができる。

ここで、Ｖ９０（ｎ）は、ｎ番目のフレームＦに係る先行車両９０の走行速度である。

以上で、このフローは終了する。

このように、車外環境検出装置１では、距離画像ＰＺに基づいて先行車両９０の走行情報を検出するとともに、画像Ｐに基づいて先行車両９０の走行情報を検出するようにしたので、先行車両９０の検出精度を高めることができる。すなわち、仮に、例えば、雨粒や逆光などにより、左画像ＰＬまたは右画像ＰＲが不鮮明になった場合には、距離画像ＰＺの画像精度が低くなり、その結果、距離画像ＰＺに基づいて検出された先行車両９０の走行情報の精度が低くなるおそれがある。車外環境検出装置１では、距離画像ＰＺに基づいて先行車両９０の走行情報を検出するとともに、画像Ｐに基づいて先行車両９０の走行情報を検出するようにしたので、このように、左画像ＰＬまたは右画像ＰＲが不鮮明になった場合でも、左画像ＰＬおよび右画像ＰＲのうちの鮮明な画像（画像Ｐ）に基づいて先行車両９０の走行情報を検出することができるので、先行車両９０の検出精度を高めることができる。

また、車外環境検出装置１では、走行情報検出部３０の信頼度判定部３３が、画像幅Ｗpicの信頼度を算出するようにした。そして、その信頼度が所定のしきい値よりも高い場合に、相対距離算出部３４が、その画像幅Ｗpicおよび予測相対距離Ｚpreに基づいて実幅Ｗrealを算出し、その実幅Ｗrealに基づいて平滑化処理を行うことにより実幅Ｗreal1を更新し、この実幅Ｗreal1および画像幅Ｗpicに基づいて相対距離Ｚを算出するようにした。これにより、車外環境検出装置１では、以下に示すように、相対距離Ｚの精度を高めることができる。

図７Ａは、走行情報検出部３０により算出された一連の相対距離Ｚの一例を表すものであり、図７Ｂは、走行情報検出部３０により算出された先行車両９０の走行速度Ｖ９０の一例を表すものである。この例では、タイミングｔ１より前の期間において、先行車両９０は、図７Ｂに示したように、ほぼ一定の速度で走行している。車両１０は、先行車両９０の走行速度よりも遅い走行速度で走行しており、図７Ａに示したように、時間が経過する度に相対距離Ｚが徐々に離れていく。そして、先行車両９０は、図７Ｂに示したように、タイミングｔ１において減速を開始する。これに応じて、相対距離Ｚは、図７Ａに示したように、タイミングｔ１において減少し始める。そして、先行車両９０は、タイミングｔ２において停止する。

図８Ａは、一連の予測相対距離Ｚpreの一例を表すものであり、図８Ｂは、先行車両９０の予測走行速度Ｖ９０preの一例を表すものである。図８Ａに示した予測相対距離Ｚpreは、図７Ａに示した相対距離Ｚと同様であり、図８Ｂに示した予測走行速度Ｖ９０preは、図７Ｂに示した走行速度Ｖ９０と同様である。予測相対距離Ｚpre（図８Ａ）では、相対距離Ｚ（図７Ａ）とは異なり、例えば、部分Ａ，Ｂにおいて乱れが生じている。予測相対距離Ｚpreの乱れは、式（１）を用いて画像幅Ｗpicに基づいて予測相対速度Ｖpreを算出したときの予測相対速度Ｖpreの乱れに起因している。走行情報検出部３０は、このような予測相対速度Ｖpreに基づいて、図６のステップＳ１０３～Ｓ１０８に示したように演算を行うことにより、相対距離Ｚ（図７Ａ）に、予測相対距離Ｚpre（図８Ａ）のような乱れが生じないようにしている。

すなわち、車外環境検出装置１では、図６に示したように、画像幅Ｗpicの信頼度が所定のしきい値よりも高い場合（ステップＳ１０５において“Ｙ”）に、相対距離算出部３４が、その画像幅Ｗpicおよび予測相対距離Ｚpreに基づいて実幅Ｗrealを算出し、その実幅Ｗrealに基づいて平滑化処理を行うことにより実幅Ｗreal1を更新し、この実幅Ｗreal1および画像幅Ｗpicに基づいて相対距離Ｚを算出するようにした。また、車外環境検出装置１では、画像幅Ｗpicの信頼度が所定のしきい値よりも低い場合（ステップＳ１０５において“Ｎ”）には、実幅Ｗreal1を更新せず、画像幅Ｗpicおよび過去に更新された最新の実幅Ｗreal1に基づいて相対距離Ｚを算出するようにした。例えば、画像幅Ｗpicの信頼性が低い場合には、予測相対速度Ｖpreが乱れ得る。車外環境検出装置１では、画像幅Ｗpicの信頼性が低い場合には、実幅Ｗreal1を更新しないようにしたので、予測相対速度Ｖpreが乱れるような画像幅Ｗpicが実幅Ｗreal1へ影響を与えるおそれを低減することができる。このようにして、車外環境検出装置１では、相対距離Ｚ（図７Ａ）に、予測相対距離Ｚpre（図８Ａ）のような乱れが生じないようにすることができる。その結果、車外環境検出装置１では、先行車両９０の検出精度を高めることができる。

また、車外環境検出装置１では、走行情報検出部３０の相対距離算出部３４が、実幅Ｗrealに基づいて平滑化処理を行うことにより実幅Ｗreal1を更新し、この実幅Ｗreal1および画像幅Ｗpicに基づいて相対距離Ｚを算出するようにした。これにより、車外環境検出装置１では、実幅Ｗrealに乱れが生じた場合でも、平滑化処理を行うことによりその乱れを抑えることができるので、相対距離Ｚの乱れを抑えることができる。その結果、車外環境検出装置１では、先行車両９０の検出精度を高めることができる。

［効果］
以上のように本実施の形態では、画像幅の信頼度が所定のしきい値よりも高い場合に、その画像幅および予測相対距離に基づいて実幅Ｗrealを算出し、その実幅Ｗrealに基づいて平滑化処理を行うことにより実幅Ｗreal1を更新し、この実幅Ｗreal1および画像幅に基づいて相対距離を算出するようにしたので、予測相対速度が乱れるような画像幅が実幅Ｗreal1へ影響を与えるおそれを低減することができるので、先行車両の検出精度を高めることができる。

本実施の形態では、実幅Ｗrealに基づいて平滑化処理を行うことにより実幅Ｗreal1を更新し、この実幅Ｗreal1および画像幅に基づいて相対距離を算出するようにしたので、実幅Ｗrealに乱れが生じた場合でも、平滑化処理を行うことによりその乱れを抑えることができるため、先行車両の検出精度を高めることができる。

以上、いくつかの実施の形態および変形例を挙げて本技術を説明したが、本技術はこれらの実施の形態等には限定されず、種々の変形が可能である。

例えば、上記実施の形態では、車両１０の前方を走行する先行車両９０を処理対象としたが、これに限定されるものではない。これに代えて、例えば、車両１０の後方を走行する車両を処理対象としてもよい。この場合には、ステレオカメラ１１は、車両１０の後方を撮像するように構成される。

なお、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、また、他の効果があってもよい。

１…車外環境検出装置、１０…車両、１１…ステレオカメラ、１１Ｌ…左カメラ、１１Ｒ…右カメラ、２０…処理部、２１…距離画像生成部、２２…先行車両検出部、２３…走行情報検出部、２４…画像精度検出部、２５…画像選択部、２６…先行車両検出部、２７…自車両走行情報取得部、２８…走行情報決定部、３０…走行情報検出部、３１…画像幅算出部、３２…予測距離算出部、３３…信頼度判定部、３４…相対距離算出部、３５…相対速度算出部、９０…先行車両、９１Ｌ…左テールランプ、９１Ｒ…右テールランプ、Ｆ…フレーム、Ｐ…画像、ＰＩＣ…ステレオ画像、ＰＬ…左画像、ＰＲ…右画像、ＰＺ…距離画像、Ｒ１…領域、Ｒ２…処理対象領域、Ｖ…相対速度、Ｗpic…画像幅、Ｗreal，Ｗreal1…実幅、Ｚ…相対距離、Ｚpre…予測相対距離。

Claims (4)

1. 自車両において得られた左画像および右画像のうちの一方である第１の画像に基づいて、対象車両についての第１の画像幅を算出する画像幅算出部と、
   前記第１の画像幅に基づいて、前記対象車両までの第１の予測距離を算出する予測距離算出部と、
   前記自車両が前記対象車両の後ろ正面付近に位置しているかどうかを評価することにより、前記第１の画像幅の第１の信頼度を算出する信頼度判定部と、
   前記第１の信頼度が所定のしきい値よりも高い場合に、前記第１の画像幅および前記第１の予測距離に基づいて前記対象車両についての第１の実幅を算出し、前記第１の実幅に基づいて平滑化処理を行うことにより平滑化実幅を更新し、前記平滑化実幅および前記第１の画像幅に基づいて前記対象車両までの第１の距離を算出する相対距離算出部と
   を備え、
   前記信頼度判定部は、前記対象車両の左テールランプについての情報と、前記対象車両の右テールランプについての情報との差に基づいて、前記自車両が前記対象車両の後ろ正面付近に位置しているかどうかを評価する
   車外環境検出装置。
2. 前記画像幅算出部は、前記左画像および前記右画像のうちの一方であり、前記第１の画像よりも撮像タイミングが遅い第２の画像に基づいて前記対象車両の第２の画像幅を算出し、
   前記予測距離算出部は、前記第２の画像幅に基づいて前記対象車両までの第２の予測距離を算出し、
   前記信頼度判定部は、前記第２の画像幅の第２の信頼度を算出し、
   前記相対距離算出部は、前記第２の信頼度が前記所定のしきい値よりも低い場合に、前記平滑化実幅および前記第２の画像幅に基づいて前記対象車両までの第２の距離を算出する
   請求項１に記載の車外環境検出装置。
3. 前記画像幅算出部は、前記左画像および前記右画像のうちの一方であり、前記第１の画像よりも撮像タイミングが遅い第２の画像に基づいて前記対象車両の第２の画像幅を算出し、
   前記予測距離算出部は、前記第２の画像幅に基づいて前記対象車両までの第２の予測距離を算出し、
   前記信頼度判定部は、前記第２の画像幅の第２の信頼度を算出し、
   前記相対距離算出部は、前記第２の信頼度が前記所定のしきい値よりも高い場合に、前記第２の画像幅および前記第２の予測距離に基づいて前記対象車両についての第２の実幅を算出し、前記第２の実幅に基づいて前記平滑化処理を行うことにより前記平滑化処理を更新し、前記平滑化実幅および前記第２の画像幅に基づいて前記対象車両までの第２の距離を算出する
   請求項１に記載の車外環境検出装置。
4. 前記第１の距離および前記第２の距離に基づいて、前記車外環境検出装置が搭載された前記自車両の走行速度および前記対象車両の走行速度の間の相対速度を算出する相対速度算出部をさらに備えた
   請求項２または請求項３に記載の車外環境検出装置。

Images