JP2015232846A - 前方状況判定装置 - Google Patents

Abstract

【課題】他車両に搭載されている装置に依存せずに、直近前方車で視界が阻害されている領域に存在している他の移動体に注意を要する状況であるか否かを判定することができる前方状況判定装置を提供する。
【解決手段】カメラ１０が撮像した画像において、カメラ１０との間に障害物がない物体から所定の条件により選択される解析対象物体の像に含まれる領域であり、カメラ１０との間に障害物がない前方車である直近前方車で視界が阻害されている領域に存在する移動体の像が写っている可能性がある解析対象領域を解析する画像解析部５１と、画像解析部５１の解析結果に基づいて、直近前方車で視界が阻害されている領域に存在する移動体に注意を要する状況である遮蔽領域注意状況か否かを判定する判定部５２とを備える。
【選択図】図１

Description

本発明は、車両で用いられ、その車両の前方の状況を判定する前方状況判定装置に関する。

渋滞情報を取得した場合に、左右の方向指示灯を両方点滅させて、後続車の運転手に対して注意喚起をする技術が知られている（特許文献１）。この技術によれば、自車両の運転者は、自車両と同一車線を走行している直近前方車である先行車の左右の方向指示灯が両方点滅することを見ることにより、自車両が走行している車線において先行車で視界が阻害されている領域に、注意すべき状況が生じていることを知ることができる。

特開２００５−１４８９９８号公報

しかし、 特許文献１の技術は、先行車に特許文献１記載の装置が搭載されていないと、自車両の運転手に注意喚起をすることができない。

また、自車両に搭載したカメラ等の検出部により先行車の左右の方向指示灯の点滅を自動的に検出して速度制御等の車両制御を行うとしても、先行車に特許文献１記載の装置が搭載されていないと、その車両制御を行うことができない。

これら自車両の運転者に対する注意喚起や自車両の車両制御のためには、先行車で視界が阻害されている領域に存在している他の移動体に注意をすべき状況であるかを判定する必要がある。

特許文献１の技術は、先行車で視界が阻害されている領域に存在している他の移動体に注意をすべき状況かを判定するために、他車両に特許文献１の装置が搭載されている必要があった。しかし、他車両に必ず特許文献１の装置が搭載されているとは限らないという問題がある。

本発明は、この事情に基づいて成されたものであり、その目的とするところは、他車両に搭載されている装置に依存せずに、直近前方車で視界が阻害されている領域に存在している他の移動体に注意を要する状況であるか否かを判定することができる前方状況判定装置を提供することにある。

上記目的は独立請求項に記載の特徴の組み合わせにより達成され、下位請求項は、発明の更なる有利な具体例を規定する。特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。

上記目的を達成するための本発明は、車両で用いられ、車両の前方を撮像するカメラ（１０）と、カメラが撮像した画像において、カメラとの間に障害物がない物体から所定の条件により選択される解析対象物体の像に含まれる領域であり、カメラとの間に障害物がない前方車である直近前方車で視界が阻害されている領域に存在する移動体の像が写っている可能性がある解析対象領域を解析する画像解析部（５１）と、画像解析部の解析結果に基づいて、直近前方車で視界が阻害されている領域に存在する移動体に注意を要する状況である遮蔽領域注意状況か否かを判定する判定部（５２）とを備えることを特徴とする前方状況判定装置である。

カメラが車両前方を撮像した画像には、他の物体のガラス部分、あるいは、他の物体の鏡面部分に、直近前方車で視界が阻害されている領域に存在する移動体の像が写っていることがある。

そこで、本発明では、カメラが撮像した画像において、解析対象物体の像に含まれている領域であり、直近前方車で視界が阻害されている領域に存在する移動体の像が写っている可能性がある領域である解析対象領域を解析する。そして、判定部は、その解析結果に基づいて、直近前方車で視界が阻害されている領域に存在する他の移動体に注意を要する状況であるか否かを判定する。

したがって、直近前方車両に搭載されている装置に依存せずに、直近前方車で視界が阻害されている領域に存在している他の移動体に注意を要する状況であるか否かを判定することができる。

実施形態の前方状況判定装置１の構成図である。 図１のＥＣＵ５０が実行する処理を示すフローチャートである。 図２のステップＳ２の処理を示すフローチャートである。 図２のステップＳ４の処理を示すフローチャートである。 カメラ画像を説明する図である。 先行車１１０の後窓部１１２を通して見える車両１２０、１３０、１４０を説明する図である。 図２のステップＳ５の処理を示すフローチャートである。 解析対象車を探索する探索領域１６０を説明する図である。 図２のステップＳ６の処理を示すフローチャートである。

以下、本発明の実施形態を図面に基づいて説明する。本発明の実施形態となる前方状況判定装置１は、図１に示す構成を備える。この前方状況判定装置１は図示しない車両に搭載される。前方状況判定装置１を搭載した車両を、以下、自車両という。

前方状況判定装置１は、カメラ１０、照度センサ２０、表示部３０、スピーカ４０、ＥＣＵ５０を備える。

カメラ１０は、自車両の前方を撮像する。このカメラ１０は、ステレオカメラであるとする。カメラ１０の設置場所は、たとえば車室内のルームミラー裏側などである。

照度センサ２０は、自車両の周囲の照度を検出し、検出した照度を示す信号をＥＣＵ５０に出力する。この照度センサ２０は、車室内のダッシュボード上面縁部などに設置される。

表示部３０は、車室内において自車両の運転者が視認可能な位置に設置されており、表示画面を備える。この表示画面には、ＥＣＵ５０が遮蔽領域注意状況であると判断した場合に、そのＥＣＵ５０により制御されて、遮蔽領域に注意すべきことを意味する文字や図形が表示される。

この遮蔽領域注意状況とは、カメラ１０との間に障害物がない前方車、すなわち、自車両との間に障害物がない前方車である直近前方車で視界が阻害されている領域に存在する移動体に注意を要する状況を意味する。

また、直近前方車には、自車両と同一車線を走行している直近前方車である先行車だけではなく、自車両が走行している車線方向とは異なる方向において自車両との間に障害物がない前方車も含む。

したがって、直近前方車には、自車両が走行している車線と同一進行方向の別車線において、自車両との間に障害物がない前方車（以下、側方直近前方車）も含まれる。加えて、直近前方車には、自車両が走行している車線とは反対車線において、自車両との間に障害物がない前方車（以下、直近対向車）も含まれる。

スピーカ４０は、車室に向けて音を出力する位置に設置されており、ＥＣＵ５０が遮蔽領域注意状況であると判断した場合に、そのＥＣＵ５０により制御されて、遮蔽領域に注意すべきことを意味する音を出力する。

ＥＣＵ５０は、周知のＣＰＵ、ＲＯＭ、ＲＡＭを備える。また、ＲＯＭ、ＲＡＭとは別の記憶部５５も備える。記憶部５５は、書き換え可能なＲＯＭであり、例えばフラッシュメモリである。この記憶部５５あるいはＲＯＭには、ＣＰＵが種々の処理を実行するためのプログラムが記憶されている。

ＣＰＵは、ＲＡＭの一時記憶機能を利用しつつ、ＲＯＭあるいは記憶部５５に記憶されているプログラムを実行することで、画像解析部５１、判定部５２、照度決定部５３、車種決定部５４として機能する。これら画像解析部５１、判定部５２、照度決定部５３、車種決定部５４が実行する処理は、図２以降を用いて後述する。なお、ＣＰＵが実行する機能の一部または全部を、一つあるいは複数のＩＣ等によりハードウェア的に構成してもよい。

ＥＣＵ５０は、カメラ１０、表示部３０、スピーカ４０の制御も行う。また、ＥＣＵ５０は信号取得部５６を備えている。この信号取得部５６は、車内ＬＡＮ６０を介して、自車両内の種々の信号を取得する。取得する信号には、方向指示灯の点消灯状態を示す信号がある。したがって、信号取得部５６は請求項の方向指示灯検出部に相当する。

記憶部５５には、前述したプログラムに加えて、先行車よりも一台前の車両である先先行車のブレーキランプが点灯したときに、自車両から見える先行車の後窓の発光パターンが車種別に記憶されている。先行車の窓の傾斜は車種により異なり、窓の傾斜が異なれば、先先行車のブレーキランプからの光が先行車の窓に入射したときの光の散乱パターンが異なる。すなわち、車種ごとに、先先行車のブレーキランプが点灯したときに、自車両から見える先行車の後窓の発光パターンが異なる。この発光パターンを、以下、ブレーキ時発光パターンという。記憶部５５には、このブレーキ時発光パターンが車種別に記憶されている。このブレーキ時発光パターンは、先先行車の左右両方のブレーキランプが、先行車の窓を通して自車両から視認できる状態における発光パターンになっている。

同様に、先先行車の後部の方向指示灯が両方とも点灯したときに、自車両から見える先行車の後窓の発光パターンも異なる。この発光パターンを、以下、ハザード時発光パターンという。記憶部５５には、このハザード時発光パターンも車種別に記憶されている。このハザード時発光パターンも、先先行車の左右両方の方向指示灯が、先行車の窓を通して自車両から視認できる状態における発光パターンになっている。なお、ブレーキランプおよび後部の方向指示灯が請求項の後部ランプである。

記憶部５５には、さらに、先行車の車種を、先行車の後部形状から決定するために、車両後方のテンプレート画像も車種別に記憶されている。

次に、ＥＣＵ５０が実行する処理を図２以下を用いて説明する。ＥＣＵ５０は、図２に示す処理を、自車両が前進走行している間、繰り返し実行する。また、ＥＣＵ５０は、図２に示す処理を実行している間、カメラ１０に、自車両の前方画像を撮像させる。図２のステップＳ１〜Ｓ３は画像解析部５１が実行する。ステップＳ４〜Ｓ６をＥＣＵ５０のどの要素が実行するかは図４、７、９で説明する。

ステップＳ１では、カメラ１０が撮像した画像（以下、カメラ画像）を、カメラ１０から取得する。

ステップＳ２では、解析対象車すなわち解析対象物体を決定する。解析対象車とは、カメラ画像中においてその解析対象車の像が解析対象領域を含んでいる車である。解析対象領域は、直近前方車両で視界が阻害されている領域に存在する移動体の像が写っている可能性がある領域を意味する。解析対象車としては、前述した先行車、側方直近前方車、直近対向車があり、解析対象領域には、先行車の後窓画像部分、側方直近前方車の自車両側のボディ側面の画像部分、直近対向車の窓画像部分がある。

先行車の窓画像部分には、先先行車が写っている可能性がある。側方直近前方車の自車両側のボディ側面の画像部分には、その側面が鏡となって、先先行車が写っている可能性がある。直近対向車の窓画像部分には、直近対向車の後ろ側方を自車両側へ移動する移動体が写っている可能性がある。したがって、これら先行車の後窓画像部分、側方直近前方車の自車両側のボディ側面の画像部分、直近対向車の窓画像部分を解析対象領域とするのである。

ステップＳ２の詳細処理は図３に示している。図３において、ステップＳ２１では、自車両の右方向指示灯が点滅しているか否かを判断する。この判断がＹＥＳであればステップＳ２２に進む。

ステップＳ２２では、右車線を走行中であるか否かを判断する。この判断は、たとえば、ステップＳ１で取得したカメラ画像を解析して画像中における中央線あるいは中央分離帯の位置から、自車両と中央線あるいは中央分離帯との距離を決定して行う。

ステップＳ２２の判断がＮＯである場合、右方向指示灯が点滅しているのは、車線変更するためであると考えられる。ステップＳ２２の判断がＮＯであればステップＳ２３に進む。また、ステップＳ２１の判断がＮＯであった場合にもステップＳ２３に進む。

ステップＳ２３では、カメラ画像中に先行車の透光窓部分があるか否かを判断する。透光窓とは、光が透過する窓を意味しており、フィルムが貼り付けられている窓であり、その窓の向こう側の景色が全くあるいはほとんど見えない窓は、透光窓ではない。このステップＳ２３の判断は、先行車の後面に前方を視認できる窓があるか否かを判断していることになる。

ステップＳ２３の判断は、たとえばエッジ検出などにより先行車の画像部分を決定し、その先行車の画像部分において、同一点の位置が周囲の部分に対して相対的に変化する領域があるか否かにより判断する。透光窓部分があれば、その窓部分を通して見える景色が、窓周囲のボディに対して相対的に変化するからである。

ステップＳ２３の判断がＹＥＳであればステップＳ２４に進む。ステップＳ２４では、先行車を解析対象車に決定する。ステップＳ２３の判断がＮＯであればステップＳ２５に進む。ステップＳ２５では、側方直近前方車を解析対象車に決定する。先行車の窓部分を解析して先先行車のブレーキランプ、方向指示灯が点灯しているかを判断することができないので、側方直近前方車のボディ側面の画像部分を解析するためである。

一方、ステップＳ２２で右車線を走行中であると判断した場合（Ｓ２２：ＹＥＳ）には、自車両の運転者は自車両を右折させようとしていると考えられる。ステップＳ２２の判断がＹＥＳであればステップＳ２６に進む。ステップＳ２６では、直近対向車を解析対象車に決定する。右折時は、すなわち、対向車線を横断する場合には、直近対向車の後ろ側方を自車両側へ移動する移動体に注意が必要だからである。

説明を図２に戻す。ステップＳ３では、ステップＳ２で決定した解析対象車が何であったかを判断する。先行車が解析対象車である場合にはステップＳ４に進み、側方直近前方車が解析対象車である場合にはステップＳ５に進み、直近対向車が解析対象車である場合にはステップＳ６に進む。

ステップＳ４の詳細は図４に示す。図４において、ステップＳ４１は車種決定部５４が実行し、ステップＳ４２〜Ｓ４４、Ｓ４６〜Ｓ４７は画像解析部５１が実行し、ステップＳ４５は照度決定部５３が実行し、ステップＳ４８〜Ｓ５１は判定部５２が実行する。

ステップＳ４１では、先行車の車種を決定するために車種決定処理を行う。先行車の車種決定には、カメラ画像から取得した先行車の画像と、記憶部５５に記憶されている車種別の車両後方のテンプレート画像との一致度を用いる。この一致度が車種決定値以上であれば、先行車の車種は、一致度の決定に用いたテンプレート画像の車種であるとする。一致度が車種決定値以上となるテンプレート画像がない場合には、先行車の車種が決定できなかったとする。また、先行車が存在しない場合にも、先行車の車種が決定できなかったとする。

ステップＳ４２では、ステップＳ４１の車種決定処理において、先行車の車種が決定できたか否かを判断する。先行車の車種が決定できた場合（Ｓ４２：ＹＥＳ）にはステップＳ４３に進む。ステップＳ４３では、記憶部５５に車種別に記憶されているブレーキ時発光パターン、ハザード時発光パターンのうち、決定できた車種のブレーキ時発光パターン、ハザード時発光パターンを、以下の処理で使用することに決定する。

先行車の車種が決定できなかった場合（Ｓ４２：ＮＯ）にはステップＳ４４に進む。ステップＳ４４では、予め設定されているデフォルトの車種のブレーキ時発光パターン、ハザード時発光パターンを、以下の処理で使用することに決定する。

ステップＳ４３、Ｓ４４のいずれかを実行した場合には、ステップＳ４５に進む。ステップＳ４５では、照度センサ２０から照度を示す信号を取得する。ステップＳ４６では、ステップＳ４４で取得した照度に基づいて、先先行車のランプが点灯したか否かを判定するために用いる輝度閾値を設定する。輝度閾値は、ブレーキランプの点灯を判定するための輝度閾値と、方向指示灯の点灯を判定するための輝度閾値とがある。いずれの閾値も、照度が高いほど高い値に設定する。周囲の明るさが明るいほど、カメラ画像における後窓画像部分は、先先行車のランプが点灯していなくても明るいからである。

ステップＳ４７では、カメラ画像のうち、図５に例示する先行車画像７０の後窓画像部分７２を解析する。先行車画像７０の後窓画像部分７２は、請求項の解析対象領域に相当する。図５はカメラ画像の説明図である。先先行車が存在する場合、先行車画像７０の後窓画像部分７２には、先先行車の後部画像８０が写ることがある。先先行車のブレーキランプが点灯すると、先先行車の後部画像８０のブレーキランプも点灯する。また、先先行車の両方の方向指示灯が点滅すると、先先行車の後部画像８０の両方の方向指示灯も点滅する。

そこで、ステップＳ４７では、この先行車画像７０の後窓画像部分７２を解析する。解析の内容は、次のステップＳ４８、Ｓ４９の判断を行うための処理をすることである。すなわち、ステップＳ４７では、先行車画像の後窓画像部分７２のうち、ブレーキランプの色を呈している部分の輝度、方向指示灯の色を呈している部分の輝度が、ステップＳ４６でそれぞれのランプに対して設定した輝度閾値を越えているかどうかを判断する。また、輝度閾値を超えた部分の輝度分布パターンと、ステップＳ４３またはＳ４４で決定した発光パターンとの一致度を決定する。

ステップＳ４７における解析の結果、ブレーキランプの色を呈している部分の輝度が、ステップＳ４６でブレーキランプに対して設定した輝度閾値を越えている場合には、ステップＳ４８の判断結果をＹＥＳとする。また、ステップＳ４７における解析の結果、方向指示灯の色を呈している部分の輝度が、ステップＳ４６で方向指示灯に対して設定した輝度閾値を越えている場合にも、ステップＳ４８の判断結果をＹＥＳとする。ステップＳ４８の判断結果がＹＥＳであればステップＳ４９に進み、ＮＯであれば図４の処理を終了する。

ステップＳ４９では、ブレーキランプの色を呈している部分であって、かつ、輝度閾値を超えた部分の輝度分布パターンが、ステップＳ４３またはＳ４４で決定したブレーキランプの発光パターンと一致しているか否かを、ステップＳ４７で決定した一致度から判断する。

さらに、このステップＳ４９では、方向指示灯の色を呈している部分であって、かつ、輝度閾値を超えた部分の輝度分布パターンが、ステップＳ４３またはＳ４４で決定した方向指示灯の発光パターンと一致しているか否かを、ステップＳ４７で決定した一致度から判断する。

少なくとも一方の一致度が一致判定閾値を越えていれば、発光パターンに一致したと判断する（Ｓ４９：ＹＥＳ）。いずれの一致度も一致判定閾値を超えない場合には、発光パターンに一致しないと判断する（Ｓ４９：ＮＯ）。

カメラ１０が自車両１００のルームミラー付近に取り付けられている場合、図６に示すように、先行車１１０の後窓部１１２を通して、先先行車１２０だけではなく、隣車線の他車両１３０、１４０が見えることがある。しかしながら、図６から分かるように、隣接車線の他車両１３０、１４０は、自車両１００から先行車１１０の後窓部１１２を通して見る場合、後窓部１１２の中央付近には位置しない。特に、図６における左側の他車両１４０は、自車両１００から先行車１１０の後窓部１１２を通して見る場合、右側の部分しか見ることができない。したがって、これら他車両１３０、１４０のブレーキランプや左右の方向指示灯が点灯した場合と、先先行車１２０のブレーキランプや左右の方向指示灯が点灯した場合とでは、先行車画像７０の後窓画像部分７２の発光パターンは相違する。

これに対して、ステップＳ４３またはＳ４４で決定したブレーキ時発光パターン、ハザード時発光パターンは、先先行車の左右両方のブレーキランプあるいは左右の方向指示灯が、先行車の窓を通して自車両から視認できる状態における発光パターンになっている。したがって、ブレーキランプの色を呈している部分であって、かつ、輝度閾値を超えた部分の輝度分布パターンが、ステップＳ４３またはＳ４４で決定したブレーキランプの発光パターンと一致する場合には、先先行車１２０のブレーキランプが点灯したことになる。

また、方向指示灯の色を呈している部分であって、かつ、輝度閾値を超えた部分の輝度分布パターンが、ステップＳ４３またはＳ４４で決定した方向指示灯の発光パターンと一致する場合には、先先行車１２０の両方の方向指示灯が点灯したことになる。

そこで、ステップＳ４９の判断がＹＥＳである場合には、ステップＳ５０に進み、先先行車のランプが点灯状態になったと決定する。先先行車のブレーキランプが点灯した場合には、先先行車は減速しているので、先先行車に注意が必要である。また、先先行車の両方の方向指示灯が点滅している場合にも、先先行車に注意が必要である。

したがって、ステップＳ５０を実行する状況は、先行車で視界が阻害されている領域に存在する先先行車に注意を要する状況である。この状況は、請求項の遮蔽領域注意状況に相当する。

ステップＳ５１で、先先行車のランプが点灯したことを、表示部３０およびスピーカ４０の一方または両方を用いて、自車両の運転者に報知する。

次に、図７に示す側方直近前方車解析処理を説明する。図７において、ステップＳ６１〜Ｓ６３、Ｓ６５〜Ｓ６６は画像解析部５１が実行し、ステップＳ６４は照度決定部５３が実行し、ステップＳ６７〜Ｓ６９は判定部５２が実行する。

ステップＳ６１では、自車両に対する先行車の相対位置を特定する。本実施形態におけるカメラ１０はステレオカメラであるので、２つのカメラ画像における同一特徴点の視差に基づく公知の計算方法により、先行車の相対位置を特定する。なお、先行車が自車両から一定距離以内に存在しない場合には、先行車なしと決定する。

ステップＳ６２では、解析対象車を探索する探索領域１６０を決定する。この探索領域１６０について図８を用いて説明する。図８において、破線で示す先行車遮蔽領域１５０は、先行車１１０で自車両の運転者の視界が阻害されている領域のうち、先行車１１０に近い領域である。先行車遮蔽領域１５０の幅は先行車１１０の車幅と同じであり、長さは先行車１１０の前端から前方へ一定長さである。

隣車線を走行する車両のボディ側面に、この先行車遮蔽領域１５０の状況の少なくとも一部が写るのは、入射角と反射角が等しいという光の反射の法則より、ある領域に限定される。この領域が探索領域１６０である。この図８に示すように、探索領域１６０は、先行車遮蔽領域１５０に対して、長手方向の左右両側にそれぞれ決定する。本実施形態では、探索領域１６０は、隣車線に設定する。これは、カメラ１０の画角による制限のためである。カメラ１０の画角が、より広角である場合には、隣車線よりもさらに自車両の車幅方向において自車両から離れる領域を、探索領域に含めてもよい。

図８において、矢印１７１、１７３は、先行車遮蔽領域１５０の前端および後端からの光を概念的に示し、矢印１７２、１７４は、矢印１７１、１７３で示している光が、その矢印１７１、１７３の先端で反射して生じた反射光を概念的に示している。これら矢印１７１、１７２、１７３、１７４から分かるように、探索領域１６０は、先行車遮蔽領域１５０が定まると、幾何学計算により決定できる。

先行車遮蔽領域１５０の自車両に対する相対位置は、先行車１１０の相対位置により変化する。したがって、探索領域１６０も、先行車１１０の相対位置により変化する。そこで、このステップＳ１６２において、探索領域１６０を、先行車１１０に相対位置に基づいて決定するのである。

ステップＳ６３では、ステップＳ６２で決定した探索領域１６０に、側方直近前方車が存在しているか否かを判断する。探索領域１６０に側方直近前方車が存在している場合、カメラ画像においてその側方直近前方車が写っている部分を解析対象領域とする。

したがって、探索領域１６０に存在している側方直近前方車は、カメラ画像においてその側方直近前方車の画像が解析される解析対象車である。図８の例では、右側の探索領域１６０に、解析対象車となる側方直近前方車１８０が存在している。探索領域１６０は自車両の斜め前に設定されることから、側方直近前方車１８０は自車両の斜め前方を走行している。探索領域１６０に解析対象車が存在しているか否かは、カメラ画像を解析して判断する。

ステップＳ６３の判断がＮＯであれば、図７の処理を終了する。なお、先行車が存在しないために、探索領域１６０を決定できない場合にも、ステップＳ６３はＮＯになる。

ステップＳ６３の判断がＹＥＳであればステップＳ６４に進む。ステップＳ６４、Ｓ６５は、それぞれ、図４のステップＳ４５、Ｓ４６と同じ処理であり、ステップＳ６４では、照度センサ２０から照度を示す信号を取得する。ステップＳ６５では、ステップＳ６４で取得した照度に基づいて、先先行車のブレーキランプの点灯を判定するための輝度閾値と、方向指示灯の点灯を判定するための輝度閾値を設定する。なお、これらの輝度閾値の具体的値は、照度が同じである場合に、ステップＳ４６と同じ値であってもよいが、ステップＳ４６とは異なる値であってもよい。

ステップＳ６６では、カメラ画像のうち、解析対象車の自車両側のボディ側面の画像部分を解析する。解析対象車の自車両側のボディ側面画像部分は請求項の解析対象領域に相当し、解析対象車は請求項の鏡面物体に相当する。解析の内容は、次のステップＳ６７の判断を行うための処理をすることである。すなわち、ステップＳ４７では、解析対象車の自車両側のボディ側面画像部分のうち、ブレーキランプの色を呈している部分の輝度、方向指示灯の色を呈している部分の輝度が、ステップＳ６５でそれぞれのランプに対して設定した輝度閾値を越えているかどうかを判断する。

ステップＳ６７では、ステップＳ６６における解析の結果、ブレーキランプの色を呈している部分の輝度が、ステップＳ６５でブレーキランプに対して設定した輝度閾値を越えている場合には、ステップＳ６７の判断結果をＹＥＳとする。また、ステップＳ６６における解析の結果、方向指示灯の色を呈している部分の輝度が、ステップＳ６５で方向指示灯に対して設定した輝度閾値を越えている場合にも、ステップＳ６７の判断結果をＹＥＳとする。ステップＳ６７の判断結果がＹＥＳであればステップＳ６８に進み、ＮＯであれば図７の処理を終了する。

ステップＳ６８では、先先行車のランプが点灯したと決定する。図４のステップＳ５０で説明したように、先先行車のランプが点灯した状況は、請求項の遮蔽領域注意状況である。

ステップＳ６９では、先先行車のランプが点灯したことを、表示部３０およびスピーカ４０の一方または両方を用いて、自車両の運転者に報知する。

次に、図９に示す直近対向車解析処理を説明する。図９において、ステップＳ７１〜Ｓ７２は画像解析部５１が実行し、ステップＳ７３〜Ｓ７４は判定部５２が実行する。図９の処理を実行する状態では、自車両は右折をすると判断しているが、直近対向車が存在するか否かは判断していない。そこで、まず、ステップＳ７１では、直近対向車が存在しているか否かを判断する。直近対向車が存在しているか否かは、本実施形態では、カメラ画像を解析して判断する。

ステップＳ７１の判断結果がＮＯであれば図９の処理を終了し、ＹＥＳであればステップＳ７２に進む。ステップＳ７２では、カメラ画像のうち、直近対向車の窓画像部分を解析する。直近対向車が存在する場合、直近対向車の窓画像部分には、直近対向車の後ろ側方を自車両側へ移動する移動体が写っている可能性がある。そこで、直近対向車の窓画像部分を解析するのである。直近対向車の窓画像部分は請求項の解析対象領域に相当する。

解析は、具体的には、直近対向車の窓画像部分に、直近対向車の後ろ側方を自車両との距離が短くなる方向へ移動する移動体が写っているかを判定する。この判定には、直近対向車の窓画像部分から特徴点を抽出し、時間の経過により、その特徴点が直近対向車のボディ部分に対して相対的に移動しているかを判断することにより行う。

さらに、ヘッドライトの色を呈している部分の輝度が、ヘッドライトに対して予め設定されている輝度閾値を超えたかも判断する。直近対向車の後ろ側方にオートバイが存在する場合などに、直近対向車の窓画像部分にヘッドライトが写ることがあるからである。ヘッドライトの色を呈している部分の輝度が、ヘッドライトに対して予め設定されている輝度閾値を超えた場合には、ヘッドライトを備える物体が移動しているかの判断は省略して、直近対向車の後ろ側方を自車両側へ移動する移動体が存在するとする。ヘッドライトを備える物体が移動しているかの判断を省略するのは、直近対向車の後ろ側方に存在するヘッドライトを備えた物体は、通常、自車両側へ移動するからである。

ステップＳ７３では、ステップＳ７２での解析の結果、自車両方向に移動する移動体があるか否か、より正確には自車両との距離が短くなる方向に反対車線を移動する移動体が存在すると判定したか否かを判断する。ステップＳ７２でこの移動体が存在すると判定している場合には、ステップＳ７３の判断結果をＹＥＳとする。

直近対向車の後ろ側方を自車両との距離が短くなる方向へ移動する移動体が存在する状況は、請求項の遮蔽領域注意状況に相当する。ステップＳ７３の判断結果がＹＥＳであればステップＳ７４に進み、ＮＯであれば図９の処理を終了する。

ステップＳ７４では、直近対向車の後ろ側方に、自車両方向に移動する移動体が存在していることを、表示部３０およびスピーカ４０の一方または両方を用いて、自車両の運転者に報知する。

以上、説明した本実施形態によれば、自車両の前方を撮像するカメラ１０を備えている。このカメラ１０が撮像した画像には、先行車や直近対向車の後窓画像部分、あるいは、側方直近前方車のボディ側面部分に、先行車や直近対向車で視界が阻害されている領域に存在する移動体の像が写っていることがある。そこで、カメラ画像において、先行車の後窓画像部分、直近対向車の窓画像部分、側方直近前方車のボディ側面画像部分を解析対象領域として解析する（Ｓ４７、Ｓ６６、Ｓ７２）。そして、その解析結果に基づいて、先行車や直近対向車で視界が阻害されている領域に存在する他の移動体に注意を要する状況であるか否かを判定する（Ｓ４８〜Ｓ５０、Ｓ６７〜Ｓ６８、Ｓ７３）。したがって、他車両に搭載されている装置に依存せずに、先行車や直近対向車で視界が阻害されている領域に存在している他の移動体に注意を要する状況であるか否かを判定することができる。

また、本実施形態では、カメラ画像中に先行車の透光窓部分がないと判断した場合には（Ｓ２３：ＮＯ）、側方直近前方車を解析対象車とする（Ｓ２５）。したがって、カメラ画像中に先行車の透光窓部分がない場合であっても、先行車で視界が阻害されている領域に存在している他の移動体に注意を要する状況であるか否かを判定することができる。

また、本実施形態では、自車両が右折しようとする状況（Ｓ２２：ＹＥＳ）では、直近対向車を解析対象車とする（Ｓ２６）。したがって、先行車で視界が阻害されている領域ではなく、直近対向車で視界が阻害されている領域に注意が必要である右折時において、注意が必要な領域の状況を判定することができる。

また、輝度閾値を、自車両の周囲の照度に基づいて設定する（Ｓ４６、Ｓ６５）。したがって、先先行車のランプが点灯したか否かを精度よく判定することができる。

また、輝度値の大小だけではなく、輝度閾値を超えた部分の輝度分布パターンが、ブレーキランプ時発光パターンやハザード時発光パターンに一致するかも判定して先先行車のブレーキランプが点灯したか、あるいは、左右の方向指示灯が両方点灯したかを判定している（Ｓ４９）。これにより、先先行車のランプが点灯したか否かを、より精度よく判定することができる。

以上、本発明の実施形態を説明したが、本発明は上述の実施形態に限定されるものではなく、次の変形例も本発明の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施できる。

＜変形例１＞
たとえば、前述の実施形態では、解析対象物体は車両であったが、カメラ画像に写っている車両以外の物体を解析対象物体としてもよい。具体的には、側方直近前方車を解析対象車とする状況、すなわち、ステップＳ５を実行する状況において、側方直近前方車に代えて、自車両の斜め前方に存在している建物のガラス面を鏡面物体としてもよい。建物のガラス面にも、先先行車が写っていることがあるからである。

＜変形例２＞
先行車の透光窓部分がある場合に、先行車解析処理（Ｓ４）に加えて、側方直近前方車解析処理（Ｓ５）を実行してもよい。

＜変形例３＞
先行車解析処理（Ｓ４）では、カメラ画像から先先行車のランプが点灯したか否かを判断しており、ランプが点灯したと判断した場合に（Ｓ５０）、遮蔽領域注意状況であるとしていたが、これに限られない。先行車の後窓画像部分に写っている先先行車の像が大きくなっている場合に、遮蔽領域注意状況であるとしてもよい。

＜変形例４＞
前述の実施形態では、輝度閾値を自車両周辺の照度に基づいて決定していたが、輝度閾値を一定値としてもよい。

＜変形例５＞
また、カメラ画像内に解析対象車がない場合に、カメラ画像から遮蔽領域注意状況か否かを判定できない状態であることを、表示部３０に表示するようにしてもよい。

＜変形例６＞
また、先行車の後窓部の画像の輝度が、太陽光を反射していることを示す輝度である場合、先行車に透光窓部分があっても、解析対象車を側方直近前方車としてもよい。先行車の後窓部が太陽光を反射している場合には、先行車の後窓部の画像を解析して、先先行車のランプ点灯や先先行車の大きさを精度よく検出することが困難であると考えられるからである。

＜変形例７＞
前方の物体を検出するレーダを備え、先行車の位置決定（Ｓ６１）、直近対向車の有無判定（Ｓ７１）を、レーダを用いて行ってもよい。

＜変形例８＞
先先行車のブレーキランプが点灯したと判定したことに加えて、そのブレーキランプが継続して点灯している時間が一定時間以上である場合に、遮蔽領域注意状況であると判定してもよい。

＜変形例９〜１１＞
先行車の車種を車々間通信により取得してもよい（変形例９）。右車線を走行中であるかを判断することに代えて、あるいは、その判断に加えて、自車両の速度が右折可能な速度であるかを判断し、右折可能な速度である場合に、直近対向車を解析対象車としてもよい（変形例１０）。遮蔽領域注意状況であると判定した場合に、報知に代えて、あるいは、報知に加えて、減速制御など、自車両の挙動を制御してもよい（変形例１１）。

＜変形例１２＞
また、図９の直近対向車解析処理でも、図４の先行車解析処理のように、窓部分の輝度を解析する際に、解析対象車の車種を考慮してもよい。この場合、記憶部５５に、直近対向車の後ろ側方に存在する移動体がヘッドライトを点灯させている状況で、自車両から見える直近対向車の窓の発光パターンを車種別に記憶しておく。また、直近対向車の車種を、直近対向車の前部形状から決定するために、車両前方のテンプレート画像も車種別に記憶する。

そして、図９のステップＳ７１で直近対向車があると判断した場合（Ｓ７１：ＹＥＳ）には、ステップＳ７２を実行する前に、車種別に記憶している車両前方のテンプレート画像を用いて、直近前方車の車種を判断する。ステップＳ７２では、ヘッドライトの色を呈している部分の輝度が、ヘッドライトに対して予め設定されている輝度閾値を超えたかも判断することに加えて、直近前方車の車種に応じた発光パターンを用いた解析も行う。すなわち、直近前方車の窓画像部分のうち、ヘッドライトの色を呈している部分の発光パターンが、直近前方車の車種に応じた発光パターンと一致しているかも判断する。このようにすることで、直近対向車の後ろ側方を自車両側へ移動する移動体が存在するか否かを、精度よく判断することができる。

＜変形例１３＞
図９のステップＳ７２で用いる輝度閾値も、図４のステップＳ４６と同様、自車両の周囲の照度に応じて変更してもよい。

１：前方状況判定装置、 １０：カメラ、 ２０：照度センサ、 ３０：表示部、 ４０：スピーカ、 ５０：ＥＣＵ、 ５１：画像解析部、 ５２：判定部、 ５３：照度決定部、 ５４：車種決定部、 ５５：記憶部、 ５６：信号取得部、 ６０：車内ＬＡＮ、 ７０：先行車画像、 ７２：後窓画像部分、 ８０：後部画像、 １００：自車両、 １１０：先行車、 １１２：後窓部、 １２０：先先行車、 １３０：他車両、 １４０：他車両、 １５０：先行車遮蔽領域、 １６０：探索領域、 １８０：側方直近前方車

Claims (14)

1. 車両で用いられ、
   前記車両の前方を撮像するカメラ（１０）と、
   前記カメラが撮像した画像において、前記カメラとの間に障害物がない物体から所定の条件により選択される解析対象物体の像に含まれる領域であり、前記カメラとの間に障害物がない前方車である直近前方車で視界が阻害されている領域に存在する移動体の像が写っている可能性がある解析対象領域を解析する画像解析部（５１）と、
   前記画像解析部の解析結果に基づいて、前記直近前方車で視界が阻害されている領域に存在する前記移動体に注意を要する状況である遮蔽領域注意状況か否かを判定する判定部（５２）とを備えることを特徴とする前方状況判定装置。
2. 請求項１において、
   前記解析対象物体が、前記直近前方車から選択される解析対象車であることを特徴とする前方状況判定装置。
3. 請求項２において、
   前記画像解析部は、この前方状況判定装置が用いられている車両である自車両と同一車線を走行している直近前方車である先行車の後窓が写っている領域を前記解析対象領域に含むことを特徴とする前方状況判定装置。
4. 請求項３において、
   前記画像解析部は、前記先行車の後窓画像部分の輝度値に基づいて、前記先行車の１つ前を走行する車両である先先行車の後部ランプが点灯状態となったことを検出し、
   前記判定部は、前記画像解析部が、前記先先行車の後部ランプが点灯状態になったことを検出したことに基づいて、前記遮蔽領域注意状況であると判定することを特徴とする前方状況判定装置。
5. 請求項４において、
   前記自車両の周囲の照度を決定する照度決定部（５３）を備え、
   前記画像解析部は、前記照度決定部が決定した照度に基づいて、前記先先行車の後部ランプが点灯状態になったと判定する輝度閾値を決定することを特徴とする前方状況判定装置。
6. 請求項４または５において、
   前記画像解析部は、前記先行車の後窓画像部分の輝度値に加えて、前記後窓画像部分の輝度分布パターンが予め設定されている発光パターンであることに基づいて、前記先先行車の後部ランプが点灯状態となったと決定することを特徴とする前方状況判定装置。
7. 請求項６において、
   前記解析対象車の車種を決定する車種決定部（５４）を備え、
   前記画像解析部は、前記車種決定部が決定した車種に基づいて、前記発光パターンを決定することを特徴とする前方状況判定装置。
8. 請求項１〜７のいずれか１項において、
   前記画像解析部は、この前方状況判定装置が用いられている車両である自車両の斜め前方に存在している鏡面物体が写っている領域を前記解析対象領域に含むことを特徴とする前方状況判定装置。
9. 請求項８において、
   前記画像解析部は、前記自車両の斜め前を走行している直近前方車である側方直近前方車を前記鏡面物体とし、その側方直近前方車のボディ側面が写っている領域を前記解析対象領域に含むことを特徴とする前方状況判定装置。
10. 請求項８または９において、
    前記画像解析部は、前記自車両と同一車線を走行している直近前方車である先行車の後面に、前方を視認できる窓がない判定したことを、前記鏡面物体が写っている領域を前記解析対象領域に含ませる条件とすることを特徴とする前方状況判定装置。
11. 請求項１〜１０のいずれか１項において、
    前記画像解析部は、この前方状況判定装置が用いられている車両である自車両と反対車線に位置している前記直近前方車の窓が写っている領域を前記解析対象領域に含むことを特徴とする前方状況判定装置。
12. 請求項１１において、
    前記車両の方向指示灯の点消灯状態を検出する方向指示灯検出部（５６）を備え、
    前記画像解析部は、前記方向指示灯検出部が、前記車両が対向車線を横断する場合に点灯する側の方向指示灯が点滅していることを検出したことを、前記自車両と反対車線に位置している前記直近前方車の窓が写っている領域を前記解析対象領域に含ませる条件とすることを特徴とする前方状況判定装置。
13. 請求項１１または１２において、
    前記画像解析部は、前記直近前方車の窓画像部分の輝度値に基づいて、前記直近対向車の後ろ側方に、前記自車両の方向に移動する移動体が存在するか否かを解析し、
    前記判定部は、前記画像解析部の解析結果が、前記自車両の方向に移動する移動体が存在するという解析結果になったことに基づいて、前記遮蔽領域注意状況であると判定することを特徴とする前方状況判定装置。
14. 請求項１３において、
    前記画像解析部は、
    前記直近前方車の窓画像部分の輝度値に加えて、前記直近前方車の窓画像部分の輝度分布パターンが予め設定されている発光パターンであることに基づいて、前記直近対向車の後ろ側方に、前記自車両の方向に移動する移動体が存在すると決定し、
    かつ、前記発光パターンを、前記直近前方車の車種に基づいて決定することを特徴とする前方状況判定装置。

Images