JP6081250B2 - 運転支援装置および運転支援処理の制御方法 - Google Patents

Description

本発明は、自車両の周辺に存在する立体物の接近を検出して運転支援処理を実行する運転支援装置および運転支援処理の制御方法に関するものである。

近年では、車両の安全走行を図るシステムの開発が盛んになってきている。その開発技術の１つとして、自車両周辺にある立体物（他車両や歩行者など）を検出して運転者に報知するシステムが提供されている。さらに、自車両に接近する立体物を検出して警報を発生するシステムも提供されている。

自車両周辺の立体物を検出する技術としては、車載カメラから得られる画像を利用するものが数多く存在する（例えば、特許文献１，２参照）。例えば、魚眼レンズ等の超広角レンズを備えたリアカメラで車両の後方を広範囲に撮影し、撮影画像を解析することによって自車両周辺に存在する立体物を検出して運転者に認識させるシステムが知られている。

上記特許文献１，２では、撮影時間の異なる２枚の撮影画像の差分をとり、差分値が大きい部分を立体物として検出する。このうち、特許文献１に記載の技術では、単一のカメラによって、異なる第１および第２の地点での周辺画像を、時系列的に視差付けされた第１および第２の画像として撮像する。そして、第１の画像を第２の地点に射影変換した第４の画像を生成し、第４の画像と第２の画像との差分により立体物を検出する。また、この特許文献１に記載の技術では、車両が後退するときに撮影を開始するようになされている。

また、上記特許文献２に記載の技術では、撮影時間の異なる２枚の撮影画像の差分から立体物を検出した後、密度マップを用いて接近判定を行っている。具体的には、最新の密度マップが作成される毎に、最新の立体物の位置を検出し、検出時刻と対応付けた状態で追跡対象となる物標の履歴として記録する。そして、記録された物標の履歴に基づいて、当該物標の移動軌跡を推定し、当該移動軌跡に対応する物標が接近物であるか否かを判定する。

図３は、リアカメラで撮影した車両後方の画像を解析することによって自車両に近づく立体物を検出して警報を発生する場面の一例を示す図である。図３の例は、自車両１００が駐車場において後退する場面を示している。自車両１００の後方には駐車中の他車両２００が存在し、自車両１００の右後方には自車両１００に接近中の他車両３００が存在している。

ここで、自車両１００の後方にある駐車車両２００は、自車両１００が後退をすると自車両１００に近づくが、駐車中の車両であるため警報の発生は不要である。一方、自車両１００の右後方にある接近車両３００は、自車両１００に徐々に近づいてくるため、できるだけ早期に警報を発生することが必要である。

図４は、図３に示す状況においてリアカメラにより撮影される画像を模式的に示す図である。なお、図４には、自車両１００の後退中にリアカメラで撮影される３枚の撮影画像を時系列に並べて示している。自車両１００の後方にある駐車車両２００の画像２００’は、図４（ａ）→（ｂ）→（ｃ）のように時系列に沿って画像中心から外側に向かって移動している。一方、自車両１００の右後方にある接近車両３００の画像３００’は、図４（ａ）→（ｂ）→（ｃ）のように時系列に沿って画像外側から中心に向かって移動している。

この性質を利用して、撮影時間毎に撮影された撮影画像内から検出された立体物が、時系列に沿って画像外側から中心に向かって移動してきているときに、立体物が自車両１００に接近していると判定する。このようにすれば、自車両１００の後退によって実際には近づいている駐車車両２００を警報の対象外とする一方で、右後方から実際に近づいてくる接近車両３００のみを警報の対象とすることが可能となる。

特許第３４９４４３４号公報 特開２０１２−１７４１８０号公報

しかしながら、図５のように、駐車時において前進と後退とを繰り返すシーンでは、前進をした後にギアシフトをリバースポジションに切り替えることにより、ギアシフトはリバースポジションに入っていても車両は慣性で前進していることがある。このような場合は、図６に示すように、自車両１００の後方にある駐車車両２００の画像２００’が時系列に沿って画像外側から中心に向かって移動するため、自車両１００に接近していると判定して誤警報してしまうという問題が生じる。

本発明は、このような問題を解決するために成されたものであり、撮影画像内から検出された立体物が時系列に沿って画像外側から中心に向かって移動しているときに立体物が自車両に接近していると判定して警報を発生する場合に、駐車時に前進と後退とを繰り返すシーンにおいて誤警報の発生を防止できるようにすることを目的とする。

上記した課題を解決するために、本発明では、撮影画像内から検出された立体物が時系列に沿って画像外側から中心に向かって移動しているときに立体物が自車両に接近していると判定し、所定の運転支援処理を実行するに当たり、車両のギアシフトがリバースポジションに切替入力されたことが検出されたときに、車速が所定速度より大きいと判定された場合には、運転支援処理の実行を停止するようにしている。

上記のように、ギアシフトがリバースポジションに切替入力されたときに、車速が所定速度より大きい場合は、車両が前進した状態でギアシフトがリバースポジションに切り替えられたため、ギアシフトがリバースポジションに入っていても慣性で車両が前進している状態であると判断することができる。この場合は、撮影画像内から検出された立体物が時系列に沿って画像外側から中心に向かって移動するため、立体物が自車両に接近していると誤判定されるが、運転支援処理の実行は停止される。これにより、誤警報といった不要な運転支援処理の発生を防止することができる。

本実施形態による立体物検出装置の機能構成例を示すブロック図である。 本実施形態による運転支援装置の動作例を示すフローチャートである。 自車両に近づく立体物を検出して警報を発生する場面の一例を示す図である。 図３に示す状況においてリアカメラにより撮影される画像を模式的に示す図である。 従来の問題点を説明するための図である。 従来の問題点を説明するための図である。

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による運転支援装置１０の機能構成例を示すブロック図である。図１に示すように、本実施形態の運転支援装置１０は、その機能構成として、画像バッファ１１、予測画像生成部１２、移動量算出部１３、立体物検出部１４、接近判定部１５、警報発生部１６、車速判定部１７およびシフトポジション検出部１８を備えている。また、本実施形態の運転支援装置１０は、リアカメラ２０に接続されている。

上記予測画像生成部１２、移動量算出部１３、立体物検出部１４、接近判定部１５、警報発生部１６、車速判定部１７およびシフトポジション検出部１８の各機能は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能１２〜１８は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。

リアカメラ２０は、魚眼レンズ等の超広角レンズを備え、自車両後方の領域を広範囲に撮影する。魚眼レンズを使用しているため、リアカメラ２０により撮影される画像は、撮影範囲の周辺が丸く歪んだものとなる。

画像バッファ１１は、リアカメラ２０の撮影画像を入力し、１フレーム期間だけ一時的に格納する。予測画像生成部１２は、画像バッファ１１に格納された第１の撮影時間におけるリアカメラ２０の撮影画像を、当該第１の撮影時間より後の第２の撮影時間における予測画像に変換する。ここで、第１の撮影時間および第２の撮影時間は、例えば連続する２つのフレームの撮影時間である。

すなわち、予測画像生成部１２は、第１の撮影時間で撮影されたフレーム画像が、１フレーム時間後の第２の撮影時間にどのような画像に変化するかを予想するものである。なお、第１の撮影時間と第２の撮影時間との時間間隔は、必ずしも１フレーム間隔でなくてもよい。すなわち、ｎ（ｎは２以上の整数）フレーム間隔としてもよい。この場合、画像バッファ１１は、リアカメラ２０から入力した撮影画像をｎフレーム期間一時的に格納する。

第１の撮影時間における撮影画像から第２の撮影時間における予測画像を生成する具体的な方法としては、種々の方法を適用することが可能である。例えば、予測画像生成部１２は、移動量算出部１３により算出される車両の移動量に基づいて、第１の撮影時間における撮影画像を第２の撮影時間における予測画像に変換する。ここで、移動量算出部１３は、第１の撮影時間から第２の撮影時間までの時間間隔における車両の移動量を、車載ＬＡＮ等の車内ネットワーク（図示せず）を介して入力される車速パルスから算出する。

具体的には、予測画像生成部１２は、移動量算出部１３により算出される車両の移動量に基づいて、第１の撮影時間に得られた撮影画像内の物体が１フレーム後の第２の撮影時間に移動しているであろう位置とサイズとを算出する。そして、その算出した位置とサイズに従って物体を描画した画像を、第２の撮影時間における予測画像として生成する。

あるいは、予測画像生成部１２は、以下のようにして第１の撮影時間における撮影画像を第２の撮影時間における予測画像に変換することも可能である。すなわち、予測画像生成部１２は、第１の撮影時間よりも１フレーム前の撮影時間で得られた撮影画像と、第１の撮影時間で得られた撮影画像との間の変化量を算出する。そして、算出した画像の変化量を第１の撮影時間で得られた撮影画像に適用することにより、第２の撮影時間における予測画像を生成する。

立体物検出部１４は、リアカメラ２０から入力された第２の撮影時間における撮影画像と、画像バッファ１１に格納された第１の撮影時間における撮影画像から予測画像生成部１２により生成された第２の撮影時間における予測画像との差分を検出する。そして、一定量以上の差分が存在している領域を立体物として検出する。

接近判定部１５は、立体物検出部１４により検出された立体物が自車両に接近しているか否かを判定する。本実施形態では、接近判定部１５は、図４で説明したように、立体物検出部１４により撮影画像内から検出された立体物が時系列に沿って画像外側から中心に向かって移動しているときに、立体物が自車両に接近していると判定する。

警報発生部１６は、接近判定部１５により立体物が自車両に接近していると判定された場合に、警報を発生する。警報は、警報音を鳴らすことによって行ってもよいし、ディスプレイ画面上で接近中の立体物に枠表示をすることによって行ってもよい。

車速判定部１７は、車内ネットワークを介して入力される車速パルスに基づいて車速を検出し、検出した車速が所定速度（例えば、１ｋｍ／ｈ）より大きいか否かを判定する。シフトポジション検出部１８は、車内ネットワークを介して入力されるシフトポジション情報に基づいて、自車両のギアシフトがリバースポジションに切替入力さたか否かを判定する。また、シフトポジション検出部１８は、ギアシフトがリバースポジションに切替入力されてから所定時間（例えば、２秒）以内であるか否かの判定も行う。

上述の警報発生部１６は、シフトポジション検出部１８により車両のギアシフトがリバースポジションに切替入力されたことが検出されたとき、車速判定部１７により車速が所定速度より大きいと判定された場合に、警報発生処理の実行を停止する。

ギアシフトがリバースポジションに切替入力されたときに、車速が所定速度より大きい場合は、図５で説明したように、自車両１００が前進した状態でギアシフトがリバースポジションに切り替えられたため、ギアシフトがリバースポジションに入っていても慣性で自車両１００が前進している状態である。この場合、立体物検出部１４により撮影画像内から検出される駐車車両２００の画像２００’は、図６のように時系列に沿って画像外側から中心に向かって移動する。そのため、接近判定部１５により駐車車両２００が自車両１００に接近していると判定される。しかし、この場合に警報発生部１６による警報発生処理の実行は停止されるので、警報発生対象外である駐車車両２００の接近に関する誤警報の発生を防止することができる。

また、警報発生部１６は、警報発生処理の実行を停止した後、車速判定部１７により車速が所定速度（例えば、１ｋｍ／ｈ）より大きくないと判定されるか、または、シフトポジション検出部１８により車両のギアシフトがリバースポジションに入力されてから所定時間（例えば、２秒）以内ではないと判定された場合に、警報発生処理の実行を再開する。なお、ここでは車速が１ｋｍ／ｈより大きくないと判定された場合に警報発生処理の実行を再開することとしているが、車速がゼロ（所定速度＝０）になった場合に警報発生処理の実行を再開するようにしてもよい。

なお、ここでは、ギアシフトがリバースポジションに切替入力されたときに車速が所定速度より大きい場合に警報発生部１６の警報発生処理の実行を停止するようにしたが、本発明はこれに限定されない。例えば、接近判定部１５による接近判定処理を停止するようにしてもよい。あるいは、立体物検出部１４による立体物検出処理を停止するようにしてもよい。

図２は、図１のように構成した運転支援装置１０の動作例を示すフローチャートである。この図２では、車速が所定速度より大きく、かつ、ギアシフトがリバースポジションに切替入力されてから所定時間以内である場合に、立体物検出部１４、接近判定部１５および警報発生部１６による処理を停止する例を示している。なお、図２に示すフローチャートは、運転支援装置１０の警報発生機能を起動したときに開始する。

まず、シフトポジション検出部１８は、車内ネットワークを介して入力されるシフトポジション情報に基づいて、自車両のギアシフトがリバースポジションに入力されているか否かを判定する（ステップＳ１）。ギアシフトがリバースポジションに入力されていないとシフトポジション検出部１８にて判定された場合、処理はステップＳ７に遷移する。

一方、ギアシフトがリバースポジションに入力されているとシフトポジション検出部１８により判定された場合、車速判定部１７は、車内ネットワークを介して入力される車速パルスに基づいて車速を検出し、検出した車速が所定速度（１ｋｍ／ｈ）より大きいか否かを判定する（ステップＳ２）。ここで、車速が所定速度より大きくないと車速判定部１７により判定された場合、立体物検出部１４、接近判定部１５および警報発生部１６は通常通り動作する（ステップＳ３）。その後、処理はステップＳ７に進む。

一方、上記ステップＳ２において車速が所定速度より大きいと車速判定部１７により判定された場合、シフトポジション検出部１８は、ギアシフトがリバースポジションに入力されてから所定時間（２秒）以内であるか否かを判定する（ステップＳ４）。ここで、ギアシフトがリバースポジションに入力されてから所定時間以内でないとシフトポジション検出部１８により判定された場合、立体物検出部１４、接近判定部１５および警報発生部１６は通常通り動作する（ステップＳ３）。その後、処理はステップＳ７に進む。

一方、上記ステップＳ４において、ギアシフトがリバースポジションに入力されてから所定時間以内であるとシフトポジション検出部１８により判定された場合、立体物検出部１４、接近判定部１５および警報発生部１６の処理を停止することにより、警報の発生を抑制する（ステップＳ５）。

その後、車速判定部１７は、車速が所定速度（１ｋｍ／ｈ）より大きいか否かを判定する（ステップＳ６）。ここで、車速が依然として所定速度より大きいと車速判定部１７により判定された場合、処理はステップＳ４に戻る。これにより、ステップＳ６で車速が所定速度より大きくないと判定されるか、または、ステップＳ４でギアシフトがリバースポジションに入力されてから所定時間以内ではないと判定されるまでは、警報発生の抑制状態が維持される。

一方、ステップＳ６において、車速が所定速度より大きくない、つまり、車速が所定速度以下に低下したと車速判定部１７により判定された場合、処理はステップＳ７に進む。ステップＳ７において、運転支援装置１０は、警報発生機能の起動状態が解除されたか否かを判定する。警報発生機能の起動状態が解除されていない場合、処理はステップＳ１に戻る。一方、警報発生機能の起動状態が解除された場合、図２に示すフローチャートの処理は終了する。

なお、図２に示すフローチャートでは、ステップＳ６で車速が所定速度より大きいと車速判定部１７により判定された場合、処理がステップＳ４に戻る例について説明したが、本発明はこれに限定されない。例えば、処理をステップＳ５に戻し、ギアシフトがリバースポジションに入力されてからの経過時間によらず、車速が所定速度より大きい場合には警報発生の抑制状態を維持するようにしてもよい。

以上詳しく説明したように、本実施形態では、撮影画像内から検出された立体物が時系列に沿って画像外側から中心に向かって移動しているときに立体物が自車両に接近していると判定し、警報発生処理を実行するに当たり、ギアシフトがリバースポジションに切替入力されたとき、車速が所定速度より大きいと判定された場合には、警報発生処理の実行を停止するようにしている。これにより、駐車時に前進と後退とを繰り返すシーンにおいて、ギアシフトがリバースポジションに入力されていて慣性で車両が前進している場合における誤警報の発生を防止することができる。

なお、上記実施形態では、リアカメラ２０により撮影される自車両後方の画像を処理する例について説明したが、フロントカメラにより撮影される自車両前方の画像を処理するようにしてもよい。この場合において、シフトポジション検出部１８によりギアシフトがリバースポジションからドライブポジションに切替入力されたことが検出されたときに、車速判定部１７により車速が所定速度より大きいと判定された場合、運転支援処理の実行を停止するようにしてもよい。

また、上記実施形態では、運転支援装置１０において運転者に警報を発生する例について説明したが、本発明はこれに限定されるものではない。例えば、立体物への衝突を自動ブレーキにより回避する衝突回避システムや、立体物を回避するよう自動操舵をする自律走行システムなどに本発明を適用することも可能である。

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０ 運転支援装置
１１ 画像バッファ
１２ 予測画像生成部
１３ 移動量算出部
１４ 立体物検出部
１５ 接近判定部
１６ 警報発生部
１７ 車速判定部
１８ シフトポジション検出部
２０ リアカメラ

Claims (9)

1. 車両後方に搭載されたカメラにより順次撮影された撮影時間の異なる２枚の撮影画像の差分をとり、一定量以上の差分が存在している領域を立体物として検出する立体物検出部と、
   上記立体物検出部により上記撮影画像内から検出された立体物が時系列に沿って画像外側から中心に向かって移動しているときに上記立体物が自車両に接近していると判定する接近判定部と、
   上記接近判定部により上記立体物が上記車両に接近していると判定された場合に運転支援処理を実行する運転支援部と、
   上記車両の速度が所定速度より大きいか否かを判定する車速判定部と、
   上記車両のギアシフトがリバースポジションに切替入力されたことを検出するシフトポジション検出部とを備え、
   上記運転支援部は、上記シフトポジション検出部により上記車両のギアシフトがリバースポジションに切替入力されたことが検出されたときに、上記車速判定部により上記車両の速度が所定速度より大きいと判定された場合、上記運転支援処理の実行を停止する、
   ことを特徴とする運転支援装置。
2. 上記運転支援部は、上記運転支援処理の実行を停止した後、所定時間経過後に上記運転支援処理を開始する、
   ことを特徴とする請求項１記載の運転支援装置。
3. 上記運転支援部は、上記運転支援処理の実行を停止した後、上記所定時間経過内に、上記車速判定部により上記車両の速度が所定速度より大きくないと判定された場合に、上記運転支援処理の実行を開始する
   ことを特徴とする請求項２記載の運転支援装置。
4. 上記運転支援部は、運転者に対して警報を発生する警報発生部であることを特徴とする請求項１〜３のいずれかに記載の運転支援装置。
5. 上記運転支援部は、上記接近判定部により上記車両に接近していると判定された立体物との衝突をブレーキ操作またはハンドル操作により自動回避する自律走行部であることを特徴とする請求項１〜４のいずれかに記載の運転支援装置。
6. 車両前方に搭載されたカメラにより順次撮影された撮影時間の異なる２枚の撮影画像の差分をとり、一定量以上の差分が存在している領域を立体物として検出する立体物検出部と、
   上記立体物検出部により上記撮影画像内から検出された立体物が時系列に沿って画像外側から中心に向かって移動しているときに上記立体物が自車両に接近していると判定する接近判定部と、
   上記接近判定部により上記立体物が上記車両に接近していると判定された場合に運転支援処理を実行する運転支援部と、
   上記車両の速度が所定速度より大きいか否かを判定する車速判定部と、
   上記車両のギアシフトがドライブポジションに切替入力されたことを検出するシフトポジション検出部とを備え、
   上記運転支援部は、上記シフトポジション検出部により上記車両のギアシフトがドライブポジションに切替入力されたことが検出されたときに、上記車速判定部により上記車両の速度が所定速度より大きいと判定された場合、上記運転支援処理の実行を停止する、
   ことを特徴とする運転支援装置。
7. 車両後方に搭載されたカメラにより順次撮影された撮影時間の異なる２枚の撮影画像の差分をとり、一定量以上の差分が存在している領域を立体物として検出する立体物検出部と、上記立体物検出部により上記撮影画像内から検出された立体物が時系列に沿って画像外側から中心に向かって移動しているか否かにより、上記立体物が自車両に接近しているか否かを判定する接近判定部と、上記接近判定部により上記立体物が上記車両に接近していると判定された場合に運転支援処理を実行する運転支援部とを備えた運転支援装置における運転支援処理の制御方法であって、
   上記運転支援装置の車速判定部が、上記車両の速度が所定速度より大きいか否かを判定する車速判定ステップと、
   上記運転支援装置のシフトポジション検出部が、上記車両のギアシフトがリバースポジションに切替入力されたことを検出するシフトポジション検出ステップと、
   上記シフトポジション検出部により上記車両のギアシフトがリバースポジションに切替入力されたことを検出したときに、上記車速判定部により上記車両の速度が所定速度より大きいと判定された場合、上記運転支援処理の実行を停止する運転支援処理停止ステップと、
   を有することを特徴とする運転支援処理の制御方法。
8. 上記運転支援処理の実行を停止した後、所定時間経過後に上記運転支援処理を開始する第１の運転支援処理開始ステップと、
   を更に有することを特徴とする請求項７記載の運転支援処理の制御方法。
9. 上記運転支援処理の実行を停止した後、上記所定時間経過内に、上記車速判定ステップにより上記車両の速度が所定速度より大きくないと判定された場合に、上記運転支援処理の実行を開始する第２の運転支援処理開始ステップと、
   を更に有することを特徴とする請求項８記載の運転支援処理の制御方法。

Images