JP7279390B2 - 電子制御装置 - Google Patents

Description

本開示は、車両に搭載された電子制御装置に関する。

従来、車両に搭載されたカメラから該車両の周囲を撮像した撮像画像を取得し、撮像画像に基づいて車両の周囲の物体と車両との距離に関する出力を行う技術が知られている。
例えば、下記特許文献１には、車両後部からの距離を示す距離表示線を撮像画像に重ねて表示することによって、運転者に物体と車両との距離を把握させる技術が開示されている。

特開２０１０－１８４６０４号公報

また例えば、運転者に物体と車両との距離を把握させる技術として、車両の周囲を撮像した撮像画像に基づいて鳥瞰図画像を生成し、該鳥瞰図画像を表示装置に表示する技術が知られている。

但し、鳥瞰図画像において、立体物は遠方に向けて拡大され、且つ、歪んだ表示となる。しかも、路面からの高さが大きいほど歪みも大きくなる。その結果、鳥瞰図画像において、立体物の表示が距離や形状等に関して誤認を生じさせる状況が生じ得る。

本開示の１つの局面は、鳥瞰図画像において立体物の表示が誤認を生じさせ得る状況において、誤認に基づく不都合を抑制できる技術を提供することにある。

本開示の一態様は、車両に搭載される電子制御装置（３０）であって、撮像画像取得部（３５）と、鳥瞰図画像生成部（３６、６１）と、軌道推定部（３７）と、状況判断部（３８、Ｓ１５０、Ｓ１６０）と、出力部（３８、Ｓ２１０）と、を備える。撮像画像取得部は、車両に搭載されたカメラから地面を含む車両の周囲が撮像された撮像画像を繰り返し取得する。鳥瞰図画像生成部は、撮像画像に基づいて、鳥瞰図画像を生成する。軌道推定部は、車両の軌道を予測する。

状況判断部は、軌道推定部にて予測された車両の軌道である予測軌道に存在する物体である対象物体について、鳥瞰図画像における対象物体の表示が注意状況であるか否かを判断するように構成される。出力部は、状況判断部にて注意状況であると判断された場合に、状況判断部による判断結果に基づく出力を行うように構成される。

注意状況は、例えば、鳥瞰図画像に基づく立体物の誤認が生じ得る状況をいう。
その結果、注意状況であるか否かの判断結果に基づく出力が行われるので、該出力に基づいて、例えば、鳥瞰図画像を見た運転者による誤認や、鳥瞰図画像の認識に基づく車両制御の誤り等といった、注意状況における誤認による不都合を抑制することができる。

運転支援装置の構成を示すブロック図。 カメラの位置及びカメラによる撮影範囲を説明する説明図。 ＥＣＵの機能を説明する説明図。 撮像画像における特徴点を説明する説明図。 ステレオカメラによる距離の検出を説明する説明図。 接地点において推定距離と検出距離とが一致すること、を説明する説明図。 軌道上に存在する物体、及び軌道上方に存在する物体を説明する説明図。 出力生成処理のフローチャート。 非注意状況を説明する説明図。 注意状況を説明する説明図。 近接非接地点を説明する説明図。

以下、図面を参照しながら、本開示の実施形態を説明する。
［１．構成］
図１に示す運転支援装置１は、乗用車等の車両に搭載され、車両の運転者による運転を支援するための装置である。以下では、運転支援装置１が搭載された車両を自車両ともいう。運転支援装置１は、電子制御装置（以下、ＥＣＵ）３０を備える。運転支援装置１は、カメラ部１０と、センサ群２０と、報知制御装置４０と、車両制御装置５０と、距離検出装置７０と、を備えていてもよい。

カメラ部１０は、少なくとも１つのカメラを備える。本実施形態では、カメラ部１０は、フロントカメラ１１、左サイドカメラ１２、右サイドカメラ１３、及びリアカメラ１４を備える。各カメラ１１－１４は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサを用いて構成される。

図２に示すように、フロントカメラ１１は、車両前方の路面が撮影範囲１０１となるように、例えば、車両９前端のバンパーに設置される。左サイドカメラ１２は、車両左側方の路面が撮影範囲１０２となるように、例えば、左側のサイドミラーに設置される。右サイドカメラ１３は、車両右側方の路面が撮影範囲１０３となるように、例えば、右側のサイドミラーに設置される。リアカメラ１４は、車両後方の路面が撮影範囲１０４となるように、例えば、車両９後端のバンパーに設置される。

各カメラ１１－１４は、予め設定された時間間隔で繰り返し撮影し、撮影した画像である撮像画像を、例えば専用線又はＣＡＮ等の車載バスを介してＥＣＵ３０へ出力する。ＣＡＮは登録商標である。撮像画像は、カメラ部１０すなわち各カメラ１１－１４によって撮像された画像であって、路面を含む車両９の周囲が撮像された画像である。

図１に戻り説明を続ける。センサ群２０は、車両情報を検出するための複数のセンサを備える。車両情報とは、センサ群２０が備えるセンサによって検出される情報であって、車両９の走行に関する情報である。車両情報には、車速、操舵角、進行方向等といった情報が含まれ得る。複数のセンサは、検出結果である車両情報それぞれを、例えば専用線又はＣＡＮ等の車載バスを介してＥＣＵ３０へ出力する。

センサ群２０は、例えば、車速センサ２１、操舵角センサ２２、シフト検出センサ２３等といったセンサを備え得る。車速センサ２１は、車両９の速度を検出する。操舵角センサ２２は、車両９の操舵角を検出する。シフト検出センサ２３は、シフトレバーが後進に設定されている場合に、車両９の進行方向が後方であることを検出する。

報知制御装置４０は、運転者への報知を行うための装置である。報知制御装置４０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びフラッシュメモリ等の半導体メモリを備えたマイクロコンピュータ（以下、マイコン）４１と、報知を実行する報知装置４２とを備える。

報知装置４２は、画像を表示する表示装置４３や音声を出力するスピーカ４４を備える。表示装置４３は、車室内において、運転席における運転者の視野の範囲内に配置される。表示装置４３には、例えば、コンソールパネル等に設置される液晶ディスプレイや、ウィンドシールドを用いるヘッドアップティスプレイ等が含まれ得る。

マイコン４１は、ＥＣＵ３０から出力される画像信号を、表示装置４３に出力する。これにより、ＥＣＵ３０から出力される画像が表示装置４３に表示される。
スピーカ４４は、車両９の室内に配置される。マイコン４１は、ＥＣＵ３０から出力される音声出力信号に基づき、スピーカ４４に音声を出力する。ここでいう音声出力信号とは、報知制御装置４０を作動させる、きっかけとなる信号（以下、トリガ信号）である。なお、スピーカ４４から出力される音声信号は、予め報知制御装置４０に記憶された音声信号であってもよいし、ＥＣＵ３０から送信される音声信号であってもよい。

車両制御装置５０は、車両９の各種制御を行うための装置である。車両制御装置５０は、マイコン５１と、制御実行装置５２とを備える。制御実行装置５２は、例えば、ブレーキやアクセル、ステアリング等、車両９の加減速や車両９の舵角等の制御を行うための装置やアクチュエータである。マイコン５１は、ＥＣＵ３０からの出力信号に基づき、制御実行装置５２の制御を行う。ここでいう出力信号とは、車両制御装置５０を作動させる、トリガ信号である。

マイコン５１は、例えば、ＥＣＵ３０からの出力信号に基づきブレーキを作動させたり、後述する予測軌道に従って車両９を移動させたりするために、駆動信号を生成する。駆動信号は、ブレーキ、アクセル、ステアリング等といった制御実行装置５２を駆動させる信号である。マイコン５１は、駆動信号を制御実行装置５２へ出力する。

このようにして、マイコン５１は、例えば走行時に、予測軌道に基づいて車両９を移動させるように、制御実行装置５２を駆動させる。また、マイコン５１は、例えば駐車スペース等に駐車するときに、予測軌道に基づいて車両９を移動させるように、制御実行装置５２を駆動させる。

距離検出装置７０は、本実施形態では、ステレオカメラである。ステレオカメラは、路面を含む車両９の前方を、予め定められた周期で繰り返し撮像し、撮像した画像を、例えば専用線又はＣＡＮ等の車載バスを介してＥＣＵ３０へ出力する。

なお、運転支援装置１は、本実施形態では、カメラ部１０とは別の構成として、距離検出装置７０としてのステレオカメラを備えているが、これに限定されるものではない。カメラ部１０が備えるカメラが、距離検出装置７０としてのステレオカメラを兼ねるように構成されてもよい。距離検出装置７０としてのステレオカメラは、複数のカメラを用いるものであってもよいし、１つのカメラを用いるものであってもよい。１つのカメラを用いる場合、ステレオカメラは、該１つのカメラによって車両の移動とともに撮像された２枚の撮像画像に基づいて三角測量を行うものであってもよい。また、距離検出装置７０は、ステレオカメラに限定されるものではない。距離検出装置７０は、例えば、ソナーや、レーダ装置等といった、物体との距離を検出可能な装置であればよい。

ＥＣＵ３０は、ＣＰＵ３１と、ＲＯＭ３３、ＲＡＭ３４、及びフラッシュメモリ等の半導体メモリ（以下、メモリ）３２と、を有するマイコンを備える。ＥＣＵ３０が実現する各機能は、ＣＰＵが非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ３２が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、ＥＣＵ３０は、１つのマイコンを備えてもよいし、複数のマイコンを備えてもよい。

ＥＣＵ３０は、図３に示すように、信号入力部３５、画像処理部３６、軌道推定部３７、及び出力生成部３８、を備える。また、画像処理部３６は、鳥瞰変換部６１、距離推定部６２、物体検出部６３、接地点推定部６４、及び非接地部分推定部６５、を備える。

これら各部の機能を実現する手法はソフトウェアに限るものではなく、その一部又は全部の機能は、一つあるいは複数のハードウェアを用いて実現されてもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は、デジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現されてもよい。

信号入力部３５は、カメラ１１－１４によって撮像された撮像画像を繰り返し取得して、画像処理部３６に供給する。また、信号入力部３５は、センサ群２０や距離検出装置７０によって検出された車速や操舵角等といった車両情報や検出結果等を取得して、これらを画像処理部３６、軌道推定部３７、及び出力生成部３８に供給する。

鳥瞰変換部６１は、鳥瞰図画像を生成する。ここでいう鳥瞰図画像とは、カメラ部１０による撮像画像を車両９の上方の視点からの画像に変換したものである。具体的には、鳥瞰変換部６１は、４つのカメラ１１－１４による撮像画像を、予め設定された仮想視点から見た鳥瞰図に変換して合成し、車両９の周囲を写した鳥瞰図画像を生成する。鳥瞰変換部６１は、生成した鳥瞰図画像をメモリ３２に記憶させる。

距離推定部６２は、車両９の周囲に存在する物体について、カメラ部１０による撮像画像に基づいて、車両９から特徴点迄の距離を推定する。ここでいう物体とは、有体物をいう。有体物には、例えば、歩行者や、他の車両や、ガードレール、柵、看板等といった各種構造物、ビル等といった各種建造物等が含まれ得る。ここでいう特徴点とは、撮像画像において物体の一部として判断される、少なくとも１つの画素である。距離推定部６２は、パターンマッチングやシーン認識等といった技術を用いて、撮像画像から特徴点を検出する。

例えば、特徴点は、他の車両の一部として判断される、少なくとも１つの画素であり得る。他の車両の一部には、タイヤやバンパ－やナンバープレート等が含まれ得る。また例えば、特徴点は、後述する図９に示すように、柵２００の一部として判断される、少なくとも１つの画素であり得る。柵２００の一部には、脚部２１０や本体部２２０等が含まれ得る。

距離推定部６２は、撮像画像から推定した、車両９から特徴点までの実際の距離（以下、推定距離）をメモリ３２に記録する。実際の距離とは、三次元空間における距離である。具体的には、距離推定部６２は、例えば図４に示すように、撮像画像４３１の下端Ｄからの距離である画像距離と、実際の距離とを対応付けたテーブルを用いて、実際の距離（以下、推定距離）を特定する。該テーブルは、予めメモリ３２に記憶されている。

テーブルでは、無限遠点Ｐ迄の画像距離Ｌｉと、物体Ｑの特徴点までの画像距離とに基づいて、各特徴点が路面に存在するものとして、無限遠点Ｐの実際の距離に対応する各特徴点の実際の距離が、推定距離として対応付けられている。

例えば、物体Ｑの特徴点ｇａについては、画像距離Ｌａに基づいて、特徴点ｇａが路面に存在するものとして、推定距離が算出される。物体Ｑの他の特徴点ｇｂについても同様に、画像距離Ｌｂに基づいて、特徴点ｇｂが路面に存在するものとして、推定距離が算出される。

また、距離推定部６２は、撮像画像に基づいて、車両９から見た各特徴点の方位を推定する。距離推定部６２は、各特徴点についての方位の推定結果を推定距離と共にメモリ３２に記憶する。

本実施形態では、距離推定部６２は、フロントカメラ１１による撮像画像に基づいて、車両９の前方における物体の特徴点について、推定距離及び方位を推定する。また、距離推定部６２は、リアカメラ１４による撮像画像に基づいて、車両９の後方における物体の特徴点について、推定距離及び方位を推定する。

但し、これに限定されるものではない。距離推定部６２は、カメラ部１０が備える各カメラによる撮像画像に基づいて、車両９の前方、後方、左方、右方等といった車両９の周囲において、物体の特徴点について推定距離及び方位を検出するように構成され得る。

図３に戻り説明を続ける。物体検出部６３は、距離検出装置７０の出力に基づいて、車両９から特徴点迄の実際の距離を検出する。本実施形態では、図５に示すように、距離検出装置７０としてのステレオカメラによる画像を用いて、三角測量に基づいて、物体Ｑにおける各特徴点ｇｃ迄の距離Ｍを検出する。

但し、これに限定されるものではない。距離検出装置７０は、例えば、ソナーやレーダ装置等といった、車両９から特徴点までの実際の距離を検出できる装置であってもよい。つまり、物体検出部６３は、カメラやソナーやレーダ装置等といった距離検出装置７０からの出力に基づいて、車両９から特徴点迄の、実際の距離を検出するように構成され得る。

以下では、距離検出装置７０の出力に基づいて検出された、車両９から特徴点迄の実際の距離を、検出距離という。また、物体検出部６３は、距離検出装置７０の出力に基づいて、車両９から見た特徴点の方位を検出する。物体検出部６３は、各特徴点についての検出距離及び方位の検出結果をメモリ３２に記憶する。

図３に戻り説明を続ける。接地点推定部６４は、特徴点のうちから接地点を推定する。接地点とは、特徴点のうち、接地している特徴点である。接地しているとは、路面上に存在することをいう。換言すれば、接地点は、路面に接している特徴点である。

上述のように、各特徴点については、推定距離と検出距離とが算出されている。接地点推定部６４は、距離推定部６２によって検出された特徴点と、物体検出部６３によって検出された特徴点とを対応づけ、対応付けられた特徴点それぞれについて、推定距離と検出距離とが一致するか否かを判断する。

特徴点の対応づけは、検出された方位や画像等に基づいて行われ得る。そして、接地点推定部６４は、推定距離と検出距離とが一致する特徴点を接地点として推定する。接地点推定部６４は、特徴点のうち接地点であると推定された特徴点については、接地点であることを表す情報をメモリ３２に記憶する。

このような方法で接地点が推定される理由を、図６に基づいて説明する。図６に示す物体Ｑにおいて、特徴点３０１は接地点であり、特徴点３０２は非接地点である。非接地点とは、特徴点のうち接地していない特徴点をいう。

ここで、特徴点３０１については、カメラ部１０及び距離検出装置７０の観測点Ｒから特徴点迄の水平方向における距離（以下、水平距離）は、カメラ部１０による検出結果及び距離検出装置７０による検出結果のいずれもがＬｃである。つまり、接地点としての特徴点３０１については、推定距離及び検出距離が一致する。なお、ここでいう「一致」とは、厳密な意味での一致に限るものではなく、同様の効果を奏するのであれば厳密に一致でなくてもよい。

一方、非接地点としての特徴点３０２については、カメラ部１０による撮像画像では、観測点Ｒから特徴点迄の水平方向における距離が実際の特徴点３０２の位置よりも遠方の位置３１０に有るように観測される。このため、特徴点３０２については、推定距離であるＬｄが検出距離であるＬｃよりも大きい。つまり、非接地点としての特徴点３０２については、推定距離及び検出距離が一致しない。

このため、接地点推定部６４は、推定距離と検出距離とが一致する特徴点を接地点として推定するのである。例えば、他の車両のタイヤの下端部における特徴点や、柵２００の脚部２１０の下端部における特徴点等が、接地点として推定され得る。

非接地部分推定部６５は、特徴点のうちから非接地点を推定する。非接地点は、上述のように、接地していない特徴点であり、路面の上方に存在する、宙に浮いている特徴点である。

非接地部分推定部６５は、上述のように、距離推定部６２によって検出された特徴点と、物体検出部６３によって検出された特徴点とを対応づけ、対応づけられた特徴点のうち、推定距離と検出距離とが一致しない特徴点を非接地点として推定する。非接地部分推定部６５は、特徴点のうち非接地点であると推定された特徴点については、非接地点であることを表す情報をメモリ３２に記憶する。

例えば、他の車両のバンパーやナンバープレートにおける特徴点や、柵２００の本体部２２０における特徴点等が、非接地点として推定され得る。また、バンパーやナンバープレートや、柵２００の本体部２２０等が、非接地部分に相当する。非接地部分とは、立体物の一部であって、接地点を含まず、非接地点のみを含む部分である。非接地部分は、接地しておらず、路面から宙に浮いている。

なお、検出物体の接地点、非接地点を推定する方法は、これに限定されるものではなく、種々の公知である方法が用いられ得る。
軌道推定部３７は、センサ群２０から出力される車両情報に基づいて、予測軌道を推定する。予測軌道とは、車両９がこれから進行すると予測される軌道である。例えば、軌道推定部３７は、車速、操舵角、及び後進しているか否か、進行方向といった上述の車両情報に基づいて、予測軌道を推定する。軌道推定部３７は、現時点から予め定められた予測期間後迄の予測軌道を推定する。予測時間は、例えば数秒－数十秒後に設定され得る。

軌道推定部３７は、例えば駐車スペースに駐車するときのように、車両９を後進させる際に、予測軌道を推定してもよい。また、軌道推定部３７は、車両９が前進する際に、予測軌道を推定してもよい。

具体的には、後述する図９に示すように、予測軌道１３０とは、予測される車両９の軌道である。本実施形態では、予測軌道１３０は、予測される左タイヤの軌道１１０と予測される右タイヤの軌道１２０との間の予め定められた幅の帯状の領域である。予測軌道１３０の幅は、左右タイヤ間の幅と同じ幅に設定され得る。但し、これに限定されるものではない。予測軌道の幅は、左右タイヤ間の幅よりも狭い幅や、車幅と同じ幅や、車幅よりも所定幅だけ広い幅等、に設定され得る。

このようにして、軌道推定部３７は、予測される左タイヤの軌道１１０、及び予測される右タイヤの軌道１２０のうち少なくとも一方に基づいて、現時点から予測期間後までの所定幅の予測軌道１３０を推定する。軌道推定部３７は、推定した予測軌道の位置を、例えば、距離を用いた直交座標、又は方位と距離とを用いた極座標で表し、推定結果としてメモリ３２に記憶させる。

なお、予測軌道を推定する方法は、これに限定されるものではない。予測軌道を算出する方法は、種々の公知の方法が用いられ得る。
出力生成部３８は、後述する出力生成処理を実行し、注意状況にあると判断された場合に、判断結果に基づく出力を行うように構成される。注意状況とは、例えば、鳥瞰図画像における立体物の表示が誤認を生じさせることが有り得る状況をいう。

上述の注意状況と判断されたときとは、対象物体が注意状況にあるときに相当する。ここでいう対象物体とは、複数の特徴点によって表される物体であって、車両９の予測軌道に存在する物体をいう。「予測軌道に存在する」とは、予測軌道に接して存在すること、及び、予測軌道の上方に存在すること、の両方を含む。つまり、予測軌道に接する特徴点は、上述の対象物体に含まれる。また、予測軌道の上方に存在する特徴点も、上述の対象物体に含まれる。

ここで、「予測軌道に接して存在する」とは、例えば図７に示す物体Ｓ１のように、「予測軌道上に存在する」ことであり、路面における予測軌道１３０に接して存在することをいう。例えば、他の車両におけるタイヤや、柵２００における脚部２１０等が、「予測軌道に接して存在する」物体として挙げられる。

一方、「予測軌道の上方に存在する」とは、例えば図７に示す物体Ｓ２のように、路面における予測軌道１３０に接することなく、予測軌道の上方に、宙に浮いて、存在することをいう。例えば、他の車両におけるバンパーやナンバープレートや、柵２００における本体部２２０等が、「予測軌道の上方に存在する」物体として挙げられる。

つまり、上述の例では、タイヤ、バンパー、ナンバープレートのそれぞれ、及び、これらを含む他の車両が対象物体に相当する。また、脚部２１０、本体部２２０のそれぞれ、及びこれらを含む柵２００が対象物体に相当する。

［２．処理］
次に、出力生成部３８が実行する出力生成処理について、図８のフローチャートを用いて説明する。出力生成処理は、例えば数ｍｓｅｃ－数十ｍｓｅｃといった、予め定められた周期で繰り返し実行される。

出力生成部３８は、はじめに、Ｓ１００では、カメラ部１０による撮像画像を取得する。
次に、出力生成部３８は、Ｓ１１０では、鳥瞰変換部６１にて生成された鳥瞰図画像を取得し、取得した鳥瞰図画像を表示装置４３へ出力する。これにより、表示装置４３に鳥瞰図画像が表示される。

続いて、出力生成部３８は、Ｓ１２０では、センサ群２０による各種検出結果である、車両情報を取得する。
次に、出力生成部３８は、Ｓ１３０では、軌道推定部３７による推定結果である、予測軌道の位置を取得する。

続いて、出力生成部３８は、Ｓ１４０では、画像処理部３６による処理結果を取得する。処理結果には、距離推定部６２によって推定された各特徴点の推定距離及び位置、物体検出部６３によって検出された各特徴点の検出距離及び位置、特徴点のうち接地点であることを表す情報、特徴点のうち非接地点であることを表す情報、等が含まれ得る。

次に、出力生成部３８は、Ｓ１５０では、非注意状況であるか否かを判断する。非注意状況とは、注意状況でない状況をいう。非注意状況では、鳥瞰図画像における立体物の表示が誤認を生じさせることが生じにくい。具体的には、出力生成部３８は、少なくとも１つの接地点が予測軌道に接している場合に、非注意状況であると判断する。つまり、注意状況でないと判断する。該少なくとも１つの接地点は、対象物体に含まれる接地点である。接地点が予測軌道に接している場合、接地点が路面に表される予測軌道の範囲内に存在する。

ここでは、出力生成部３８は、接地点推定部６４によって推定された接地点が予測軌道に接している場合に、非注意状況であると判断する。また、出力生成部３８は、接地点推定部６４によって推定された接地点が予測軌道に接していない場合に、非注意状況でないと判断する。
例えば、図９では、柵２００の脚部２１０に含まれる接地点２１１のうちの少なくとも１つが予測軌道１３０に接しているので、非注意状況である、と判断される。接地点については、カメラ部１０による撮像画像が鳥瞰図画像に変換された際に車両９からの距離が正確に反映される。そのため、対象物体の接地点が予測軌道１３０に接している場合、該対象物体については誤認が生じ難いと考えられ、非注意状況と判断されるのである。

ここで、出力生成部３８は、非注意状況であると判断した場合に処理をＳ２００へ移行させる。一方、出力生成部３８は、非注意状況でないと判断した場合に処理をＳ１６０へ移行させる。
出力生成部３８は、Ｓ１６０では、注意状況であるか否かを判断する。具体的には、出力生成部３８は、上述の少なくとも１つの接地点が予測軌道に接していない場合に、注意状況であると判断する。接地点が予測軌道に接していないとは、接地点が路面に表される予測軌道の範囲外に存在すること、をいう。

本実施形態では、出力生成部３８は、非接地部分推定部６５によって推定された非接地点が予測軌道の上方に存在する場合に、注意状況であると判断する。予測軌道の上方に存在する非接地点を含む物体が、対象物体に相当する。

例えば、図１０では、柵２００において、脚部２１０に含まれる接地点２１１は予測軌道１３０に接しておらず、且つ、本体部２２０に含まれる非接地点２１２は予測軌道１３０の上方に存在するので、注意状況であると判断される。

ここで、出力生成部３８は、注意状況であると判断した場合に処理をＳ１７０へ移行させ、一方、注意状況でないと判断した場合に本出力生成処理を終了する。
出力生成部３８は、Ｓ１７０では、対象物体の下端部の高さを推定する。ここでいう対象物体は、予測軌道の上方に存在する非接地点を含む物体であって、宙に浮いている物体である。高さとは、路面からの高さである。例えば、図１０の状況において、出力生成部３８は、本体部２２０を対象物体として、本体部２００の下端部の高さを推定する。出力生成部３８は、物体検出部６３による検出結果に基づいて、路面から本体部２００の下端部における特徴点までの高さを、本体部２００の下端部の高さとして推定する。

なお、ＥＣＵ３０は、出力生成部３８が実行する本出力生成処理とは別の処理にて、対象物体の下端部の高さを推定するように構成されてもよい。そして、出力生成部３８は、本ステップで、推定された高さを取得するように構成されてもよい。

次に、出力生成部３８は、Ｓ１８０では、対象物体について下端部の高さと車両９の高さ（以下、車高）との差が、予め定められた許容閾値未満であるか否かを判断する。ここでいう対象物体とは、Ｓ１６０における予測軌道上方の非接地点を含む物体である。車高、及び許容閾値は、予めメモリ３２に記憶されている。許容閾値は、車両９が対象物体の下端部に接触しない程度の余裕を有する間隔に設定されている。

出力生成部３８は、対象物体の下端部の高さと車高との差が許容閾値未満である場合に処理をＳ２１０へ移行させ、上述の差分が許容閾値以上である場合に処理をＳ１９０へ移行させる。

出力生成部３８は、Ｓ１９０では、車両９の速度（以下、車速）が、予め定められた速度（以下、車速閾値）以上であるか否かを判断する。車速は、Ｓ１２０にて取得されている。車速閾値は、メモリ３２に予め記憶されている。車速閾値は、運転者が瞬時のブレーキ操作によって走行中の車両９を停止させることが可能な程度の速度に設定され得る。具体的には、車速閾値は、時速数ｋｍ以下といった、車速に設定され得る。この車速は、駐車時に車両９を操作するために適した速度でもある。

ここで、出力生成部３８は、車速が車速閾値以上である場合に処理をＳ２１０へ移行させ、一方、車速が車速閾値未満である場合に、出力生成処理を終了する。
出力生成部３８は、非注意状況であると判断されて移行するＳ２００では、近接非接地点、が有るか否かを判断する。ここでいう近接非接地点とは、予測軌道１３０の上方に存在する非接地点であって、車両９からの距離が車両９からＳ１５０で特定された予測軌道１３０に接する接地点迄の距離よりも小さい非接地点をいう。Ｓ１５０で特定された、予測軌道１３０に接する接地点、を含む物体が対象物体に相当する。

例えば、出力生成部３８は、図１１に示すように、非接地部分推定部６５によって、水平方向において、対象物体Ｑに含まれる接地点ｇｄよりも車両９に近い位置に対象物体Ｑに含まれる非接地点ｇｅが検出されている場合に、近接非接地点が有ると判断する。近接接地点は対象物体に含まれる。近接非接地点が有るということは、対象物体の接地点よりも車両９に近い位置に物体が存在することを表す。

ここで、出力生成部３８は、近接非接地点が有ると判断した場合、処理をＳ２１０へ移行させる。一方、出力生成部３８は、近接非接地点が無いと判断した場合、本出力生成処理を終了する。

出力生成部３８は、Ｓ２１０では、注意状況であるか否かの判断結果に基づく出力を行う。本実施形態では、出力生成部３８は、注意状況である場合に、報知装置４２に、運転者を含む車両９の乗員への報知を行わせる。ここでいう報知とは、鳥瞰図画像に対する注意を促す報知であって、特に、鳥瞰図画像内における自車両９からの距離に対して注意を促す報知である。

例えば、報知は、表示装置４３に、鳥瞰図画像に重畳して所定の報知内容を示す画像を表示させる態様で行われ得る。また例えば、報知は、スピーカ４４に、所定の報知内容を示す音声を出力させる態様で行われ得る。音声は、報知内容を示すメッセージでもよいし、ブザー音のような警告音でもよい。

上述の報知内容には、「障害物が自車両９の近くに存在する可能性があるので注意すること」、といった内容が含まれ得る。また、上述の報知内容には、「鳥瞰図画像には表示されていないかもしれないが、障害物が自車両９の近くに存在する可能性があるので注意すること」、といった内容が含まれ得る。また、上述の報知内容には、「鳥瞰図画像における自車両９から障害物までの距離の精度が良くない可能性があるので注意すること」、といった内容が含まれ得る。

上述の障害物とは、上述の非接地点によって表される対象物体である。つまり、予測軌道の上方に存在する、宙に浮いている物体である。
なお、本実施形態では、出力生成部３８は、近接非接地点が有ると判断した場合には、近接非接地点との衝突の可能性があることについて車両９の乗員に注意を促すための報知を行う。

出力生成部３８は、これらの報知を行った後に、出力生成処理を終了する。
［３．効果］
以上詳述した実施形態によれば、以下の効果を得ることができる。

（３ａ）鳥瞰図画像においては、撮像画像を鳥瞰図画像へ変換する際に立体物は路面へ傾いたような表示となり、鳥瞰図画像において立体物の表示が距離や形状等に関して誤認を生じさせる状況、すなわち注意状況が生じ得る。

そこで、ＥＣＵ３０は、Ｓ２１０にて、注意状況であると判断された場合に、判断結果に基づく出力を行う。本実施形態では、この結果、該出力に基づいて、注意状況において誤認による不都合を抑制することが可能となる。ここでいう不都合とは、例えば、鳥瞰図画像を見た運転者による誤認や、鳥瞰図画像に基づく車両制御の誤り、等を含む。

例えば、ＥＣＵ３０は、Ｓ２１０では、注意状況であるという判断結果に基づいて、報知を行う報知装置４２に報知を行わせるための出力を行う。この結果、注意状況である場合に、車両９の乗員に対して注意を促すことができる。

（３ｂ）ＥＣＵ３０は、Ｓ１４０にて、対象物体の接地点を推定するように構成された接地点推定部６４から推定結果を取得する。ＥＣＵ３０は、Ｓ１６０では、対象物体の接地点が予測軌道に接しているか否かを判断し、対象物体の接地点が予測軌道に接していない場合に、注意状況であると判断する。つまり、対象物体が予測軌道の上方に存在している場合には、鳥瞰図における立体物の表示について上述の誤認が生じ得るので、このような状況を注意状況であると判断する。

この結果、対象物体が予測軌道の上方に存在している状況を注意状況として検出することができる。そして、このような注意状況において報知を行うことができる。
（３ｃ）ＥＣＵ３０は、Ｓ１８０では、注意状況であると判断された場合に、対象物体の下端部の高さを取得し、対象物体の下端部の高さと車高との差が許容閾値未満であるか否かを判断する。この結果、高さ方向において対象物体と車両９との衝突のおそれがあるか否か、を判断することができる。そして、この判断結果を利用した各種の出力や制御等を行うことが可能となる。

（３ｄ）ＥＣＵ３０は、Ｓ２１０では、注意状況であると判断され、且つ、対象物体の下端部の高さと車高との差が許容閾値未満であると判断された場合に、判断結果に基づく出力を行う。本実施形態では、ＥＣＵ３０は、注意状況であると判断され、且つ、上述の高さの差が許容閾値未満であると判断された場合に、報知を行う。

例えば、図１０に示す注意状況において、対象物体である本体部２２０の下端部の高さｈ１と車高ｈ０との差が許容閾値未満であると判断された場合に、ＥＣＵ３０は報知を行う。

この結果、注意状況において対象物体と車両９との高さ方向での衝突のおそれがあることについて、車両９の乗員に注意を促すことができる。そして、対象物体と車両９との衝突を抑制することができる。

（３ｅ）ＥＣＵ３０は、Ｓ１９０では、車両９の速度が車速閾値以上であるか否かを判断する。ＥＣＵ３０は、Ｓ２１０では、少なくとも、注意状況であると判断され、且つ、車速が車速閾値以上であると判断された場合に、判断結果に基づく出力を行う。

本実施形態では、ＥＣＵ３０は、注意状況であると判断され、且つ、対象物体の下端部の高さと車高との差が許容閾値以上であると判断され、更に、車速が車速閾値以上であると判断された場合には、このような判断結果に基づいて報知を行う。

例えば、図１０に示す注意状況において、対象物体である本体部２２０の下端部の高さｈ１と車高ｈ０との差が許容閾値以上であると判断された場合であっても、車両９の速度が車速閾値以上である場合には、ＥＣＵ３０は報知を行う。この結果、車両９の運転者に、必要以上の速度を出させないように、より安全な運転を促すことができる。

（３ｆ）ＥＣＵ３０は、Ｓ１６０では、対象物体の接地点が予測軌道に接している場合に、注意状況でないと判断する。対象物体の接地点が予測軌道に接する場合には、対象物体の接地点については鳥瞰図画像において誤認が生じ難いからである。この結果、対象物体が予測軌道に接している状況を注意状況として検出することができる。

（３ｇ）ＥＣＵ３０は、Ｓ２００では、注意状況でないと判断された場合に、対象物体における非接地点であって、車両９からの距離が該車両９から対象物体の接地点迄の距離よりも小さい近接非接地点、が有るか否かを判断する。ＥＣＵ３０は、近接非接地部分が有ると判断された場合に、報知を行う報知装置４２に報知を行わせる。
この結果、例えば図１１に示すように、接地点が予測軌道に接しており、且つ、車両９に近づく側に突出しているような物体Ｑが存在する場合、注意状況であるとして報知が行われるので、車両９の乗員に注意を促すことができる。

［４．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

（４ａ）ＥＣＵ３０は、注意状況であると判断され、且つ、対象物体の下端部の高さと車高さとの差が許容閾値以上であると判断された場合に、判断結果に基づく出力を行わないように構成されてもよい。ここでいう出力を行うとは、報知を行うことであってもよい。つまり、ＥＣＵ３０は、上述のように判断された場合に、報知を行わないように構成されてもよい。

本変形例では、図８のフローチャートにおいて、ＥＣＵ３０は、Ｓ１８０では、対象物体の下端部の高さと車高との差が許容閾値未満である場合に、出力生成処理を終了するように構成される。また、Ｓ１９０は削除される。

例えば、図１０に示す注意状況において、対象物体である本体部２２０の下端部の高さｈ１と車高ｈ０との差が許容閾値以上であると判断された場合に、ＥＣＵ３０は報知を行わない。この結果、注意状況であっても、対象物体と車両９との高さ方向での衝突のおそれが少ない状況においては、報知によって車両９の乗員に煩わしさを与えることを抑制することができる。

（４ｂ）ＥＣＵ３０は、注意状況であると判断された場合に判断結果に基づく出力を行うように構成され、且つ、注意状況でないと判断された場合に判断結果に基づく出力を行わないように構成されてもよい。ここでいう出力を行うとは、報知を行うことであってもよい。

本変形例では、図８のフローチャートにおいて、ＥＣＵ３０は、Ｓ１５０では、非注意状況であると判断された場合に、出力生成処理を終了するように構成される。また、ＥＣＵ３０は、Ｓ１６０では、注意状況であると判断した場合に処理をＳ２１０へ移行させて、Ｓ２１０にて報知を行うように構成される。Ｓ２００は削除される。また、Ｓ１７０－Ｓ１９０が削除される。

この結果、注意状況である場合は常に、車両９の乗員に報知を促すことができる。また、例えば鳥瞰図画像における立体物の表示について注意状況であるか否かに関わらず常に何らかの報知を行うように構成された比較装置よりも、車両９の乗員に不要な報知による煩わしさを与えることを抑制できる。

（４ｃ）上記実施形態では、出力生成部３８は、Ｓ２１０にて、上述の報知を行うように構成されていたが、これに限定されるものではない。例えば、出力生成部３８は、注意状況であると判断された場合に、鳥瞰図画像に基づく車両９の制御を中止する、といった出力を行うように構成され得る。ここでいう鳥瞰図画像に基づく車両９の制御には、鳥瞰図画像における予測軌道１３０に沿って車両９を走行させたり、鳥瞰図画像において検出された物体との衝突を避けるように車両９を走行させたり、といった制御が含まれ得る。

この結果、鳥瞰図画像に基づく車両制御の誤りを抑制することができる。
（４ｄ）上記実施形態では、ＥＣＵ３０では、出力生成部３８は、Ｓ１５０では、接地点が予測軌道１３０に位置しているか否かに基づいて、注意状況であるか否かを判断していた。また、出力生成部３８は、Ｓ１６０では、非接地点が予測軌道１３０の上方に位置していることに基づいて、注意状況でないと判断していた。但し、これに限定されるものではない。

出力生成部３８は、Ｓ１５０では、複数の特徴点を含む特徴点の固まりを物体の一部として特定してもよい。そして、出力生成部３８は、特徴点の固まりにおける下端部の特徴点が予測軌道１３０に接している場合に、注意状況でないと判断してもよい。ここで、特徴点の固まりによって表される物体の一部が対象物体に相当する。また、特徴点の固まりにおける下端部の特徴点であって予測軌道１３０に接している特徴点が接地点に相当する。

また、出力生成部３８は、Ｓ１６０では、上述の特徴点の固まりにおける下端部の特徴点が予測軌道１３０に接しておらず該予測軌道１３０の上方に存在する場合に、注意状況であると判断してもよい。ここで、特徴点の固まりによって表される物体の一部が対象物体に相当する。また、特徴点の固まりにおける下端部の特徴点であって予測軌道１３０の上方に存在する特徴点が非接地点に相当する。

（４ｅ）本開示に記載のＥＣＵ３０及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載のＥＣＵ３０及びその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載のＥＣＵ３０及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されてもよい。ＥＣＵ３０に含まれる各部の機能を実現する手法には、必ずしもソフトウェアが含まれている必要はなく、その全部の機能が、一つあるいは複数のハードウェアを用いて実現されてもよい。

（４ｆ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。

（４ｇ）上述したＥＣＵ３０、ＥＣＵ３０を備える運転支援装置１、当該ＥＣＵ３０を機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、運転支援方法など、種々の形態で本開示を実現することもできる。

なお、上記実施形態において、ＥＣＵ３０が電子制御装置に相当する。また、信号入力部３５が撮像画像取得部に相当し、画像処理部３６及び鳥瞰変換部６１が鳥瞰図画像生成部に相当し、出力生成部３８が状況判断部、出力部、高さ判断部、車速判断部、近接判断部、近接報知部に相当する。また、Ｓ１５０、Ｓ１６０が状況判断部としての処理に相当し、Ｓ２１０が出力部としての処理に相当し、Ｓ１８０が高さ判断部としての処理に相当し、Ｓ１９０が車速判断部としての処理に相当し、Ｓ２００が近接判断部としての処理に相当し、Ｓ２１０が近接報知部としての処理に相当する。

３０ ＥＣＵ、３５ 信号入力部、３６ 画像処理部、３７ 軌道推定部、３８ 出力生成部。

Claims (7)

1. 車両に搭載される電子制御装置（３０）であって、
   前記車両に搭載されたカメラから地面を含む前記車両の周囲が撮像された撮像画像を繰り返し取得する撮像画像取得部（３５）と、
   前記撮像画像に基づいて、鳥瞰図画像を生成する鳥瞰図画像生成部（３６、６１）と、
   前記車両の軌道を予測する軌道推定部（３７）と、
   前記軌道推定部にて予測された前記車両の軌道である予測軌道に存在する物体である対象物体について、前記鳥瞰図画像における前記対象物体の表示が注意状況であるか否かを判断するように構成された状況判断部（３８、Ｓ１５０、Ｓ１６０）と、
   前記状況判断部にて前記注意状況であると判断された場合に、前記状況判断部による判断結果に基づく出力を行うように構成された出力部（３８、Ｓ２１０）と、
   を備え、
   前記状況判断部（Ｓ１６０）は、前記対象物体について前記対象物体と路面とが接している点である接地点が前記予測軌道に接するか否かを判断し、前記対象物体について前記接地点が前記予測軌道に接していない場合に、前記注意状況であると判断するように構成された
   電子制御装置。
2. 請求項１に記載の電子制御装置であって、
   前記注意状況であると判断された場合に、前記対象物体について下端部の高さを取得し、前記下端部の高さと前記車両の高さとの差が予め定められた許容閾値未満であるか否かを判断するように構成された高さ判断部（３８、Ｓ１８０）
   を更に備える電子制御装置。
3. 請求項２に記載の電子制御装置であって、
   前記出力部は、前記状況判断部にて前記注意状況であると判断され、且つ、前記対象物体の下端部の高さと前記車両の高さとの差が予め定められた許容閾値未満であると判断された場合に、前記判断結果に基づく出力を行うように構成された
   電子制御装置。
4. 請求項２又は請求項３に記載の電子制御装置であって、
   前記出力部は、前記状況判断部にて前記注意状況であると判断され、且つ、前記対象物体の下端部の高さと前記車両の高さとの差が予め定められた許容閾値以上であると判断された場合に、前記判断結果に基づく出力を行わないように構成された
   電子制御装置。
5. 請求項１から請求項４のいずれか一項に記載の電子制御装置であって、
   前記車両の速度が予め定められた車速閾値以上であるか否かを判断するように構成された車速判断部（３８、Ｓ１９０）を更に備え、
   前記出力部は、前記状況判断部にて前記注意状況であると判断され、且つ、前記車両の速度が前記車速閾値以上であると判断された場合に、前記判断結果に基づく出力を行うように構成された
   電子制御装置。
6. 請求項２から請求項５のいずれか一項に記載の電子制御装置であって、
   前記状況判断部（Ｓ１５０）は、前記対象物体について前記接地点が前記予測軌道に接している場合に、前記注意状況でないと判断するように構成された
   電子制御装置。
7. 請求項６に記載の電子制御装置であって、
   前記注意状況でないと判断された場合に、前記対象物体における非接地点であって、前記車両からの距離が前記車両から前記対象物体の前記接地点迄の距離よりも小さい近接非接地点、が有るか否かを判断するように構成された近接判断部（３８、Ｓ２００）と、
   前記近接判断部によって、前記近接非接地点が有ると判断された場合に、報知を行う報知装置に報知を行わせるように構成された近接報知部（３８、Ｓ２１０）と、
   を更に備える電子制御装置。

Images