JP7395913B2

JP7395913B2 - 物体検知装置

Info

Publication number: JP7395913B2
Application number: JP2019178544A
Authority: JP
Inventors: 崇士鈴木
Original assignee: Aisin Seiki Co Ltd; Aisin Corp
Current assignee: Aisin Corp
Priority date: 2019-09-30
Filing date: 2019-09-30
Publication date: 2023-12-12
Anticipated expiration: 2039-09-30
Also published as: JP2021056717A

Description

本発明の実施形態は、物体検知装置に関する。

従来、車両に設置された撮像部（カメラ）により撮像された撮像画像に対して、例えば、矩形のバウンディングボックスを設定し、物体（例えば、歩行者や他車両等の障害物）を検出する技術が実用化されている。例えば、予め定めた物体に対応する映像を撮像画像の中から抽出し、その映像全体を囲むようなバウンディングボックスを設定することで物体の認識を行うものがある。

特開２０１８－１４２３０９号公報

ところで、上述したようなバウンディングボックスを用いた従来の物体認識の場合、例えば、物体までの距離を測距センサ等を用いずに推定しようとする場合、バウンディングボックスの下端中央部分の座標を物体の位置として、例えば二次元座標から三次元座標に変換することにより物体までの距離を推定する場合がある。しかしながら、上述したように、バウンディングボックスは、予め定めた物体に対応する映像を抽出し、その映像全体を囲むように設定する。そして、バウンディングボックスの例えば底辺の中央位置を物体の位置として推定することがある。そのため、実際の物体の位置とは異なる位置に基づいて距離推定を行ってしまう場合があった。その結果、物体までの距離誤差が大きくなってしまう場合があり、例えば、走行支援等により車両を走行させる場合、物体と接触してしまうリスクが高くなってしまう場合があるという問題があった。したがって、バウンディングボックスを用いた物体検知において、物体の位置をより高い精度で推定できる物体検知装置が提供できれば、より信頼性が高く、安全性の高い物体回避制御を実現させることができて有意義である。

本発明の実施形態にかかる物体検知装置は、例えば、車両が存在する路面を含む周囲状況を撮像可能な撮像部で撮像された撮像画像を取得する取得部と、上記撮像画像に含まれる上記路面上で立体物が存在する領域として認識される物体領域と上記路面との境界を示す立体物境界線と、上記物体領域に含まれる上記立体物のうち予め定められた対象物体を選択するための矩形のバウンディングボックスと、を設定する設定部と、上記立体物境界線のうち上記バウンディングボックスに含まれる部分境界線を抽出するとともに、当該部分境界線上で上記車両と上記対象物体との接触を回避するために注目する注目点を推定して出力する制御部と、を備え、前記制御部は、前記注目点に基づき、三次元空間における前記車両から前記対象物体までの距離を算出する。この構成によれば、例えば、バウンディングボックスにより対象物体を抽出した上で、さらに物体と路面との境界、つまり、物体の足元の位置が特定できるため、対象物体の位置検出精度を向上できる。つまり、対象物体との接触を回避するための、より精度の高い注目点に位置が推定され、三次元空間における車両から対象物体までの距離が算出される。その結果、より信頼性が高くかつ安全性の高い物体回避制御を実現させることができる。

本発明の実施形態にかかる物体検知装置の上記制御部は、例えば、上記部分境界線のうち上記バウンディングボックスの縦軸方向の最下位置を上記注目点としてもよい。この構成によれば、例えば、物体の位置を示す部分境界線のうち、車両（自車）に最も近い位置、すなわち、接触する可能性の高い位置を注目点として容易に決定することができる。その結果、より信頼性が高くかつ安全性の高い物体回避制御を実現させることができる。

本発明の実施形態にかかる物体検知装置の上記制御部は、例えば、上記部分境界線において、上記部分境界線の傾きの正負が切り替わる切替り位置が存在する場合、上記切替り位置を上記注目点としてもよい。この構成によれば、例えば、対象物体のコーナー部分（例えば、角部分）を注目点として抽出可能となり、より信頼性が高くかつ安全性の高い物体回避制御を実現させることができる。

本発明の実施形態にかかる物体検知装置の上記制御部は、例えば、上記車両の舵角に基づく進行方向を示す走行予想線で定まる走行予想領域と上記バウンディングボックスとに基づき、上記部分境界線を定めて、上記注目点の位置を推定するようにしてもよい。この構成によれば、例えば、車両が進行（走行）する可能性のある領域について部分境界線の抽出が可能となり、より信頼性が高いかつ安全性の高い物体回避制御を実現させることができる。

図１は、実施形態にかかる物体検知装置を搭載可能な車両の一例を示す模式的な平面図である。図２は、実施形態にかかる物体検知装置を含む制御システムの構成の例示的なブロック図である。図３は、実施形態にかかる物体検知装置（物体検知部）をＣＰＵで実現する場合の構成を例示的に示すブロック図である。図４は、実施形態にかかる物体検知装置において、立体物境界線とバウンディングボックスの設定を示す例示的かつ模式的な説明図である。図５は、実施形態にかかる物体検知装置において、部分境界線の設定を示す例示的かつ模式的な説明図である。図６は、実施形態にかかる物体検知装置において、バウンディングボックスの縦軸方向の最下位置を注目点とすることを説明する例示的かつ模式的な図である。図７は、実施形態にかかる物体検知装置において、バウンディングボックスの縦軸方向の最下位置を注目点とする他の例を説明する例示的かつ模式的な図である。図８は、実施形態にかかる物体検知装置において、走行予想領域とバウンディングボックスとに基づき、部分境界線を設定することを示す模式的な説明図である。図９は、実施形態にかかる物体検知装置の注目点の推定処理の流れの一例を示すフローチャートである。

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。

本実施形態の物体検知装置は、例えば、撮像画像に含まれる路面上で立体物が存在する領域として認識される物体領域と路面との境界を示す立体物境界線と、物体領域に含まれる対象物体を選択（抽出）するためのバウンディングボックスと、を用いて、対象物体が路面と接触している部分境界線の位置を抽出する。そして、部分境界線上で車両と対象物体との接触を回避するために注目すべき注目点を推定して出力する。

図１は、本実施形態の物体検知装置が搭載される車両１０の模式的な平面図である。車両１０は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１０は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１０における車輪１２（前輪１２Ｆ、後輪１２Ｒ）の駆動に関わる装置の方式、個数、及び、レイアウト等は、種々に設定することができる。

図１に例示されるように、車両１０には、複数の撮像部１４として、例えば四つの撮像部１４ａ～１４ｄが設けられている。撮像部１４は、例えば、ＣＣＤ（Charge Coupled Device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１４は、所定のフレームレートで動画データ（撮像画像データ）を出力することができる。撮像部１４は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°～２２０°の範囲を撮影することができる。また、例えば、車両１０の外周部に配置される撮像部１４（１４ａ～１４ｄ）の光軸は斜め下方に向けて設定されている場合もある。よって、撮像部１４（１４ａ～１４ｄ）は、車両１０が移動可能な路面や路面に付されたマーク（矢印や区画線、駐車スペースを示す駐車枠、車線分離線等）や物体（障害物として、例えば、歩行者、他車両等）を含む車両１０の外部の周辺状況を逐次撮影し、撮像画像データとして出力する。

撮像部１４ａは、例えば、車両１０の前側、すなわち車両前後方向の前方側で車幅方向のほぼ中央の端部、例えばフロントバンパ１０ａやフロントグリル等に設けられて、車両１０の前端部（例えばフロントバンパ１０ａ）を含む前方画像を撮像可能である。また、撮像部１４ｂは、例えば、車両１０の後側、すなわち車両前後方向の後方側で車幅方向のほぼ中央の端部、例えばリヤバンパ１０ｂの上方位置に設けられて、車両１０の後端部（例えばリヤバンパ１０ｂ）を含む後方領域を撮像可能である。また、撮像部１４ｃは、例えば、車両１０の右側の端部、例えば右側のドアミラー１０ｃに設けられて、車両１０の右側方を中心とする領域（例えば右前方から右後方の領域）を含む右側方画像を撮像可能である。撮像部１４ｄは、例えば、車両１０の左側の端部、例えば左側のドアミラー１０ｄに設けられて、車両１０の左側方を中心とする領域（例えば左前方から左後方の領域）を含む左側方画像を撮像可能である。

例えば、撮像部１４ａ～１４ｄで得られた各撮像画像データは、それぞれ演算処理や画像処理を実行することで、車両１０の周囲それぞれの方向における画像を表示したり周辺監視を実行したりすることができる。また、各撮像画像データに基づいて、演算処理や画像処理を実行することで、より広い視野角の画像を生成したり、車両１０を上方や前方、側方等から見た仮想的な画像（俯瞰画像（平面画像）や側方視画像、正面視画像等）を生成して表示したり、周辺監視を実行したりすることができる。

各撮像部１４で撮像された撮像画像データは、上述したように、車両１０の周囲の状況を運転者等の利用者に提供するために、車室内の表示装置に表示される。また、撮像画像データは、物体（例えば、他車両や歩行者等の障害物）の検出や、位置特定、距離測定等各種検出や検知を行う処理装置（処理部）に提供され、車両１０を制御するために利用することができる。

図２は、車両１０に搭載される物体検知装置を含む制御システム１００の構成の例示的なブロック図である。車両１０の車室内には、表示装置１６や、音声出力装置１８が設けられている。表示装置１６は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等である。音声出力装置１８は、例えば、スピーカである。また、表示装置１６は、例えば、タッチパネル等、透明な操作入力部２０で覆われている。使用者（例えば、運転者）は、操作入力部２０を介して表示装置１６の表示画面に表示される画像を視認することができる。また、利用者は、表示装置１６の表示画面に表示される画像に対応した位置で、手指等で操作入力部２０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置１６や、音声出力装置１８、操作入力部２０等は、例えば、車両１０のダッシュボードの車幅方向すなわち左右方向の例えば中央部に位置されたモニタ装置２２に設けられている。モニタ装置２２は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。モニタ装置２２は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。

また、図２に例示されるように、制御システム１００（物体検知装置を含む）は、撮像部１４（１４ａ～１４ｄ）やモニタ装置２２に加え、ＥＣＵ２４（electronic control unit）、車輪速センサ２６、舵角センサ２８、シフトセンサ３０、走行支援部３２等が含まれる。制御システム１００において、ＥＣＵ２４やモニタ装置２２、車輪速センサ２６、舵角センサ２８、シフトセンサ３０、走行支援部３２等は、電気通信回線としての車内ネットワーク３４を介して電気的に接続されている。車内ネットワーク３４は、例えば、ＣＡＮ（controller area network）として構成されている。ＥＣＵ２４は、車内ネットワーク３４を通じて制御信号を送ることで、各種システムの制御が実行できる。また、ＥＣＵ２４は、車内ネットワーク３４を介して、操作入力部２０や各種スイッチの操作信号等、車輪速センサ２６、舵角センサ２８、シフトセンサ３０等の各種センサの検出信号等を受け取ることができる。なお、車内ネットワーク３４には、車両１０を走行させるための種々のシステム（操舵システム、ブレーキシステム、駆動システム等）や種々のセンサが接続されているが、図２において、本実施形態の物体検知装置と関連性の低い構成は図示を省略するとともに、その説明を省略する。

ＥＣＵ２４は、コンピュータ等で構成され、ハードウェアとソフトウェアが協働することにより、車両１０の制御全般を司る。具体的には、ＥＣＵ２４は、ＣＰＵ（Central Processing Unit）２４ａ、ＲＯＭ（Read Only Memory）２４ｂ、ＲＡＭ（Random Access Memory）２４ｃ、表示制御部２４ｄ、音声制御部２４ｅ、およびＳＳＤ（Solid State Drive）２４ｆを備える。

ＣＰＵ２４ａは、ＲＯＭ２４ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムに従って演算処理を実行する。ＣＰＵ２４ａは、例えば、撮像部１４が撮像した撮像画像に対して画像処理を施し、物体認識を実行して、物体の存在する位置、物体までの距離等の推定を行うことができる。また、認識した物体との接触を回避するための注目点の位置を推定することができる。さらに、その注目点に基づき、物体に接触することなく車両１０を走行させるための走行支援処理等を実行させることができる。例えば、操舵システム、ブレーキシステム、駆動システム等の制御や操作に必要な情報の提供を行うことができる。

ＲＯＭ２４ｂは、各プログラム及びプログラムの実行に必要なパラメータ等を記憶する。ＲＡＭ２４ｃは、ＣＰＵ２４ａが物体検知処理を実行する際のワークエリアとして使用されるとともに、ＣＰＵ２４ａでの演算で用いられる各種のデータ（撮像部１４で逐次（時系列的に）撮像される撮像画像データ等）の一時的な格納エリアとして利用される。表示制御部２４ｄは、ＥＣＵ２４での演算処理のうち、主として、撮像部１４から取得してＣＰＵ２４ａへ出力する画像データに対する画像処理、ＣＰＵ２４ａから取得した画像データを表示装置１６に表示させる表示用の画像データへの変換等を実行する。音声制御部２４ｅは、ＥＣＵ２４での演算処理のうち、主として、ＣＰＵ２４ａから取得して音声出力装置１８に出力させる音声の処理を実行する。ＳＳＤ２４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ２４の電源がオフされた場合にあってもＣＰＵ２４ａから取得したデータを記憶し続ける。なお、ＣＰＵ２４ａや、ＲＯＭ２４ｂ、ＲＡＭ２４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ２４は、ＣＰＵ２４ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ２４ｆに替えてＨＤＤ（hard disk drive）が設けられてもよいし、ＳＳＤ２４ｆやＨＤＤは、ＥＣＵ２４とは別に設けられてもよい。

車輪速センサ２６は、車輪１２の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ２６は、各車輪１２に配置され、各車輪１２で検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ２６は、例えば、ホール素子などを用いて構成されうる。ＣＰＵ２４ａは、車輪速センサ２６から取得した検出値に基づいて車両１０の車速や加速度等を演算し、各種制御を実行する。

舵角センサ２８は、例えば、ステアリングホイール等の操舵部の操舵量を検出するセンサである。舵角センサ２８は、例えば、ホール素子などを用いて構成される。ＣＰＵ２４ａは、運転者による操舵部の操舵量や、例えば駐車支援を実行する際の自動操舵時の前輪１２Ｆの操舵量等を、舵角センサ２８から取得して各種制御を実行する。

シフトセンサ３０は、変速操作部の可動部（バー、アーム、ボタン等）の位置を検出するセンサであり、変速機の動作状態、変速段の状態や車両１０の走行可能方向（Ｄレンジ：前進方向、Ｒレンジ：後退方向)等を示す情報を検出する。

走行支援部３２は、制御システム１００によって算出された移動経路または外部から提供された移動経路に基づいて、車両１０を移動させる走行支援を実現するために、操舵システム、ブレーキシステム、駆動システム等に制御情報を提供する。走行支援部３２は、例えば、操舵システム、ブレーキシステム、駆動システム等を全て自動制御する完全自動制御を実行させたり、操舵システム、ブレーキシステム、駆動システム等の一部の制御を自動制御する半自動制御を実行させたりする。また、走行支援部３２は、移動経路に沿って車両１０が移動できるように、操舵システム、ブレーキシステム、駆動システム等の操作案内を運転者に提供して、運転者に運転操作を実行させる手動制御を実行させてもよい。この場合、走行支援部３２は、表示装置１６や音声出力装置１８に対して操作情報を提供するようにしてもよい。また、走行支援部３２は、半自動制御を実行する場合も、運転者に操作させる、例えばアクセル操作等に関する情報を表示装置１６や音声出力装置１８を介して提供することができる。

図３は、実施形態にかかる物体検知装置（物体検知部４０）をＣＰＵ２４ａで実現する場合の構成を例示的かつ模式的に示すブロック図である。ＣＰＵ２４ａは、ＲＯＭ２４ｂから読み出した物体検知プログラムを実行することにより、図３に示すように、画像取得部４２、設定部４４、制御部４６等のモジュールを含む物体検知部４０を実現する。また、設定部４４は、立体物境界線設定部４４ａ、バウンディングボックス設定部４４ｂ、走行予想領域設定部４４ｃ等の詳細モジュールを含む。また、制御部４６は、部分境界線抽出部４６ａ、注目点推定部４６ｂ、出力部４６ｃ等の詳細モジュールを含む。なお、画像取得部４２、設定部４４、制御部４６の一部または全部を回路等のハードウェアによって構成してもよい。また、図３では、図示を省略しているが、ＣＰＵ２４ａは、車両１０の走行に必要な各種モジュールを実現することもできる。また、図２では、主として物体検知処理を実行するＣＰＵ２４ａを示しているが、車両１０の走行に必要な各種モジュールを実現するためのＣＰＵを備えてもよいし、ＥＣＵ２４とは別のＥＣＵを備えてもよい。

画像取得部４２は、撮像部１４により撮像された、車両１０が存在する路面を含む車両１０の周囲状況を示す撮像画像（周辺画像）を取得し、設定部４４および制御部４６に提供する。なお、画像取得部４２は、各撮像部１４（１４ａ～１４ｄ）が撮像する撮像画像を逐次取得して設定部４４および制御部４６に提供するようにしてもよい。また、別の例では、画像取得部４２は、シフトセンサ３０から取得できる車両１０の進行可能方向（前進方向または後退方向）に関する情報に基づいて進行可能方向の物体検知が実行できるように、進行可能方向の撮像画像を選択的に取得して設定部４４および制御部４６に提供するようにしてもよい。

設定部４４は、画像取得部４２から提供される撮像画像に画像処理等を施すことにより、各種境界線や領域の設定を行う。図４、図５は、各種境界線や領域の設定を説明する例示的かつ模式的な図である。なお、図４、図５は、車両１０が後退可能な状態（シフトセンサ３０の検出結果がＲレンジの場合）で、後方画像について、各種境界線や領域が設定されている例である。

立体物境界線設定部４４ａは、図４に示されるように、撮像画像５０（例えば、後方画像）に含まれる路面５２上で立体物（他車両５４やフェンス５６等）が存在する領域として認識される物体領域ＢＲと路面５２との境界を示す立体物境界線５８を設定する。立体物境界線５８は、周知の画像処理技術、例えば、エッジ検出や直線近似や、機械学習等の手法を用いて設定することができる。立体物境界線５８は、路面５２上に存在する立体物の足元の位置（路面５２と接触する位置や路面５２から浮いた立体物が路面５２に投影された位置を結んだ線と見なすことができる。なお、図４の場合、作図の都合上、立体物境界線５８は平滑な線として表現されているが、実際は、立体物の形状や位置、撮像画像の解像度や認識精度、ノイズ等により非平滑な線になる場合がある。そのような場合は、周知の平滑化処置（スムージング処理）を実行してもよい。

バウンディングボックス設定部４４ｂは、物体領域ＢＲに含まれる立体物（他車両５４やフェンス５６等）のうち予め定められた対象物体（例えば、他車両５４に相当する物体）を選択するための矩形のバウンディングボックス６０を設定する。対象物体は、車両１０を走行させる場合に、路面５２上に存在し得る接触を避けるべき障害物であり、例えば、他車両５４やフェンス５６に相当する物体の他、自転車、歩行者、電柱、街路樹、花壇等に相当する物体であり、予め、例えば機械学習等により学習させたモデルにより抽出することができる物体である。バウンディングボックス設定部４４ｂは、周知に技術に従い学習させたモデルを撮像画像５０に適用し、例えば、対象物体の特徴点と撮像画像５０に含まれる画像の特徴点との一致度を求めて、撮像画像５０上のどこに既知の対象物体が存在するかを検出する。そして、検出した物体、すなわち、図４に示すように、対象物体と見なせる物体（例えば、他車両５４）を囲むように、バウンディングボックス６０を設定する。なお、図４、図５および後述する図８では、車両１０との接触を回避する物体を検知する例として、車両１０に最も近い位置で抽出された物体についてバウンディングボックス６０を設定した例を示している。

走行予想領域設定部４４ｃは、車両１０が走行した場合に通過が予想される領域を設定する。例えば、車両１０の現在の舵角に基づき、車両１０が走行する方向と車両１０が通過する領域が推定できる。したがって、車両１０の通過領域によって、対象物体（例えば他車両５４）との接触を回避する必要がある領域を限定することが可能となり、接触回避位置の推定精度を向上することができるとともに、回避のための処理負荷を軽減することができる。なお、走行予想領域設定部４４ｃを用いた制御の詳細は後述する。

制御部４６は、車両１０と対象物体との接触を回避するための限界線となる部分境界線６２を抽出するとともに、部分境界線６２上に車両１０との接触を回避するために注目するべき注目点Ｔを推定して出力する。なお、注目点Ｔは、対象物体との接触を回避する場合の代表的に点（位置）であり、注目点Ｔとの接触を回避できれば、車両１０との接触が回避できるものとする。

部分境界線抽出部４６ａは、図４、図５に示すように、撮像画像５０に対して立体物境界線設定部４４ａが設定した立体物境界線５８のうちバウンディングボックス設定部４４ｂが同じ撮像画像５０に設定したバウンディングボックス６０に含まれる部分を抽出して部分境界線６２として設定する。つまり、バウンディングボックス６０によって、立体物境界線５８の一部が部分境界線６２として選択され、図５に示すように、対象物体と見なされた例えば他車両５４の足元の位置（他車両５４の車輪と路面５２の接触位置や他車両５４のボディの投影位置）を示す線分となる。つまり、車両１０が（例えば、他車両５４）に接近していく場合に、部分境界線抽出部４６ａによって抽出された部分境界線６２は、対象物体（例えば他車両５４）との接触を回避するための限界線と見なすことができる。なお、バウンディングボックス６０が設定される場合、対象物体が存在する。そして、対象物体（立体物）が存在する場合、立体物境界線５８で設定されていることになる。したがって、バウンディングボックス６０が設定可能な場合（対象物体が存在する場合）は、部分境界線６２を抽出することができる。

注目点推定部４６ｂは、図５に示すように、部分境界線６２上で、車両１と対象物体との接触を回避するために注目する注目点Ｔを推定する。上述したように、車両１０が対象物体に接近する場合に、部分境界線６２を超えなければ、接触する可能性は小さい。そこで、注目点推定部４６ｂは、立体物境界線設定部４４ａで設定された対象物体の足元を示す部分境界線６２上に注目点Ｔを設定（推定）する。注目点推定部４６ｂは、予め定めた規則に従い注目点Ｔの設定を行う。例えば、図５に示すように、注目点推定部４６ｂは、撮像画像５０の二次元座標（Ｘ－Ｙ座標）において、部分境界線６２の両端のＸ座標をＸ_ｉおよびＸ_ｊとした場合に、その中点の位置を注目点ＴのＸ座標Ｘ_０とする。したがって、注目点Ｔの二次元座標は、（Ｘ_０，Ｙ_０）と推定することができる。

出力部４６ｃは、注目点Ｔの情報として二次元座標の情報を走行支援部３２に出力してもよいし、周知の演算処理によって、二次元座標を三次元座標に変化して、注目点Ｔの三次元座標を走行支援部３２に出力してもよい。また、出力部４６ｃは、三次元空間における車両１０から対象物体までの距離（端部参照位置Ｐから注目点Ｔまでの距離）を算出して走行支援部３２に出力してもよい。

このように、立体物境界線５８とバウンディングボックス６０とを組み合わせて、部分境界線６２を抽出することにより、対象物体（例えば他車両５４）の足元の位を認識することができる。そして、部分境界線６２上で推定した注目点Ｔを用いて、走行支援を実行させることにより、車両１０と対象物体との位置関係をより正確に認識した上で、対象物体に対する接触回避をより精度よく実現できる。特に、車両１０が対象物体に接近した際の位置関係（相対距離）が正確に検知できるので、より正確な制御を実行させることができる。

なお、注目点推定部４６ｂは、別の実施形態として、例えば、図５に示すように、部分境界線６２において、当該部分境界線６２の傾きの正負が切り替わる切替り位置が存在する場合、その切替り位置を注目点Ｔ_１として推定してもよい。部分境界線６２の傾きの正負が切り替わる位置（座標（Ｘ_１，Ｙ_１）は、図５に示されるように、対象物体（例えば他車両５４）の車両前面に対応する部分境界線６２のうち分割線６２ａと、車両側面に対応する分割線６２ｂとの接触位置に対応する。すなわち、部分境界線６２の傾きの切り替わり位置が、対象物体のコーナー位置（例えば、他車両５４の右前コーナーの位置）を示す。つまり、車両１０が対象物体（他車両５４）に接近するように走行する場合、傾きの切り替わり位置に対応する対象物体のコーナー位置が、車両１０のリヤバンパ１０ｂから最も近い位置となる可能性が高い。この位置を注目点Ｔ_１として、接触を回避するように走行制御を行わせることによって、対象物体との接触回避をより確実に行うことができる。

部分境界線６２の傾きの正負が切り替わる位置の推定は、例えば、部分境界線６２における変曲点を算出することにより推定してもよいし、部分境界線６２上の任意の二点間の傾きを順次算出して、傾きの正負変化を検知することによって推定してもよい。

また、注目点Ｔを推定する場合の別の実施形態として、例えば、図５に示すように、部分境界線６２のうちバウンディングボックス６０における縦軸方向（ｙ軸方向）の最下位置を注目点Ｔ_２としてもよい。図５に示されるように、バウンディングボックス６０において、ｙ軸方向の下方は、より車両１０に近い。つまり、バウンディングボックス６０に含まれる部分境界線６２のうち最下位置は、対象物体（他車両５４）の足元を示す位置で最も車両１０に近い位置となる。したがって、注目点Ｔ_２を回避するように走行制御を行わせることによって、対象物体との接触回避をより確実に行うことができる。

図６は、バウンディングボックス６０の縦軸方向の最下位置を注目点Ｔとすることを説明する別の例示的かつ模式的な図である。図６は、バウンディングボックス６０によって対象物体としてフェンス６４が抽出された場合である。フェンス６４のように奥行きない、または少ない物体の場合、部分境界線６２の傾きの正負が切り替わる位置が存在しない、または検出できない場合がある。このような場合は、上述した別の実施形態と同様に、部分境界線６２のうちバウンディングボックス６０における縦軸方向（ｙ軸方向）の最下位置を注目点Ｔ_３とすることが可能である。したがって、注目点Ｔ_３との接触を回避するように走行制御を行わせることによって、対象物体（フェンス６４）との接触回避をより確実に行うことができる。

また、図７は、対象物体として歩行者６６が抽出された場合である。歩行者６６の場合、歩行動作に基づく部分境界線６２（立体物境界線５８）が短い場合がある。この場合でも、歩行者６６に対して設定された部分境界線６２のうちバウンディングボックス６０における縦軸方向（ｙ軸方向）の最下位置を注目点Ｔ_４とすることが可能である。つまり、注目点Ｔ_４を歩行者６６の足元を示す最も車両１０に近い位置と見なすことができる。したがって、注目点Ｔ_４との接触を回避するように走行制御を行わせることによって、対象物体（歩行者６６）との接触回避をより確実に行うことができる。なお、歩行者６６等の動体の挙動によっては、動作に基づく部分境界線６２（立体物境界線５８）が十分に抽出可能な場合があり、部分境界線６２の傾きの正負が切り替わる位置が存在する場合がある。このような場合は、変曲点の位置を用いた注目点Ｔ_４の推定が可能となる。したがって、注目点Ｔ_４との接触を回避するように走行制御を行わせることによって、対象物体（動体）との接触回避を同様に実施することができる。

図８は、注目点Ｔをさらに効率的に推定することができる変形例を示す例示的かつ模式的な説明図である。

設定部４４の走行予想領域設定部４４ｃは、前述したように、車両１０が走行した場合に通過が予想される領域を設定する。例えば、舵角センサ２８から提供される車両１０の現在の舵角に基づき、車両１０が走行する方向（車輪１２の通過する位置、方向）を推定できる。例えば、図８に示すように、走行予想領域設定部４４ｃは、右後輪の進む走行予想線６８ａと左後輪の進む走行予想線６６ｂとに基づき、走行予想線６６ａ，６６ｂとで囲まれた走行予想領域６８を設定することができる。つまり、車両１０が走行する場合（例えば後退する場合）、車両１０は走行予想領域６８以外の領域は通過しない。したがって、部分境界線抽出部４６ａは、走行予想領域６８とバウンディングボックス６０とが重なる領域に含まれる立体物境界線５８に基づき、部分境界線６２ｃを定めることができる。その結果、注目点推定部４６ｂは、車両１０の通過が予想されるより限定された領域で、部分境界線６２ｃを抽出して注目点Ｔの推定が可能になる。その結果、注目点Ｔの推定精度を向上させることができるとともに、注目点Ｔを推定するための処理負荷が軽減可能となる。走行予想領域６８を用いて部分境界線６２ｃを抽出した場合も、上述した例と同様に、部分境界線６２ｃのＸ座標上中点を算出してり、部分境界線６２ｃの変曲点を算出したり、最下位置を算出したりすることによって、注目点Ｔの位置を推定することができる。

以上のように構成される物体検知装置（物体検知部４０）による注目点Ｔの推定処理の流れの一例を図９のフローチャートを用いて説明する。

まず、物体検知部４０は、現在の車両１０の進行可能方向の確認を行う。例えば、シフトセンサ３０から取得できる変速操作部のシフト位置に基づき、車両１０が後退走行可能な状態か否か確認する（Ｓ１００）。後退走行可能な状態の場合（Ｓ１００のＹｅｓ）、すなわち、変速操作部においてＲレンジが選択されている場合、画像取得部４２は、撮像部１４ｂが撮像した後方画像を物体検知対象の画像として取得する（Ｓ１０２）。一方、Ｓ１００において、後退走行可能な状態でない場合（Ｓ１００のＮｏ）、例えば、変速操作部において、前進走行可能なＤレンジが選択されている場合や、Ｐレンジ、Ｎレンジ等Ｒレンジ以外が選択されている場合、画像取得部４２は、撮像部１４ａが撮像した前方画像を物体検知対象の画像として取得する（Ｓ１０４）。

物体検知対象の画像が取得されると、立体物境界線設定部４４ａは、画像取得部４２が取得した撮像画像に対して立体物境界線５８の設定を行うとともに（Ｓ１０６）、バウンディングボックス設定部４４ｂは、バウンディングボックス６０の設定を行う（Ｓ１０８）。また、走行予想領域設定部４４ｃは、舵角センサ２８から取得される車両１０の現在の舵角に基づき、走行予想線６８ａおよび走行予想線６８ｂを設定し、その走行予想線６８ａ，６８ｂに基づき走行予想領域６８を設定する（Ｓ１１０）。

制御部４６は、走行予想領域６８と重なるバウンディングボックス６０が存在するか否か確認する（Ｓ１１２）。重なる領域が存在する場合（Ｓ１１２のＹｅｓ）、車両１０が走行する可能性のある領域に物体検知の対象となる対象物体が存在することになる。この場合、部分境界線抽出部４６ａは、バウンディングボックス６０に含まれる立体物境界線５８で定まる部分境界線６２をさらに走行予想領域６８で限定することで、車両１０と接触する可能性のある対象物体の場所（部分）を特定し、その場所に対する部分境界線６２ｃを設定する（Ｓ１１４）。

そして、注目点推定部４６ｂは、部分境界線抽出部４６ａが抽出した部分境界線６２ｃに基づき、注目点Ｔを推定する（Ｓ１１６）。注目点Ｔの推定は、前述したように、部分境界線６２（６２ｃ）の両端のＸ座標をＸ_ｉおよびＸ_ｊとした場合に、例えば、その中点の位置として、Ｔの座標（Ｘ_０，Ｙ_０）を推定してもよい。また、部分境界線６２（６２ｃ）の傾きの正負が切り替わる位置をＴの座標として推定してもよい。また、部分境界線６２のうちバウンディングボックス６０における縦軸方向（ｙ軸方向）の最下位置を注目点Ｔとしてもよい。

注目点Ｔが推定されると、出力部４６ｃは、二次元座標上で推定された注目点Ｔの座標情報を三次元座標上の座標情報に変換して、三次元空間にける車両１０から対象物体までの距離（端部参照位置Ｐから注目点Ｔまでの距離）を算出して走行支援部３２に出力して（Ｓ１１８）、一連の物体検知処理を一旦終了する。また、別の例では、出力部４６ｃは、二次元座標の注目点Ｔの情報や三次元座標の注目点Ｔの情報を走行支援部３２に出力して、走行支援部３２側で座標変換処理や距離算出を行うようにしてもよい。走行支援部３２では、取得した注目点Ｔに基づく情報に基づき、対象物体との接触を回避するような、操舵システム、ブレーキシステム、駆動システム等の制御または運転者への操作案内等を実行する。

Ｓ１１２において、バウンディングボックス６０と走行予想領域６８とで重なる領域が存在しない場合（Ｓ１１２のＮｏ）、現在の車両１０の舵角に基づく走行において、接触する可能性のある対象物体は存在しないと見なし、Ｓ１１６に移行し、注目点Ｔが存在しないことを示す情報を出力部４６ｃを介して、走行支援部３２に出力して一連の物体検知処理を一旦終了する。

このように、実施形態の物体検知装置によれば、バウンディングボックス６０により認識される対象物体の足元の位置、すなわち、対象物体に、より接近した位置の検出が可能となる。したがって、対象物体の位置を示す注目点Ｔの検知精度を、バウンディングボックス６０のみを用いて対象物体の位置を検知していた場合より向上することができる。その結果、車両１０に対する対象物体の位置、距離をより正確に把握可能になり、対象物体との接触回避をより確実に実施することができる。特に、車両１０が対象物体に接近した場合の位置関係や距離の認識を、より正確に行うことが可能になり、信頼性および安全性が向上した制御を実現させることができる。

なお、上述した実施形態において、推定した注目点Ｔの情報を、操舵システム、ブレーキシステム、駆動システム等の制御や運転者への操作案内を実施するために利用する例をしましたが、他の制御、例えば、画像表示や警報出力等処理に利用してもよい。この場合も、注目点Ｔの検知精度の向上により、画像表示の精度や警報精度の向上に寄与できる。

図４、図５、図８に示す撮像画像５０は、物体認識の流れを説明するための画像であり、表示装置１６に表示する必要はないが、表示装置１６に表示することにより、物体検知状況を運転者に提示可能となり、物体検知処理への信頼感、安心感を向上させることに寄与できる。また、本実施形態で説明した高精度の物体検知は、特に車両１０が駐車支援や出庫支援等において、１０が低速で走行して対象物体に接近する場合に有効である。したがって、例えば、車輪速センサ２６から提供される車速に従い、所定速度以下（例えば、１２ｋｍ/ｈ以下）の場合に本実施形態の物体検知処理を実行するようにしてもよい。逆に、所定速度を超える走行中の場合には、例えば、バウンディングボックス６０のみを用いた簡易的な物体検知処理を行うようにしてもよい。

また、上述した実施形態では、前方画像または後方画像を用いて物体検知を行う例を示したが、右側方画像や左側方画像についても、同様の物体検知処理が可能であり、同様の効果を得ることができる。

本実施形態の物体検知部４０（ＣＰＵ２４ａ）で実行される物体検知処理のための物体検知プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、物体検知プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態で実行される物体検知プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…車両、１４，１４ａ，１４ｂ，１４ｃ，１４ｄ…撮像部、２４…ＥＣＵ、２４ａ…ＣＰＵ、２６…車輪速センサ、２８…舵角センサ、３０…シフトセンサ、３２…走行支援部、４０…物体検知部、４２…画像取得部、４４…設定部、４４ａ…立体物境界線設定部、４４ｂ…バウンディングボックス設定部、４４ｃ…走行予想領域設定部、４６…制御部、４６ａ…部分境界線抽出部、４６ｂ…注目点推定部、４６ｃ…出力部、５０…撮像画像、５２…路面、５８…立体物境界線、６０…バウンディングボックス、６２…部分境界線、１００…制御システム、Ｔ…注目点。

Claims

車両が存在する路面を含む周囲状況を撮像可能な撮像部で撮像された撮像画像を取得する取得部と、
前記撮像画像に含まれる前記路面上で立体物が存在する領域として認識される物体領域と前記路面との境界を示す立体物境界線と、前記物体領域に含まれる前記立体物のうち予め定められた対象物体を選択するための矩形のバウンディングボックスと、を設定する設定部と、
前記立体物境界線のうち前記バウンディングボックスに含まれる部分境界線を抽出するとともに、当該部分境界線上で前記車両と前記対象物体との接触を回避するために注目する注目点を推定して出力する制御部と、
を備え、
前記制御部は、前記注目点に基づき、三次元空間における前記車両から前記対象物体までの距離を算出する、物体検知装置。
前記制御部は、前記部分境界線のうち前記バウンディングボックスの縦軸方向の最下位置を前記注目点とする、請求項１に記載の物体検知装置。
前記制御部は、前記部分境界線において、前記部分境界線の傾きの正負が切り替わる切替り位置が存在する場合、前記切替り位置を前記注目点とする、請求項１に記載の物体検知装置。
前記制御部は、前記車両の舵角に基づく進行方向を示す走行予想線で定まる走行予想領域と前記バウンディングボックスとに基づき、前記部分境界線を定めて、前記注目点の位置を推定する、請求項１から請求項３のいずれか１項に記載の物体検知装置。