JP7276282B2 - 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム - Google Patents

Description

本発明は、車両に搭載されたセンサにより得られたセンサ信号から車両の周囲の物体を検出する物体検出装置、物体検出方法及び物体検出用コンピュータプログラムに関する。

画像といったセンサ信号に表された物体を検出する技術が研究されている。近年では、物体を検出するために、いわゆるディープニューラルネットワーク（以下、単にDNNと呼ぶ）を用いることで、検出精度を向上する技術が提案されている。しかし、DNNによる演算量は非常に大きいため、車両に搭載された電子制御装置などのコンピュータがそのような識別器を利用した物体検出処理を実行する際の処理負荷も大きくなる。そこで、状況に応じて、処理対象となる情報の取得周期、あるいは、適用される処理の内容を調整する技術が提案されている（例えば、特許文献1及び特許文献２を参照）。

例えば、特許文献１には、センサからの出力情報を入力してセンサ解析情報を生成し、センサ解析情報を入力して行動計画を生成し、センサからの出力を、センサ解析情報または行動計画情報の少なくとも何れかに基づいて算出された最適センサレートに調整する技術が開示されている。この技術では、センサ解析情報には、進行方向における障害物の有無、走行に十分なクリアランスが確保されているか否か、進行方向の死角の有無、移動オブジェクトの検出有無などが含まれる。そして障害物がある場合、クリアランスが確保されていない場合、進行方向に死角がある場合、あるいは移動オブジェクトが検出された場合、センサレートは高く設定される。さらに、この技術では、交差点、横断歩道、合流地点等の危険な場所では、センサレートは高く設定される。

また、特許文献２には、自車両の周囲の複数の外界情報を優先度に応じて処理する技術が開示されている。この技術では、複数の外界情報の統合処理を行う通常処理と統合処理を行わない簡易処理とを含む処理群から、優先度に応じた処理が選択される。そして優先度は、自車両と検知対象物との間の距離及び相対速度の少なくとも一方に応じて判定される。

国際公開第２０１９／０５８７２０号 特開２０１８－３６７９６号公報

しかしながら、車両に搭載されたセンサからの処理対象となるセンサ信号の取得周期またはセンサ信号に対する処理の内容が変更されると、適切なタイミングでセンサ信号が得られなくなり、あるいは、センサ信号に対して適切な処理が実行されないことがある。その結果として、車両の安全性が損なわれるおそれがある。そこで、車両の安全性を損なわずに、車両の周囲の物体の検出に要する演算量を削減することが求められる。

そこで、本発明は、車両の安全性を担保しつつ、車両の周囲の物体の検出に要する演算量を削減できる物体検出装置を提供することを目的とする。

一つの実施形態によれば、物体検出装置が提供される。この物体検出装置は、車両に搭載された車両の周囲の状況を検知する少なくとも一つのセンサにより得られたセンサ信号を識別器に入力することで車両の周囲に存在する物体を検出する物体検出部と、車両の速度が所定の速度閾値以下であり、かつ、車両の周囲の状況が、車両の周囲に存在する物体の数が所定数以上となる第１の状況、車両と車両の周囲に存在する物体間の距離が所定距離以下となる第２の状況、車両と車両の周囲に存在する物体間の相対速度が所定の閾値以上となる第３の状況、車両が渋滞中に位置する第４の状況、及び、車両が停止線を越えて停止中である第５の状況の何れにも該当しない場合、センサ信号に対する識別器の演算の少なくとも一部が省略されるように演算の省略度合いを設定する演算制御部とを有する。そして、物体検出部は、設定された演算の省略度合いに従ってセンサ信号に対する識別器の演算の一部を省略する。

この物体検出装置において、演算制御部は、車両の速度が所定の速度閾値以下であり、かつ、車両の周囲の状況が、第４の状況または第５の状況に該当するものの、第１の状況～第３の状況の何れにも該当しない場合、センサ信号が識別器に入力される周期が、車両の速度が所定の速度閾値よりも速い場合のその周期よりも長くなるよう、演算の省略度合いを設定することが好ましい。

また、この物体検出装置において、少なくとも一つのセンサは、第１のセンサ信号を出力する第１のセンサと、第１のセンサよりも検知対象距離が短く、かつ、第２のセンサ信号を出力する第２のセンサを含み、演算制御部は、車両の速度が所定の速度閾値以下であり、かつ、車両の周囲の状況が、第１の状況及び第３の状況～第５の状況の何れかに該当するものの、第２の状況に該当しない場合、第１のセンサにより得られた第１のセンサ信号を識別器に入力し、一方、第２のセンサにより得られた第２のセンサ信号を識別器に入力しないよう、演算の省略度合いを設定することが好ましい。

あるいは、この物体検出装置において、演算制御部は、車両の速度が所定の速度閾値以下であり、かつ、車両の周囲の状況が、第５の状況に該当するものの、第１の状況～第４の状況の何れにも該当しない場合、センサ信号に表される車両周囲の範囲のうちの一部に相当するセンサ信号の一部のみを識別器に入力するよう、演算の省略度合いを設定することが好ましい。

あるいはまた、この物体検出装置において、識別器は、第１の識別器と、第１の識別器よりも演算量が少なく、かつ、第１の識別器よりも車両の周囲に存在する物体の検出精度が低い第２の識別器を含み、演算制御部は、車両の速度が所定の速度閾値よりも速い場合、第１の識別器にセンサ信号を入力するよう演算の省略度合いを設定し、一方、車両の速度が所定の速度閾値以下であり、かつ、車両の周囲の状況が、第４の状況または第５の状況に該当するものの、第１の状況～第３の状況の何れにも該当しない場合、第２の識別器にセンサ信号を入力するよう演算の省略度合いを設定することが好ましい。

あるいはまた、この物体検出装置において、演算制御部は、車両の速度が所定の速度閾値以下であり、かつ、車両の周囲の状況が、第４の状況または第５の状況に該当するものの、第１の状況～第３の状況の何れにも該当しない場合、識別器自体の演算の一部を省略するように演算の省略度合いを設定することが好ましい。

さらに、この物体検出装置において、物体検出部は、車両周囲に存在する物体の状況または挙動によって車両が停車することで、演算制御部がセンサ信号に対する識別器の演算の少なくとも一部が省略されるように演算の省略度合いを設定した後に得られたセンサ信号に基づいて、車両周囲に存在する物体の状況または挙動を検出し、演算制御部は、検出された車両周囲に存在する物体の状況または挙動に基づいて車両が停車する要因が解消されたか否か判定し、その要因が解消された場合、車両の速度が所定の速度閾値以下であっても、センサ信号に対する識別器の演算が省略されないように演算の省略度合いを再設定することが好ましい。

他の実施形態によれば、物体検出方法が提供される。この物体検出方法は、車両に搭載された車両の周囲の状況を検知する少なくとも一つのセンサにより得られたセンサ信号を識別器に入力することで車両の周囲に存在する物体を検出し、車両の速度が所定の速度閾値以下であり、かつ、車両の周囲の状況が、車両の周囲に存在する物体の数が所定数以上となる第１の状況、車両と車両の周囲に存在する物体間の距離が所定距離以下となる第２の状況、車両と車両の周囲に存在する物体間の相対速度が所定の閾値以上となる第３の状況、車両が渋滞中に位置する第４の状況、及び、車両が停止線を越えて停止中である第５の状況の何れにも該当しない場合、センサ信号に対する識別器の演算の少なくとも一部が省略されるように演算の省略度合いを設定する、ことを含む。そして物体の検出は、設定された演算の省略度合いに従ってセンサ信号に対する識別器の演算の一部を省略して実行される。

さらに他の実施形態によれば、物体検出用コンピュータプログラムが提供される。この物体検出用コンピュータプログラムは、車両に搭載された車両の周囲の状況を検知する少なくとも一つのセンサにより得られたセンサ信号を識別器に入力することで車両の周囲に存在する物体を検出し、車両の速度が所定の速度閾値以下であり、かつ、車両の周囲の状況が、車両の周囲に存在する物体の数が所定数以上となる第１の状況、車両と車両の周囲に存在する物体間の距離が所定距離以下となる第２の状況、車両と車両の周囲に存在する物体間の相対速度が所定の閾値以上となる第３の状況、車両が渋滞中に位置する第４の状況、及び、車両が停止線を越えて停止中である第５の状況の何れにも該当しない場合、センサ信号に対する識別器の演算の少なくとも一部が省略されるように演算の省略度合いを設定する、ことを車両に搭載されたプロセッサに実行させる命令を含む。そして物体の検出は、設定された演算の省略度合いに従ってセンサ信号に対する識別器の演算の一部を省略して実行される。

本発明に係る物体検出装置は、車両の安全性を担保しつつ、車両の周囲の物体の検出に要する演算量を削減できるという効果を奏する。

物体検出装置が実装される車両制御システムの概略構成図である。 物体検出装置の一つの実施形態である電子制御装置のハードウェア構成図である。 物体検出処理を含む車両制御処理に関する、電子制御装置のプロセッサの機能ブロック図である。 識別器における演算の省略の一例についての説明図である。 識別器における演算の省略の他の一例についての説明図である。 識別器による演算が省略されない状況の一例を示す説明図である。 物体検出処理を含む車両制御処理の動作フローチャートである。

以下、図を参照しつつ、物体検出装置について説明する。この物体検出装置は、検出対象となる所定の物体を検出するように予め学習された識別器に、車両に搭載されたセンサにより得られたセンサ信号を入力することで、車両の周囲に存在するその所定の物体を検出する。その際、この物体検出装置は、車両の速度が所定の速度閾値以下である場合、識別器による演算の少なくとも一部を省略する。ただし、この物体検出装置は、車両の速度がその速度閾値以下である場合でも、車両周囲の状況が、車両の安全度合いが低いと考えられる所定の例外状況に該当する場合には、識別器による演算を省略しないようにする。これにより、この物体検出装置は、車両の安全性を担保しつつ、車両の周囲の物体の検出に要する演算量を削減することを図る。

以下では、物体検出装置を、車両制御システムに適用した例について説明する。この例では、物体検出装置は、車両に搭載されたカメラにより得られた画像に対して物体検出処理を実行することで、車両の周囲に存在する各種の物体、例えば、他の車両、人、道路標識または道路標示などを検出し、その検出結果に基づいて車両を自動運転制御する。

図１は、物体検出装置が実装される車両制御システムの概略構成図である。図２は、物体検出装置の一つの実施形態である電子制御装置のハードウェア構成図である。本実施形態では、車両１０に搭載され、かつ、車両１０を制御する車両制御システム１は、車両１０の周囲を撮影するためのカメラ２と、測距センサ３と、物体検出装置の一例である電子制御装置（ＥＣＵ）４とを有する。カメラ２と、測距センサ３と、ＥＣＵ４とは、コントローラエリアネットワークといった規格に準拠した車内ネットワークを介して通信可能に接続される。なお、車両制御システム１は、車両１０の自動運転制御に用いられる地図情報を記憶するストレージ装置（図示せず）をさらに有していてもよい。さらに、車両制御システム１は、GPS受信機といった、衛星測位システムに準拠して車両１０の自己位置を測位するための受信機（図示せず）、他の機器と無線通信するための無線端末（図示せず）、及び、車両１０の走行予定ルートを探索するためのナビゲーション装置（図示せず）などを有していてもよい。

カメラ２は、車両１０の周囲の状況を検知するセンサの一例であり、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。カメラ２は、車両１０の前方を向くように、例えば、車両１０の車室内に取り付けられる。そしてカメラ２は、所定の撮影周期（例えば1/30秒～1/10秒）ごとに車両１０の前方領域を撮影し、その前方領域が写った画像を生成する。カメラ２により得られた画像は、センサ信号の一例であり、カラー画像であってもよく、あるいは、グレー画像であってもよい。なお、車両制御システム１は、撮影方向または画角が異なる複数のカメラ２を有していてもよい。

カメラ２は、画像を生成する度に、その生成した画像を、車内ネットワークを介してＥＣＵ４へ出力する。

測距センサ３は、車両１０の周囲の状況を検知するセンサの他の一例であり、例えば、LiDARセンサ、レーダあるいはソナーの少なくとも一つを有する。測距センサ３は、所定の周期ごとに、各方位について、その方位における、車両１０の周囲に存在する他の物体までの距離を測定する。そして測距センサ３は、所定の周期ごとに、方位ごとの他の物体までの距離を表す測距信号を、車内ネットワークを介してＥＣＵ４へ出力する。なお、測距信号は、センサ信号の他の一例である。

ＥＣＵ４は、車両１０を制御する。本実施形態では、ＥＣＵ４は、カメラ２により得られた時系列の一連の画像、または、測距センサ３により得られた時系列の一連の測距信号から車両１０の周囲に存在する他の物体を検出し、検出された物体に基づいて車両１０を自動運転するよう、車両１０を制御する。そのために、ＥＣＵ４は、通信インターフェース２１と、メモリ２２と、プロセッサ２３とを有する。なお、通信インターフェース２１、メモリ２２及びプロセッサ２３は、別個の回路として構成されてもよく、あるいは、一つの集積回路として一体的に構成されてもよい。

通信インターフェース２１は、通信部の一例であり、ＥＣＵ４を車内ネットワークに接続するためのインターフェース回路を有する。すなわち、通信インターフェース２１は、車内ネットワークを介して、カメラ２及び測距センサ３と接続される。そして通信インターフェース２１は、カメラ２から画像を受信する度に、受信した画像をプロセッサ２３へわたす。また通信インターフェース２１は、測距センサ３から測距信号を受信する度に、受信した測距信号をプロセッサ２３へわたす。あるいはまた、通信インターフェース２１は、車内ネットワークを介して受信した、ストレージ装置から読み込んだ地図情報、GPS受信機からの測位情報などを、プロセッサ２３へわたす。

メモリ２２は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。そしてメモリ２２は、ＥＣＵ４のプロセッサ２３により実行される各種処理を実現するためのコンピュータプログラムを記憶する。さらに、メモリ２２は、物体検出処理において使用される各種のデータ、例えば、カメラ２から受信した画像、測距センサ３から受け取った測距信号、物体検出処理で利用される識別器を特定するためのパラメータセット、演算の省略度合いを設定するために利用される各種のパラメータなどを記憶する。さらにまた、メモリ２２は、車両１０を自動運転制御するために必要な各種の情報を記憶する。さらにまた、メモリ２２は、物体検出処理の途中における演算結果を記憶する。

プロセッサ２３は、制御部の一例であり、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。そしてプロセッサ２３は、車両１０が走行している間、カメラ２から画像を受信する度に、受信した画像に対して物体検出処理を含む車両制御処理を実行する。そしてプロセッサ２３は、検出された車両１０の周囲の物体に基づいて、車両１０を自動運転するよう、車両１０を制御する。

図３は、物体検出処理を含む車両制御処理に関する、ＥＣＵ４のプロセッサ２３の機能ブロック図である。プロセッサ２３は、物体検出部３１と、演算制御部３２と、運転計画部３３と、車両制御部３４とを有する。プロセッサ２３が有するこれらの各部は、例えば、プロセッサ２３上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ２３が有するこれらの各部は、プロセッサ２３に設けられる、専用の演算回路であってもよい。また、プロセッサ２３が有するこれらの各部のうち、物体検出部３1及び演算制御部３２が、物体検出処理を実行する。

物体検出部３１は、カメラ２から画像が得られる度に、その画像を識別器に入力することで、その画像に表された、車両１０の周囲に存在する検出対象となる物体（以下、単に対象物体と呼ぶ）を検出する。なお、対象物体には、例えば、車または人といった移動物体が含まれる。また、対象物体には、車線区画線といった道路標示、各種の規制標識といった道路標識、及び、信号機といった静止物体がさらに含まれてもよい。

本実施形態では、物体検出部３１は、識別器として、画像に表された対象物体を含む物体領域を検出し、かつ、対象物体の種類を識別するように予め学習されたDNNを利用する。物体検出部３１が利用するDNNは、例えば、Single Shot MultiBox Detector（SSD）、または、Faster R-CNNといった、コンボリューショナルニューラルネットワーク（以下、単にCNNと呼ぶ）型のアーキテクチャを持つDNNとすることができる。この場合、識別器として利用されるDNNは、例えば、画像が入力される入力層と、物体検出の結果を出力する出力層と、入力層と出力層との間に接続される複数の隠れ層とを有する。そして複数の隠れ層には、１以上の畳み込み層が含まれる。さらに、複数の隠れ層には、プーリング層、アップサンプリング層あるいは全結合層といった他の演算を実行する層が含まれてもよい。そして識別器は、入力された画像上に表された１以上の対象物体のそれぞれについて、その対象物体が表された物体領域を示す情報（例えば、物体領域の左上端の位置及び水平方向及び垂直方向のサイズ）及びその対象物体の種類（車両、人、信号機など）を表す情報を出力する。特に、対象物体が信号機である場合には、識別器は、対象物体の種類を表す情報として、信号機の点灯状態（赤信号、青信号など）を表す情報を出力してもよい。

また、物体検出部３１は、adaBoostあるいはサポートベクトルマシンといった他の手法に従った識別器を利用してもよい。この場合、物体検出部３１は、画像上に設定するウィンドウの位置、サイズ及びアスペクト比を様々に変更しながら、そのウィンドウから特徴量（例えば、Histograms of Oriented Gradients, HOG）を算出し、算出した特徴量を識別器へ入力することで、そのウィンドウに対象物体が表されているか否かを判定することができる。

さらに、物体検出部３１は、測距センサ３により得られた測距信号を識別器に入力することで、車両１０の周囲の対象物体を検出してもよい。

この場合、物体検出部３１は、測距センサ３の種類に応じた物体検出手法に従って車両１０の周囲の物体を検出すればよい。あるいは、物体検出部３１は、DNNに対して、画像だけでなく、測距センサ３により得られた、画像に表された領域と同じ領域の測距信号を入力してもよい。この場合、DNNにおいて、画像が入力される層と、測距信号が入力される層とは並列に設けられてもよく、あるいは、画像と測距信号とが互いに異なるチャネルとしてDNNに入力されてもよい。なお、画像と測距信号とが互いに異なるチャネルとしてDNNに入力される場合には、実空間の同じ位置を表す画像上の画素と測距信号の成分とが同じフィルタに入力されるように、画像と測距信号とが位置合わせされることが好ましい。物体検出部３１は、例えば、カメラ２の取り付け位置、撮影方向及び画角と、測距センサ３の取り付け位置などに基づいて、画像と測距信号とを位置合わせすればよい。

本実施形態では、物体検出部３１は、演算制御部３２により設定された演算の省略度合い（以下、単に省略度合いと呼ぶことがある）に応じて識別器による演算を省略することで、ＥＣＵ４が有するハードウェアリソースのうち、物体検出処理に利用されるハードウェアリソースの量を低減する。例えば、省略度合いは、識別器の演算の一部を省略することを示す度合いと識別器の演算を省略しないことを示す度合いの何れかに設定される。しかし、省略度合いは、これに限られず、識別器の演算の省略の程度が異なる３以上の度合いの何れかに設定されてもよい。なお、省略度合いの設定の詳細については、演算制御部３２とともに後述する。

例えば、物体検出部３１は、演算制御部３２により、一部の演算を省略することを示す省略度合いが設定されている場合、下記に説明する様々な演算省略手法のうちの一つまたは複数に従って、識別器による演算の一部を省略する。

例えば、物体検出部３１は、識別器自体の演算の一部を省略してもよい。例えば、識別器としてDNNが使用される場合、DNNが有する何れかの層の演算を省略してもよい。例えば、物体検出部３１は、DNNが有する畳み込み層のうちの少なくとも一つにおいて求められるfeature mapに含まれるチャネル数を少なくしてもよい。これにより、車両１０の安全度合いが高い場合に、物体検出部３１は、識別器自体の演算量を削減することができる。

図４は、識別器における演算の省略の一例についての説明図である。図４に示されるように、識別器として使用されるDNNに含まれる一つの畳み込み層４０１は、畳み込み層４０１の前の層から出力されたfeature map４１１に対して畳み込み演算を実行することでfeature map４１２を生成する。そして畳み込み層４０１の次の層４０２は、feature map４１２に対してmax pooling演算を実行して、feature map４１２に含まれる各チャネルの水平方向及び垂直方向のサイズが1/2に縮小されたfeature map４１３を出力する。さらに、層４０２に後続する層が、feature map４１３に対する所定の演算を実行する。Feature map４１１は、水平方向についてW、垂直方向についてH、かつ、チャネル方向についてmのサイズ（すなわち、W*H*m）のサイズを有する。DNNによる演算が省略されない場合には、畳み込み層４０１は、feature map４１２がチャネル方向についてn個のfeature mapを有するように、すなわち、feature map４１２のサイズが(W*H*n)となるように、入力されたfeature map４１１に対してチャネル方向についてn回の畳み込み演算を実行する。一方、演算制御部３２により、識別器の演算の一部が省略されることが設定されると、畳み込み層４０１は、入力されたfeature map４１１に対してチャネル方向についてk回(ただし、k<n)の畳み込み演算を実行する。これにより、畳み込み層４０１により生成されるfeature map４１２のサイズは(W*H*k)となり、(W*H*(n-k))個の畳み込み演算が省略される。なお、DNNは、畳み込み層４０１がチャネル方向についてk回の畳み込み演算しか実行しない場合でも、必要最小限の検出精度が得られるように予め学習されることが好ましい。

あるいは、設定された省略度合いが、識別器による演算の一部を省略することを示す度合いである場合、物体検出部３１は、センサ信号の一部のみを識別器に入力するようにしてもよい。例えば、物体検出部３１は、対象物体を検出する範囲である検知範囲を限定する。この場合、物体検出部３１は、例えば、検知範囲を、車両１０からの距離が所定距離以下となる範囲に限定し、あるいは、車両１０の進行方向に沿った範囲に限定する。そのために、例えば、物体検出部３１は、カメラ２から取得した画像のうち、設定した検知範囲に相当する領域のみを識別器に入力すればよい。その際、設定した検知範囲に相当する領域を表す情報は、メモリ２２に予め記憶されていればよい。例えば、車両１０に近い位置ほど、画像の下側に写ることになる。そこで、車両１０からの距離が所定距離となる位置に相当する、画像の下端からの高さがメモリ２２に予め記憶されていればよい。そして物体検出部３１は、画像のその高さ以下の領域を、識別器に入力する領域として特定すればよい。また、車両１０の進行方向に応じて、検知範囲に相当する水平方向についての画像の範囲が設定されてもよい。例えば、車両１０が直進する場合には、物体検出部３１は、画像の水平方向における中心を含む所定幅の領域を、識別器に入力する領域として特定すればよい。また、車両１０が右折する場合には、物体検出部３１は、画像の右端から所定幅の領域を、識別器に入力する領域として特定すればよい。逆に、車両１０が左折する場合には、物体検出部３１は、画像の左端から所定幅の領域を、識別器に入力する領域として特定すればよい。なお、物体検出部３１は、車両１０の進行方向を、例えば、ナビゲーション装置により設定される車両１０の走行予定ルート及びGPS受信機により測位される車両１０の現在位置に基づいて判定すればよい。あるいは、物体検出部３１は、方向指示器の動作状況に関する情報を、方向指示器または方向指示器を制御する制御装置から通信インターフェース２１を介して取得することで、車両１０の進行方向を判定してもよい。すなわち、方向指示器が右折を示す点滅動作を行っていることを表す情報を方向指示器またはその制御装置から取得した場合、物体検出部３１は、車両１０は右折すると判定すればよい。逆に、方向指示器が左折を示す点滅動作を行っていることを表す情報を方向指示器またはその制御装置から取得した場合、物体検出部３１は、車両１０は左折すると判定すればよい。また、方向指示器が点滅していないことを表す情報を方向指示器またはその制御装置から取得した場合、物体検出部３１は、車両１０は現在走行中の道路に沿って走行すると判定すればよい。

あるいは、物体検出部３１は、センサ信号中で所定の物体が表された範囲を検知範囲として設定してもよい。例えば、物体検出部３１は、カメラ２により得られた画像において、車両１０が停車する要因となった物体、例えば、赤信号または車両１０の前方を走行する車両（以下、単に先行車両と呼ぶ）が表された領域を検知範囲として設定してもよい。

車両１０が停車する場合、車両１０と車両１０が停車する要因となった物体間の相対的な位置関係は、車両１０が停車する直前におけるその位置関係からあまり変化しないと想定される。そこで、物体検出部３１は、直前に得られたセンサ信号中において、先行車両または信号機が表された領域を、最新のセンサ信号における検知範囲に設定すればよい。あるいは、物体検出部３１は、直前までの先行車両の追跡結果に対してカルマンフィルタといった予測フィルタを適用することで、最新のセンサ信号において先行車両が表される領域を予測し、その予測した領域を、最新のセンサ信号における検知範囲に設定してもよい。また、物体検出部３１は、車両１０が停車する要因となった物体を特定するための情報を運転計画部３３から取得すればよい。

図５は、識別器における演算の省略の他の一例についての説明図である。この例では、車両１０の前方に位置する信号機５０１の点灯状態が赤信号であるために、車両１０が停車しているとする。この場合、カメラ２により得られた画像５００において、信号機５０１が表された領域５１０のみが識別器に入力されればよい。そのために、物体検出部３１は、例えば、画像５００において領域５１０に含まれない各画素の値を所定値（例えば、0）に置換してからその画像を識別器に入力すればよい。これにより、識別器は、実質的に領域５１０のみを対象とした演算を実行するので、識別器による演算量が削減される。

上記のように、物体検出部３１は、検知範囲を限定することで、識別器による演算対象となるデータ量を削減できるので、車両１０の安全度合いが高い場合における、物体検出処理に要するハードウェアリソースの量を削減できる。

上記のように、物体検出部３１は、識別器による演算が省略されない場合、車両１０に搭載された複数のセンサのそれぞれからのセンサ信号に基づいて対象物体を検出してもよい。この場合、設定された省略度合いが識別器による演算の少なくとも一部を省略することを示す度合いである場合、物体検出部３１は、複数のセンサのうちの一部のみをアクティブとし、そのアクティブなセンサからのセンサ信号にのみ基づいて、車両１０の周囲の検知対象の物体を検出してもよい。例えば、物体検出部３１は、カメラ２により得られた画像または測距センサ３により得られた測距信号の何れか一方のみに基づいて、車両１０の周囲の対象物体を検出する。また、カメラ２として、焦点距離が異なる二つのカメラが車両１０に搭載されている場合、物体検出部３１は、例えば、その二つのカメラのうち、焦点距離が短い方、すなわち、車両１０の近くを撮影する方のカメラにより得られた画像のみを識別器に入力することで、車両１０の周囲の対象物体を検出してもよい。また、物体検出部３１は、相対的に消費電力が少ないセンサ、例えば、測距センサ３の一つであるレーダまたはソナーのみをアクティブ化し、相対的に消費電力が多いセンサ、例えば、LiDARセンサ及びカメラ２を非アクティブとすることが好ましい。これにより、車両１０の安全度合いが高い場合における、物体検出処理に要する消費電力がより削減される。

あるいはまた、物体検出部３１は、演算制御部３２により、識別器の一部の演算を省略することを示す省略度合いが設定されている場合、識別器に対してセンサ信号を入力する周期を、演算が省略されないことを示す省略度合いが設定されている場合よりも長くしてもよい。その際、物体検出部３１は、センサ自体のセンサ信号の取得周期（例えば、カメラ２の撮影周期）も長くしてもよい。例えば、識別器の一部の演算を省略することを示す省略度合いが設定されている場合、識別器に対するセンサ信号の入力周期は数100ms～1sに設定され、一方、演算が省略されないことを示す省略度合いが設定されている場合、その入力周期は数10ms～100msに設定されてもよい。これにより、識別器が単位時間当たりに処理すべきデータ量が削減されるので、物体検出部３１は、車両１０の安全度合いが高い場合における、物体検出処理に要するハードウェアリソースの量を削減できる。

なお、設定される演算の省略度合いが高いほど、物体検出部３１は、識別器に対するセンサ信号の入力周期をより長くしてもよい。これにより、物体検出部３１は、車両１０の安全度合いが高いほど、物体検出処理に要するハードウェアリソースの量をより削減できる。

さらに、物体検出部３１が対象物体の検出に使用する識別器として、対象物体の検出精度は相対的に高いものの、演算量が相対的に多い精密識別器と、対象物体の検出精度は相対的に低いものの、演算量が相対的に低い簡易識別器の２種類が予め用意されてもよい。精密識別器と簡易識別器は、例えば、何れもCNN型のアーキテクチャを有するDNNとすることができる。この場合、例えば、精密識別器が有する層の数は、簡易識別器が有する層の数よりも多くなるように、精密識別器及び簡易識別器は構成される。あるいは、精密識別器が有する複数の畳み込み層のうちの少なくとも一つについて算出されるfeature mapに含まれるチャネル数が、簡易識別器が有する複数の畳み込み層のうちのその少なくとも一つの層に対応する層について算出されるfeature mapに含まれるチャネル数よりも多くなるように、精密識別器及び簡易識別器は構成されてもよい。あるいはまた、精密識別器は、カメラ２により得られた画像そのものから対象物体を検出し、一方、簡易識別器は、カメラ２により得られた画像をダウンサンプリングして得られる縮小画像から対象物体を検出するように、精密識別器及び簡易識別器は構成されてもよい。この場合、物体検出部３１は、省略度合いとして、識別器の演算の一部を省略することを示す度合いが設定されている場合、簡易識別器にセンサ信号を入力することで対象物体を検出し、一方、省略度合いとして、演算が省略されないことを示す度合いが設定されている場合、精密識別器にセンサ信号を入力することで対象物体を検出してもよい。

さらにまた、物体検出部３１は、省略度合いとして、識別器の演算の一部を省略することを示す度合いが設定されている場合、簡易識別器の代わりに、特定の対象物体を検出するための演算量の少ない所定の検出処理を実行してもよい。

例えば、車両１０が停車した要因が、車両１０の前方の信号機による場合、物体検出部３１は、信号機の点灯状態が赤信号か青信号かを判定するために、信号機が表された領域における色変化のみを検出してもよい。この場合、物体検出部３１は、例えば、カメラ２により得られた最新の画像上で信号機が表された領域の各画素の値を、RGB表色系で表される値からHSV表色系で表される値に変換した上で、各画素の色相の値の平均値を算出する。そして物体検出部３１は、その色相の値の平均値が、青色に相当する値の範囲に含まれる場合、信号機の点灯状態が青信号であると判定し、一方、その色相の値の平均値が、赤色に相当する値の範囲に含まれる場合、信号機の点灯状態が赤信号であると判定すればよい。なお、物体検出部３１は、検知範囲の制限に関して説明したのと同様の手法に従って、信号機が表された領域を特定すればよい。

あるいは、物体検出部３１は、簡易識別器を用いて対象物体を検出する代わりに、車両１０の周囲の動きを監視するためにオプティカルフローのみを算出してもよい。この場合、物体検出部３１は、例えば、カメラ２により得られた最新の画像とその最新の画像よりも前に得られた画像との間でブロックマッチングを行うことでオプティカルフローを算出すればよい。そして物体検出部３１は、オプティカルフローの大きさが所定の閾値以上となるブロックの数が所定数以上となる場合に、車両１０の周囲の車両または先行車が動き出したと判定すればよい。

物体検出部３１は、検出された対象物体の種類及びセンサ信号上での対象物体の位置を表す情報を演算制御部３２及び運転計画部３３へ出力する。

演算制御部３２は、所定の周期ごとに、車両１０の安全度合いに応じて、物体検出部３１により実行される識別器の演算の省略度合いを設定する。本実施形態では、演算制御部３２は、車両１０の安全度が高いほど、演算の省略度合いを大きくする。上記のように、演算の省略度合いには、識別器の演算の一部が省略されることを示す度合いと、識別器の演算が省略されないことを示す度合いとが含まれる。そこで演算制御部３２は、車両１０の安全度合いに応じて、識別器の識別器の演算の一部が省略される度合いか否かを設定する。

例えば、演算制御部３２は、車両１０が停車しているか、車両１０に搭載された車速センサ（図示せず）から取得した車両１０の速度が所定の速度閾値（例えば、5km/h、10km/hまたは20km/h）以下である場合、車両１０の安全度合いは相対的に高いため、演算の省略度合いとして、識別器の演算の一部が省略されることを示す度合いを設定する。一方、演算制御部３２は、車両１０の速度が所定の速度閾値よりも速い場合、車両１０の安全度合いは相対的に低いため、演算の省略度合いとして、識別器の演算が省略されないことを示す度合いを設定する。

ただし、演算制御部３２は、車両１０の速度が所定の速度閾値以下であっても、車両１０の周囲の状況が以下に示す何れかの例外状況に該当する場合には、車両１０の安全度合いは相対的に低いと考えられる。そこでこの場合には、演算制御部３２は、演算の省略度合いとして、識別器の演算が省略されないことを示す度合いを設定する。
・（状況１）車両１０の周囲に存在する所定の物体の数が所定数以上である状況。なお、所定の物体は、例えば、他の車両、または人といった、車両１０以外の移動物体とすることができる。
・（状況２）車両１０と車両１０の周囲に存在する所定の物体までの距離が所定距離以下である状況
・（状況３）車両１０と車両１０の周囲に存在する所定の物体間の相対速度が所定の速度差閾値以上である状況
・（状況４）車両１０が渋滞中に位置する状況
・（状況５）車両１０が停止線を越えて停止した状況

状況１に関して、例えば、演算制御部３２は、物体検出部３１から通知された車両１０の周囲に存在する対象物体の検出結果に基づいて、車両１０に存在する所定の物体の数をカウントする。そして演算制御部３２は、その所定の物体の数を所定数と比較し、その所定の物体の数が所定数以上であれば、車両１０の周囲の状況が、状況１に該当すると判定すればよい。なお、演算制御部３２は、車両１０の速度が速いほど、所定数を小さくしてもよい。これにより、演算制御部３２は、演算の省略度合いをより適切に設定することができる。

図６は、状況１の一例を示す説明図である。図６に示されるように、車両１０の周囲を多数の他の車両が走行している。そのために、カメラ２により得られた画像６００においてn個の他の車両６０１－１～６０１－ｎが検出される。したがって、その検出された他の車両の数nが所定数以上であれば、車両１０の周囲の状況が、状況１に該当すると判定される。このような状況では、車両１０の安全性を担保するためには、多数の他の車両のそれぞれの挙動を検出することが求められるので、識別器による演算が省略されることは好ましくない。そこで、図６に示されるような状況では、演算制御部３２は、演算の省略度合いを、識別器による演算が省略されない度合いに設定する。

状況２に関して、例えば、演算制御部３２は、物体検出部３１により検出された個々の所定の物体までの距離を測定する。例えば、カメラ２により得られた画像上で所定の物体が表された物体領域の位置は、カメラ２から見たその所定の物体への方位と１対１に対応している。そこで、演算制御部３２は、画像上での所定の物体が表された物体領域内の基準点（例えば、物体領域の重心）に対応する、カメラ２からの方位に相当する測距センサ３からの方位における距離の測定値を、車両１０からその所定の物体までの距離とすればよい。

また、車両１０が走行中の道路と同じ道路上に所定の物体が位置している場合、画像上でのその所定の物体を含む物体領域の下端の位置は、その所定の物体の路面上の位置を表していると推定される。そこで、演算制御部３２は、画像上での所定の物体を含む物体領域の下端の位置に基づいて、カメラ２からその所定の物体の路面上の位置への方位を特定することができる。したがって、演算制御部３２は、メモリ２２に記憶されているカメラ２の取り付け位置（路面からの高さを含む）と、カメラ２からその所定の物体の路面上の位置への位置までの特定された方位とに基づいて、車両１０からその所定の物体までの距離を測定してもよい。

演算制御部３２は、検出されている所定の物体のそれぞれについて、車両１０からその所定の物体までの距離と所定距離とを比較する。そして演算制御部３２は、所定の物体の何れか一つ以上について、車両１０からその所定の物体までの距離が所定距離以下である場合、車両１０の周囲の状況が、状況２に該当すると判定すればよい。例えば、再度図６を参照すると、車両１０と車両１０の前方を走行する他の車両６０１－１までの距離が近ければ、車両１０が他の車両６０１－１と衝突する危険性が有るため、車両１０の周囲を走行する他の車両の数が少なくても、車両１０の安全度合いは高くない。そのため、他の車両６０１－１と車両１０間の距離が所定距離以下であれば、車両１０の周囲の状況は、状況２に該当すると判定される。なお、演算制御部３２は、車両１０の速度が速いほど、所定距離を大きくしてもよい。これにより、演算制御部３２は、演算の省略度合いをより適切に設定することができる。

状況３に関して、演算制御部３２は、物体検出部３１により検出された所定の物体のそれぞれについて、車両１０に対する相対速度を算出する。そのために、演算制御部３２は、例えば、Lucas-Kanade法といった、オプティカルフローに基づく追跡処理を、最新の画像における、着目する所定の物体が表された着目する物体領域及び過去の画像における物体領域に対して適用することで、その物体領域に表された所定の物体を追跡する。そのため、演算制御部３２は、例えば、着目する物体領域に対してSIFTあるいはHarrisオペレータといった特徴点抽出用のフィルタを適用することで、その物体領域から複数の特徴点を抽出する。そして演算制御部３２は、複数の特徴点のそれぞれについて、過去の画像における物体領域における対応する点を、適用される追跡手法に従って特定することで、オプティカルフローを算出すればよい。あるいは、演算制御部３２は、画像から検出された移動物体の追跡に適用される他の追跡手法を、最新の画像における、着目する物体領域及び過去の画像における物体領域に対して適用することで、その物体領域に表された検出対象物体を追跡してもよい。

演算制御部３２は、物体検出部３１により検出された所定の物体のそれぞれについて、追跡処理の結果として特定される、直近の一定期間に得られた一連の画像のそれぞれにおけるその所定の物体が表された物体領域の位置に基づいて、状況２に関して説明した手法により、その一連の画像のそれぞれの取得時における車両１０からの距離を測定することができる。そして演算制御部３２は、その一連の画像のそれぞれの取得時における車両１０からその所定の物体までの距離の変化と、画像の取得周期とにより、車両１０に対するその所定の物体の相対速度を算出できる。そして演算制御部３２は、所定の物体の何れか一つ以上について、車両１０に対するその所定の物体の相対速度が所定の速度差閾値以上である場合、車両１０の周囲の状況が、状況３に該当すると判定すればよい。

状況４に関して、演算制御部３２は、例えば、物体検出部３１により検出された車両１０の周囲に存在する他の車両のそれぞれの速度に基づいて、車両１０が渋滞中に位置しているか否かを判定する。例えば、演算制御部３２は、状況３に関して説明した手法に従って、車両１０の周囲に存在する他の車両のそれぞれについて、車両１０に対する相対速度を算出し、その相対速度に、車両１０の速度を加えることで、他の車両の速度を推定する。そして演算制御部３２は、他の車両のそれぞれについて、直近の一定期間における速度の平均値を算出し、個々の他の車両の速度の平均値を、さらに全ての他の車両について平均することで、直近の一定期間における車両１０の周囲の他の車両の平均速度を算出する。そして演算制御部３２は、直近の一定期間における車両１０の周囲の他の車両の平均速度が所定の渋滞判定閾値以下である場合、車両１０は渋滞中に位置していると判定する。すなわち、演算制御部３２は、車両１０の周囲の状況が、状況４に該当すると判定する。

なお、演算制御部３２は、車線ごとに、直近の一定期間におけるその車線を走行する他の車両の平均速度を算出してもよい。この場合、演算制御部３２は、物体検出部３１により検出された車線区画線と他の車両とのカメラ２により得られた画像上での位置関係に応じて、他の車両が走行中の車線を特定すればよい。例えば、画像上で、車両１０が走行中の車線（以下、自車線と呼ぶ）の右側に隣接する車線（以下、右側の隣接車線と呼ぶ）を走行する他の車両が表された物体領域は、自車線と右側の隣接車線との境界となる車線区画線よりも右側に位置している。また、自車線の左側に隣接する車線（以下、左側の隣接車線と呼ぶ）を走行する他の車両が表された物体領域は、自車線と左側の隣接車線との境界となる車線区画線よりも左側に位置している。そこで、演算制御部３２は、画像上での自車線と右側の隣接車線との境界となる車線区画線の位置と着目する他の車両が表された物体領域の位置とを比較し、その車線区画線よりその物体領域が右側に位置している場合、着目する他の車両は右側の隣接車線を走行していると判定することができる。同様に、演算制御部３２は、画像上での自車線と左側の隣接車線との境界となる車線区画線の位置と着目する他の車両が表された物体領域の位置とを比較し、その車線区画線よりその物体領域が左側に位置している場合、着目する他の車両は左側の隣接車線を走行していると判定することができる。さらに、演算制御部３２は、着目する他の車両が表された物体領域の位置が、画像上で自車線と右側の隣接車線との境界となる車線区画線と自車線と左側の隣接車線との境界となる車線区画線とに挟まれている場合、着目する他の車両は自車線を走行していると判定することができる。

あるいは、演算制御部３２は、車両１０から着目する他の車両への方位と、車両１０から着目する他の車両までの距離とに基づいて、車両１０の進行方向と直交する方向における車両１０と着目する他の車両間の距離（以下、横方向距離と呼ぶ）を推定してもよい。そして演算制御部３２は、推定した横方向距離と、車線の幅とを比較することで、着目する他の車両が走行する車線を特定してもよい。この場合、演算制御部３２は、例えば、GPS受信機により測位される車両１０の現在位置と地図情報とから車両１０が現在走行中の道路を特定することで、車線の幅を求めることができる。演算制御部３２は、横方向距離が車線の幅以下である場合、着目する他の車両は自車線を走行していると判定できる。また、演算制御部３２は、横方向距離が車線の幅よりも大きく、かつ、車線の幅の２倍以下である場合、着目する他の車両は隣接車線を走行していると判定できる。さらに、演算制御部３２は、横方向距離が車線の幅の２倍よりも大きく、かつ、車線の幅の３倍以下である場合、着目する他の車両は、隣接車線を挟んで自車線と反対側に位置する車線を走行していると判定できる。

演算制御部３２は、車線ごとに、直近の一定期間における車両１０の周囲の他の車両の平均速度を測定する。演算制御部３２は、車線ごとに、その車線を走行する他の車両の平均速度と所定の渋滞判定閾値とを比較する。そして何れかの車線について、他の車両の平均速度が所定の渋滞判定閾値以下である場合、演算制御部３２は、車両１０は渋滞中に位置していると判定してもよい。すなわち、演算制御部３２は、車両１０の周囲の状況が、状況４に該当すると判定してもよい。これにより、演算制御部３２は、車線ごとに車両の流れが異なる状況でも、車両１０が渋滞中に位置しているか否かを適切に判定することができる。そのため、演算制御部３２は、車線ごとに車両の流れが異なるために、割込みが発生し易い、あるいは、道路を横断する人が自車線に飛び出すといった危険性が有る状況に対して識別器の演算が省略されないようにすることができる。

あるいはまた、演算制御部３２は、車両１０に搭載された無線端末（図示せず）を介して受信した交通情報に含まれる渋滞区間に、車両１０に搭載されたGPS受信機（図示せず）により測位される車両１０の現在位置が含まれる場合に、車両１０は渋滞中に位置していると判定してもよい。すなわち、演算制御部３２は、車両１０の周囲の状況が、状況４に該当すると判定してもよい。

状況５に関して、演算制御部３２は、車両１０が停止したときの車両１０の位置と、地図情報に示される停止線の位置とを比較することで、車両１０が停止線を越えて停車したか否かを判定する。この場合、車両１０の位置を高精度で推定することが求められる。そこで、演算制御部３２は、例えば、カメラ２により得られた画像に表された地物と地図情報とを照合することで、車両１０の位置及び姿勢を推定してもよい。例えば、演算制御部３２は、車両１０の位置及び姿勢を仮定して、カメラ２から得た画像から、物体検出部３１により検出された道路上の地物（例えば、車線区画線あるいは停止線といった道路標示）をカメラ２の内部パラメータを参照して地図上に投影するか、あるいは、地図上の車両１０の周囲の道路上の地物を画像上に投影する。そして演算制御部３２は、画像から検出された道路上の地物と地図上に表された道路上の地物とが最も一致するときの車両１０の仮定された位置及び姿勢を、車両１０の実際の位置及び姿勢として推定すればよい。

演算制御部３２は、推定された車両１０の停車位置から求められる、車両１０の前端の位置が、地図情報に示される車両１０に最も近い位置に存在する停止線よりも車両１０の進行方向に沿って前方に位置している場合、車両１０が停止線を越えて停車したと判定する。すなわち、演算制御部３２は、車両１０の周囲の状況が、状況５に該当すると判定する。

また、カメラ２が車両１０の前方を撮影するように設置されている場合、車両１０が停止線に近付き過ぎると、停止線がカメラ２の撮影範囲から外れるために、カメラ２により生成された画像に停止線が写らなくなる。そこで、演算制御部３２は、直近の所定期間においてカメラ２により得られた一連の画像のうち、物体検出部３１により停止線が検出された最後の画像の取得時から車両１０が停車するまでに車両１０が進んだ進行距離を、オドメトリ情報に基づいて算出する。そして演算制御部３２は、その進行距離が、車両１０からカメラ２の撮影範囲の下端に位置する路面までの距離よりも長い場合に、車両１０が停止線を越えて停車したと判定してもよい。すなわち、演算制御部３２は、車両１０の周囲の状況が、状況５に該当すると判定してもよい。

演算制御部３２は、演算の省略度合いを変更する度に、変更後の演算の省略度合いを物体検出部３１へ通知する。物体検出部３１は、変更後の演算の省略度合いを受信すると、その受信以降において得られた画像及び測距信号に対する物体検出処理の実行の際に、変更後の演算の省略度合いを適用すればよい。

運転計画部３３は、車両１０の周囲に存在する、検出された対象物体と車両１０とが衝突しないように車両１０の走行予定経路を１以上生成する。走行予定経路は、例えば、現時刻から所定時間先までの各時刻における、車両１０の目標位置の集合として表される。例えば、運転計画部３３は、演算制御部３２に関して説明したように、物体検出部３１により検出された、車両１０の周囲の対象物体のうちの移動物体（例えば、他の車両）を追跡する。なお、運転計画部３３は、演算制御部３２による追跡結果を利用してもよい。そして運転計画部３３は、その追跡結果から、他の車両の軌跡を求め、求めた軌跡から、他の車両のそれぞれの所定時間先までの予測軌跡を推定する。その際、運転計画部３３は、各画像の取得時における、車両１０の位置及び姿勢と、追跡結果に示される、検出された他の車両までの推定距離及び車両１０から他の車両へ向かう方向とにより、各画像の取得時における、検出された他の車両の位置を推定することで、他の車両の軌跡を求めることができる。なお、各画像取得時における車両１０の位置及び姿勢は、演算制御部３２における状況５に関して説明したように、カメラ２により得られた画像と地図情報とを照合することで推定されればよい。

さらに、運転計画部３３は、求めた軌跡で表される、各画像の取得時における他の車両の推定位置に対してKalman FilterまたはParticle Filterなどを用いたトラッキング処理を実行することで、他の車両の予測軌跡を推定することができる。なお、運転計画部３３は、他の車両以外の車両１０の周囲の移動物体（例えば、歩行者）についても同様の処理を実行して、その移動物体の予測軌跡を推定すればよい。

運転計画部３３は、追跡中の他の車両または物体のそれぞれの予測軌跡に基づいて、何れの他の車両または物体についても所定時間先までの追跡中の他の車両または物体のそれぞれと車両１０間の距離の予測値が所定距離以上となるように、車両１０の走行予定経路を生成する。

運転計画部３３は、直近の所定期間内において車両１０の進行方向に信号機が検出されている場合、その信号機の点灯状態に応じて、車両１０を一時的に停車させるような走行予定経路を生成してもよい。同様に、運転計画部３３は、直近の所定期間内において自車線上に一時停止線が検出されている場合、車両１０をその一時停止線の位置にて一時的に停車させるような走行予定経路を生成する。さらに、運転計画部３３は、車両１０の周囲の他の車両が停車している場合、車両１０を一時的に停車させるような走行予定経路を生成してもよい。あるいはまた、運転計画部３３は、走行予定ルートにおいて車両１０が右折または左折する地点において、車両１０を一時的に停車させるような走行予定経路を生成してもよい。そして運転計画部３３は、車両１０を一時的に停車させるような走行予定経路を生成した場合、その走行予定経路において車両１０が停車する要因（例えば、信号機の点灯状態、他の車両の挙動、または一時停止線）を表す情報を演算制御部３２へ通知する。

なお、運転計画部３３は、複数の走行予定経路を生成してもよい。この場合、運転計画部３３は、複数の走行予定経路のうち、車両１０の加速度の絶対値の総和が最小となる経路を選択してもよい。

運転計画部３３は、生成した走行予定経路を車両制御部３４へ通知する。

車両制御部３４は、車両１０が通知された走行予定経路に沿って走行するように車両１０の各部を制御する。例えば、車両制御部３４は、通知された走行予定経路、及び、車速センサ（図示せず）により測定された車両１０の現在の車速に従って、車両１０の加速度を求め、その加速度となるようにアクセル開度またはブレーキ量を設定する。そして車両制御部３４は、設定されたアクセル開度に従って燃料噴射量を求め、その燃料噴射量に応じた制御信号を車両１０のエンジンの燃料噴射装置へ出力する。あるいは、車両制御部３４は、設定されたブレーキ量に応じた制御信号を車両１０のブレーキへ出力する。

さらに、車両制御部３４は、車両１０が走行予定経路に沿って走行するために車両１０の進路を変更する場合には、その走行予定経路に従って車両１０の操舵角を求め、その操舵角に応じた制御信号を、車両１０の操舵輪を制御するアクチュエータ（図示せず）へ出力する。

図７は、プロセッサ２３により実行される、物体検出処理を含む車両制御処理の動作フローチャートである。プロセッサ２３は、所定の周期ごとに、図６に示される動作フローチャートに従って車両制御処理を実行する。なお、以下に示される動作フローチャートにおいて、ステップＳ１０１～Ｓ１０７の処理が物体検出処理に対応する。

プロセッサ２３の物体検出部３１は、演算制御部３２から通知された演算の省略度合いに従って、識別器による演算のうちの省略する演算を設定する（ステップＳ１０１）。そして物体検出部３１は、カメラ２により得られた画像または測距センサ３により得られた測距信号に対して、省略の設定に従って識別器による演算を実行することで、車両１０の周囲に存在する対象物体を検出する（ステップＳ１０２）。

プロセッサ２３の演算制御部３２は、車両１０の速度が所定の速度閾値以下か否か判定する（ステップＳ１０３）。そして車両１０の速度が所定の速度閾値よりも速い場合（ステップＳ１０３－Ｎｏ）、車両１０の安全度合いは相対的に低いため、演算制御部３２は、演算の省略度合いを、識別器による演算が省略されない度合いに設定する（ステップＳ１０４）。

一方、車両１０の速度が所定の速度閾値以下である場合（ステップＳ１０３－Ｙｅｓ）、演算制御部３２は、車両１０の周囲の状況が所定の例外条件に該当するか否か判定する（ステップＳ１０５）。車両１０の周囲の状況が所定の例外条件に該当する場合（ステップＳ１０５－Ｙｅｓ）、車両１０の安全度合いは相対的に低いため、演算制御部３２は、演算の省略度合いを、識別器による演算が省略されない度合いに設定する（ステップＳ１０４）。一方、車両１０の周囲の状況が所定の例外条件に該当しない場合（ステップＳ１０５－Ｎｏ）、車両１０の安全度合いは相対的に高いため、演算制御部３２は、演算の省略度合いを、識別器による演算の少なくとも一部が省略される度合いに設定する（ステップＳ１０６）。そしてステップＳ１０４またはＳ１０６の後、演算制御部３２は、設定した演算の省略度合いを物体検出部３１へ通知する（ステップＳ１０７）。ステップＳ１０７にて物体検出部３１に通知された演算の省略度合いは、次回以降の物体検出処理に反映される。

プロセッサ２３の運転計画部３３は、検出されている対象物体を追跡し、その追跡結果に基づいて推定されるその対象物体の予測軌跡と所定の距離以上となるように、車両１０の走行予定経路を生成する（ステップＳ１０８）。そしてプロセッサ２３の車両制御部３４は、走行予定経路に沿って車両１０が走行するように車両１０を制御する（ステップＳ１０９）。そしてプロセッサ２３は、車両制御処理を終了する。

以上に説明してきたように、この物体検出装置は、検出対象となる所定の物体を検出するように予め学習された識別器に、車両に搭載されたセンサにより得られたセンサ信号を入力することで、車両の周囲に存在するその所定の物体を検出する。その際、この物体検出装置は、車両の速度が所定の速度閾値以下である場合、識別器による演算の少なくとも一部が省略されるように識別器による演算の省略度合いを設定する。ただし、この物体検出装置は、車両の速度がその速度閾値以下である場合でも、車両周囲の状況が、車両の安全度合いが低いと考えられる所定の例外状況に該当する場合には、識別器による演算を省略しないようにする。これにより、この物体検出装置は、車両の安全性を担保しつつ、車両の周囲の物体の検出に要する演算量を削減することができる。

変形例によれば、演算制御部３２は、一旦、演算の省略度合いとして、識別器による演算の少なくとも一部が省略される度合いを設定した後、物体検出部３１による車両１０が停車した要因となる対象物体の状態または挙動の検出結果に基づいて、その要因が解消されたか否かを判定してもよい。そしてその要因が解消された場合には、演算制御部３２は、車両１０の速度が速度閾値以下でも、演算の省略度合いを、識別器による演算が省略されない度合いに再設定してもよい。なお、車両１０が停車した要因が解消されたか否かを判定するために利用される、物体検出部３１による、車両１０の周囲の対象物体の検出は、指定した演算の省略度合いに応じて省略された識別器の演算によって実行される。

例えば、車両１０が停車した要因が、車両１０の前方に位置する信号機の点灯状態が赤信号となったことである場合、その信号機の点灯状態が青信号となったことが物体検出部３１から通知されると、演算制御部３２は、車両１０が停車した要因が解消されたと判定する。この場合、上述したように、物体検出部３１は、画像中の信号機が表された領域のみを識別器に入力することで、信号機の点灯状態が青信号となったことを検知する。あるいは、物体検出部３１は、画像中の信号機が表された領域の色相の値の平均値が、青色に相当する値の範囲に含まれる場合、信号機の点灯状態が青信号であると判定する。あるいはまた、物体検出部３１は、画像を簡易識別器に入力することで、信号機の点灯状態が青信号となったことを検知してもよい。

また、車両１０が停車した要因が、車両１０の先行車両など、車両１０の周囲の車両が停車したことによるものである場合、先行車両または車両１０の周囲の車両が動き出したことを検知したことが物体検出部３１から通知されると、演算制御部３２は、車両１０が停車した要因が解消されたと判定する。この場合、上述したように、物体検出部３１は、カメラ２による画像を利用せず、測距センサ３からの測距信号に基づいて先行車または周囲の車両が動き出したことを検知する。あるいは、物体検出部３１は、オプティカルフローの大きさが所定の閾値以上となるブロックの数が所定数以上となる場合、あるいは、先行車が表された領域について算出されたオプティカルフローが所定の閾値以上となる場合に、車両１０の周囲の車両または先行車が動き出したことを検知する。あるいはまた、物体検出部３１は、画像を簡易識別器に入力することで検出された先行車が表された領域の所定の位置（例えば、重心）またはサイズと、車両１０が停車したときにおいて先行車が表された領域の所定の位置またはサイズとの差が所定の閾値以上となると、先行車が動き出したことを検知してもよい。

他の変形例によれば、演算制御部３２は、識別器による演算の省略度合いを３段階以上の何れかに設定してもよい。この場合、演算制御部３２は、車両１０の速度が遅いほど、省略される演算が増えるように、演算の省略度合いを設定してもよい。例えば、演算制御部３２は、車両１０の速度が所定の速度閾値以下であるものの、車両１０が停車していない場合には、上述した複数の演算の省略手法の何れか一つのみが適用されるように演算の省略度合いを設定する。そして車両１０が停車した場合には、演算制御部３２は、上述した複数の演算の省略手法のうちの二つ以上が適用されるように演算の省略度合いを設定してもよい。

あるいは、演算制御部３２は、物体検出部３１の識別器による演算の省略度合いを決定するよう予め学習された省略度合い設定用識別器に、画像または測距信号を入力することで、演算の省略度合いを設定してもよい。この場合、省略度合い設定用識別器は、例えば、CNN型のアーキテクチャを有するDNNとすることができる。ただし、演算の省略度合いの設定のために要する演算量が多くなり過ぎることを防止するため、省略度合い設定用識別器の演算量は、物体検出部３１の識別器の演算量よりも少なくなるように、省略度合い設定用識別器が構成されることが好ましい。あるいはまた、演算制御部３２は、予め設定されたルールに従って、そのルールで規定される要件に応じて、演算の省略度合いを設定してもよい。例えば、演算制御部３２は、車両１０の速度が低いほど、上述した複数の演算の省略手法のうちの適用される省略手法の数が増えるように演算の省略度合いを設定してもよい。あるいは、演算制御部３２は、車両１０の速度が低いほど、識別器にセンサ信号を入力する周期が長くなるように演算の省略度合いを設定してもよい。

さらに他の変形例によれば、演算制御部３２は、車両１０の速度が所定の速度閾値以下である場合において、車両１０の周囲の状況が上記の何れかの例外状況に該当する場合でも、その該当する例外状況における車両１０の安全に影響を及ぼさないように識別器による演算の一部が省略されるよう、演算の省略度合いを設定してもよい。

例えば、車両１０の周囲の状況が、上記の第４の状況または第５の状況に該当するものの、第１の状況から第３の状況の何れにも該当しないことがある。すなわち、車両１０が渋滞中に位置するか、または車両１０が停止線を越えて停車しているものの、他の例外状況に該当しない場合、演算制御部３２は、識別器に対する画像または測距信号の入力周期が、識別器による演算が省略されない場合よりも長くなるように、演算の省略度合いを設定してもよい。

また、車両１０の周囲の状況が、上記の第１の状況及び３の状況～第５の状況の何れかに該当するものの、第２の状況に該当しないことがある。すなわち、車両１０の周囲の所定の物体までの距離が所定距離よりも長いものの、車両１０の周囲の状況が他の例外状況に該当することがある。この場合、演算制御部３２は、カメラ２及び測距センサ３のうち、検知対象距離が短い方、すなわち、車両１０の近傍に存在する物体を検知するためのセンサ（例えば、ソナー）により得られたセンサ信号を物体検出に利用しないよう、すなわち、そのセンサ信号を識別器に入力しないよう、演算の省略度合いを設定してもよい。

さらに、車両１０の周囲の状況が、上記の第５の状況（車両１０が停止線を越えて停車した状況）に該当するものの、他の例外状況に該当しないことがある。この場合、演算制御部３２は、カメラ２により得られた画像中の検知範囲のみ、すなわち、センサ信号の一部のみを識別器に入力するよう、演算の省略度合いを設定してもよい。

さらにまた、車両１０の周囲の状況が、上記の第４の状況（車両１０が渋滞中に位置する状況）または上記の第５の状況に該当するものの、他の例外状況に該当しないことがある。この場合、演算制御部３２は、識別器自体の演算の一部を省略するか、あるいは簡易識別器を用いるように、演算の省略度合いを設定してもよい。

さらに他の変形例によれば、演算制御部３２は、車両１０の速度以外の車両１０の安全度合いを表す情報に基づいて、物体検出部３１の識別器による演算の省略度合いを設定してもよい。例えば、車両１０が走行中の道路が自動車専用道路であり、かつ、車両１０の現在位置の近傍にてその道路に対する合流路が存在しない場合、車両１０の横から車両１０の進路内へ進入する物体が存在しないと想定される。このような場合、車両１０は、先行車に追従して走行すればよく、合流路が車両１０の近傍に存在する場合のように、車両１０の前方に他の車両が進入する可能性が有る場合と比較して、車両１０の安全度合いは高い。そこで演算制御部３２は、識別器に入力する検知範囲を車両１０の前後方向に限定するよう、演算の省略度合いを設定してもよい。この場合、演算制御部３２は、例えば、GPS受信機が受信した測位情報により求められる車両１０の位置と地図情報をと参照することで、車両１０が走行中の道路が自動車専用道路であり、かつ、車両１０の現在位置の近傍にてその道路に対する合流路が存在しないか否かを判定すればよい。なお、車車間通信により、車両１０が、先行車から、先行車の前方の物体検出結果を得られる場合には、演算制御部３２は、識別器に入力するセンサ信号を、車両１０の後方を表すものに限定するよう、演算の省略度合いを設定してもよい。

また、上記の実施形態または変形例による、物体検出装置のプロセッサ２３の各部の機能を実現するコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体といった、コンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。

以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１ 車両制御システム
２ カメラ
３ 測距センサ
４ 電子制御装置（物体検出装置）
２１ 通信インターフェース
２２ メモリ
２３ プロセッサ
３１ 物体検出部
３２ 演算制御部
３３ 運転計画部
３４ 車両制御部

Claims (9)

1. 車両に搭載された前記車両の周囲の状況を検知する少なくとも一つのセンサにより得られたセンサ信号を識別器に入力することで前記車両の周囲に存在する物体を検出する物体検出部と、
   前記車両の速度が所定の速度閾値以下であり、かつ、前記車両の周囲の状況が、前記車両の周囲に存在する物体の数が所定数以上となる第１の状況、前記車両と前記車両の周囲に存在する物体間の距離が所定距離以下となる第２の状況、前記車両と前記車両の周囲に存在する物体間の相対速度が所定の閾値以上となる第３の状況、前記車両が渋滞中に位置する第４の状況、及び、前記車両が停止線を越えて停止中である第５の状況の何れにも該当しない場合、前記センサ信号に対する前記識別器の演算の少なくとも一部が省略されるように演算の省略度合いを設定する演算制御部と、
   を有し、
   前記物体検出部は、設定された前記演算の省略度合いに従って前記センサ信号に対する前記識別器の演算の一部を省略する物体検出装置。
2. 前記演算制御部は、前記車両の速度が前記所定の速度閾値以下であり、かつ、前記車両の周囲の状況が、前記第４の状況または前記第５の状況に該当するものの、前記第１の状況～前記第３の状況の何れにも該当しない場合、前記センサ信号が前記識別器に入力される周期が、前記車両の速度が前記所定の速度閾値よりも速い場合の当該周期よりも長くなるよう、前記演算の省略度合いを設定する、請求項１に記載の物体検出装置。
3. 前記少なくとも一つのセンサは、第１のセンサ信号を出力する第１のセンサと、前記第１のセンサよりも検知対象距離が短く、かつ、第２のセンサ信号を出力する第２のセンサを含み、
   前記演算制御部は、前記車両の速度が前記所定の速度閾値以下であり、かつ、前記車両の周囲の状況が、前記第１の状況及び前記第３の状況～前記第５の状況の何れかに該当するものの、前記第２の状況に該当しない場合、前記第１のセンサにより得られた前記第１のセンサ信号を前記識別器に入力し、一方、前記第２のセンサにより得られた前記第２のセンサ信号を前記識別器に入力しないよう、前記演算の省略度合いを設定する、請求項１に記載の物体検出装置。
4. 前記演算制御部は、前記車両の速度が前記所定の速度閾値以下であり、かつ、前記車両の周囲の状況が、前記第５の状況に該当するものの、前記第１の状況～前記第４の状況の何れにも該当しない場合、前記センサ信号に表される前記車両周囲の範囲のうちの一部に相当する前記センサ信号の一部のみを前記識別器に入力するよう、前記演算の省略度合いを設定する、請求項１に記載の物体検出装置。
5. 前記識別器は、第１の識別器と、前記第１の識別器よりも演算量が少なく、かつ、前記第１の識別器よりも前記車両の周囲に存在する物体の検出精度が低い第２の識別器を含み、
   前記演算制御部は、前記車両の速度が前記所定の速度閾値よりも速い場合、前記第１の識別器に前記センサ信号を入力するよう前記演算の省略度合いを設定し、一方、前記車両の速度が前記所定の速度閾値以下であり、かつ、前記車両の周囲の状況が、前記第４の状況または前記第５の状況に該当するものの、前記第１の状況～前記第３の状況の何れにも該当しない場合、前記第２の識別器に前記センサ信号を入力するよう前記演算の省略度合いを設定する、請求項１に記載の物体検出装置。
6. 前記演算制御部は、前記車両の速度が前記所定の速度閾値以下であり、かつ、前記車両の周囲の状況が、前記第４の状況または前記第５の状況に該当するものの、前記第１の状況～前記第３の状況の何れにも該当しない場合、前記識別器自体の演算の一部を省略するように前記演算の省略度合いを設定する、請求項１に記載の物体検出装置。
7. 前記物体検出部は、前記車両周囲に存在する前記物体の状況または挙動によって前記車両が停車することで、前記演算制御部が前記センサ信号に対する前記識別器の演算の少なくとも一部が省略されるように演算の省略度合いを設定した後に得られた前記センサ信号に基づいて、前記車両周囲に存在する前記物体の状況または挙動を検出し、
   前記演算制御部は、前記検出された前記車両周囲に存在する前記物体の状況または挙動に基づいて前記車両が停車する要因が解消されたか否か判定し、当該要因が解消された場合、前記車両の速度が前記所定の速度閾値以下であっても、前記センサ信号に対する前記識別器の演算が省略されないように前記演算の省略度合いを再設定する、請求項１～６の何れか一項に記載の物体検出装置。
8. 車両に搭載された前記車両の周囲の状況を検知する少なくとも一つのセンサにより得られたセンサ信号を識別器に入力することで前記車両の周囲に存在する物体を検出し、
   前記車両の速度が所定の速度閾値以下であり、かつ、前記車両の周囲の状況が、前記車両の周囲に存在する物体の数が所定数以上となる第１の状況、前記車両と前記車両の周囲に存在する物体間の距離が所定距離以下となる第２の状況、前記車両と前記車両の周囲に存在する物体間の相対速度が所定の閾値以上となる第３の状況、前記車両が渋滞中に位置する第４の状況、及び、前記車両が停止線を越えて停止中である第５の状況の何れにも該当しない場合、前記センサ信号に対する前記識別器の演算の少なくとも一部が省略されるように演算の省略度合いを設定する、
   ことを含み、
   前記物体の検出は、設定された前記演算の省略度合いに従って前記センサ信号に対する前記識別器の演算の一部を省略して実行される、物体検出方法。
9. 車両に搭載された前記車両の周囲の状況を検知する少なくとも一つのセンサにより得られたセンサ信号を識別器に入力することで前記車両の周囲に存在する物体を検出し、
   前記車両の速度が所定の速度閾値以下であり、かつ、前記車両の周囲の状況が、前記車両の周囲に存在する物体の数が所定数以上となる第１の状況、前記車両と前記車両の周囲に存在する物体間の距離が所定距離以下となる第２の状況、前記車両と前記車両の周囲に存在する物体間の相対速度が所定の閾値以上となる第３の状況、前記車両が渋滞中に位置する第４の状況、及び、前記車両が停止線を越えて停止中である第５の状況の何れにも該当しない場合、前記センサ信号に対する前記識別器の演算の少なくとも一部が省略されるように演算の省略度合いを設定する、
   ことを前記車両に搭載されたプロセッサに実行させる物体検出用コンピュータプログラムであって、
   前記物体の検出は、設定された前記演算の省略度合いに従って前記センサ信号に対する前記識別器の演算の一部を省略して実行される、物体検出用コンピュータプログラム。

Images