JP6666289B2 - 移動体用空間情報算出装置及び衝突回避システム - Google Patents

Description

本発明の実施形態は、移動体用空間情報算出装置及び衝突回避システムに関する。

従来、車両等の移動体の運転を支援する運転支援システムが開発されている。運転支援システムは、自動車等に取り付けられたレーダやカメラから取得した情報を基に、コンピュータが運転を補助するためのものである。例えば、衝突防止システムでは、車両の周囲を観測して、衝突の可能性がある場合には運転者へ警告を発したり、運転者に代わってブレーキやハンドルを操作したりして衝突回避を補助する。衝突防止システムを採用することで、事故を未然に防止して自動車の安全性を飛躍的に向上させる可能性がある。

衝突防止システムにおいては、カメラやレーダ等のセンサによって取得した情報を用いて、衝突する可能性のある対象物を距離空間（ＸＹ空間）上に射影し、距離表面上において、障害物との衝突を回避して最適な経路に導くためのパスプランニングを実行する。自動車に搭載される衝突防止システムにおいては、様々な環境下においてリアルタイムでパスプランニングを実行する必要があり、十分な処理能力のハードウェアが必要となる。

しかしながら、センサ入力を距離空間に投影する、ＸＹ空間変換処理には膨大な演算量が必要であり、衝突防止システムの性能に悪影響を及ぼすという問題がある。

特許第５７０９０４８号公報

実施形態は、演算量を削減して衝突防止システムの性能を向上させることができる移動体用空間情報算出装置及びこれを用いた衝突回避システムを提供することを目的とする。

実施形態の移動体用空間情報算出装置は、センサ装置から自移動体の位置を基準にした対象物に関する情報であって、前記自移動体から前記対象物までの距離情報及び前記自移動体の進行方向に対する前記対象物の角度の情報を含むセンサ情報が入力される入力部と、前記センサ情報に基づいて前記対象物を認識する物体認識部と、前記物体認識部が認識した前記対象物について、前記距離情報に基づいて衝突予測時間を求め、前記対象物の角度の情報に基づいて対象部角度を求める算出部と、前記自移動体の速度情報及び操舵情報を取得し、前記速度情報及び操舵情報に基づいて前記算出部が求めた前記衝突予測時間及び対象部角度を補正し補正後の前記衝突予測時間及び対象部角度を用いて、所定時間後における前記自移動体の衝突可能性範囲の情報を含む空間情報を生成し生成した前記空間情報を記憶させる空間情報生成部とを具備する。

第１の実施の形態に係る移動体用空間情報算出装置を含む衝突回避システムを示すブロック図。 移動体の一例である自動車を示す説明図。 第１の実施の形態におけるτ−θ空間を説明するための説明図。 第１の実施の形態におけるτ−θ空間を説明するための説明図。 カメラによって得られる直進方向前方の撮像画像の一例を示す説明図。 τ及びθ算出部４におけるτマージンの他の算出方法を説明するための説明図。 制御量算出部１２における制御量算出の手法の一例を示す説明図。 第１の実施の形態の動作を説明するためのフローチャート。 変形例において採用される動作フローを示すフローチャート。 図８中のＳ１１，Ｓ１２の処理の具体的な処理を示すフローチャート。 Ｌｉｄａｒ装置におけるポイントクラウドデータを説明するための説明図。 変形例において採用される表示を示す説明図。 変形例を説明するための説明図。 変形例を説明するための説明図。 変形例を説明するための説明図。 変形例を説明するための説明図。 変形例を説明するための説明図。 変形例を説明するための説明図。 変形例を説明するための説明図。 第２の実施の形態を示すブロック図。 図１９中の対象物動き推定部１３の具体的な回路構成の一例を示すブロック図。 第２の実施の形態の動作を説明するための説明図。 第２の実施の形態の動作を説明するための説明図。

以下、図面を参照して本発明の実施の形態について詳細に説明する。
（第１の実施の形態）
図１Ａは第１の実施の形態に係る移動体用空間情報算出装置を含む衝突回避システムを示すブロック図である。図１Ｂは衝突回避システムを搭載する自動車を示す説明図である。図１Ａ及び図１Ｂにおいて同一の構成要素には同一符号を付してある。本実施の形態は自移動体として自動車を例に示しているが、自動車に限定されるものではない。例えば、移動ロボット等に適用することもできる。

衝突回避システムにおける関連技術には、例えばＬｉｄａｒ装置やイメージセンサを用いるものがある。このような関連技術においては、自車に取り付けたＬｉｄａｒ装置等のセンサ情報によって、他車のポイントクラウドデータを取得し、このポイントクラウドデータをレイキャスティング処理によって距離空間（ＸＹ空間）に投影する。そして、投影したＸＹ空間上においてパスプランニングを行う。即ち、関連技術における写像は、センサ情報によって取得した角度情報をＸＹ空間に変換するものであり、演算量が膨大となってしまう。なお、関連技術では、他車との衝突をブレーキによって回避することができない場合には、ＸＹ空間によって取得したパスプラニングの情報から操舵角の情報に変換する処理も必要である。

これに対し、本実施の形態における衝突回避システムは、他車等の対象物に対する衝突予測時間であるＴＴＣ（Time to Clash）に相当するτマージンと、対象物の各部（以下、対象部という）が位置する方向を自車の進行方向を基準にして示す角度（以下、対象部角度という）とによるτ−θ空間を採用する。そして、本実施の形態における衝突回避システムの移動体用空間情報算出装置は、自車に取り付けたセンサ情報からτ−θ空間への写像を行う。

関連技術におけるＸＹ空間への写像に対して、本実施の形態におけるτ−θ空間への写像に要する演算量は極めて小さい。また、対象部角度θと操舵角との変換は比較的容易であることから、他車との衝突をブレーキによって回避することができない場合においても、τ−θ空間によって取得したパスプラニングの情報を操舵角の情報に変換する処理は極めて少ない演算量で行うことができる。

図２及び図３は本実施の形態におけるτ−θ空間を説明するための説明図である。図２は自車と他車や障害物等の対象物との位置関係を上方から見たものであり、図３は図２に対応したτ−θ空間を示している。

図２の例は、道路Ｌ上において、自車Ｍ１が車道外側線Ｌ１とセンターラインＬ２との間の走行車線上を矢印に示す方向に移動中であることを示している。また、センターラインＬ２を超えた対向車線上には、他車Ｍ２が位置し、他車Ｍ２は矢印に示す方向に移動中である。また、車道外側線Ｌ１の外側には壁Ｏ１が設けられ、壁Ｏ１の外側には樹木Ｏ２が植えられている。

自車Ｍ１は進行方向に向けて所定の視野範囲で撮影を行うイメージセンサＩ１を備えている。このイメージセンサＩ１で取得したセンサ情報を用いて、τ−θ空間を生成する。

図３に示すτ−θ空間は、縦軸に衝突予測時間τをとり横軸に対象部角度θをとって、自車に対する対象物の位置をプロットしたものである。即ち、図３は、センサ情報をτ−θ空間に写像することにより生成されている。この写像は、センサ情報からτマージン及び対象部角度を算出して、算出した値をτーθ空間にプロットするという極めて少ない演算量で行われる。

図３のτ−θ空間において、衝突予測時間τ及び対象部角度θが０のラインは自車（イメージセンサＩ１）の位置を示す。また、衝突予測時間軸（以下、時間軸）は、自車の進行方向を示している。他車Ｍ２は、τ−θ空間上においては、他車ＭＭ２で表されている。

τ−θ空間は、自車と対象物とが相対的に等速直線運動をしていると仮定した場合の位置関係を示している。時間軸方向は、自車と対象物との距離情報だけでなく、相対速度の情報を含むτマージンを示しており、τ−θ空間の縦軸の値から容易に衝突予測時間を知ることができる。

略直線である車道外側線Ｌ１及び壁Ｏ１等の対象物は、τ−θ空間上においては、衝突予測時間が大きくなるに従って対象部角度が小さくなる曲線の車道外側線ＭＬ１及び壁ＭＯ１によって示される。同様に、他車Ｍ２の進行方向は、τ−θ空間上においては他車ＭＭ２に付した矢印に示すように、曲線形状となる。

即ち、τ−θ空間は、自車と対象物とが平行方向に相対的には等速直線運動をしていると仮定した場合に、時間の経過による対象物と自車との位置関係の変化に応じたものであり、カメラ等で撮像された画像の状態に近く、自車の運転者が衝突予測時間と対象物位置とについて直感しやすくなっている。

図３のτ−θ空間の状態が得られる時間を基準にして、ｔ秒後までの間に自車が存在する領域は、図３の斜線部にて示すことができる。現在の自車の対象部角度θは自車位置近傍の広い角度範囲に分布しており、ｔ秒後の自車の対象部角度θは進行方向近傍の比較的狭い角度範囲に分布する。換言すると、図３の領域Ｈ１は、自車が所定の速度で前進する場合において、自車が存在する領域、即ち、衝突可能性範囲を示している。なお、図３の領域Ｈ２は、自車が所定の速度で後進する場合における衝突可能性範囲を示している。以下、衝突可能性範囲を、単に衝突範囲という。

本実施の形態においては、対象物が衝突範囲に含まれないように、自車の速度及び進行方向を制御する。なお、例えば自車の操舵角に応じてセンサ情報を補正したτ−θ空間を生成することが可能である。

図１Ａの衝突回避システム３０は、図１Ｂに示す自動車４０に取り付けられたセンサ装置２１を有する。センサ装置２１は、対象物に関する物理情報（センサ情報）を取得して出力する。センサ装置２１としては、例えば対象物の光学情報を取得するカメラや対象物までの距離や角度の情報を取得するＬｉｄａｒ装置やレーダ装置等の各種センサが考えられる。図１Ｂでは、１台のセンサ装置２１がフロントガラス４１の上部に取り付けられた例を示しているが、センサ装置２１の設置場所及び台数は適宜設定可能であり、例えば、前方確認用だけでなく後方や側方確認用のセンサを採用してもよい。

図１Ｂに示す、運転制御部２２、車輪操舵装置２５及び駆動装置２６は、一般的な自動車に搭載されている駆動機構と同様である。運転制御部２２は、操舵制御装置２３及び駆動制御装置２４を含む。車輪操舵装置２５は、車輪４２の向きを変更する。なお、操舵制御装置２３は、ハンドル４３の操作に基づいて車輪操舵装置２５を駆動して、前および／または後ろの車輪４２を所望の方向に変更することもできる。また、操舵制御装置２３は、自動運転制御部２０からの制御信号に従って車輪操舵装置２５を駆動して、車輪４２を所望の方向に変更することができる。

なお、自動運転制御部２０及び運転制御部２２は、ＣＰＵ等のプロセッサによって構成されていてもよく、図示しないメモリに記憶されたプログラムに従って動作して各種機能を実現してもよい。

エンジンやモータ等の駆動装置２６は車輪４２を回転させて自動車４０を前方又は後方に進行させることができる。駆動制御装置２４は、自動運転制御部２０からの制御信号に従って駆動装置２６を駆動して、車輪４２の回転を制御することができる。また、自動車４０には図示しないアクセルペダルが設けられており、駆動制御装置２４は、運転者のアクセルペダルの操作に基づいて、駆動装置２６を制御して、車輪４２の回転速度等を制御することができる。

図１Ａに示す自動運転制御部２０は、空間情報算出部１０と、認識物体管理部１１と、制御量算出部１２で構成される。空間情報算出部１０は、センサ情報入力部２、物体認識部３、τ及びθ算出部４、τーθ空間生成部５及び記憶部６により構成されている。

センサ装置２１からのセンサ情報は、センサ情報入力部２に与えられる。センサ情報入力部２は、所定のレートで入力されるセンサ情報を物体認識部３に順次出力する。物体認識部３は、センサ情報に基づいて人や車両や障害物等の各種物体を対象物として認識する。例えば、物体認識部３は、センサ情報に基づいて物体の形状を認識し、図示しないメモリに記憶されている各種物体の形状特徴との比較によって、対象物として物体を認識する。あるいは、物体認識部３は、画像中の移動体の移動方向前面の形状を認識してもよい。また、物体認識部３は、例えば自動車のフロントビュー又はバックビューにより得られる形状部分を対象物として認識してもよい。物体認識部３は、認識した物体（対象物）に関する情報をτ及びθ算出部４に出力する。物体認識部３は、センサ情報として撮像画像が入力される場合には、対象物の画像上の座標情報や視野角に関する情報をτ及びθ算出部４に出力してもよい。

τ及びθ算出部４は、入力されたセンサ情報を用いて、物体認識部３が認識した物体について、τマージンを算出する。τマージンは、自車及び対象物が現在の相対速度を維持した場合において両者が衝突するまでの時間余裕を示す。自車と対象物とが相対的に等速直線運動をする場合には、自車から対象物を見た場合の視野角（以下、対象物視野角という）φを用いてτマージンを下記（１）式によって示すことができる。この（１）式は、τマージンを対象物視野角φとその時間微分値とによって算出可能であることを示している。
τ＝φ／（ｄφ／ｄｔ） …（１）
また、文献（Real-time Time-TO-Collision from variation of Intrinsic(Amaury Negre,Christophe Braillon, Jim Crowley, Christian Laugier著)）には、τマージンを下記（２）式によって算出できることが示されている。なお、（２）式において、Ｚは距離を示し、ｓは対象物のサイズを示している。
τ＝−Ｚ／（Ｚ／ｄｔ）＝ｓ／（ｓ／ｄｔ） …（２）
例えば、τ及びθ算出部４は、上記（１），（２）式等の演算によってτマージンを算出する。例えば、自動車に固定されたセンサ装置２１の画角（視野範囲）が既知であるとする。図４は進行方向の撮像画像の一例を示す説明図であり、図２に対応する画像を示している。即ち、図２の車道外側線Ｌ１、センターラインＬ２、他車Ｍ２、壁Ｏ１及び樹木Ｏ２は、それぞれ図４の画像部分ＰＬ１，ＰＬ２，ＰＭ２，ＰＯ１，ＰＯ２によって示される。他車Ｍ２についての対象物視野角は、図４の角度φである。また、図４のθ＝０の線は、自車の進行方向を示している。

センサ装置２１の視野範囲は、例えば自車Ｍ１のロール軸の方向である進行方向を基準にして既知の所定範囲となる。センサ装置２１から見た対象物の方向は、この進行方向を基準にした角度で表すことができる。センサ装置２１の視野範囲は既知であるので、撮像画像中の各座標位置と進行方向に対する角度とは１対１に対応する。従って、撮像画像中における対象物の座標位置から対象物視野角φを簡単に求めることができる。

例えば、τ及びθ算出部４は、撮像画像中の座標位置と進行方向に対する角度との対応関係を記述したテーブルを用いる。τ及びθ算出部４は、物体認識部３の出力を用いてテーブルを参照することで、対象物視野角φを算出してもよい。

また、τ及びθ算出部４は、所定のフレームレートで順次入力される撮像画像を用いて、対象物視野角φ及びその時間微分値を求めて、上記（１）式の演算によりτマージンを算出する。

更に、τ及びθ算出部４は、自車に対する対象物の対象部角度θを求める。対象部角度θは、進行方向を基準とした角度で表すことができる。対象部角度θは、撮像画像中の対象物の各部の座標位置から求めることができる。

τ及びθ算出部４は、画像中における進行方向を代表対象部角度θ０として、代表対象部角度θ０の周囲の所定の角度範囲が対象物に対応するものとしてもよい。また、例えば、対象物を自動車とした場合、対象物がフロント部分の両端の対象部角度θ１，θ２の間（対象物視野角φ）の範囲にあるとしてもよい。

なお、代表対象部角度θ０は、自車の進行方向を基準とした対象物の方向を示す角度（以下、対象物角度という）と考えてもよい。即ち、自動車等の既知の物体については、τ−θ空間上において代表対象部角度θ０の角度方向に既知サイズの対象物を配置してもよく、τ−θ空間はτマージンと対象物角度とによる空間であると表現してもよい。

このように、τ及びθ算出部４は、極めて少ない演算量の簡単な演算によって、τマージン及び対象部角度を求めることができる。τマージン及び対象部角度は、τ−θ空間生成部５に供給される。

なお、τ及びθ算出部４は、上記（１），（２）式に限らず、公知の種々の手法によってτマージンを算出してもよい。例えば、２Ｄ画像から３Ｄ画像を生成するＳｆＭ(Structure from Motion)技術を採用した場合には、画像上の各ピクセルの３Ｄ空間上の配置を求める過程で、τマージンを求めることもできる。また、センサ装置２１がＬｉｄａｒ装置等によって構成されている場合には、τ及びθ算出部４は、物体認識部３の出力から対象部角度θを直接取得してもよい。なお、Ｌｉｄａｒ装置やＳｆＭを採用してτマージンを求める場合には、具体的な人や車などの物体を対象物とする必要はなく、各点や所定の点の集まりを物体としてτマージンを算出してもよい。

図５はτ及びθ算出部４におけるτマージンの他の算出方法を説明するための説明図である。対象物視野角φの変化は、撮像画像中の対象物のサイズの変化に等しい。図５は時間ｔ０における撮像画像Ｐｔ０と時間ｔ１（＝ｔ０＋Δｔ）における撮像画像Ｐｔ１とを示している。撮像画像Ｐｔ０，Ｐｔ１には同一の自動車が撮像されており、自動車のサイズ（高さ）はｈ０からｈ１に変化している。この場合には、τマージンは、ｈ０／ｈ１に比例する。即ち、上記（２）式のように撮像画像中の対象物のサイズの変化によって、τマージンを求めることが可能である。この手法においても、上記（１）式と同様に、物体の実際の大きさや物体までの相対距離、相対速度を求めることなく、τマージンを算出することができる。

τ−θ空間生成部（空間情報生成部）５は、τマージン及び対象部角度をτ−θ空間にプロットする。τ−θ空間生成部５は、自車Ｍ１の情報を取得して、衝突範囲に関する情報を含むτ−θ空間情報を生成する。なお、自車情報としては、自車の速度情報、操舵に関する情報等が考えられる。例えば、自車情報は運転制御部２２から取得できる。τ−θ空間生成部５は、生成したτ−θ空間情報を記憶部６に記憶させる。また、τ−θ空間生成部５は、τ−θ空間情報を、認識物体管理部１１に供給する。

なお、図１Ａでは、τ−θ空間生成部５には、自動運転制御部２０の外部から自車情報が入力される例を示したが、センサ情報入力部２に入力されるセンサ情報を用いることで、例えば上述したＳｆＭ等の公知の手法により自車情報を算出することも可能である。この場合には、自動運転制御部２０の外部からの自車情報の入力を省略できる。

このように、空間情報算出部１０は、少ない演算量でτマージン及び対象部角度を求めると共に、求めたτマージン及び対象部角度をτ−θ空間にプロットする処理によって、センサ装置２１の出力からτ−θ空間への写像を行っている。即ち、本実施の形態の空間情報算出部１０における写像は、関連技術における光学情報からＸＹ空間への写像に比べて、極めて少ない演算量で行うことができる。

認識物体管理部１１は、τ−θ空間上の対象物毎に、衝突予測時間、即ち逐次変化するτ−θ空間情報を管理すると共に、制御量算出部１２に出力する。制御量算出部１２は、対象物毎のτ−θ空間情報によって、時々刻々変化する自車に対する各対象物の位置や衝突可能性等を判定する。

制御量算出部１２は、τ−θ空間情報を用いて、パスプランニングを実行する。即ち、制御量算出部１２は、対象物が衝突の虞のある物体である場合には、当該対象物との衝突を回避するための制御量を算出して、操舵制御信号及び速度制御信号として出力する。操舵制御信号は操舵量、即ち、自動車４０の進行方向を規定する車輪４２の向きを制御するためのもので、操舵制御装置２３に供給される。速度制御信号は、自動車４０の速度を規定する車輪４２の回転速度を制御するためのもので、駆動制御装置２４に供給される。

図６は制御量算出部１２における制御量算出の手法の一例を示す説明図である。図６は図３のτ−θ空間において、障害物ＭＯ３が現れた場合の例を示しており、かつ現在から約４．５秒後までの衝突範囲Ｈ１，Ｈ２を示している。障害物ＭＯ３は、一部が衝突範囲Ｈ１内に含まれている。自車と障害物ＭＯ３との間で相対的に等速直線運動が行われた場合には、約４秒後に自車が障害物ＭＯ３に衝突することを示している。

制御量算出部１２は、τ−θ空間情報によって障害物ＭＯ３が衝突範囲Ｈ１内に存在することが示されると、衝突の可能性がある時刻において、障害物ＭＯ３及び他の対象物と衝突が生じない位置に、自車の到達目標領域（塗り潰し部）ＰＭ１を設定する。次に、制御量算出部１２は、到達目標領域ＰＭ１に到達するために、所定の間隔毎の操舵方向を決定する。図６の例では、１秒毎の操舵方向Ｖ０〜Ｖ４を示している。自車は図６の太線に示すルートを通過して到達目標領域ＰＭ１に到達する。

なお、図６の例は、現在時刻において、所定時間後毎の操舵角を示しているが、実際にはτ−θ空間情報が順次更新され、到達目標領域ＰＭ１及び各時間の操舵角も再計算される。また、自車と障害物ＭＯ３との相対速度が一定の例を示したが、速度を変化させてもよい。例えば、自車の速度を低下させて相対速度を小さくしてもよい。この場合には、衝突範囲Ｈ１は時間軸方向には狭い範囲となり、衝突までの時間余裕が大きくなると共に、到達目標領域ＰＭ１の設定範囲が広がる。更に、設定する操舵角が比較的小さくて済む可能性がある。

なお、本実施の形態においては、衝突範囲に存在する対象物との衝突を回避するための制御量を算出して、自動的に速度や操舵角を制御する例を説明したが、衝突範囲に対象物が存在することを示す表示又は警告音等の警報を発生するようにしてもよい。制御量算出部１２は、例えば、対象物の存在、衝突の回避方法の表示、警告音又は音声による運転者への警告を発生するための信号を生成することができる。モニタ２７は、入力された信号に基づいて映像及び音響を出力する。

次に、本実施の形態の動作について図７を参照して説明する。図７は自動運転制御部２０の動作を説明するためのフローチャートである。

いま、自車が所定の速度で走行しているとする。センサ装置２１は、自車の周囲の物体に関するセンサ情報を所定のレートで取得する。センサ情報は順次センサ情報入力部２に入力され、物体認識部３に出力される（Ｓ１）。物体認識部３は、入力されたセンサ情報に基づいて各種物体を対象物として認識し、対象物に関する情報をτ及びθ算出部４に出力する（Ｓ２）。

τ及びθ算出部４は、入力された情報を用いて、対象物について、自車及び対象物が現在の速度を維持した場合におけるτマージン及び対象部角度を求めてτ−θ空間生成部５に出力する（Ｓ３）。

τ−θ空間生成部５は、τマージン及び対象部角度をプロットすることでτ−θ空間を生成し、τ−θ空間情報を記憶部６に記憶させる（Ｓ４）。また、τ−θ空間生成部５は、自車情報を取得して、衝突範囲に関する情報を含むτ−θ空間情報を生成してもよい。τ−θ空間情報は、認識物体管理部１１に供給される。

空間情報算出部１０は、τマージン及び対象部角度を求めると共に、求めたτマージン及び対象部角度をプロットするという極めて少ない演算量の処理によって、センサ装置２１の出力からτ−θ空間への写像を行っている。

認識物体管理部１１は、対象物毎に、衝突予測時間の管理を行う（Ｓ５）。認識物体管理部１１は、対象物毎に、逐次変化するτ−θ空間情報を制御量算出部１２に出力する。

制御量算出部１２は、各対象物のτ−θ空間情報によって、時々刻々変化する自車に対する各対象物の位置や衝突可能性等の判定を行い、衝突を回避するための進行方向及び速度を求める。制御量算出部１２は、求めた進行方向を得るための操舵量制御信号及び求めた速度を得るための速度制御信号を、運転制御部２２に供給する。

操舵制御装置２３は、操舵制御信号に基づいて車輪操舵装置２５を駆動して、車輪４２の向きを制御する。また、駆動制御装置２４は、速度制御信号に基づいて駆動装置２６を駆動して、車輪４２の回転速度を制御する。こうして、自車は障害物を回避するように走行が自動制御される。

なお、図７は、τ−θ空間情報に基づいて、衝突の可能性のある対象物に対する回避動作を自動的に行う例を示したが、警告表示や警報等によって運転者に知らせてもよい。また、衝突の可能性のある対象物を発見した場合或いは常時、図３や図６等のτ−θ空間を表示して運転者に衝突の可能性等について知らせてもよい。

このように、本実施の形態においては、センサ情報に基づいて算出した衝突予測時間及び対象部角度をプロットすることによってτ−θ空間情報を生成する。衝突予測時間及び対象部角度の算出は、極めて少ない演算量で実行することができ、センサ情報からτ−θ空間への写像に要する演算量は極めて少ない。これにより、衝突回避システムの性能を向上させることができる。（変形例）
図８は変形例において採用される動作を示すフローチャートである。図８において図７と同一の手順には同一符号を付して説明を省略する。また、図９は図８中のＳ１１，Ｓ１２の具体的な処理を示すフローチャートである。本変形例では、衝突回避システムにおいて、センサ装置２１としてカメラとＬｉｄａｒ装置の両方を採用する例について説明する。

図１０はＬｉｄａｒ装置におけるポイントクラウドデータを説明するための図である。自車Ｍ１は、Ｌｉｄａｒ装置ＲＩ及びカメラＩ２を搭載している。カメラＩ２は、自車Ｍ１の前方を撮像した画像をセンサ情報入力部２に出力する。Ｌｉｄａｒ装置ＲＩは、パルス状に発光するレーザーを対象物に照射し、対象物からの散乱光を測定することで、対象物までの距離及び角度を求めることができる。図１０においては、Ｌｉｄａｒ装置ＲＩにより検出した対象物の位置等を黒丸印のポイントクラウドデータＰＤで示している。Ｌｉｄａｒ装置ＲＩは取得したポイントクラウドデータＰＤをセンサ情報入力部２に出力する。

センサ情報入力部２は、Ｌｉｄａｒ装置ＲＩ及びカメラＩ２からのセンサ情報を物体認識部３に出力する。物体認識部３はセンサ情報に基づいて認識した対象物に関する情報をτ及びθ算出部４に出力する。

τ及びθ算出部４は、センサ情報に基づいて対象物のτマージンτ及び対象部角度θを算出する。τ及びθ算出部４は、τマージン及び対象部角度を統合して用いる。例えば、τ及びθ算出部４は、Ｌｉｄａｒ装置ＲＩ及びカメラＩ２の各センサ情報によって求めたτマージン及び対象部角度とのマッチング演算によって算出結果が一致していると判定した場合にのみ、算出したτマージン及び対象部角度を用いてもよい。

また、τ及びθ算出部４は、Ｌｉｄａｒ装置ＲＩ及びカメラＩ２の各センサ情報を統合したセンサ情報を用いてτマージン及び対象部角度を算出してもよい。例えば、τ及びθ算出部４は、Ｌｉｄａｒ装置ＲＩのセンサ情報をカメラＩ２のセンサ情報によって補正した後、τマージン及び対象部角度を算出してもよい。この場合にも、τ及びθ算出部４は、ＳｆＭ等の公知の手法を採用することができる。

このような変形例においては、図８のＳ１１において、センサ情報入力部２はＬｉｄａｒ装置ＲＩからのポイントクラウドデータの入力を行う。続いて、物体認識部３並びにτ及びθ算出部４においてτマージン及び対象部角度の算出を行う（Ｓ１２）。

具体的には、図９のＳ２１に示すように、センサ情報入力部２は、ポイントクラウドデータ０の入力を行う。センサ情報入力部２は、カメラＩ２における撮像の１フレーム期間だけ待機した後（Ｓ２２）、ポイントクラウドデータ１の入力を行う（Ｓ２３）。物体認識部３は、ポイントクラウドデータ０に基づいて物体認識を行う（Ｓ２４）。物体認識部３は、具体的な人や車等の物体だけでなく、点や線、四角などの具体性のないオブジェクトを物体認識してもよく、物体認識処理によって得られた物体を対象物０とする。次に、物体認識部３は、ポイントクラウドデータ１に基づいて物体認識を行う（Ｓ２５）。この物体認識処理によって得られた物体を対象物１とする。物体認識部３は対象物０，１に関する情報のマッチング演算を行う（Ｓ２６）。例えば、物体認識部３は、対象物０，１の形状や大きさ等についてのマッチング計算によって、同一の物体であるか否かの判定を行う。例えば、物体認識部３は、ＩＣＰ(Iterative Closest Point)など既知の技術を使用してマッチングを行っても良い。なお、マッチング対象としては任意の点や、線、など具体的な人や車などのオブジェクトでなくても良い。

物体認識部３は、マッチング演算によって、対象物０，１が同一の物体であると判定した場合には、対象物０，１のセンサ情報をτ及びθ算出部４に出力する。τ及びθ算出部４は、対象物０，１のセンサ情報に基づいて、自車から対象物１までの距離及び距離の微分値を算出する（Ｓ２８）。τ及びθ算出部４は、距離及び距離の微分値からτマージンを算出し、対象物１のセンサ情報から対象部角度を求める（Ｓ２９）。

一方、カメラＩ２のセンサ情報は、図８のＳ１においてセンサ情報入力部２に入力される。そして、カメラＩ２のセンサ情報に基づいて、τマージン及び対象部角度が算出される（Ｓ２、Ｓ３）。

τ及びθ算出部４は、Ｌｉｄａｒ装置ＲＩ及びカメラＩ２からのセンサ情報に基づいて算出されたτマージン及び対象部角度を統合する（Ｓ１３）。統合後のτマージン及び対象部角度がτ−θ空間生成部５に供給される。

なお、統合手法として、カメラＩ２とＬｉｄａｒ装置ＲＩで具体的な人や車のようなオブジェクトでマッチングした場合には、例えばノイズの大小等に基づいて、カメラＩ２又はＬｉｄａｒ装置ＲＩのいずれか一方の結果を優先して採用してもよい。マッチングしなかったところは両方の結果を表示したり、両方の結果がマッチングした部分のみを表示したりするようにしてもよい。また、他の統合手法として、τ-θ空間にマッピングする際に各センサの出力を任意の確率分布で掛け合わせても良い。この手法では、複数のセンサによってマッピングされた部分は存在確率が高くなる。また、閾値以上の存在確率となった場所にオブジェクトが存在するとして、認識物体管理部１１に管理させてもよい。他の作用は図１の例と同様である。

このように、この変形例においては、τマージン及び対象部角度は、Ｌｉｄａｒ装置ＲＩ及びカメラＩ２のセンサ情報に基づいて算出されており、いずれか一方のセンサ情報を用いて算出される場合よりも高精度の算出が可能である。
（変形例２）
図１１は変形例２におけるモニタの表示画面の一例を示す図である。モニタ２７は、制御量算出部１２からの出力信号を用いて衝突範囲に存在する対象物に関する情報を表示させることができる。図１１の表示画面２７ａには、対象物である２台の自動車が異なる枠５１，５２に囲まれ表示されている。対象物を囲う枠は、衝突予測時間の大小に応じて表示形態、例えば色や線の太さ等を異ならせて表示されている。枠５１は、衝突範囲に存在しないことを点線で示し、枠５２は、衝突範囲に存在することを太い実線で示している。

また、衝突範囲に存在する対象物については、その表示の近傍に衝突予測時間の情報や衝突回避策を表示してもよい。図１１の例では、枠５２の自動車までの衝突予測時間５２ａがｘｘ．ｘｘ秒であること、そして、右側にハンドルを切った方がよいことを示す操舵指示表示５３が表示されている。なお、衝突範囲に対象物が存在する場合には、モニタ２７は警報音を発生させてもよい。運転者は警報音及び表示によって、衝突の危険性がある対象物が存在すること及びこの衝突を回避するための操作等を表示又は音声によって認識することができる。

なお、衝突予測時間が所定の時間以上の対象物については、衝突予測時間の表示を省略するようにしてもよい。また、操舵指示表示５３に加えて、衝突を回避するために必要な操舵角の情報を表示するようにしてもよい。更に、枠内の面積と当該枠の対象物までの衝突予測時間との積が所定の閾値を超えた場合には、衝突の危険性が増大したと判定して、表示画面２７ａ全体の表示形態を変更するようにしてもよい。例えば、表示の明るさを一定周期で変更していてもよい。

この変形例２では、運転者に衝突の危険性をモニタによって確実に認識させることができ、安全運転に一層寄与することができる。
（変形例３）
図１２乃至図１８は変形例３を説明するための図である。図１２は自車の周囲の状態を説明するＸＹ空間（距離空間）を示している。図１３は図１２の自車Ｍ１１のカメラによって取得したセンサ情報に基づくτ−θ空間を示している。

図１２の例は、自車Ｍ１１が壁やセンターライン等の走路境界Ｏ１１，Ｏ１２によって区画された走行車線Ｌ１１を走行している状態を示している。この走行車線Ｌ１１上には、自車Ｍ１１の進行方向において、静止している障害物Ｍ１２が存在する。なお、障害物Ｍ１２は、自車Ｍ１１を基準にした相対速度が負となる他車であることもある。自車Ｍ１１は、矢印に示すように、直進方向だけでなく、ハンドルを切って右方向又左方向に進行することもできる。

図１３のτ−θ空間では、自車Ｍ１１はτ＝０の位置に自車ＭＭ１１として示してある。また、障害物Ｍ１２は、τ＝ｔ０の位置に障害物ＭＭ１２として示してある。また、走路境界Ｏ１１，Ｏ１２は、それぞれ走路境界ＭＯ１１，ＭＯ１２として示してある。なお、走路境界ＭＯ１１，ＭＯ１２の極小点τ１１、τ１２は、自車ＭＭ１１が最も早く走路境界ＭＯ１１，ＭＯ１２に到達する時間を示している。即ち、極小点τ１１、τ１２は、自車Ｍ１１が現在の進行方向を基準に走路境界Ｏ１１，Ｏ２２のそれぞれに直交する方向に進行した場合における衝突予測時間を示している。なお、範囲ＭＯ１１ａ，ＭＯ１１ｂは、衝突予測時間の範囲に相当する。また、斜線部は、カメラの画角ＡＦ外であることで撮像されないか又は障害物ＭＭ１２によって遮られて撮像されない未知領域ＯＶを示している。

制御量算出部１２は、認識物体管理部１１の出力に基づいて、自車ＭＭ１１がｔ０秒後に障害物ＭＭ１２に衝突することを認識すると、このｔ０秒後において自車ＭＭ１１が障害物ＭＭ１２を回避する到達目標位置を設定する。

図１４に示すように、τ＝ｔ０の位置において、到達目標位置として設定可能なヨー（ｙａｗ）角方向の角度（以下、設定可能ヨー角という）は、範囲ＡＨ１，ＡＨ２で表される。制御量算出部１２は、各対象物及び未知領域ＯＶのいずれにも接しない最大径の円が得られる範囲ＡＨ１，ＡＨ２上の中心位置のヨー角（到達目標ヨー角）を設定する。図１４の例では到達目標ヨー角ＡＰ１を星印によって示してある。例えば、制御量算出部１２は、到達目標ヨー角を、設定可能ヨー角のうち大きい範囲の中点に設定してもよい。

次に、制御量算出部１２は、到達目標ヨー角ＡＰ１に到達するために、所定の間隔Δｔ秒毎にヨー角を設定する。図１５の例では、現在からΔｔ秒後、２×Δｔ秒後及び３×Δｔ秒後に設定したヨー角Ψ０〜Ψ２（四角印）を示している。

更に、制御量算出部１２は、所定時間経過後のτ−θ空間を推定することで、衝突回避の確実性を向上させることができる。自車ＭＭ１１に対して相対速度が負の障害物ＭＭ１２は、時間の経過と共に、τ−θ空間におけるヨー角方向のサイズは大きくなる。

図１６はΔｔ秒毎の障害物ＭＭ１２のτ−θ空間上におけるサイズの変化を示している。図１６のτ−θ空間は、τ及びθ毎に、アフィン変換Ａ（τ，θ）を実行することで推定が可能である。なお、アフィン変換Ａ（τ，θ）は、基本的には、τ-θ空間の位置（ピクセル単位又は所定のブロック単位）毎に異なる写像となる。時間の経過と共に、τ−θ空間における障害物ＭＭ１２のサイズは大きくなるので、制御量算出部１２は、障害物ＭＭ１２のサイズの時間的な変化を考慮して、到達目標ヨー角ＡＰ１に到達するまでの所定の間隔Δｔ秒毎にヨー角を設定する。これにより、自車Ｍ１１が障害物Ｍ１２に衝突する危険性を確実に回避することができる。

ところで、図１３乃至図１６の説明では、障害物Ｍ１２の長さ（奥行き）は考慮されていない。このため、ｔ０後において到達目標ヨー角ＡＰ１に到達しても、その後に障害物Ｍ１２に衝突する可能性がある。障害物Ｍ１２の長さは、カメラでは撮像できない。即ち、障害物ＭＭ１２の奥行きは、τ−θ空間上では未知領域ＯＶ内に存在する。そこで、制御量算出部１２は、障害物ＭＭ１２の長さを衝突予測時間上においてｔ１と仮定し、τ＝ｔ０＋ｔ１の位置において、到達目標ヨー角ＡＰ２を設定する。

図１７はこの到達目標ヨー角ＡＰ２を説明するためのものである。τ＝ｔ０＋ｔ１の位置において、設定可能ヨー角は、範囲ＡＨ３で表される。制御量算出部１２は、各対象物及び未知領域ＯＶのいずれにも接しない最大径の円が得られる範囲ＡＨ３上の中心位置のヨー角（到達目標ヨー角ＡＰ２）を設定する。なお、制御量算出部１２は、到達目標ヨー角を、範囲ＡＨ３の中点に設定してもよい。

なお、制御量算出部１２は、時間ｔ０＋ｔ１経過後の到達目標ヨー角ＡＰ２を決定する際には、τ-θ空間上での平行移動や回転を行うアフィン変換Ａ（τ，θ）を実行することで、原点をｔ０経過後に移動させた場合のτ-θ空間を推定する。

制御量算出部１２は、到達目標ヨー角ＡＰ１，ＡＰ２に到達するように、所定の時間間隔で操舵角を決定する。こうして、確実な衝突回避が可能となる。

未知領域ＯＶの時間軸方向の長さが異なると、図１７における範囲ＡＨ３は変化する。従って、到達目標ヨー角ＡＰ２の算出に際して、未知領域ＯＶの時間軸方向の長さを適宜設定することで、より正確に制御量を算出することが可能となる。例えば、未知領域ＯＶの時間軸方向の長さを、障害物ＭＭ１２の長さとして設定してもよい。

図１８はこの場合の未知領域ＯＶを説明するためのものである。図１８に示す未知領域ＯＶの時間軸方向の長さＯＶａは、障害物ＭＭ１２の長さを推定することにより得たものである。物体認識部３は、例えば、自動車のトップビューの形状によって対象物が乗用車、牽引車、あるいはバス等の車種を判定することも可能である。物体認識部３は、メモリに車両のトップビューの形状と長さとの関係を記憶させておき、当該メモリを参照することで、制御量算出部１２は障害物ＭＭ１２の長さＯＶａを設定することができる。これにより、到達目標ヨー角ＡＰ２の算出精度を向上させることができ、確実な衝突回避が可能となる。
（第２の実施の形態）
図１９は第２の実施の形態を示すブロック図である。図１９において図１Ａと同一の構成要素には同一符号を付して説明を省略する。第１の実施の形態におけるτ−θ空間は、自車に対する他車の位置情報を含んでいるが、他車の移動情報は含んでいない。このため、他車が自車の衝突範囲に位置するまでは他車が衝突する可能性があるか否かを判別できない場合がある。また、パスプランニングの十分な性能が得られない場合がある。そこで、本実施の形態においては、対象物の動きを判定することで、制御量算出部１２におけるパスプランニングの性能を向上させる。

本実施の形態は自動運転制御部２０に代えて、対象物動き推定部１３を付加した自動運転制御部６０を採用した点が第１の実施の形態と異なる。対象物動き推定部１３は、認識物体管理部１１の出力に基づいて対象物の動きを推定した結果を制御量算出部１２に供給する。制御量算出部１２は、認識物体管理部１１の出力及び対象物動き推定部１３の推定結果を用いて、パスプランニングを実行する。

なお、対象物動き推定部１３は認識物体管理部１１の出力だけでなく、自車情報を用いて対象物の動きを推定してもよい。

図２０は対象物動き推定部１３の具体的な回路構成の一例を示すブロック図である。対象物動き推定部１３は、第２衝突予測時間算出部６１及び第２対象部角度算出部６２を有している。第２衝突予測時間算出部６１は、認識物体管理部１１からのτマージンを微分し、所定時間経過後のτマージンの予測値τｅを求めて動き推定部６３に出力する。また、第２対象部角度算出部６２は、認識物体管理部１１からの対象部角度を微分し、所定時間経過後の対象部角度の予測値θｅを求めて動き推定部６３に出力する。

動き推定部６３は、τマージン及びその予測値τｅと対象部角度及びその予測値θｅとを用いて、各対象物の動きを推定した結果を制御量算出部１２に出力する。

次に、本実施の形態の動作について図２１、図２２を参照して説明する。図２１は自車Ｍ２１と他車Ｍ３１との位置関係を上方から示すものである。図２１の縦軸は距離を示しており、自車Ｍ２１は縦軸に平行な方向に直進する。また、他車Ｍ３１は自車Ｍ２１に向かう方向に進行する。

いま、他車Ｍ３１が距離ｘに位置するときに求められた最新のτマージンが認識物体管理部１１に記憶されているとする。例えば、他車Ｍ３１の現在時刻のτマージンは１秒であるとする。他車Ｍ３１が自車Ｍ２１に対して相対的に平行して等速直線運動している場合の他車Ｍ３１の位置を破線にて示している。対象物の動き推定を行わない場合には等速直線運動か仮定される。この場合、他車Ｍ３１は、１秒前には距離２ｘ（Ｍ３１ｃｖｂｅ）に位置し、１秒後には自車Ｍ２１の側方を通過する位置（Ｍ３１ｃｖａｆ）と考えられる。

現在時刻において距離ｘに位置する他車Ｍ３１は、図２１に示すように、現在時刻から１秒前において、距離４ｘに位置し、この場合に他車Ｍ３１ｃｖｂｅのτマージンがτ＝４秒と算出されるものとする。他車Ｍ３１が等速直線運動をするならば現在時刻には他車Ｍ３１はτ＝３秒の位置に存在する。しかしながら、現在時刻において算出されたτマージンは１秒である。したがって、他車Ｍ３１は、自車Ｍ２１に対して相対的に加速度運動をしており、等速直線運動を仮定した場合よりも短時間に自車Ｍ２１に衝突する可能性があることが分かる。

他車Ｍ３１は、図２２においてはＭＭ３１にて示している。τ−θ空間上では、対象物のサイズは衝突予測時間が短くなるほど大きくなる。他車Ｍ３１ｃｖｂｅは、図２２においてＭＭ３１ｃｖｂｅによって示される。また、他車Ｍ３１ｃｖａｆは、図２２においてＭＭ３１ｃｖａｆによって示される。他車Ｍ３１は、自車Ｍ２１の側方を、自車Ｍ２１に平行な逆方向に進行すると仮定されている。他社Ｍ３１が自車Ｍ２１に近づくにつれて、ＭＭ３１ｃｖｂｅ、ＭＭ３１、ＭＭ３１ｃｖａｆの順に対象部角度θが大きくなっている。

また、現在時刻の他車Ｍ３１の対象部角度と、１秒前の他車Ｍ３１ｂｅの対象部角度とは略同一である。即ち、１秒前から現在時刻までは対象部角度に変化がなく、他車Ｍ３１は自車Ｍ２１に向かって進行していることが分かる。

対象物動き推定部１３は、例えば現在時刻とは異なる時間の予測値τｅ及びθｅを求めて、このような対象物の動きを推定する。対象物動き推定部１３は、他車の動きを推定した結果を制御量算出部１２に供給している。制御量算出部１２は、認識物体管理部１１及び対象物動き推定部１３の出力に基づいて、自車Ｍ２１が他車Ｍ３１に衝突しないように、操舵角及び速度を制御する。

本実施の形態においては、例えば異なる時刻のτマージンとその予測値及び対象部角度とその予測値によって、対象物の動きを推定する。τ−θ空間情報と動き推定結果とに基づいて自車のパスプランニングを実行する。これにより、衝突を回避する高精度のパスプランニングを実現することができる。

なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

２…センサ情報入力部、３…物体認識部、４…τ及びθ算出部、５…τ−θ空間生成部、６…記憶部、１０…空間情報算出部、１１…認識物体管理部、１２…制御量算出部、２１…センサ装置、２２…自動運転制御部、２５…車輪操舵装置、２６…駆動装置。

Claims (4)

1. センサ装置から自移動体の位置を基準にした対象物に関する情報であって、前記自移動体から前記対象物までの距離情報及び前記自移動体の進行方向に対する前記対象物の角度の情報を含むセンサ情報が入力される入力部と、
   前記センサ情報に基づいて前記対象物を認識する物体認識部と、
   前記物体認識部が認識した前記対象物について、前記距離情報に基づいて衝突予測時間を求め、前記対象物の角度の情報に基づいて対象部角度を求める算出部と、
   前記自移動体の速度情報及び操舵情報を取得し、前記速度情報及び操舵情報に基づいて前記算出部が求めた前記衝突予測時間及び対象部角度を補正し補正後の前記衝突予測時間及び対象部角度を用いて、所定時間後における前記自移動体の衝突可能性範囲の情報を含む空間情報を生成し生成した前記空間情報を記憶させる空間情報生成部と
   を具備する移動体用空間情報算出装置。
2. 前記センサ情報は、画像情報を含み、
   前記算出部は、前記対象物に対応する画像上の位置に基づいて前記衝突予測時間及び前記対象部角度を求める
   請求項１に記載の移動体用空間情報算出装置。
3. 前記センサ情報は、さらに画像情報を含み、
   前記算出部は、前記画像情報に基づいて前記衝突予測時間及び前記対象部角度を補正する
   請求項１に記載の移動体用空間情報算出装置。
4. 前記請求項１に記載の移動体用空間情報算出装置と、
   前記対象物毎の前記空間情報に基づいて、各対象物との衝突を回避するための情報を生成する制御部と
   を具備する衝突回避システム。

Images