JP7413935B2 - 車載センサシステム - Google Patents

Description

本発明は、自動車等の車両の周囲の状況を検知するための装置に係り、より詳細には、車両に搭載されて車両周囲に存在する人、他車、障害物等を検知するセンサ（カメラ、ミリ波レーダー、ライダー（レーザーレーダー）など）を用いて、車両周囲を観測するためのシステムに係る。

車両の運転支援制御や自動運転制御等を実行する場合、車両の周囲の状況（例えば、人、他車、障害物、表示等の有無と位置など）の把握が必要となるので、そのような制御を実行する車両に於いては、上記の如き車両周囲に存在する人、他車、障害物、表示等を検知するセンサを用いて車両周囲を観測するシステム（車載センサシステム）が搭載される。そのような車載センサシステムとして、例えば、特許文献１には、車載のライダーの信号に基づいて車両の周囲の物体を認識する物体認識装置に於いて、ライダーにより取得された時系列信号データから物体を表す部分と背景を表す部分とをニューラルネットワーク等を利用して識別し、物体の認識精度を向上する構成が開示されている。特許文献２には、レーダーにより得られた信号にて検知された物体の種別を、事前に作成されたデータベースを用いて、識別する構成に於いて、カメラ装置による物体の識別結果をデータベースに与えて、データベースを更新し、レーダーにより検知した物体の種別識別の精度の向上を図る構成が開示されている。特許文献３には、レーダー装置に於いて、捜索ビームを照射し、その検出結果に基づいて追尾目標を決定し、該追尾目標に向けて追尾レーダーを照射して、その目標を追尾する自動探知追尾機能に関して、レーダー分解能の低下を最小限にするための構成が提案されている。

特開２０１９－９５３３９ 特開２０１７－２０７３４８ 特開平１０－２４６７７８

ところで、運転支援又は自動運転をより適切に或いはより的確に実現するためには、車両の周囲の状況、即ち、周囲に於ける人、他車、障害物、表示等の有無、その位置或いはその運動（移動速度、移動方向）、種別などの情報が、より高精度にて検出できることが好ましい。この点に関し、上記の如き車載センサシステムにより車両周囲の観測を行う場合、観測精度、即ち、観測の分解能が高くなるほど、観測に要する時間は、長くなる。従って、車両の周囲を広範囲にて高精度にて観測しようとすると、相応の時間を要することとなるが、特に走行中の車両の場合、移動しながら観測を行うこととなるので、或る範囲の観測に費やすことのできる時間には限界があり、観測したい範囲の全域を高精度にて観測することは時間的に困難な場合がある。そこで、本願出願人は、特願２０２０－７１５８７に於いて、車両の周囲の状況を検知する第一のセンサ（粗測センサ）と、その第一のセンサよりも角度分解能の高い第二のセンサ（精測センサ）とを用い、粗測センサにより車両周囲の広範囲の観測を、比較的低い分解能にて、迅速に実行した後、その観測結果を参照して、その観測範囲内で高精度にて観測したい対象（高精度観測対象）の存在する領域を特定し、その特定された領域を精測センサにより高い分解能にて観測するよう構成された車載センサシステムを提案した。かかる車載センサシステムによれば、車両周囲の広範囲を粗測センサにて短時間に観測し、精測センサによる観測は、特に比較的高精度にて観測したい対象の存在する領域に絞って行うことにより、観測時間全体を抑制しつつ、特により高精度の情報が欲しい特定の領域については、高精度の観測結果が得られるようにするといったことが可能となる。

上記の如き粗測センサと精測センサとを用いた車両の周囲の観測を行う車載センサシステムの場合、まず、粗測センサにより車両の周囲の広範囲を観測し、その観測された範囲で精測センサにより観測したい高精度観測対象の存在する領域を特定し、しかる後、特定された領域の精測センサによる観測を行うこととなる。その場合、高精度観測対象或いは車両自体が、粗測センサによる観測後から精測センサによる観測開始までの間に移動してしまうと、高精度観測対象が、その、粗測センサにより観測された範囲内に於ける特定された領域から逸脱してしまい、かかる対象の精測センサによる観測ができなくなってしまう。従って、上記の車載センサシステムの構成に於いて、高精度観測対象或いは車両自体が動いている場合にも精測センサにより高精度観測対象を観測できるようにするには、精測センサによる観測時に於ける高精度観測対象の存在する領域を予測し、その予測された領域にて精測センサによる観測を実行できるようになっている必要があろう。

かくして、本発明の主な課題は、粗測センサと精測センサとを用いて車両の周囲を観測する車載センサシステムであって、粗測センサにより車両の周囲の広範囲を観測し、その観測された範囲に於いて、より高精度にて観測したい対象を特定し、その対象を精測センサにてより高精度にて観測する構成に於いて、粗測センサの観測後から精測センサの観測時までに、より高精度にて観測したい対象及び／又は車両が移動する場合でも精測センサによる対象の観測をより確実に達成できるようにすることである。

また、本発明のもう一つの課題は、上記の如き車載センサシステムであって、精測センサによる観測時に於ける、より高精度にて観測したい対象の存在領域を予測し、その予測された領域にて精測センサの観測を実行するよう構成されたシステムを提供することである。

本発明によれば、上記の課題は、車両の周囲の状況を観測する車載センサシステムであって、
第一の分解能にて前記車両の周囲に於ける所定の範囲を観測する第一のセンサと、
前記第一のセンサにより観測された前記所定の範囲内に於いて検知された対象にして前記第一の分解能よりも高い第二の分解能にて観測したい対象である高精度観測対象を特定する高精度観測対象特定手段と、
前記高精度観測対象がその特定後に於いて存在する可能性のある領域である対象将来存在領域の範囲を予測する対象存在領域予測手段と、
前記第二の分解能にて前記対象将来存在領域の範囲を観測する第二のセンサと、
前記第二のセンサにて観測された前記高精度観測対象の情報を出力する対象情報出力手段と
を含むシステムによって達成される。

上記の構成に於いて、「車両の周囲の状況を観測する」とは、車両の周囲の空間に存在する物体や表示などの対象を検知することであり、「第一のセンサ」及び「第二のセンサ」は、カメラ、ミリ波レーダー、ライダーなど、光学的に或いは電磁波を用いて、対象の有無、その存在する領域或いは更に種別（人、車両、路上又は路端の静止物、表示、標識などの種類）を検出するセンサであってよい（本明細書に於いて、かかるセンサにより検知される物体、表示、標識等を「対象」と総称するものとする。）。「第一のセンサ」は、任意に設定又は選択されてよい第一の分解能（角度分解能又は空間分解能）にて車両の周囲に於ける所定の範囲を走査或いは撮像することにより、かかる走査又は撮像された範囲内に於いて存在する対象を検出するよう構成される。第一のセンサの観測する所定の範囲は、車両の前方、左右側方及び／又は後方などの任意に設定された範囲であってよく、例えば、運転支援制御や自動運転制御のために監視が要求される範囲であってよい。「第二のセンサ」も、或る空間範囲を走査或いは撮像することにより、その空間範囲内に存在する対象を検出するよう構成されるところ、その分解能が第一のセンサの第一の分解能よりも高い第二の分解能を有するものが採用され、これにより、第一のセンサよりも、対象の位置、存在範囲、種別がより高精度に検出可能となるように選定される。また、上記の構成に於いて、「高精度観測対象特定手段」により特定される対象は、第一のセンサによる観測に於いて検出された対象のうちで、車載センサシステムによる観測結果の利用目的などに応じて、第二のセンサにより第二の分解能にて、より高精度にて観測したい対象であり、その特定は、後述の如く、任意に設定される基準又は態様にて実行されてよい。なお、「第一のセンサ」が上記の「粗測センサ」に対応し、「第二のセンサ」が上記の「精測センサ」に対応する。「高精度観測対象特定手段」、「対象存在領域予測手段」及び「対象情報出力手段」は、任意の態様にて達成されてよく、例えば、コンピュータ装置のプログラムに従った作動により達成可能である。

本発明のシステムの構成によれば、基本的には、前述の特許出願に記載のセンサシステムと同様に、第一のセンサにより或る程度の分解能（第一の分解能）にて車両の周囲の観測を実行し、そこで検出された対象のうちでより高精度にて観測したい対象として特定された対象（「高精度観測対象」と称する。）については、その対象の存在している領域に於いて、第二のセンサにより、より高い分解能（第二の分解能）にて観測を実行し、かかる対象のより精度の高い位置（又はその変化）、存在範囲、種別などの情報の取得が試みられる。かかる構成に於いて、既に述べた如く、高精度観測対象の第一のセンサによる観測後から第二のセンサによる観測開始までの間に、高精度観測対象又は車両が移動すると、第一のセンサによる観測に於いて特定された高精度観測対象の存在位置又は範囲から高精度観測対象が移動してしまい、第一のセンサによる観測に於いて特定された高精度観測対象の存在位置又は範囲で第二のセンサによる観測を実行しても、高精度観測対象が観測されないこととなる。そこで、本発明のシステムに於いては、高精度観測対象特定手段にて高精度観測対象が特定された後に、対象存在領域予測手段によって、高精度観測対象が存在する可能性のある領域（対象将来存在領域）、即ち、高精度観測対象の移動先が予測され、その予測された対象将来存在領域に於いて第二のセンサによる観測が実行される。かかる構成によれば、第二のセンサによる観測は、高精度観測対象が存在すると予測される範囲にて実行されるので、より確実に高精度観測対象の観測が達成され、その位置（又はその変化）、存在範囲、種別などのより高精度な情報の取得が可能となる。

なお、第一のセンサによる観測に於ける第一の分解能は適宜設定されてよいところ、第一のセンサによる観測の目的は、例えば、車両の周囲に於いて車両の走行に影響し得る対象を検知することとなるので、車両の周囲に於ける広範囲の観測が迅速に実行できる程度に設定されてよい。実際の第一の分解能は、センサの処理速度と、想定される車速、旋回速度、対象の移動速度の範囲等を考慮して、システムの設計者、製造者、調整者又は使用者に於いて適宜調整又は選択されてよい。一方、第二のセンサによる観測に於ける（第一の分解能より高い）第二の分解能も適宜設定されてよいところ、第二のセンサによる観測の目的は、特定の対象について、例えば、車両の運転支援制御や自動運転制御の要求が満足される程度に高精度に観測することであるので、想定される車速、旋回速度、対象の移動速度の範囲等を考慮しつつ、要求される精度も考慮して、システムの設計者、製造者、調整者又は使用者に於いて適宜調整又は選択されてよい。

上記の構成に於いて、第二のセンサによる観測が実行される対象将来存在領域は、第一のセンサにより観測された所定の範囲内に於ける高精度観測対象の観測時のその存在位置又は範囲から移動するので、所定の範囲内に於ける高精度観測対象の観測時のその存在位置又は範囲に基づいて決定することが可能である。従って、本発明のシステムに於いて、高精度観測対象特定手段は、より詳細には、第一のセンサにより観測された所定の範囲内に於ける高精度観測対象の存在位置又は範囲を検出するよう構成されていてよく、対象存在領域予測手段は、所定の範囲内に於ける高精度観測対象の存在位置又は範囲に基づいて、対象将来存在領域の車両から見た位置又は範囲を予測するよう構成されていてよい。なお、予測される対象将来存在領域は、典型的には、第一のセンサによる観測後から第二のセンサの観測開始可能となるまでの時間が経過した時点以降に高精度観測対象が存在する可能性のある領域であってよい。

車両から見た対象将来存在領域の位置又は範囲は、種々の態様にて予測されてよい。例えば、高精度観測対象の将来の移動距離或いは移動方向は、高精度観測対象の種別、即ち、対象が、人、車両、静止物などのいずれであるかよって異なるので、高精度観測対象の種別を参照することにより、対象将来存在領域の将来の移動先の範囲を予測することができる。従って、本発明のシステムの一つの態様に於いては、高精度観測対象特定手段が更に高精度観測対象の種別を検出するよう構成され、対象存在領域予測手段が、所定の範囲内に於ける高精度観測対象の存在領域の位置又は範囲と更に検出された高精度観測対象の種別とに基づいて、対象将来存在領域の車両から見た位置又は範囲を予測するよう構成されていてよい。具体的には、例えば、高精度観測対象が人の場合は、高精度観測対象が車両の場合に比して、時間経過に伴う移動距離が短いなど、高精度観測対象の種別によって、将来の時点に於いて対象が存在し得る領域の大きさは異なる。従って、対象存在領域予測手段が、高精度観測対象の種別によって大きさの異なる対象将来存在領域を予測するよう構成されていてよい。かかる構成により、高精度観測対象の種別に応じて、より精度良く、対象将来存在領域の位置又は範囲が予測可能となることが期待される。

また、車両から見た対象将来存在領域の位置又は範囲は、第一のセンサによる観測後から第二のセンサの観測時までの間の車両の移動距離によって、また更に旋回角（ヨー角変化）によって変化する。そして、かかる車両の移動距離は、車両の車速或いは任意の手法（例えば、ＧＰＳ情報を用いた手法）により決定可能であり、車両の旋回角は、車輪舵角、操舵角、ヨーレート或いは更にヨー角加速度などの旋回角を決定する値（旋回状態値）或いは任意の手法（例えば、ＧＰＳ情報を用いた手法）により決定可能である。従って、本発明のシステムの一つの態様に於いては、車両の車速若しくは移動距離又は更に旋回状態値若しくは旋回角を取得する車両運動状態取得手段が設けられ、対象存在領域予測手段が、所定の範囲内に於ける高精度観測対象の存在領域の位置又は範囲と更に車両の移動距離又は更に旋回角とに基づいて、或いは、所定の範囲内に於ける高精度観測対象の存在領域の位置又は範囲と高精度観測対象の種別と更に車両の移動距離又は更に旋回角とに基づいて対象将来存在領域の車両から見た位置又は範囲を予測するよう構成されていてよい。これにより、対象将来存在領域の位置又は範囲が、第一のセンサによる観測後から第二のセンサの観測時までの間の車両の移動距離又は更に旋回方向も考慮して予測されることにより、対象将来存在領域の位置又は範囲の精度が更に向上することが期待される。

更に、上記の本発明のシステムに於いて、第一のセンサによる観測に於いて、観測される対象の車両から見た相対速度又は更に相対的な移動方向が検出可能な場合には、かかる相対速度又は相対的な移動方向を用いて、高精度観測対象に特定された対象の将来に於いて存在する可能性のある車両から見た位置又は範囲がより精度良く予測可能である。従って、上記の本発明のシステムに於いて、高精度観測対象特定手段が更に高精度観測対象の車両から見た相対速度又は更に相対的な移動方向を検出するよう構成されている場合には、対象存在領域予測手段は、所定の範囲内に於ける高精度観測対象の存在領域の位置又は範囲と更に検出された高精度観測対象の相対速度又は更に相対的な移動方向とに基づいて、対象将来存在領域の車両から見た位置又は範囲を予測するよう構成されていてよい。また、車両から見た高精度観測対象の位置は、第一のセンサによる観測後から第二のセンサの観測時までの間の車両の旋回角によって変わるので、車両の旋回状態値若しくは旋回角を取得する車両運動状態取得手段が設けられ、更に、対象存在領域予測手段は、所定の範囲内に於ける高精度観測対象の存在領域の位置又は範囲と更に検出された高精度観測対象の相対速度又は更に相対的な移動方向と更に車両の旋回角に基づいて、対象将来存在領域の車両から見た位置又は範囲を予測するよう構成されていてよい。

ところで、既に触れた如く、本発明のシステムに於いて、高精度観測対象の特定は、観測結果の利用目的に応じて任意の態様にて決定されてよいところ、特に、観測結果を車両の運転支援や自動運転による走行制御のために利用する場合、車両周囲の広範囲の観測で検知された各対象の、車両の走行に影響を及ぼすそれぞれの度合が、各対象が高精度に観測したい対象となるかどうかの判断基準となる。そこで、本発明のシステムの高精度観測対象特定手段に於いて、第一のセンサにより観測された所定の範囲内に於いて検知された対象の脅威度、即ち、車両の走行に影響を及ぼす度合を決定する検知物体脅威度決定手段を含み、高精度観測対象を各対象の脅威度に基づいて決定するよう構成されていてよい。通常、脅威度の高い対象ほど、高精度に観測する必要性が高くなるので、上記の構成に於いて、高精度観測対象特定手段は、脅威度の高い方から少なくとも一つの対象を高精度観測対象として選定するよう構成されていてよい。

かくして、上記の本発明によれば、粗測センサと精測センサとを用いて車両の周囲を観測する車載センサシステムに於いて、センサで検知される対象又は車両自体が移動する場合でも、粗測センサによる車両の周囲の広範囲の観測で特定された、より高精度にて観測したい対象の精測センサによる観測が、より確実に実行されることが期待される。本発明のシステムでは、車両の周囲の全てを高精度に観測するのではなく、高精度の観測対象を、観測の目的に照らして重要な或いは必要な対象に絞ることにより、より短時間にて且つより確実に高精度の観測が達成できることが期待されるので、本発明のシステムは、車両の運転支援制御や自動運転制御などに於いて、車両の周囲の状況を迅速に且つ効率的に把握するために有利に採用されてよい。

本発明のその他の目的及び利点は、以下の本発明の好ましい実施形態の説明により明らかになるであろう。

図１（Ａ）は、本発明による車載センサシステムの好ましい実施形態が適用される車両の模式図である。図１（Ｂ）は、本発明による車載センサシステムの一つの実施形態に於けるシステムの構成をブロック図の形式にて表した図である。 図２（Ａ）、（Ｂ）は、本実施形態の車載センサシステムに於ける車両の周囲の状況の観測に於けるシステムの作動をフローチャートの形式で表した図である。（Ａ）は、高精度観測対象の種別に基づいて、その移動先を予測する場合であり、（Ｂ）は、高精度観測対象と車両との相対速度に基づいて、その移動先を予測する場合である。 図３（Ａ）～図３（Ｄ）は、本実施形態の車載センサシステムにより観測される対象と車両との位置関係を示す平面図であって、高精度観測対象の種別に基づいてその移動先である将来存在領域を予測し、精測センサによる観測範囲を決定する処理を説明する図である。 図４（Ａ）～図４（Ｄ）は、本実施形態の車載センサシステムにより観測される対象と車両との位置関係を示す平面図であって、高精度観測対象の、車両との相対速度に基づいてその移動先である将来存在領域の予測し、精測センサによる観測範囲を決定する処理を説明する図である。

１０…車両
１２…観測制御装置
１４…粗測センサ（カメラなど）
１６…精測センサ（レーダーなど）
ｏｂ…対象

車載センサシステムの構成
図１（Ａ）を参照して、本発明の車載センサシステムの好ましい実施形態は、自動車等の車両１０に於いて、その周囲の状況を、第一の分解能にて観測するための粗測センサ１４と、第一の分解能より高い第二の分解能にて観測するための精測センサ１６と、粗測センサ１４及び精測センサ１６の作動を制御すると共に、粗測センサ１４及び精測センサ１６からの信号を受信して、それらから、他車、道路脇の建物、壁、塀、ガードレール、柱、駐車車両、歩行者等（歩行者、自転車）道路端、道路白線、黄線などの路面表示、信号などの対象の有無、それらの位置又は存在範囲、速度、移動方向、或いは、種別を検出し認識して、その結果を出力する観測制御装置１２とを有する。粗測センサ１４は、典型的には、周囲の状況を撮像するカメラであってよいが、ミリ波レーダー、ライダーなどの電磁波又は光にて周囲を走査して観測するセンサであってもよい。粗測センサ１４は、より具体的には、後述の説明からも理解される如く、車両周囲の観測すべき範囲の全体を網羅的に且つ迅速に観測して、車両の周囲に於いて車両の走行に影響し得る対象の存在を検知することを目的とする。従って、粗測センサ１４としては、その分解能（下記注参照）は、然程に高くなくても良いが、できるだけ短時間に車両周囲の観測すべき範囲全体の観測が可能なものが選択される。一方、精測センサ１６は、典型的には、ミリ波レーダー（フェーズドアレイレーダーなど）、ライダーなどの電磁波又は光にて周囲を走査して観測するセンサであるが、周囲の状況を撮像するカメラであってもよい。精測センサ１６の目的は、後述の説明からも理解される如く、粗測センサ１４による車両周囲の網羅的な観測に於いて検知された対象のうち、運転支援制御や自動運転制御などのために、より詳しく観測したい対象をより高い精度で観測し、認識することである。従って、精測センサ１６としては、或る特定の領域又は対象を観測する場合に、その観測・認識の目的に見合う程度の分解能にてその特定の領域又は対象の観測を達成できるものが選択される。実際に使用する粗測センサ１４、精測センサ１６は、車両の設計、費用等に応じて適宜選択されてよい。なお、粗測センサ１４、精測センサ１６の視野又は観測範囲は、車両の前方、側方及び後方のそれぞれを観測できるように適宜設定されてよい。
（注）粗測センサ１４、精測センサ１６の分解能とは、空間分解能或いは角度分解能であってよい。空間分解能は、各センサで観測される空間に於ける識別可能な２点間の距離の限界を表す。角度分解能は、各センサで観測される視野に於ける識別可能な２点間の角度の限界を表す。分解能が高いとは、識別可能な２点間の距離又は角度が小さいことを表している。

観測制御装置１２は、コンピュータにより実現されてよく、通常の形式の、双方向コモン・バスにより相互に連結されたＣＰＵ、ＲＯＭ、ＲＡＭ及び入出力ポート装置を有するコンピュータ及び駆動回路を含んでいてよい。後に説明される観測制御装置１２に於ける各部の構成及び作動は、それぞれ、プログラムに従ったコンピュータの作動により実現されてよい。

図１（Ｂ）を参照して、観測制御装置１２には、より詳細には、粗測センサ１４及び精測センサ１６からの観測データの他に、車速（車輪速などから算出）、操舵角又はヨーレートなどの車両の運動状態を表す情報が入力されてよい。或いは、図示していないが、ＧＰＳ情報から車両の移動距離、旋回角（ヨー角変化）が取得されるようになっていてもよい。（車速、操舵角又はヨーレート、車両の移動距離、旋回角などの車両の運動状態を表わす情報を「車両運動状態情報」と総称する。）。粗測センサ１４から観測データ（例えば、輝度信号）は、観測制御装置１２に受信されると、まず、画像などの観測範囲内の対象の認識が可能なデータ形式に変換される（画像合成部）。なお、ここで得られるデータの観測範囲は、車両周囲の観測したい範囲全域であってよい。その後、対象認識部が、上記の画像等の形式のデータの観測範囲内に於いて、対象を検出・認識し、（車両から見た）その位置、存在範囲、種別、速度、移動方向などが、粗測センサ１４の分解能にて検出される。しかる後、高精度観測対象将来存在領域予測部は、後に説明される態様にて、検出された対象のうちで、高精度観測対象（より高精度に観測したい対象）を決定し、その高精度観測対象の検出位置、その種別、車両運動状態情報などを用いて、高精度観測対象の将来（精測センサの観測時）の移動先である対象将来存在領域の予測を実行する。なお、高精度観測対象と対象将来存在領域とは、複数であってもよい。

上記の如く、高精度観測対象とその対象将来存在領域が決定されると、その情報は精測センサ１６へ与えられ、かかる対象将来存在領域に於いて、より高い分解能の観測が精測センサ１６により実行される。そこで得られた観測データ（反射波強度信号など）は、観測制御装置１２の観測結果処理部へ送られ、そこに於いて、対象の認識が可能なデータ形式に変換される。そして、対象認識部が、上記の対象の認識が可能なデータ形式を用いて、対象将来存在領域内に於いて対象を検出・認識し、（車両から見た）その位置、存在範囲、種別、速度、移動方向などが、精測センサ１６の分解能にて検出される。

かくして、粗測センサ１４の観測により検出・認識された車両周囲の網羅的な情報と、精測センサ１６の観測により得られた高精度観測対象についてのより精度の高い認識情報とが、観測結果統合出力部へ与えられ、そこから、車両周囲の状況及び対象の情報が運転支援制御や自動運転制御に於いて利用されるべく、対応する制御装置へ送出されるようになっていてよい。

システムの作動
（１）概要
「発明の概要」の欄に於いても述べた如く、運転支援制御或いは自動運転制御などに、車両の周囲の状況の観測情報を利用する場合、そこで観測された範囲内の対象の位置又は存在範囲、種別、速度、移動方向などの情報は、より高精度に検出・認識されることが好ましいが、観測の精度が高くなるほど、観測に要する時間が長くなるので、車両の走行中などに於いては、車両周囲の観測したい範囲全域を高精度に観測するのに十分な時間を確保できない場合がある。一方、運転支援制御或いは自動運転制御などで高精度の情報が欲しい対象は、通常は、車両周囲の観測したい範囲の一部に存在するので、高精度の情報が欲しい対象の概ねの位置が把握できれば、高精度の観測は、かかる高精度の情報が欲しい対象に於いて実施できれば十分な場合がある。そこで、本実施形態にシステムに於いては、先の特願の如く、車両周囲の観測したい範囲全域の観測は、車両の運動の速さを考慮して、観測範囲内の対象の有無、位置、又は存在範囲、種別、速度、移動方向などの情報が或る程度の分解能で得られるように迅速に実行し、高分解能での観測は、特に高精度に観測したい対象に絞って実行し、これにより、観測時間全体を抑制しつつ、運転支援制御或いは自動運転制御などに於いて好ましい高精度の情報を得ることが試みられる。

しかしながら、上記の如く、粗測センサによる車両周囲の観測したい範囲全域の観測を行い、そこに於いて、観測範囲内の対象を認識し、高精度観測対象を特定してから、精測センサで観測を開始するまでには、或る程度の時間を要する。そして、その時間の経過のうちに、高精度観測対象或いは車両が移動し或いは向きが変わる場合には、図３（Ａ）～（Ｂ）、図４（Ａ）～（Ｂ）に模式的に描かれている如く、高精度観測対象（ｏｂ）は、車両（１０）から見た粗測センサの観測範囲で特定された位置から移動してしまい、粗測センサの観測範囲で特定された位置に於いて、精測センサの観測を実施しても、高精度観測対象ができなくなってしまう場合がある（図３（Ｃ）、図４（Ｃ））。そこで、本実施形態のシステムは、粗測センサの観測範囲で高精度観測対象を特定した後、精測センサの観測の実行時に於ける高精度観測対象の移動先（対象将来存在領域）を予測又は推定し、その予測又は推定された対象将来存在領域に於いて精測センサの観測を実行し、より確実に高精度観測対象の観測を達成するよう構成される。

（２）観測処理作動
図２を参照して、概して述べれば、本実施形態のシステムの作動に於いては、次の処理が順に実行される。
（ｉ）粗測センサによる車両周囲の観測範囲全域の観測（ステップ１）
（ii）観測範囲内の対象の認識（ステップ２）
（iii）高精度観測対象の決定（ステップ３）
（iv）高精度観測対象の将来存在領域の予測（ステップ４～６）
（ｖ）精測センサによる対象将来存在領域の観測（ステップ７）
（vi）対象将来存在範囲内の対象の認識（ステップ８）
（vii）観測結果の出力（ステップ９）
以下、上記の処理について順々に説明する。

（ｉ）粗測センサによる車両周囲の観測範囲全域の観測（ステップ１）
粗測センサによる観測は、既に触れた如く、典型的には、例えば、カメラの撮像により、車両周囲の観測したい範囲、車両の前方、左右方向、後方に於いて、それぞれ、できるだけ迅速に、通常の態様にて実行されてよい。ここで要求される分解能は、観測範囲内に於いて対象の有無が識別でき、或る程度の精度にて位置又は存在範囲が検出できる程度でよい。粗測センサに於いて得られたデータ（通常は、輝度データ又は強度データ）は、画像生成部に於いて、二次元（又は三次元）の画像データに生成されてよい。

（ii）観測範囲内の対象の認識（ステップ２）
画像生成部に於いて得られた画像データに於いて、対象、即ち、他車、道路脇の建物、壁、塀、ガードレール、柱、駐車車両、歩行者等（歩行者、自転車）道路端、道路白線、黄線などの路面表示、信号などの像が認識され、かかる対象の位置又は存在範囲が（粗測センサの分解能にて）検出される。また、後に説明される如く、ここに於いて、対象の上記の如き種別、或いは、（車両から見た）移動速度及び移動方向が検出されてよい。対象は観測範囲内に於いて、複数、認識されてよい。対象の認識、検出は、任意の画像認識技術などを用いて達成可能である。

（iii）高精度観測対象の決定（ステップ３）
ステップ２に於いて、粗測センサの観測範囲内で認識された対象のうち、特に高精度に観測したい対象は、観測結果の利用目的に応じて任意の手法で決定されてよい。例えば、観測結果を衝突回避のための運転支援制御や自動運転制御に利用する場合には、車両から対象までの距離、対象の移動方向、対象の種別を参照して、車両のその後の走行に影響が大きい対象が高精度観測対象として選択されてよい。一つの態様に於いては、観測範囲内で認識された対象のそれぞれに、車両までの距離が近いほど、移動方向が車両の進行路と交差する可能性が高いほど、移動速度が高いほど、或いは、対象が静止物、他車、人の順に、車両の走行に対する脅威が大きくなる（注意の必要性が高くなる）と想定して、高くなる脅威度を付与し、各対象の脅威度を総計し、その脅威度で対象を順位付けし、順位の高い方から、優先的に観測する高精度観測対象として決定するといった手法が考えられる。なお、或る観測範囲内で、高精度観測対象として、複数の対象が選択されてよい。

（iv）高精度観測対象の将来存在領域の予測（ステップ４～６）
上記の如く、高精度観測対象が決定されると、その高精度観測対象の将来の、より具体的には、精測センサの観測が実行される時の、移動先、即ち、対象将来存在領域が予測される。対象将来存在領域の予測は、種々の態様にて達成されてよく、例えば、以下の如く、達成可能である。

（ａ）高精度観測対象の種別を参照した対象将来存在領域の予測
一つの態様に於いては、高精度観測対象の種別によって対象将来存在領域が予測されてよい。この場合、端的に述べれば、高精度観測対象の種別に応じて予測される移動速度に基づいて、その観測位置からの移動可能範囲が算出され、対象将来存在領域として予測される。また、更に、車両の運動情報を用いて、車両の精測センサの観測時の予測位置が求められ、対象将来存在領域は、その車両の予測位置から見た位置に修正され、更に、その対象将来存在領域を観測するための車両から見た角度範囲が決定されてよい。

具体的には、まず、図３（Ａ）を参照して、粗測センサ１４の観測範囲ｃｓに於いて認識された対象ｏｂがステップ３にて高精度観測対象として決定されると、高精度観測対象ｏｂの、車両１０から見た（車両に固定したＸ－Ｙ座標空間に於ける）距離ｒ_ｏと方向θ_ｏ（Ｘ軸からの角度）から、高精度観測対象ｏｂの中心位置Ｘ_ｏｂが、
Ｘ_ｏｂ＝（ｒ_ｏｃｏｓθ_ｏ，ｒ_ｏｓｉｎθ_ｏ） …（１）
と決定される。ここで、高精度観測対象ｏｂに想定される移動速度の最高値ｖ_maxを用い、粗測センサの観測時ｔ１から精測センサの観測時ｔ２までの時間をΔｔとすると、時間Δｔに於ける高精度観測対象ｏｂの移動先は、図３（Ａ）の如く、位置Ｘ_ｏｂを中心として半径ｖ_maxΔｔの円上又はその内側となることが予想される。なお、ここで、高精度観測対象ｏｂの最高移動速度ｖ_maxは、高精度観測対象ｏｂの種別、即ち、高精度観測対象ｏｂが人、自転車、自動車、オートバイなどのいずれかであるかによって決まると考えられる。例えば、最高移動速度ｖ_maxは、
人：０ｋｍ／ｈ（殆ど移動しないとみなされる。）
自転車：２０ｋｍ／ｈ
自動車：１００ｋｍ／ｈ
オートバイ：８０ｋｍ／ｈ
などと想定されてよい。かくして、高精度観測対象ｏｂの将来の移動範囲は、
{(Ｙ-ｒ_ｏｃｏｓθ_ｏ)^２＋(Ｘ-ｒ_ｏｓｉｎθ_ｏ)^２}^1/2＝ｖ_maxΔｔ …（２）
の円上又はその内側と予測することができる（ステップ４）。即ち、高精度観測対象の種別によって大きさの異なる対象将来存在範囲が予測されてよい。車両１０の運動を考慮しないときは、この将来移動範囲を対象将来存在領域としてよい。

そして、更に、車両１０の運動情報を取得し（ステップ５）、上記の高精度観測対象ｏｂの予測された将来の移動範囲を車両１０の運動情報に基づいて修正すると、対象将来存在領域の確度が向上される。具体的には、例えば、車両１０が、図３（Ｂ）に示されている如く、車速Ｖ_ｃ、ヨーレート初期値γ_ｏ、ヨー角加速度ａ_ｃにて運動しているとすると、時刻ｔ２の車両１０のヨー角Ψ_ｆ、位置Ｘ_ｖｆ(x_ｖｆ, y_ｖｆ)は、移動前の座標で下記の如く表される。
Ψ_ｆ＝γ_ｏΔｔ＋ａ_ｃΔｔ²/2 …（３ａ）
x_ｖｆ＝∫Ｖ_ｃ・cosΨｆ(t)dt …（３ｂ）
y_ｖｆ＝∫Ｖ_ｃ・sinΨｆ(t)dt …（３ｃ）
（積分区間は、［０，Δｔ］である。）
ここで、時間ｔ２の車両１０から見た高精度観測対象ｏｂの中心位置Ｘ_ｏｂf(x_obf,y_obf)は、式（３ａ）～（３ｃ）を用いて、Ｘ－Ｙ座標からＸｆ－Ｙｆ座標に変換することにより、下記の如く表わされる。

かくして、時間ｔ_ｏ後の車両１０から見た高精度観測対象ｏｂの対象将来存在領域は、
{(Ｙ_f-y_obf)^２＋(Ｘ_f-x_obf)^２}^1/2＝ｖ_maxΔｔ …（５）
の円上と予測することができる。即ち、図３（Ｃ）に描かれている如く、車両の運動を考慮すると、車両１０から見た高精度観測対象ｏｂの対象将来存在領域は、粗測センサの観測時の円Ｗから円Ｗ_ｆへ移動することとなり、円Ｗ_ｆ上とその内側が車両の運動を考慮した場合の対象将来存在領域として予測されることとなる（ステップ６）。

かくして、図３（Ｄ）に示されている如く、精測センサ１６で観測すべき範囲は、円Ｗｆを見込む角度範囲ｐｓとなり、角度範囲ｐｓは、円ＷｆのＸｆ－Ｙｆ座標を極座標に変換したときの角度φ_ｍａｘ～φ_ｍｉｎの間となる。式（５）の円上の角度座標φと、Ｘ_ｆの値域は、

x_obf－ｖ_maxΔｔ≦Ｘ_ｆ≦x_obf＋ｖ_maxΔｔ …（６ａ）
により与えられるので、値域（６ａ）の範囲に於ける式（６）の角度座標φの最大値φ_ｍａｘと最小値φ_ｍｉｎとを算出することにより、精測センサ１６で観測すべき角度範囲ｐｓを決定することが可能となる。

なお、上記の対象将来存在領域の予測に於いて、ＧＰＳ情報などから時間Δｔに於ける車両の移動距離x_ｖｆ、y_ｖｆ又は旋回角Ψ_ｆがリアルタイムに取得可能であるときに、それらの取得された値が式（３ａ）～（３ｃ）の演算に換えて利用されてもよい。また、時間Δｔに於ける旋回角Ψ_ｆが無視できる程度であれば、式（４）に於ける座標の回転演算は、実行されなくてよい。ｖ_max＝０の場合には、対象将来存在領域は、対象の大きさｄの範囲として予測されてよい。

（ｂ）高精度観測対象の速度を用いた対象将来存在領域の予測
別の態様に於いては、粗測センサの観測に於いて、車両から見た対象の速度と移動方向とが検出できるとき（対象のｘ方向とｙ方向の相対速度が別々に検出できるときでよい。）には（図２（Ｂ）－ステップ２）、高精度観測対象の運動と車両の運動とを考慮して、対象将来存在領域が予測されてよい。この場合、端的に述べれば、車両１０に固定した座標空間に於ける高精度観測対象の速度（ｘ方向とｙ方向の相対速度）と車両の旋回角（図２（Ｂ）ステップ５に於いて取得）に基づいて、その観測位置からの移動先が対象将来存在領域として予測される（ステップ６）。

具体的には、図４（Ａ）を参照して、（（ａ）の場合と同様に、）粗測センサ１４の観測範囲ｃｓに於いて認識された対象ｏｂが高精度観測対象として決定されると、高精度観測対象ｏｂの、車両１０から見た（車両に固定したＸ－Ｙ座標空間に於ける）距離ｒ_ｏと方向θ_ｏ（Ｘ軸からの角度）から、高精度観測対象ｏｂの位置Ｘ_ｏｂが、式（１）と同様に決定される。ここで、高精度観測対象ｏｂは、車両１０に対して速度ｖ（ｖ_ｘ，ｖ_ｙ）で相対的に運動しているとすると、図４（Ｂ）に示されている如く粗測センサの観測時ｔ１から精測センサの観測時ｔ２までの時間Δｔに於いて、高精度観測対象ｏｂは、式（１）の位置から（ｖ_ｘΔｔ，ｖ_ｙΔｔ）だけ移動することとなる（図中、ob_fの位置）。また、その間に、車両１０が、ヨーレート初期値γ_ｏ、ヨー角加速度ａ_ｃにて旋回運動しているとすると、時刻ｔ２の車両１０のヨー角Ψｆは、式（３ａ）により与えられる。従って、時刻ｔ２の車両１０から見た高精度観測対象ｏｂの位置ｏｂ_f(x_f,y_f)は、ヨー角Ψ_ｆを用いて、Ｘ－Ｙ座標からＸｆ－Ｙｆ座標に変換することにより、下記の如く表わされる。

かくして、高精度観測対象ｏｂは、精測センサの観測時ｔ２に於いては、車両１０から見て、図４（Ｃ）の位置ob_fへ移動することとなり、高精度観測対象ｏｂの対象将来存在領域は、位置ｏｂ_f(x_obf,y_obf)を中心とした高精度観測対象ｏｂの大きさｄの範囲と予測できることとなる。精測センサ１６で実際に観測すべき範囲は、図４（Ｄ）に示されている如く、高精度観測対象ｏｂ_fの大きさｄを見込む角度範囲ｐｓとなり、角度範囲ｐｓは、Ｘｆ－Ｙｆ座標を極座標に変換したときの角度φ_ｍｉｎ～φ_ｍａｘの間となる。ここで、高精度観測対象ｏｂ_fの中心位置の極座標（ｒ_ｆ,φ_ｆ）は、
ｒ_ｆ＝（x_obf ²＋y_obf ²）^1/2 …（８a）
φ_ｆ＝tan^-1(y_obf/x_obf) …（８ｂ）
となるので、結局、精測センサ１６で観測すべき角度範囲ｐｓは、
φ_ｍｉｎ＝φ_ｆ－tan^-1(d/(2r_f)) …（９ａ）
φ_ｍａｘ＝φ_ｆ＋tan^-1(d/(2r_f)) …（９ｂ）
の間と決定することができる。

なお、上記の対象将来存在領域の予測に於いて、ＧＰＳ情報などから時間Δｔに於ける車両の旋回角Ψ_ｆがリアルタイムに取得可能であるときに、かかる取得された値が式（３ａ）の演算に換えて利用されてもよい。また、時間Δｔに於ける旋回角Ψ_ｆが無視できる程度であれば、式（７）に於ける座標の回転演算は、実行されなくてよい。

（ｖ）精測センサによる対象将来存在領域の観測（ステップ７）
上記の如く、対象将来存在領域が予測され、それを見込む角度範囲ｐｓが決定されると、精測センサにより角度範囲ｐｓの観測が実行される。ここで要求される分解能は、運転支援制御又は自動運転制御に於いて利用する情報として許容又は満足される程度であることが好ましい。

（vi）対象将来存在範囲内の対象の認識（ステップ８）
精測センサに於いて得られたデータ（通常は、強度データ又は輝度データ）は、観測結果処理部へ送られ、そこに於いて、対象の認識が可能なデータ形式に変換処理されてよい。そして、対象認識部は、観測結果処理部にて得られたデータに於いて、高精度観測対象の認識、より具体的には、粗測センサで得られるよりも更に高精度にて、位置又は存在範囲、種別の特定、移動速度、移動方向の検出が実行される。

（vii）観測結果の出力（ステップ９）
上記の粗測センサの観測と精測センサの観測を通じて、認識・検出された対象の情報は適宜統合されて、運転支援制御や自動運転制御に於いて利用される如く、対応する制御装置へ出力されてよい。

かくして、上記の例の如く、本実施形態のシステムによれば、粗測センサと精測センサとを用いて車両の周囲を観測する車載センサシステムに於いて、センサで検知される対象又は車両自体の運動を考慮して、精測センサにて観測しようとする対象の位置又は存在領域を予測し、その予測された位置又は存在領域にて精測センサの観測を実施するので、高精度にて観測したい対象の観測がより確実に実行されることが期待される。本実施形態のシステムにより取得された車両周囲の情報は、車両の運転支援制御や自動運転制御などに於いて有利に用いられてよい。

以上の説明は、本発明の実施の形態に関連してなされているが、当業者にとつて多くの修正及び変更が容易に可能であり、本発明は、上記に例示された実施形態のみに限定されるものではなく、本発明の概念から逸脱することなく種々の装置に適用されることは明らかであろう。

Claims (10)

1. 車両の周囲の状況を観測する車載センサシステムであって、
   第一の分解能にて前記車両の周囲に於ける所定の範囲を観測する第一のセンサと、
   前記第一のセンサにより観測された前記所定の範囲内に於いて検知された対象にして前記第一の分解能よりも高い第二の分解能にて観測したい対象である高精度観測対象を特定する高精度観測対象特定手段と、
   前記高精度観測対象が存在する可能性のある前記車両から見た前記所定の範囲よりも狭い対象将来存在領域の範囲を予測する対象存在領域予測手段と、
   前記第二の分解能にて前記対象将来存在領域の範囲を観測する第二のセンサと、
   前記第二のセンサにて観測された前記高精度観測対象の情報を出力する対象情報出力手段と
   を含み、
   前記対象将来存在領域の範囲が、前記高精度観測対象の特定後に於いて前記第一のセンサによる観測後から前記第二のセンサの観測開始可能となるまでの時間が経過した時点以降にして前記第二のセンサの観測の実行時に、前記高精度観測対象が存在する可能性のある範囲であるシステム。
2. 請求項１のシステムであって、前記高精度観測対象特定手段が前記第一のセンサにより観測された前記所定の範囲内に於ける前記高精度観測対象の存在領域の位置又は範囲を検出するよう構成され、前記対象存在領域予測手段が、前記所定の範囲内に於ける前記高精度観測対象の前記存在位置又は範囲に基づいて、前記対象将来存在領域の前記車両から見た位置又は範囲を予測するよう構成されているシステム。
3. 請求項２のシステムであって、前記高精度観測対象特定手段が更に前記高精度観測対象の種別を検出するよう構成され、前記対象存在領域予測手段が、前記所定の範囲内に於ける前記高精度観測対象の前記存在領域の位置又は範囲と更に前記検出された前記高精度観測対象の種別とに基づいて、前記対象将来存在領域の前記車両から見た位置又は範囲を予測するよう構成されているシステム。
4. 請求項２又は３のシステムであって、前記車両の車速若しくは移動距離又は更に旋回状態値若しくは旋回角を取得する車両運動状態取得手段を含み、前記対象存在領域予測手段が、前記所定の範囲内に於ける前記高精度観測対象の前記存在領域の位置又は範囲と更に前記車両の車速若しくは移動距離又は更に旋回状態値若しくは旋回角とに基づいて前記対象将来存在領域の前記車両から見た位置又は範囲を予測するよう構成されているシステム。
5. 請求項３又は４のシステムであって、前記対象存在領域予測手段が、前記高精度観測対象の種別によって大きさの異なる前記対象将来存在領域を予測するよう構成されているシステム。
6. 請求項２のシステムであって、前記高精度観測対象特定手段が更に前記高精度観測対象の車両から見た相対速度又は更に相対的な移動方向を検出するよう構成され、前記対象存在領域予測手段が、前記所定の範囲内に於ける前記高精度観測対象の前記存在領域の位置又は範囲と更に前記検出された前記高精度観測対象の前記相対速度と又は更に相対的な移動方向とに基づいて、前記対象将来存在領域の前記車両から見た位置又は範囲を予測するよう構成されているシステム。
7. 請求項６のシステムであって、前記車両の旋回状態値若しくは旋回角を取得する車両運動状態取得手段を含み、前記対象存在領域予測手段が、前記所定の範囲内に於ける前記高精度観測対象の前記存在領域の位置又は範囲と、更に前記高精度観測対象の前記相対速度と又は更に相対的な移動方向と、更に前記車両の旋回状態値若しくは旋回角とに基づいて前記対象将来存在領域の前記車両から見た位置又は範囲を予測するよう構成されているシステム。
8. 請求項１のシステムであって、前記高精度観測対象特定手段が前記第一のセンサにより観測された前記所定の範囲内に於いて検知された対象の、車両の走行に影響を及ぼす度合を表す脅威度を決定する検知物体脅威度決定手段を含み、前記高精度観測対象を前記対象の脅威度に基づいて決定するよう構成されているシステム。
9. 請求項８のシステムであって、前記高精度観測対象特定手段が脅威度の高い方から少なくとも一つの対象を前記高精度観測対象として選定するよう構成されているシステム。
10. 請求項１乃至９のいずれかのシステムであって、前記第一及び第二のセンサがカメラ、ミリ波レーダー及びライダーのうちから選択されたセンサであるシステム。

Images