JPWO2020075476A1 - 車載システム - Google Patents

Abstract

ステレオ視の際に距離測定の画角、検出可能な距離を適切に制御することで、低コスト化と多様なセンサ構成の適合が可能な車載システムを提供する。車両周辺の観測対象物を検出する少なくとも一つのセンサを備える外界検出部と、外界検出部の検出結果に基づいて車両の周辺環境を認識する外界認識部と、外界認識部の認識結果に基づいて車両の軌道計画を生成する車両計画判断部と、車両計画判断部の軌道計画に基づいて車両の挙動を制御する車両制御部と、を有する車載システムであって、外界検出部は、センサとしてステレオ視によって観測対象物を検出する画像処理装置を備え、画像処理装置は、車両計画判断部の軌道計画、外界検出部のセンサ構成情報、又は外界検出部の検出結果に対するセンサ信頼度の少なくとも一つに基づいてステレオ視の範囲を変更する。

Description

本発明は、車載システムに係り、特にステレオ視における画像処理技術を用いた車載システムに関する。

画像を用いた３次元計測技術として、ステレオカメラで撮像した画像から対象物の距離を求めるステレオ視の技術が知られている。図１７にステレオ視の原理を示す。ここでは、説明の簡単化のため、２台のカメラの仕様は同一であり、その光軸はｘｚ平面に平行である（ｙ座標は同一であり、図示しない）ものとする。２台のカメラ間の基線長をｂ、カメラの焦点距離をｆとすると、対象物Ｐのｚ軸方向の距離ｚｄは以下の計算式（１）から求めることができる。
（数１）
ｚｄ＝ｂ×ｆ／（ｘｌ−ｘｒ） ・・・（１）
ここで、ｘｌ、ｘｒは２台のカメラの画像上に投影される対象物Ｐのｘ座標（画素位置）であり、画素位置の差分（ｘｌ−ｘｒ）を視差と呼ぶ。

上記のようにステレオ視では視差に基づき対象物の距離を求めるため、対象物に対する画像間での正しい対応点（ｘｌ、ｘｒ）を検出する必要がある。この対応点の検出には、あるカメラの画像を基準画像、他のカメラの画像を探索対象画像とし、基準画像内の複数画素領域からなる画素ブロックに対して、探索対象画像内の最も相関の高い画素ブロックを探索する手法が一般に利用されている。画素ブロックの相関値の計算には例えばＳＡＤ（Sum of Absolute Difference）やＳＳＤ（Sum of Squared Difference）等の方式がある。

画素ブロック探索の処理時間は、相関値の計算量、距離測定の画角、検出可能な距離に依存する。距離測定の画角は基準画像内における画素領域（水平画素数×垂直画素数）で決まり、検出可能な距離は探索対象画像内における画素探索幅（水平画素数）で決まる。このため、広い画角内で近距離から遠距離までの対象物を検出するには処理時間が多くかかる。特に、近年では運転支援や自動運転の要求が高まっているが、撮像から認識までに高いリアルタイム性が要求される運転支援や自動運転の用途では、その処理時間削減が重要な課題となる。下記特許文献１では、走行状態や周辺環境に応じて距離測定の画角を変更する技術が開示されている。具体的には、車速が高速の場合に自動車専用道路を走行中の可能性が高いと想定して距離測定の画角を狭めたり、自車位置と地図情報から得られる道路の屈曲に合わせて距離測定の画角を変えたりすることで処理時間の短縮を図ることが示されている。

特開２０１７−１２９５４３号公報

上記特許文献１で開示される従来技術は、現在の車速や位置情報に基づいて距離測定の画角を変更する手法であるが、車速が低速、自車位置が交差点、といった一般道で多く見受けられる状況において距離測定の画角を変更できない。また、自車や他車（自車周辺の車両）の将来の挙動を考慮せずに距離測定の画角を変更することは危険であり、結果として処理時間削減の効果が得られないことが多い。このため、高い処理能力または回路規模を有する演算回路を使用しなければならず、製品コストが増加してしまう。また、別の視点の課題としては、高度運転支援や自動運転の実現手段としてステレオカメラを含む複数のセンサを車両に搭載することが想定される。この場合、その要件や要件に基づく構成は車種やオプションによって異なるため、各構成において適した距離測定の画角、検出可能な距離（以降、画角と距離を合わせて範囲と記載することがある）を提供できるステレオカメラ及びその制御技術が要求される。

本発明は、上記事情に鑑みてなされたものであり、その目的は、ステレオ視の際に距離測定の画角、検出可能な距離を適切に制御することで、低コスト化と多様なセンサ構成の適合が可能な車載システムを提供することにある。

上記課題を解決するために、本発明の一実施形態に係る車載システムは、車両周辺の観測対象物を検出する少なくとも一つのセンサを備える外界検出部と、前記外界検出部の検出結果に基づいて車両の周辺環境を認識する外界認識部と、前記外界認識部の認識結果に基づいて車両の軌道計画を生成する車両計画判断部と、前記車両計画判断部の軌道計画に基づいて車両の挙動を制御する車両制御部と、を有する車載システムであって、前記外界検出部は、前記センサとしてステレオ視によって観測対象物を検出する画像処理装置を備え、前記画像処理装置は、前記車両計画判断部の軌道計画、前記外界検出部のセンサ構成情報、又は前記外界検出部の検出結果に対するセンサ信頼度の少なくとも一つに基づいて前記ステレオ視の範囲を変更する。

本発明によれば、ステレオ視の際に距離測定の画角、検出可能な距離を適切に制御することで、低コスト化と多様なセンサ構成への適合が可能な車載システムを提供することができる。

上記以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の第１の実施形態に係る車載システムの構成例を示す図である。 図１に示す外界検出部の構成例を示す図である。 図２に示す距離検出部の構成例を示す図である。 距離検出部のレジスタ設定と処理時間の関係を示す図である。 画像処理装置でステレオ視可能な範囲と軌道計画の軌道を空間上に例示する図である。 軌道計画に基づいて変更したステレオ視の範囲を空間上に例示する図である。 軌道計画に基づいて変更したステレオ視の範囲を空間上に例示する図である。 本発明の第１の実施形態に係る車載システムにおけるステレオ視の処理負荷を制御する処理フロー例を示すフローチャートである。 本発明の第２、第３の実施形態に係る車載システムの構成例を示す図である。 図９に示す外界検出部の構成例を示す図である。 画像処理装置でステレオ視可能な範囲と他のセンサによって検出可能な範囲と軌道計画の軌道を空間上に例示する図である。 軌道計画とセンサ構成情報に基づいて変更したステレオ視の範囲を空間上に例示する図である。 本発明の第２の実施形態に係る車載システムにおけるステレオ視の処理負荷を制御する処理フロー例を示すフローチャートである。 画像処理装置でステレオ視可能な範囲と他のセンサによって検出可能な範囲と軌道計画の軌道を空間上に例示する図である。 軌道計画とセンサ構成情報とセンサ信頼度に基づいて変更したステレオ視の範囲を空間上に例示する図である。 本発明の第３の実施形態に係る車載システムにおけるステレオ視の処理負荷を制御する処理フロー例を示すフローチャートである。 ステレオ視の原理を示す図である。

以下、本発明の実施形態について図面を参照して説明する。以下の説明では、各処理をプロセッサとメモリを用いて実行されることで実現しているが、プロセッサが行う処理の一部又は全部がハードウェア回路で行われても良い。

また、以下の説明では、同種の要素を区別して説明する場合には、「カメラ部１１０Ａ」、「カメラ部１１０Ｂ」のように、参照符号を使用し、同種の要素を区別しないで説明する場合には、「カメラ部１１０」のように参照符号のうちの共通部分のみを使用することがある。

＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る車載システム１の構成例である。図示実施形態の車載システム１は、外界検出部１０、外界認識部２０、車両計画判断部３０、車両制御部４０で構成され、車両２に搭載される。

図２に、図１に示す外界検出部１０の構成例を示す。外界検出部１０は、本例では、車両２周辺（外界）の観測対象物を検出するためのセンサとして、ステレオ視によって観測対象物を検出・認識する画像処理装置（ステレオカメラともいう）１００を備える。画像処理装置１００は、カメラ部１１０Ａ、１１０Ｂ、画像補正部１２０、距離検出部１３０、画像認識部１４０、画像処理制御部１５０で構成される。画像処理装置１００（のカメラ部１１０Ａ、１１０Ｂ）は、例えば車両２の前方の所定領域を撮像できるようにフロントガラスの手前に設置される。

カメラ部１１０Ａ、１１０Ｂは、例えばＣＣＤやＣＭＯＳイメージセンサで構成され、左右に基線長分離れた位置に配置され（図１７参照）、観測対象物を含む撮像画像を取得して画像補正部１２０に出力する。観測対象物とは、例えば車両、歩行者、自転車、障害物、構造物、道路標識等である。

画像補正部１２０は、カメラ部１１０Ａ、１１０Ｂが出力する撮像画像に対し、ステレオ視において観測対象物を検出しやすくなるよう、例えば画素欠陥の補正、輝度の補正、カメラの歪補正等を実施し、その補正後画像を距離検出部１３０に出力する。これらの機能がカメラ部１１０に備わっている場合は、その機能を利用しても良い。

距離検出部１３０は、画像補正部１２０の出力する補正後画像を用いて、ステレオ視による距離の算出を行い、その結果を距離情報として画像認識部１４０に出力する。この距離の算出には、例えば前述したＳＡＤやＳＳＤ等の方式が用いられる。距離検出部１３０は、図３に示すように、ステレオ視に用いる補正後画像の縮小率を指定するレジスタ１３１と画素領域の位置・大きさを指定するレジスタ１３２、探索時の探索幅を指定するレジスタ１３３と探索画素ピッチを指定するレジスタ１３４、これらのレジスタ設定に従って対応点の検出を行う画素ブロック探索部１３５、検出した対応点から距離を計算する距離計算部１３６を備えている。前述のように画素ブロック探索の処理時間は画素数で決まるため、これらのレジスタ１３１〜１３４の設定により、その処理時間が制御される。ここで、レジスタの設定の一例としては、予め用意した設定値と処理時間の関係を含むテーブル１３７（図４参照）に基づいて行う方法がある。例えば、処理時間がＴ１＜Ｔ２＜Ｔ３の関係であり、処理に割り当て可能な時間がＴ２以下とすると、設定値＃１または＃２の中から、ステレオ視の範囲が最も要求に合致する設定値を選択する。なお、距離検出部１３０におけるレジスタ１３１〜１３４の設定は、後述する画像処理制御部１５０により実行される。

画像認識部１４０は、画像補正部１２０の出力する補正後画像と距離検出部１３０の出力する距離情報に基づいて、観測対象物を検出・認識し、その結果を認識情報として外界認識部２０へ出力する。この認識情報は、検出した観測対象物の位置情報、種類情報、動作情報等を含む。位置情報は、例えば、車両２に対する観測対象物の方向や距離等を表す情報である。種類情報は、例えば、前述の観測対象物を表す情報である。動作情報は、例えば、歩行者や自転車のふらつき、飛び出し、横切り等といった、移動方向、移動速度、移動軌跡等を表す情報である。

画像処理制御部１５０は、画像補正部１２０の出力する補正後画像に基づき、カメラ部１１０、画像補正部１２０の設定を制御する。設定の制御は、例えば、天候や時間の変化によって周囲の明るさが変わった場合に、カメラ部１１０の露光を調整したり、画像補正部１２０の補正値を調整したりするものである。また、画像処理制御部１５０は、車両計画判断部３０の出力する指示情報に基づき（後で詳述）、距離検出部１３０のレジスタ１３１〜１３４に値を設定することで、ステレオ視の範囲を変更し、処理負荷（処理時間）を制御する。処理負荷の制御の一例としては、例えば所定の処理負荷を超えないように制御する方法がある。

図１に示した外界認識部２０は、車両２周辺の地図情報に外界検出部１０の出力する認識情報を結合し、車両２の周辺環境情報を生成して車両計画判断部３０へ出力する。地図情報は、例えば、道路種別、道路形状、交通ルール等である。道路種別とは、道路属性を示す情報であり、例えば、路地、国道、高速道路等である。道路形状とは、道路、道路上、その近傍（歩道等）の空間形状を表現したものであり、例えば、直線路、カーブ路、Ｔ字路、交差点等の形状、それらの路面の車線中心線形状や車線境界線形状、車線分岐・合流点、道路区間内の路肩の形状、車道部境界線形状、停止線形状、横断歩道形状等である。交通ルールとは、車両の走行を制約する情報であり、例えば、信号、速度規制、車線の属性（通行可能方向、バス専用、通行可能時間帯等）、車線境界属性（車線変更可否、追い越し可否等）等が含まれ、基本的に道路種別及び道路形状に紐づいて管理される。なお、地図情報は、車両２に予め記憶されたナビゲーション装置等（図示しない）の地図情報でも良いし、外部から取得した地図情報でも良い。また、外界認識部２０は、外界検出部１０で得られた撮像画像を用いて、車両２の運転者に観測対象物を認識させるための画像表示を行ったり、車両２に搭載されたナビゲーション装置等（図示しない）の情報機器に対して、観測対象物の情報を提供したりしても良い。

車両計画判断部３０は、外界認識部２０の出力する車両２の周辺環境情報と車両制御部４０の出力する車両２の状態情報に基づき、車両２をどのような軌道、速度で制御するかを示す軌道計画を生成する。更に、車両計画判断部３０は、その軌道計画に基づいて、車両制御部４０へ目標制御情報を出力し、外界検出部１０へステレオ視において処理負荷を制御する指示情報を出力する。車両２の状態情報とは、例えば、車両２の車速、加速度、操舵角、ヨーレート等である。

車両制御部４０は、車両計画判断部３０の出力する目標制御情報に基づいて、車両２の挙動制御を（自動的に）行うと共に、車両２の状態情報を車両計画判断部３０へ出力する。車両２の挙動制御とは、例えば、ブレーキ、アクセル、操舵角、各種ランプの点灯、警告音等の制御である。

このように、本第１の実施形態の車載システム１では、車両制御部４０で、車両計画判断部３０の出力する目標制御情報に基づいて車両２の挙動を制御するとともに、車両計画判断部３０は、生成した車両２の軌道計画に基づいてステレオ視において処理負荷を制御する指示情報を生成し、外界検出部１０（の画像処理装置１００の画像処理制御部１５０）は、車両計画判断部３０の出力する指示情報に基づいて距離検出部１３０のレジスタ１３１〜１３４に値を設定する（例えば、テーブル１３７（図４参照）に基づいてステレオ視の範囲が最も要求に合致する設定値を選択する）ことで、ステレオ視の範囲を変更し、処理負荷を制御する。

図５は、外界検出部１０（の画像処理装置１００）でステレオ視可能な範囲５０と車両計画判断部３０が生成した軌道計画の軌道７０を空間上に示した例である。画像処理装置１００でステレオ視可能な範囲５０は、画像処理装置１００のカメラ部１１０で撮像された画像を用いて原理的にステレオ視を実行できる範囲であり、画像処理装置１００に要求される処理時間内で実行可能な範囲とは必ずしも一致するものではない。要求される処理時間内で実行可能な範囲は、画像処理装置１００の処理性能に依存するため、製品の低コスト化には、ステレオ視可能な範囲５０から必要な範囲だけを抽出してステレオ視することが有効である。軌道計画は、車両２の今後の動作を示すものであり、前述したように、この軌道計画を用いて画像処理装置１００のステレオ視に必要な範囲を適切に決定することができる。

図６及び図７は、軌動計画に基づいて変更したステレオ視の範囲５１、５２を空間上に示した例である。これは、「車両２が交差点まで直進した後に右折する」という軌道計画の例であるが、図６の車両２の位置では、直進予定であるため、画像処理装置１００（の画像処理制御部１５０）は、距離検出部１３０のレジスタ１３１〜１３４を設定し、ステレオ視の範囲を直進方向の範囲５１（詳しくは、ステレオ視可能な範囲５０のうちの左右約中央の範囲）に狭めることで、ステレオ視にかかる処理時間を削減できる。一方、図７の車両２の位置では、右折予定であるため、画像処理装置１００（の画像処理制御部１５０）は、距離検出部１３０のレジスタ１３１〜１３４を設定し、ステレオ視の範囲を右折方向の範囲５２（詳しくは、ステレオ視可能な範囲５０のうちの右端から所定角度の範囲）に狭めることで、ステレオ視にかかる処理時間を削減できる。なお、図６の範囲５１から図７の範囲５２へのステレオ視の範囲の変更は、例えば処理時間が同等となるように行われる。

なお、走行中（例えば運転支援や自動運転中）に、車両２の周囲環境等に応じて車両計画判断部３０が生成した軌道計画が変更される場合には、車両計画判断部３０は、その変更された軌道計画に応じた指示情報を外界検出部１０へ出力し、外界検出部１０の画像処理装置１００（の画像処理制御部１５０）は、その車両計画判断部３０の出力する指示情報に基づいてステレオ視の範囲を変更・設定することができる。

図８は、本発明の第１の実施形態に係る車載システム１におけるステレオ視の処理負荷を制御する処理フロー例である。

ステップＳ１００において、車両計画判断部３０は、外界認識部２０の出力する車両２の周辺環境情報と車両制御部４０の出力する車両２の状態情報を取得する。

ステップＳ１０１において、車両計画判断部３０は、ステップＳ１００で得られた情報から車両２の軌道計画を生成する。

ステップＳ１０２において、車両計画判断部３０は、ステップＳ１０１で生成した軌道計画から、外界検出部１０で実行するステレオ視における処理負荷を制御する指示情報を決定する。

ステップＳ１０３において、外界検出部１０（の画像処理装置１００の画像処理制御部１５０）は、ステップＳ１０２で車両計画判断部３０が出力する指示情報に基づいて距離検出部１３０のレジスタ１３１〜１３４を設定し（例えば、テーブル１３７（図４参照）に基づいてステレオ視の範囲が最も要求に合致する設定値を選択し）、ステレオ視の範囲を変更して、ステレオ視を実行する。

以上で説明したように、本第１の実施形態によれば、車両２に搭載される車載システム１は、車両周辺の観測対象物を検出する外界検出部１０と、その検出結果に基づいて車両周辺の状態を認識する外界認識部２０と、その認識結果に基づいて車両の軌道計画を生成する車両計画判断部３０と、その軌道計画に基づいて車両の挙動を制御する車両制御部４０とを備えており、車両計画判断部３０で生成した軌道計画に基づき、外界検出部１０（の画像処理装置１００）のステレオ視に必要な範囲を制御することで、処理時間の削減が可能となり、車両周辺の観測対象物の検出を行う外界検出装置を低コストで提供することができる。

＜第２の実施形態＞
図９は、本発明の第２の実施形態に係る車載システム１の構成例である。図示実施形態の車載システム１は、外界検出部１１、外界認識部２１、車両計画判断部３１、車両制御部４０で構成され、車両２に搭載される。なお、本第２の実施形態における車両制御部４０は、上記第１の実施形態で説明したものと同一であるため、以下では説明を省略する。

図１０に、図９に示す外界検出部１１の構成例を示す。外界検出部１１は、本例では、上記第１の実施形態で説明した画像処理装置１００を含む、車両２周辺（外界）の観測対象物を検出するための複数のセンサ１００〜１０２からなるセンサ群で構成されている。センサ１０１、１０２は、例えば、カメラ（単眼カメラ、ステレオカメラ）、ミリ波レーダ、ライダ等である。各センサ１００〜１０２は検出可能な観測対象物、範囲、精度、コスト等が異なるため、外界検出部１１は、車両２の車種やオプションによってセンサの種類や数が異なる構成となる。

外界検出部１１は、画像処理装置１００を含む複数のセンサ１００〜１０２から得られた情報により車両２周辺の観測対象物を検出・認識し、その結果を認識情報として外界認識部２１へ出力する。また、外界検出部１１（の画像処理装置１００の画像処理制御部１５０）は、上記第１の実施形態と同様に、車両計画判断部３１の出力する指示情報に基づき、距離検出部１３０のレジスタ１３１〜１３４に値を設定することで、画像処理装置１００のステレオ視の範囲を変更し、処理負荷（処理時間）を制御する。

外界認識部２１は、上記第１の実施形態で説明した外界認識部２０において、車両２周辺の地図情報に結合する情報として、画像処理装置１００の出力する認識情報に加えて、他のセンサ１０１、１０２の検出結果（検出情報）も利用する。外界認識部２１は、複数のセンサ１００〜１０２から得られた情報を結合することで、車両２の周辺環境情報の精度が向上する。

車両計画判断部３１は、外界認識部２１の出力する車両２の周辺環境情報、車両制御部４０の出力する車両２の状態情報に基づき、車両２をどのような軌道、速度で制御するかを示す軌道計画を生成する。更に、車両計画判断部３１は、その軌道計画に基づいて車両制御部４０へ目標制御情報を出力すると共に、軌道計画と外界検出部１１のセンサ構成情報に基づいて外界検出部１１へステレオ視の範囲（つまり、ステレオ視における処理負荷）を制御する指示情報を出力する。外界検出部１１のセンサ構成情報とは、例えば、センサの種類、取り付け位置、検出範囲、分解能等であり、予め記録領域に記録された情報である。

このように、本第２の実施形態の車載システム１では、車両制御部４０で、車両計画判断部３１の出力する目標制御情報に基づいて車両２の挙動を制御するとともに、車両計画判断部３１は、生成した車両２の軌道計画及び外界検出部１１のセンサ構成情報に基づいてステレオ視において処理負荷を制御する指示情報を生成し、外界検出部１１（の画像処理装置１００の画像処理制御部１５０）は、車両計画判断部３１の出力する指示情報に基づいて距離検出部１３０のレジスタ１３１〜１３４に値を設定する（例えば、テーブル１３７（図４参照）に基づいてステレオ視の範囲が最も要求に合致する設定値を選択する）ことで、ステレオ視の範囲を変更し、処理負荷を制御する。

図１１は、外界検出部１１のセンサとして画像処理装置１００と他のセンサ１０１、１０２を搭載した場合の、各センサで観測対象物を検出可能な範囲と車両計画判断部３１が生成した軌道計画の軌道７０を空間上に示した例である。画像処理装置（センサ）１００でステレオ視可能な範囲５０は、画像処理装置１００のカメラ部１１０で撮像された画像を用いて原理的にステレオ視を実行できる範囲であり、画像処理装置１００に要求される処理時間内で実行可能な範囲とは必ずしも一致するものではない。要求される処理時間内で実行可能な範囲は、画像処理装置１００の処理性能に依存するため、製品の低コスト化には、ステレオ視可能な範囲５０から必要な範囲だけを抽出してステレオ視することが有効である。本実施形態では、画像処理装置１００のステレオ視に必要な範囲を適切に決定するのに、前述したように、軌道計画の他に外界検出部１１のセンサ構成情報を用いる。

例えば、図１１のように画像処理装置１００によるステレオ視可能な範囲５０と他のセンサ１０１、１０２で検出可能な範囲６１、６２に重なりがある場合、画像処理装置１００（の画像処理制御部１５０）は、距離検出部１３０のレジスタ１３１〜１３４を設定し、図１２のようにステレオ視可能な範囲５０において範囲６１、６２との重なりを避けた車両２の進行方向を含む範囲５３（詳しくは、ステレオ視可能な範囲５０のうちの左右約中央かつ最遠までの範囲）にステレオ視の範囲を狭めることで、ステレオ視にかかる処理時間を削減できると共に、遠距離の観測対象物も検出できるようにステレオ視の処理時間を割り振ることができる。

なお、走行中（例えば運転支援や自動運転中）に、車両２の周囲環境等に応じて車両計画判断部３１が生成した軌道計画や外界検出部１１のセンサ構成情報（検出範囲、分解能等）が変更される場合には、車両計画判断部３１は、その変更された軌道計画やセンサ構成情報に応じた指示情報を外界検出部１１へ出力し、外界検出部１１の画像処理装置１００（の画像処理制御部１５０）は、その車両計画判断部３１の出力する指示情報に基づいてステレオ視の範囲を変更・設定することができる。

図１３は、本発明の第２の実施形態に係る車載システム１におけるステレオ視の処理負荷を制御する処理フロー例である。

ステップＳ２００において、車両計画判断部３１は、外界認識部２１の出力する車両２の周辺環境情報、車両制御部４０の出力する車両２の状態情報、外界検出部１１のセンサ構成情報を取得する。

ステップＳ２０１において、車両計画判断部３１は、ステップＳ２００で得られた情報から車両２の軌道計画を生成する。

ステップＳ２０２において、車両計画判断部３１は、ステップＳ２０１で生成した軌道計画とステップＳ２００で得られたセンサ構成情報から、外界検出部１１で実行するステレオ視の範囲を制御する指示情報を決定する。

ステップＳ２０３において、外界検出部１１（の画像処理装置１００の画像処理制御部１５０）は、ステップＳ２０２で車両計画判断部３１が出力する指示情報に基づいて距離検出部１３０のレジスタ１３１〜１３４を設定し、ステレオ視の範囲を変更して、ステレオ視を実行する。

以上で説明したように、本第２の実施形態によれば、車両２に搭載される車載システム１は、車両周辺の観測対象物を検出する外界検出部１１と、その検出結果に基づいて車両周辺の状態を認識する外界認識部２１と、その認識結果に基づいて車両の軌道計画を生成する車両計画判断部３１と、その軌道計画に基づいて車両の挙動を制御する車両制御部４０とを備えており、車両計画判断部３１で生成した軌道計画と外界検出部１１のセンサ構成情報に基づき、外界検出部１１（の画像処理装置１００）のステレオ視に必要な範囲を制御することで、処理時間の削減が可能となり、多様なセンサ構成に適した外界検出装置を低コストで提供することができる。

なお、上記実施形態では、車両計画判断部３１で生成した軌道計画と外界検出部１１のセンサ構成情報を用いて、画像処理装置１００のステレオ視に必要な範囲を決定しているが、外界検出部１１のセンサ構成情報のみを用いて、画像処理装置１００のステレオ視に必要な範囲を決定しても良い。

＜第３の実施形態＞
本発明の第３の実施形態に係る車載システム１の構成例は、図９等に基づき説明した上記第２の実施形態と同様であるため、以下では、差分のある箇所についてのみ説明する。

本実施形態の車載システム１における外界検出部１１は、各種センサを備えるが、これらのセンサは車両２周辺の観測対象物の検出結果や認識情報を外界認識部２１へ出力するだけでなく、センサ自体の検出結果に対する信頼度（以降、センサ信頼度ということがある）も合わせて外界認識部２１へ出力する。センサの信頼度は、例えば、定期的な自己診断によって決定されるため、恒久的な障害が発生した場合は常に低い信頼度となるが、雨滴の付着や対向車のライトの照射により検出結果が一時的に悪化するような場合では問題の発生期間のみ信頼度が低下する。また、センサの信頼度は、センサに対して一律である必要はなく、例えば、各観測対象物の検出精度に基づいて個々に信頼度を設定しても良い。

外界認識部２１は、車両２周辺の地図情報に結合する情報として、各種センサの検出結果及び認識情報に加えて、それらが出力する信頼度を利用する。例えば、同一の観測対象物に対して高い信頼度を出力するセンサと低い信頼度を出力するセンサがある場合に、外界認識部２１は、信頼度の高いセンサの検出結果を選択することで、車両２の周辺環境情報に含まれる観測対象物の精度が向上する。また、前記したセンサの検出結果に対する信頼度として、センサから出力される信頼度に頼らず、例えば当該外界認識部２１にて検出結果の履歴を元に生成しても良い。例えば、ある観測対象物の位置や距離が時系列で異常値を取るようなセンサがある場合、そのセンサを低い信頼度として扱っても良い。

車両計画判断部３１は、外界認識部２１の出力する車両２の周辺環境情報、車両制御部４０の出力する車両２の状態情報に基づき、車両２をどのような軌道、速度で制御するかを示す軌道計画を生成する。更に、車両計画判断部３１は、その軌道計画に基づいて車両制御部４０へ目標制御情報を出力すると共に、軌道計画と外界検出部１１のセンサ構成情報及びセンサ信頼度に基づいて外界検出部１１へステレオ視の範囲（つまり、ステレオ視における処理負荷）を制御する指示情報を出力する。前述したように、指示情報の生成に用いるセンサ信頼度は、外界検出部１１の出力するセンサ信頼度、または、センサの出力する検出結果を元に外界認識部２１で生成したセンサ信頼度である。

このように、本第３の実施形態の車載システム１では、車両制御部４０で、車両計画判断部３１の出力する目標制御情報に基づいて車両２の挙動を制御するとともに、車両計画判断部３１は、生成した車両２の軌道計画並びに外界検出部１１のセンサ構成情報及びセンサ信頼度を総合的に判断してステレオ視において処理負荷を制御する指示情報を生成し、外界検出部１１（の画像処理装置１００の画像処理制御部１５０）は、車両計画判断部３１の出力する指示情報に基づいて距離検出部１３０のレジスタ１３１〜１３４に値を設定する（例えば、テーブル１３７（図４参照）に基づいてステレオ視の範囲が最も要求に合致する設定値を選択する）ことで、ステレオ視の範囲を変更し、処理負荷を制御する。

図１４は、図１２と同一のセンサ構成、ステレオ視の範囲を範囲５３とした設定において、右側のセンサ１０１が故障した状況での各センサで観測対象物を検出可能な範囲と車両計画判断部３１が生成した軌道計画の軌道７０を空間上に示した例である。画像処理装置（センサ）１００でステレオ視可能な範囲５０は、画像処理装置１００のカメラ部１１０で撮像された画像を用いて原理的にステレオ視を実行できる範囲であり、画像処理装置１００に要求される処理時間内で実行可能な範囲とは必ずしも一致するものではない。要求される処理時間内で実行可能な範囲は、画像処理装置１００の処理性能に依存するため、製品の低コスト化には、ステレオ視可能な範囲５０から必要な範囲だけを抽出してステレオ視することが有効である。本実施形態では、画像処理装置１００のステレオ視に必要な範囲を適切に決定するのに、前述したように、軌道計画の他に外界検出部１１のセンサ構成情報及びセンサ信頼度を用いる。

例えば、センサ１０１が故障してその信頼度が低下している図１４に示した状況では、画像処理装置１００（の画像処理制御部１５０）は、距離検出部１３０のレジスタ１３１〜１３４を設定し、ステレオ視の範囲を図１５に示す車両２の進行方向を含む範囲５４（詳しくは、ステレオ視可能な範囲５０のうちの右端から中央付近の範囲）となるよう変更し、ステレオ視の処理時間を割り振ることで、信頼度の低いセンサ１０１で検出すべき範囲について信頼度の高い画像処理装置（センサ）１００で代替が可能になる。なお、このとき、処理時間を同等とする（換言すれば、増加を抑制する）もしくは低減するために、遠距離の観測対象物については検出対象外とする。また、この場合、図１４に示す範囲５３（近距離と遠距離とを含む範囲）と図１５に示す範囲５４（近距離のみを含む範囲）を時系列で（例えば数フレーム毎に）切り替えることで、画像処理装置１００にて両方の範囲をステレオ視できるように制御しても良い。

なお、走行中（例えば運転支援や自動運転中）に、車両２の周囲環境等に応じて車両計画判断部３１が生成した軌道計画や外界検出部１１のセンサ構成情報（検出範囲、分解能等）、センサ信頼度が変更される場合には、車両計画判断部３１は、その変更された軌道計画やセンサ構成情報、センサ信頼度に応じた指示情報を外界検出部１１へ出力し、外界検出部１１の画像処理装置１００（の画像処理制御部１５０）は、その車両計画判断部３１の出力する指示情報に基づいてステレオ視の範囲を変更・設定することができる。

図１６は、本発明の第３の実施形態に係る車載システム１におけるステレオ視の処理負荷を制御する処理フロー例である。

ステップＳ３００において、車両計画判断部３１は、外界認識部２１の出力する車両２の周辺環境情報、車両制御部４０の出力する車両２の状態情報、外界検出部１１のセンサ構成情報、センサ信頼度を取得する。

ステップＳ３０１において、車両計画判断部３１は、ステップＳ３００で得られた情報から車両２の軌道計画を生成する。

ステップＳ３０２において、車両計画判断部３１は、ステップＳ３００で得られたセンサ信頼度が閾値以下のセンサの有無を判定する。センサ信頼度が閾値以下のセンサがある場合（ステップＳ３０２：Ｙｅｓ）はステップＳ３０３へ進み、センサ信頼度が閾値以下のセンサがない場合（ステップＳ３０２：Ｎｏ）はステップＳ３０５へ進む。

ステップＳ３０３において、車両計画判断部３１は、センサ信頼度が閾値以下のセンサの検出範囲が、ステレオ視可能な範囲に入っているか否かを判定する。該当センサの検出範囲がステレオ視可能な範囲に入っていれば（ステップＳ３０３：Ｙｅｓ）ステップＳ３０４へ進み、該当センサの検出範囲がステレオ視可能な範囲に入っていない場合（ステップＳ３０３：Ｎｏ）はステップＳ３０５へ進む。

ステップＳ３０４において、車両計画判断部３１は、ステップＳ３０１で生成した軌道計画とステップＳ３００で得られた外界検出部１１のセンサ構成情報、センサ信頼度から、外界検出部１１で実行するステレオ視の範囲を制御する指示情報を決定する。

一方、ステップＳ３０５において、車両計画判断部３１は、上記第２の実施形態と同様、ステップＳ３０１で生成した軌道計画とステップＳ３００で得られた外界検出部１１のセンサ構成情報から、外界検出部１１で実行するステレオ視の範囲を制御する指示情報を決定する。

ステップＳ３０６において、外界検出部１１（の画像処理装置１００の画像処理制御部１５０）は、車両計画判断部３１が出力する指示情報に基づいて距離検出部１３０のレジスタ１３１〜１３４を設定し、ステレオ視の範囲を変更して、ステレオ視を実行する。

以上で説明したように、本第３の実施形態によれば、車両２に搭載される車載システム１は、車両周辺の観測対象物を検出する外界検出部１１と、その検出結果に基づいて車両周辺の状態を認識する外界認識部２１と、その認識結果に基づいて車両の軌道計画を生成する車両計画判断部３１と、その軌道計画に基づいて車両の挙動を制御する車両制御部４０とを備えており、車両計画判断部３１で生成した軌道計画と外界検出部１１のセンサ構成情報とセンサ信頼度（検出結果に対する信頼度）に基づき、外界検出部１１（の画像処理装置１００）のステレオ視に必要な範囲を制御することで、処理時間の削減または増加抑制が可能となり、多様なセンサ構成、状態に適した外界検出装置を低コストで提供することができる。

なお、上記実施形態では、車両計画判断部３１で生成した軌道計画と外界検出部１１のセンサ構成情報とセンサ信頼度を用いて、画像処理装置１００のステレオ視に必要な範囲を決定しているが、外界検出部１１のセンサ信頼度のみを用いて、画像処理装置１００のステレオ視に必要な範囲を決定しても良い。

上述した実施形態は、本発明の説明のための例示であり、本発明の範囲を実施形態にのみ限定する趣旨ではない。当業者は、本発明の要旨を逸脱することなしに、他の様々な態様で本発明を実施することができる。

なお、本発明は上記した実施形態に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１：車載システム
２：車両
１０、１１：外界検出部
２０、２１：外界認識部
３０、３１：車両計画判断部
４０：車両制御部
５０：ステレオ視可能な範囲
５１〜５４：変更したステレオ視の範囲
６１、６２：センサの検出可能な範囲
７０：軌道計画の軌道
１００：画像処理装置（センサ）
１０１、１０２：センサ
１１０Ａ、１１０Ｂ：カメラ部
１２０：画像補正部
１３０：距離検出部
１３１〜１３４：レジスタ
１３５：画素ブロック探索部
１３６：距離計算部
１３７：テーブル
１４０：画像認識部
１５０：画像処理制御部

Claims (7)

1. 車両周辺の観測対象物を検出する少なくとも一つのセンサを備える外界検出部と、
   前記外界検出部の検出結果に基づいて車両の周辺環境を認識する外界認識部と、
   前記外界認識部の認識結果に基づいて車両の軌道計画を生成する車両計画判断部と、
   前記車両計画判断部の軌道計画に基づいて車両の挙動を制御する車両制御部と、を有する車載システムであって、
   前記外界検出部は、前記センサとしてステレオ視によって観測対象物を検出する画像処理装置を備え、
   前記画像処理装置は、前記車両計画判断部の軌道計画、前記外界検出部のセンサ構成情報、又は前記外界検出部の検出結果に対するセンサ信頼度の少なくとも一つに基づいて前記ステレオ視の範囲を変更する、車載システム。
2. 請求項１に記載の車載システムであって、
   前記車両計画判断部は、前記車両の軌道計画に基づいて指示情報を生成し、前記画像処理装置は、前記車両計画判断部の指示情報に基づいて前記ステレオ視の範囲を変更する車載システム。
3. 請求項１に記載の車載システムであって、
   前記車両計画判断部は、前記外界検出部の検出範囲に基づいて指示情報を生成し、前記画像処理装置は、前記車両計画判断部の指示情報に基づいて前記ステレオ視の範囲を変更する車載システム。
4. 請求項１に記載の車載システムであって、
   前記車両計画判断部は、前記外界検出部の検出結果に対するセンサ信頼度に基づいて指示情報を生成し、前記画像処理装置は、前記車両計画判断部の指示情報に基づいて前記ステレオ視の範囲を変更する車載システム。
5. 請求項４に記載の車載システムであって、
   前記画像処理装置は、前記センサ信頼度が前記画像処理装置より低いセンサの検出範囲を代替するように前記ステレオ視の範囲を変更する車載システム。
6. 請求項１に記載の車載システムであって、
   前記画像処理装置は、複数の設定値を含むテーブルから所定の設定値を選択することで、前記ステレオ視の範囲を変更する車載システム。
7. 車両周辺の観測対象物を検出する少なくとも一つのセンサを備える外界検出部と、
   前記外界検出部の検出結果に基づいて車両の周辺環境を認識する外界認識部と、
   前記外界認識部の認識結果に基づいて車両の軌道計画を生成する車両計画判断部と、
   前記車両計画判断部の軌道計画に基づいて車両の挙動を制御する車両制御部と、を有する車載システムであって、
   前記外界検出部は、前記センサとしてステレオ視によって観測対象物を検出する画像処理装置を備え、
   前記車両制御部が、前記車両の挙動を制御するとともに、
   前記車両計画判断部が、前記車両の軌道計画、前記外界検出部のセンサ構成情報、又は前記外界検出部の検出結果に対するセンサ信頼度の少なくとも一つに基づいて指示情報を生成し、
   前記画像処理装置が、前記車両計画判断部の指示情報に基づいて前記ステレオ視の範囲を変更する、車載システム。

Images